Onderzoekers hebben ontdekt dat het gebruik van beslissingsbomen voor visuele classificatie in Vision Language Models (VLM's) minder effectief is dan standaard zero-shot prompting, ondanks een hoog begrip van de boomstructuur zelf.
In een recent onderzoek naar de beperkingen van Vision Language Models (VLM's) is geanalyseerd of een gestructureerde aanpak van visuele classificatie de prestaties kan verbeteren. In het wetenschappelijke artikel Decomposing Visual Classification: Assessing Tree-Based Reasoning in VLMs, gepubliceerd via arxiv.org, onderzoeken Sary Elmansoury en collega's of het opdelen van classificatietaken in interpreteerbare beslissingen via beslissingsbomen helpt bij complexe taken met grote hiërarchische labelruimtes.
De kloof tussen begrip en prestatie
De onderzoekers introduceerden een framework dat classificatie ontleedt in een reeks stapsgewijze beslissingen. Om de effectiviteit hiervan te testen, werd het systeem geëvalueerd op zowel grofmazige datasets, zoals CIFAR-10, als fijnmazige datasets, waaronder de GTSRB (German Traffic Sign Recognition Benchmark).
Een opvallende bevinding is dat de modellen zeer goed in staat zijn om de kennis binnen de boomstructuur te begrijpen; de nauwkeurigheid bij het begrijpen van de boomkennis bedroeg maar liefst 98,2%. Desondanks bleek uit de resultaten dat boomgebaseerde redenering consistent slechter presteert dan de standaard methode van zero-shot prompting. Dit suggereert dat het vermogen om een logische structuur te volgen niet automatisch leidt tot een correctere visuele classificatie.
Strategieën voor verbetering
Om de prestaties van de boomgebaseerde methode te verhogen, experimenteerden de auteurs met het toevoegen van door Large Language Models (LLM's) gegenereerde klassen en gedetailleerde beschrijvingen van afbeeldingen. Volgens de publicatie op leidde de toevoeging van deze beschrijvingen tot een verbetering van zowel de boomgebaseerde methoden als de zero-shot methoden. Dit wijst erop dat een betere uitlijning tussen de visuele input en de tekstuele beschrijving cruciaal is voor de nauwkeurigheid.
Bredere context van VLM-evaluatie
De uitdagingen bij het classificeren van specifieke entiteiten worden in andere onderzoeken bevestigd. Zo beschrijft een posterpresentatie van thecvf.com over taxonomie-bewuste evaluatie dat VLM's vaak geneigd zijn tot voorzichtigheid. Modellen geven dan een algemeen antwoord (zoals "boom") in plaats van een specifiek antwoord (zoals "den"). Traditionele metrieken schieten hier tekort omdat ze geen onderscheid maken tussen een volledig fout antwoord en een antwoord dat simpelweg onvoldoende specifiek is.
Daarnaast is er een bredere discussie over de rol van LLM's binnen visuele systemen. In een artikel in nature.com wordt gesteld dat VLM's die geen gebruik maken van LLM's soms beter presteren bij object- en scèneherkenning. Echter, de integratie van LLM's blijkt juist wel voordelig voor taken die complex redeneren of externe kennis vereisen.
Conclusies en toekomstperspectief
De resultaten van het onderzoek naar boomgebaseerde redenering benadrukken de huidige beperkingen van gestructureerde logica binnen visuele classificatie. Hoewel de modellen de hiërarchie begrijpen, vertaalt dit zich niet naar een hogere precisie in de praktijk. Dit sluit aan bij bredere surveys over redeneren in computer vision, zoals beschreven in een overzicht op arxiv.org, waarin de complexiteit van relationele, causale en temporele redenering wordt geanalyseerd.
De bevindingen bieden belangrijke inzichten voor de ontwikkeling van meer interpreteerbare VLM-systemen. De focus lijkt te verschuiven van het simpelweg opleggen van een logische structuur naar het verbeteren van de beschrijvende data en de manier waarop modellen specifieke taxonomische details herkennen.