Onderzoekers hebben een nieuwe benadering ontwikkeld voor 'zero-shot classification' waarbij visuele kenmerken direct uit afbeeldingen worden gehaald. Deze methode voorkomt dat AI-modellen blind vertrouwen op algemene tekstuele beschrijvingen, wat de nauwkeurigheid bij afwijkende datasets aanzienlijk verbetert.
In de wereld van computer vision is het gebruik van Vision-Language Models (VLM), zoals CLIP, een gangbare praktijk. Een populaire methode om deze modellen interpreteerbaar te maken, is door een Large Language Model (LLM) te vragen om een klassenaam te beschrijven. De resulterende tekstuele beschrijvingen worden vervolgens gebruikt om het model te sturen. Echter, uit recent onderzoek blijkt dat deze aanpak fundamentele gebreken vertoont omdat de beschrijvingen gebaseerd zijn op algemene concepten in plaats van op de werkelijke visuele data.
Het probleem met tekstuele descriptors
Volgens een wetenschappelijk artikel op arxiv.org dragen de door LLM's gegenereerde beschrijvingen vaak weinig eigen visueel bewijs. De onderzoekers stelden vast dat wanneer de klassenaam uit de prompt wordt verwijderd, de nauwkeurigheid op de ImageNet-dataset drastisch keldert van 59,5% naar 15,5%.
De kern van het probleem is dat LLM's beschrijvingen genereren op basis van het label en niet op basis van de beelden. Dit leidt tot fouten wanneer de data verschuift (distribution shift). Een concreet voorbeeld hiervan is de aardbei: een LLM zal consistent beweren dat aardbeien rood zijn. Echter, in de 'ImageNet-Sketch' dataset bestaan aardbeien uit kleurloze lijntekeningen, waardoor de tekstuele beschrijving van het LLM het model juist misleidt.
Een data-gestuurde oplossing
Om dit op te lossen, stellen de auteurs een methode voor waarbij attributen — in de context van AI een kwaliteit of kenmerk dat bij een entiteit hoort, zoals gedefinieerd door vocabulary.com — direct uit de doelcollectie afbeeldingen worden geselecteerd. In plaats van een LLM te vragen wat een object is, scant het systeem een grote pool van attributen en scoort deze tegen de daadwerkelijke afbeeldingen in de gezamenlijke embedding-ruimte van CLIP.
De resultaten van deze aanpak zijn significant:
* Hogere nauwkeurigheid: De methode zonder klassennamen bereikte 23,8% op ImageNet, wat een aanzienlijke verbetering is ten opzichte van de 15,5% bij LLM-descriptors.
* Robuustheid: De winst bleef behouden over vier verschillende varianten van ImageNet die onderhevig waren aan datashifts.
* Efficiëntie: Bij het gebruik van slechts één afbeelding per klasse presteerde deze methode 3 procentpunten beter dan de prompt-tuning methode CoOp. Bovendien kostte het proces minder dan een minuut, terwijl CoOp ongeveer 14 uur in beslag nam.
Interpretatie en betekenis van attributen
Het gebruik van attributen is essentieel voor het begrijpen van hoe een AI tot een besluit komt. In algemene zin wordt een attribuut beschouwd als een eigenschap of kenmerk dat iemand of iets bezit, zoals beschreven in het cambridge.org. In de context van dit onderzoek fungeren deze kenmerken als een leesbare samenvatting van een dataset. Hierdoor kunnen onderzoekers in menselijke taal beschrijven waarom een bepaalde distributieverschuiving optreedt.
Ook vanuit een taalkundig perspectief is de definitie van een attribuut breed; het kan variëren van een fysieke eigenschap tot een symbolisch object, zoals vermeld op dictionary.com. Door deze kenmerken direct uit de beelden te koppelen, creëren de onderzoekers een systeem dat minder afhankelijk is van de "vooringenomenheid" van taalmodellen en meer gefocust is op de visuele realiteit.
De conclusie van het onderzoek is dat het selectiemechanisme — het baseren van kenmerken op beelden in plaats van op namen — de primaire oorzaak is van de verbeterde prestaties. Dit opent de deur naar meer betrouwbare en transparante AI-systemen die minder snel misleid worden door theoretische beschrijvingen die niet overeenkomen met de visuele input.