Onderzoekers hebben vastgesteld dat Vision-Language Models (VLMs) vaak vertrouwen op hun interne kennis over de wereld in plaats van op wat ze daadwerkelijk op een afbeelding zien. Dit fenomeen, waarbij modellen vastklampen aan 'canonieke' feiten, leidt tot significante fouten bij het tellen van objecten in ongebruikelijke scenario's.
In een recent onderzoek, gepubliceerd via arxiv.org, presenteren wetenschappers de dataset 'CounterCount'. Deze dataset is specifiek ontworpen om de zogenaamde 'knowledge bias' in AI-modellen te diagnosticeren. De onderzoekers, waaronder Reem Alzahrani en Bernard Ghanem, gebruikten hiervoor paren van feitelijke en contrafeitelijke afbeeldingen. In de contrafeitelijke beelden bevatten objecten een atypisch aantal kenmerken, zoals een konijn met vier oren in plaats van de gebruikelijke twee.
Significante prestatiekloof
De resultaten van het onderzoek tonen een scherp contrast tussen menselijke waarneming en de verwerking door kunstmatige intelligentie. Terwijl mensen beide typen afbeeldingen bijna perfect konden beoordelen — met scores van respectievelijk 98,9% en 97,5% — presteerden de geteste AI-modellen aanzienlijk slechter.
Uit de analyse van 16 verschillende Vision-Language Models, bestaande uit 14 open-weight en twee closed-source modellen, bleek dat de gemiddelde nauwkeurigheid kelderde van 91,6% bij feitelijke beelden naar slechts 49,5% bij de contrafeitelijke beelden. De meeste fouten waren niet willekeurig; de modellen gaven vaak het standaard aantal kenmerken op dat zij uit hun training kenden, ongeacht wat er op de afbeelding te zien was.
Systeem-1 gedrag en onderbenutting van data
De onderzoekers trekken twee belangrijke conclusen over de interne werking van deze modellen. Ten eerste vertonen de modellen een gedrag dat vergelijkbaar is met 'Systeem-1' denken: een snelle, intuïtieve reactie waarbij het model terugvalt op bekende patronen zodra een onderwerp is herkend, zonder de visuele details grondig te analyseren.
Ten tweede ontdekten de onderzoekers dat de modellen de benodigde visuele informatie wel degelijk in hun activaties hebben. De bewijzen om correct te tellen zijn aanwezig in het systeem, maar worden onderbenut. Wanneer een model een bevooroordeeld antwoord geeft, besteedt het minder aandacht aan de relevante visuele regio's van de afbeelding.
Mogelijkheden tot verbetering
Hoewel de bias hardnekkig is, wijst het onderzoek uit dat bepaalde manipulaties de nauwkeurigheid kunnen verhogen. Het doorbreken van de visuele context, het introduceren van redeneerstappen of het direct versterken van de interne aandacht van het model voor specifieke regio's kan de afhankelijkheid van voorkennis verminderen.
Bredere context van AI-ontwikkelingen
Dit onderzoek naar visuele bias sluit aan bij een bredere trend in de AI-sector om de interne processen van modellen beter te begrijpen. Zo is er in andere studies, zoals gepubliceerd door transformer-circuits.pub, onderzoek gedaan naar hoe taalmodellen een 'global workspace' van interne representaties onderhouden voor redenering. Daarnaast blijft de sector evolueren naar meer autonome systemen. Zo beschrijft een recent rapport op arxiv.org de ontwikkeling van 'Cowork Agents' zoals Navalia, die complexe financiële analyses uitvoeren door bewijsmateriaal uit meerdere documenten te integreren.
Hoewel er diverse technische documenten beschikbaar zijn op platforms zoals edu.et en scores.si, blijft de focus in de huidige wetenschappelijke discussie liggen op het overbruggen van de kloof tussen automatische patroonherkenning en werkelijke visuele bewijsvoering. De bevindingen van CounterCount maken duidelijk dat het herkennen van een context door een AI-model momenteel vaak een hindernis vormt voor een objectieve analyse van de beschikbare visuele data.