Wetenschappers hebben een fundamenteel probleem blootgelegd in de manier waarop vision-language modellen (VLM's) informatie verwerken. Uit recent onderzoek blijkt dat deze systemen er vaak niet in slagen om visuele data en tekstuele informatie correct tegen elkaar af te wegen. Wanneer deze twee bronnen elkaar tegenspreken, neigen de modellen ertoe om één van de bronnen volledig te prefereren, wat leidt tot wat de onderzoekers de "illusie van grounding" noemen.
In de studie, getiteld "The Illusion of Grounding: Do Vision-Language Models Weigh Retrieved Text and Images Like an Ideal Observer?", hebben onderzoekers Basavaraj R M en Harshal Chandel geanalyseerd hoe retrieval-augmented VLM's omgaan met bewijslast uit verschillende modaliteiten. Deze modellen maken gebruik van zowel een afbeelding als opgehaalde tekstuele informatie. Echter, beide bronnen kunnen onbetrouwbaar zijn door ruis of fouten. Volgens de arxiv.org weerspiegelt het gedrag van deze modellen niet de logica van een ideale waarnemer.
Om deze tekortkomingen aan te tonen, ontwikkelden de wetenschappers GIB-200K, een dataset met 200.000 combinaties van beelden en vragen. Deze dataset is gebaseerd op Visual Genome en COCO, maar is uitgebreid met specifieke stresscondities. Zo zijn er scenario's ingebouwd met visuele ambiguïteit, zoals Gaussian blur en bewegingsonscherpte. Daarnaast bevat de dataset cross-modale conflicten waarbij tekst en beeld bewust tegenstrijdig zijn gemaakt. Hoewel visuele misleiding in de echte wereld ook voorkomt via verywellmind.com, richt dit onderzoek zich specifiek op de computationele verwerking van tegenstrijdige data.
Het onderzoek introduceert twee kernbegrippen om de fouten van de AI te duiden: Knowledge Inertia en Sensory Capture. Bij Knowledge Inertia hecht het model te veel waarde aan de tekst, terwijl bij Sensory Capture de afbeelding domineert over de tekstuele informatie. De resultaten laten zien dat de prestaties van vier open modellen drastisch kelderen onder stressvolle omstandigheden. Waar de nauwkeurigheid bij schone input nog tussen de 92,5% en 94,2% lag, zakte dit percentage in problematische scenario's naar waarden tussen 41,3% en 59,9%, zoals beschreven in de .
Opvallend is dat verschillende modelarchitecturen verschillende biases vertonen. De geteste LLaVA-modellen leden aan Knowledge Inertia, wat betekent dat zij de tekstuele informatie zwaarder wogen. Het model InternVL3 vertoonde daarentegen een voorkeur voor de afbeelding, wat wijst op Sensory Capture. Een kritieke bevinding is dat modellen in een aanzienlijk deel van de gevallen — variërend van 34,8% tot 71,4% — een correct antwoord bij schone input direct herriepen zodra het bijbehorende document onjuiste informatie bevatte. Dit bewijst dat het model de afbeelding niet werkelijk begrijpt, maar simpelweg de tekst volgt.
Om dit te verbeteren, stellen de onderzoekers een trainingsvrije consistentiecheck voor. Hierbij wordt een antwoord met retrieval vergeleken met een antwoord zonder retrieval. Hoewel dit de nauwkeurigheid bij misleidende documenten verhoogt, gaat dit ten koste van de algehele dekking. Bovendien blijft de strategie tekortschieten wanneer de visuele input zelf zwaar gedegradeerd is. Om verdere analyse door de wetenschappelijke gemeenschap mogelijk te maken, zijn de gebruikte code en de volledige resultaten openbaar gemaakt via de .