Wetenschappelijk onderzoek heeft een problematisch fenomeen blootgelegd binnen Vision-Language Models (VLM's), waarbij AI-systemen visuele informatie negeren, zelfs wanneer ze het juiste antwoord formuleren. Deze zogenaamde 'Visual Insensitivity Gap' zet vraagtekens bij de huidige methoden om de prestaties van multimodale AI te evalueren, aangezien een hoge nauwkeurigheid niet noodzakelijkerwijs betekent dat het model de visuele input daadwerkelijk heeft gebruikt.
In een publicatie van 1 september 2026 analyseert onderzoeker Genpei Zhang waarom de gangbare praktijk om AI-modellen te beoordelen op basis van totale nauwkeurigheid bij benchmarks misleidend kan zijn. De aanname is doorgaans dat een correct antwoord voortvloeit uit de analyse van het beeld, maar de resultaten tonen aan dat dit bij een aanzienlijk deel van de gevallen niet het geval is. Volgens de studie op arxiv.org vertoonden zes verschillende VLM's over drie perceptuele benchmarks heen een gebrek aan visuele gevoeligheid bij 40% tot 97% van de geteste samples.
Om dit vast te stellen, vervaagden de onderzoekers de visuele regio's die relevant waren voor de gestelde vraag. In een optimaal scenario zou dit de output van het model moeten beïnvloeden, maar in de praktijk bleef de distributie van het volgende token vrijwel ongewijzigd. Om dit te kwantificeren, is de 'Visual Sensitivity Index' (VSI) geïntroduceerd. Een opvallende conclusie is dat deze ongevoeligheid vaker een eigenschap is van de specifieke beelden zelf dan van de gebruikte modellen. Verschillende VLM's markeerden namelijk dezelfde beelden als 'ongevoelig', ongeacht hun architecturale verschillen, mits ze een contrastief getrainde vision tower deelden.
Het onderzoek wijst op een specifieke technische kloof tussen de encoder en het taalmodel. Uit de data van blijkt dat de 'vision tower' van de modellen het verschil tussen een schone en een vervaagde afbeelding wel degelijk detecteert, met een nauwkeurigheid tussen 0,72 en 0,79 via een lineaire probe. Desondanks verandert het uiteindelijke antwoord slechts bij 2% tot 11% van deze samples. Dit suggereert dat de visuele informatie wel wordt waargenomen door de encoder, maar vervolgens wordt genegeerd door het Large Language Model (LLM) tijdens het genereren van de tekst.
De diagnostische waarde van de VSI varieert per situatie. Bij multi-choice redeneringen op krachtige VLM's is de index zeer effectief, met een AUROC-waarde tussen 0,85 en 0,87. Echter, bij goed gekalibreerde feitelijkheid is de VSI minder bruikbaar, omdat de softmax-confidentie in die gevallen al een leidende indicator is. De onderzoekers adviseren daarom om de VSI niet als universeel signaal te gebruiken, maar als onderdeel van een conditioneel ensemble.
Terwijl AI-modellen worstelen met de integratie van visuele bewijslast, is het menselijke proces van waarneming fundamenteel anders. Zo beschrijft de clevelandclinic.org visie als een complex proces waarbij de ogen licht detecteren en omzetten in gecodeerde zenuwsignalen. In tegenstelling tot de technische 'gap' bij AI, werken bij mensen de retina, oogzenuwen en de hersenen nauw samen om deze signalen te decoderen en een coherent beeld van de wereld te vormen. Waar AI-modellen soms correcte antwoorden geven zonder de visuele input effectief te gebruiken, is menselijke visie volgens de een integrale samenwerking tussen detectie en interpretatie.