AI-modellen die afbeeldingen bekijken, weten vaak niet wat ze écht zien en wat er kunstmatig in hun 'hoofd' is geplant. Dat blijkt uit onderzoek dat op 6 november 2026 verscheen op arxiv.org.
De studie draait om 'reality monitoring': een begrip uit de cognitieve psychologie dat beschrijft hoe we onderscheid maken tussen wat we van buitenaf waarnemen en wat we intern zelf genereren. Voor AI-modellen is dat onderscheid cruciaal. Een vision-language model (VLM) moet intern gegenereerde inhoud strikt gescheiden houden van de visuele data die het verwerkt. In de praktijk lukt dat dus slecht.
🧠 Even simpel uitgelegd
Stel dat je naar een foto van een strand kijkt, maar iemand fluistert je tegelijkertijd in: 'denk aan een ijsbeer'. Een goed werkende geest weet: de ijsbeer staat niet op de foto, die zat in mijn hoofd. Onderzoekers deden precies dat bij AI: ze plantten een 'gedachte' (een concept) direct in de interne verwerking van het model. De vraag was of het model daarna nog kon zeggen: 'dit zag ik op de foto' en 'dit was een ingeplante gedachte'. Bij de meeste modellen ging die scheiding mis.
Zo werd het getest
De onderzoekers injecteerden een specifiek concept rechtstreeks in de activaties van het model. Eerder onderzoek naar introspectie bij taalmodellen bleef beperkt tot tekst; deze studie breidde dat uit naar multimodale modellen. De getoonde afbeelding en het geïnjecteerde concept werden onafhankelijk van elkaar gevarieerd.
Van elk model vroegen de wetenschappers drie dingen: wat er op de afbeelding stond, of er een 'gedachte' was geïnjecteerd, en wat die gedachte precies inhield. Zo konden ze meten of een model niet alleen het concept herkende, maar ook correct kon aanwijzen waar die informatie vandaan kwam.
Slechts één model slaagde er gedeeltelijk in
Van de zes onderzochte vision-language modellen — bestudeerd door auteurs zoals Tina Khezresmaeilzadeh en Seyedarmin Azizi — was er maar één die geïnjecteerde concepten betrouwbaar kon identificeren. Bij dat model steeg de identificatiegraad naar 35%, tegenover slechts 3% wanneer er alleen sprake was van steering.
Maar zelfs dat succes bleek fragiel. Wanneer de injecties zeer sterk waren of via visuele paden verliepen, rapporteerde het model dat het de informatie daadwerkelijk had 'gezien' — in plaats van het als geïnjecteerde gedachte te labelen. En stond er een zichtbaar object op de afbeelding, dan verdwenen correcte rapportages over geïnjecteerde gedachten bijna volledig.
De fouten sluipen ook in gewone beeldbeschrijvingen
Het probleem blijft niet beperkt tot gespecialiseerde tests. Bij het genereren van gewone beeldonderschriften (captioning) traden dezelfde fouten op. In sommige gevallen verschenen geïnjecteerde objecten in tot wel 87% van de beschrijvingen van echte foto's — terwijl die objecten in werkelijkheid helemaal niet op de afbeelding stonden.
De conclusie van de auteurs is duidelijk: zelfrapportages van multimodale modellen moeten kritisch geëvalueerd worden. Kijk niet alleen naar wát een model beweert te zien, maar controleer vooral welke bron het model aan die informatie toeschrijft.
Het onderzoek is ingediend onder de categorieën Computer Vision and Pattern Recognition en Artificial Intelligence. De volledige details over de methodiek en de prestaties van de zes modellen zijn terug te vinden in de publicatie op arxiv.org.