AI-modellen die beelden kunnen beschrijven, lijken slim. Maar kunnen ze ook écht redeneren over wat ze zien? Een nieuw onderzoek, gepubliceerd op arxiv.org, zegt: nee. De studie, uitgevoerd in de Turkse taal door onderzoekers waaronder Berke Bunyamin Sule en Yavuz Selim Aygan, laat zien dat multimodale AI-modellen vastlopen bij precies de taken die menselijk inzicht vereisen: abstracte logica, relationeel redeneren en het herkennen van patronen.
🧠 Even simpel uitgelegd
Multimodale AI is AI die niet alleen tekst begrijpt, maar ook afbeeldingen, audio of video. Denk aan een chatbot die een foto kan beschrijven. Zo'n systeem heet een Vision-Language Model (VLM). Het probleem: die modellen zijn goed in het herkennen van wat er op een afbeelding staat, maar niet in het doorgronden van de regels erachter. Het is het verschil tussen een foto van een schaakbord kunnen beschrijven en een goede zet kunnen voorspellen.
Zien is niet hetzelfde als denken
De onderzoekers vonden een opvallende kloof tussen visuele waarneming en visueel redeneren. De modellen konden beelden prima beschrijven, maar hadden moeite met hoogwaardige cognitieve taken zoals het ontdekken van onderliggende regels in een visueel probleem.
Het grootste probleem? De redenering zelf. De studie stelt dat modellen vaak geen consistente redeneringsketen kunnen opbouwen en geen stabiele tussenstappen behouden tijdens het oplossingsproces. Ze kiezen soms wél het juiste antwoord — maar dan puur op geluk, niet via logische tussenstappen.
Hoe maten de onderzoekers dit?
Het team gebruikte een meertalig evaluatiekader met verschillende datasets:
- BİLSEM
- MM-IQ
- Visual Puzzles
- PuzzleVQA
Een correct eindantwoord bleek dus niet te garanderen dat de redenering erachter klopte. Om dat te toetsen, gebruikten de auteurs een 'LLM-as-a-Judge'-benadering: een ander taalmodel beoordeelde de kwaliteit van de redenering, in plaats van alleen naar het eindresultaat te kijken.
Fine-tuning maakt het soms slechter
Verrassend genoeg waren de resultaten van supervised fine-tuning (SFT) — het extra trainen van modellen op specifieke data — tegenstrijdig. Baseline-modellen vertoonden vaak een stabieler redeneervermogen dan de modellen die specifiek waren gefinetuned.
De onderzoekers waarschuwen bovendien voor 'model collapse' als gevolg van SFT. Dat uit zich in ernstige fouten: modellen die in oneindige tekstlussen terechtkomen of volledig lege outputs genereren. Volgens de publicatie bevestigt dit dat huidige VLM's nog steeds aanzienlijke moeite hebben met abstract visueel redeneren.
Waarom dit belangrijk is
De verschuiving naar multimodaliteit is een centrale trend in de AI-sector. Waar vroege versies van populaire tools zoals ChatGPT puur tekstueel waren, verwerken nieuwere iteraties zoals GPT-4o diverse inputs gelijktijdig. Volgens ibm.com helpt die integratie van verschillende datatypes om ambiguïteiten te verminderen en de robuustheid van het systeem te verhogen — vooral wanneer één databron onbetrouwbaar is.
Maar de Turkse studie laat zien dat technische robuustheid niet automatisch leidt tot cognitieve intelligentie. Een landschap beschrijven of een afbeelding genereren is iets anders dan een visuele puzzel oplossen die logisch inzicht vereist. De conclusie van de onderzoekers is helder: de stap van 'zien' naar 'denken' blijft voor multimodale modellen een grote uitdaging.