De vermeende vooruitgang in de prestaties van multimodale AI-agenten die gebruikmaken van externe hulpmiddelen is mogelijk overschat. Volgens een recente wetenschappelijke analyse leren deze systemen vaker hoe ze een tool moeten aanroepen als onderdeel van een patroon, in plaats van dat ze de door de tool geleverde data effectief gebruiken om tot een oplossing te komen.
Multimodale AI verwijst naar systemen die in staat zijn om verschillende soorten input, zoals tekst, audio, beelden en video, gelijktijdig te verwerken. Volgens google.com stelt deze technologie modellen in staat om over diverse inputtypes te redeneren, zoals bij het omzetten van een visuele weergave van een object naar een tekstueel recept. De ambitie achter deze ontwikkeling is om AI-systemen te creëren die de menselijke zintuiglijke waarneming benaderen door niet beperkt te zijn tot één enkel type data.
Om de functionele reikwijdte van deze modellen te vergroten, worden ze vaak uitgerust met externe 'tools'. In veel benchmarks wordt het aanroepen van zo'n tool gezien als bewijs dat de AI heeft geleerd hoe hij complexe problemen moet oplossen. Echter, een onderzoek gepubliceerd op arxiv.org op 27 augustus 2026 stelt dat deze interpretatie voortijdig is. De auteurs, waaronder Jiawei Guo, beargumenteren dat een zogenaamde 'tool-call trace' niet noodzakelijkerwijs aantoont dat de tool de cruciale informatie heeft verschaft die nodig was voor het juiste antwoord.
Voor deze studie werden twee specifieke agenten met visuele redeneercapaciteiten onderzocht: Thyme en DeepEyesV2. De onderzoekers testten deze systemen op diverse vlakken, waaronder optische tekenherkenning (OCR), het interpreteren van diagrammen en grafieken, wiskundige redenering en algemene scenario's uit de echte wereld. De resultaten waren onthullend: de toegang tot externe tools leidde niet tot een consistente verbetering van de algemene prestaties, noch zorgde het voor een betrouwbare daling in de kosten wat betreft het aantal gegenereerde tokens.
Het meest opvallende resultaat is dat een zeer groot deel van de problemen die met behulp van tools werden opgelost, ook zonder deze hulpmiddelen konden worden beantwoord. Bij DeepEyesV2 was dit het geval voor 93% van de problemen, en bij Thyme voor maar liefst 96%. Dit wijst erop dat de agenten vooral het format van de tool-aanroep hebben overgenomen, zonder dat de tool zelf nieuwe mogelijkheden ontsloot.
Deze technologie is onderdeel van een bredere trend binnen machine learning en deep learning. Zo beschrijft ibcom hoe transformer-modellen en aandachtmechanismen een centrale rol spelen bij het verwerken van deze complexe, diverse datastromen. Ondanks deze technologische basis concludeert de studie op dat toekomstige evaluatiemethoden kritischer moeten kijken naar het verschil tussen de beschikbaarheid van een tool en de werkelijke bijdrage daarvan aan het probleemoplossend vermogen. Zonder dit onderscheid blijft het onduidelijk of prestatiewinst in benchmarks voortkomt uit werkelijke intelligentie of uit het simpelweg volgen van een voorgeschreven procedure.