Wetenschappers hebben een nieuwe methode ontwikkeld om de redeneervaardigheden van grote taalmodellen (LLM's) kritisch te testen. Uit hun bevindingen blijkt dat geavanceerde AI-systemen regelmatig het correcte antwoord genereren tijdens hun interne denkproces, maar vervolgens niet in staat zijn om dit antwoord als definitief te bevestigen. Dit fenomeen wijst op een fundamenteel gebrek aan zelfevaluatie binnen de huidige generatie AI.
De noodzaak voor dit onderzoek ontstond omdat standaard benchmarks voor AI vaak verzadigd raken of beïnvloed worden door data die al in de trainingsset van de modellen voorkomt. Om dit te omzeilen, introduceerden onderzoekers de NazoNazo-benchmark. Deze dataset is gebaseerd op Japanse kinder-raadsels en is specifiek ontworpen om te testen hoe modellen representaties herstructureren en hun eigen denkstappen evalueren. Volgens een publicatie op arxiv.org is deze benchmark volledig open en eenvoudig te vernieuwen, waardoor het risico op contaminatie van trainingsdata wordt beperkt.
Om de prestaties van AI te spiegelen aan menselijke vermogens, werd een referentiegroep van 126 personen getest op een subset van 120 raadsels. De mensen behaalden hierbij een gemiddelde nauwkeurigheid van 52,9%. In vergelijking hiermee scoorden 38 toonaangevende LL's uit de periode 2023-2025 aanzienlijk lager. Modellen die niet specifiek op redeneren zijn gericht, haalden slechts 7,6% nauwkeurigheid, terwijl redeneer-georiënteerde modellen op 17,6% uitkwamen. Deze cijfers, zoals gedetailleerd in het rapport op , tonen een aanzienlijk gat tussen menselijke cognitie en kunstmatige intelligentie.
Het meest opvallende aspect van het onderzoek is de analyse van de zogenaamde 'thought-logs', de interne denkstappen van de modellen. De onderzoekers identificeerden hier een 'verificatiefout'. Dit houdt in dat een model tijdens het redeneren wel het juiste antwoord formuleert, maar dit vervolgens verwerpt of niet herkent als de correcte oplossing. Dit wijst op een 'metacognitieve bottleneck'.
Metacognitie kan in essentie worden omschreven als het vermogen om over het eigen denkproces na te denken. In een analyse van psychologytoday.com wordt uitgelegd hoe dit proces mensen helpt om hun denken te sturen en te corrigeren. Bij AI ontbreekt deze kritische zelfevaluatie echter grotendeels; het model beschikt wel over de benodigde informatie, maar kan de correctheid van de tussenstap niet valideren. Volgens de data van zijn dergelijke verificatiefouten verantwoordelijk voor 5% tot 39% van de foutieve antwoorden bij modellen die bruikbare denklogs produceerden.
Om deze beperking te overwinnen, stellen de onderzoekers voor om de focus van AI-ontwikkeling te verschuiven. In plaats van enkel te optimaliseren voor het genereren van een eindantwoord, zou de nadruk moeten liggen op de betrouwbaarheid van de redenering. Mogelijke oplossingen zijn een betere kalibratie van het zelfvertrouwen van het model, het implementeren van gestructureerde verificatiemechanismen en het creëren van effectievere stopmechanismen tijdens het denkproces.
Het begrijpen van deze cognitieve processen is cruciaal voor zowel mens als machine. Zoals verder wordt toegelicht in een artikel via psychologytoday.com, stelt metacognitie individuen in staat om hun leerstrategieën aan te passen en fouten actiever te corrigeren. Voor AI betekent het dichten van dit gat de stap van patroonherkenning naar werkelijk betrouwbaar redeneren.