Een team onderzoekers, onder wie Aria Nourbakhsh, heeft geanalyseerd in hoeverre interne kenmerken van grote taalmodellen verantwoordelijk zijn voor onjuiste antwoorden bij meerkeuzevragen. In een studie gepubliceerd op 27 oktober 2026 werd getracht het onderscheid te maken tussen kenmerken die enkel voorspellend zijn voor een fout en kenmerken die een daadwerkelijke causale invloed uitoefenen op de uitkomst.
Om de complexe interne processen van AI-modellen inzichtelijk te maken, maken wetenschappers gebruik van Sparse Autoencoders (SAE's). Deze techniek is bedoeld om ondoorgrondelijke representaties te ontleden in afzonderlijke, begrijpelijke kenmerken. Volgens een publicatie op arxiv.org kunnen deze systemen kenmerken identificeren die gelinkt zijn aan fouten, al bewijst een dergelijke associatie op zichzelf niet dat er sprake is van een oorzakelijk verband. In de context van taalmodellen kan een merriam-webster.com namelijk voortkomen uit diverse interne mechanismen die niet altijd direct herleidbaar zijn tot één enkel kenmerk.
Voor het onderzoek werden Gemma Scope SAE's toegepast op de modellen Gemma 3 1B en 4B. De effectiviteit werd gemeten over acht verschillende datasets. Hierbij keken de onderzoekers naar de zogenaamde 'logit margin', wat het verschil in waarschijnlijkheid is tussen het juiste antwoord en de overige opties. Een cruciaal onderdeel van de methodologie was het verwijderen van 'artefacten'. Dit zijn kenmerken die niet gebaseerd zijn op de inhoud van de vraag, maar op oppervlakkige zaken zoals de volgorde van de antwoorden of de specifieke formulering van de prompt.
Nadat deze vervuilde kenmerken waren weggefilterd, voerden de wetenschappers causale interventies uit. De resultaten toonden aan dat de geselecteerde kenmerken een grotere verschuiving in de logit margin veroorzaakten dan willekeurige kenmerken. Er was bovendien een hoger percentage waarnemingen waarbij een foutief antwoord veranderde in een correct antwoord, wat wijst op een zekere mate van causale hefboomwerking. Desondanks bleken volledige 'answer flips' zeldzaam, zoals beschreven in het .
Daarnaast stelden de onderzoekers vast dat de effectrichtingen niet stabiel bleven wanneer er wijzigingen werden aangebracht in het promptformaat of de volgorde van de opties, mits de betekenis gelijk bleef. Ter vergelijking werd de baseline HalluSAE gebruikt. Hoewel deze baseline grotere veranderingen in de logit margin van het laatste token veroorzaakte, was dit sterk afhankelijk van de eerder genoemde artefacten en leidde het niet tot een significante stijging in de correctiepercentages.
De uiteindelijke conclusie van de studie is dat de geïdentificeerde SAE-kenmerken eerder een reflectie zijn van de competitie tussen verschillende antwoorden binnen een specifieke context, dan dat ze het fundamentele mechanisme van de fout zelf vormen. De kenmerken signaleren dus dat er een strijd gaande is tussen mogelijke antwoorden, maar verklaren niet noodzakelijkerwijs waarom de verkeerde keuze wordt gemaakt. De volledige methodologie en resultaten zijn gedetailleerd uitgewerkt in de op arXiv.