Wetenschappers hebben ontdekt dat bepaalde taalmodellen in staat zijn om de kwaliteit van hun eigen lopende berekeningen te 'lezen', hoewel deze informatie nog niet effectief kan worden ingezet om de uiteindelijke prestaties te verbeteren.
In een recent gepubliceerd onderzoek, getiteld Operational Proto-Introspection in Looped Language Models, is onderzocht of een taalmodel kan inschatten of een lopend proces succesvol zal zijn en of externe interventies deze inzichten kunnen omzetten in betere resultaten. Het onderzoek richtte zich specifiek op Ouro-RLTT, een bevroren transformer-model met 2,6 miljard parameters dat gebruikmaakt van een terugkerende (looped) architectuur.
Voorspellen van succes via verborgen toestanden
De onderzoekers testten het model op de GSM8K-dataset, een verzameling wiskundige vraagstukken. Hierbij werd een 'pre-answer probe' ingezet die de antwoordregio en de correcte waarden uitsluit, maar toch probeert te voorspellen of het model uiteindelijk tot het juiste antwoord zal komen.
Volgens de publicatie op arxiv.org bleek dat de combinatie van verborgen toestanden (hidden states) met shortcuts zoals lengte en log-waarschijnlijkheid een AUROC-score van 0,797 behaalde. Ter vergelijking: wanneer enkel de shortcuts werden gebruikt, lag deze score op 0,731. Dit wijst erop dat de interne toestanden van het model extra informatie bevatten over de waarschijnlijkheid van succes.
De rol van recurrentie en cache
Een centraal onderdeel van het onderzoek was het analyseren van de 192-slot recurrent cache van het Ouro-model. De onderzoekers ontwikkelden een mechanisme voor het vertakken, dragen en snoeien van berekeningen. Door gebruik te maken van een specifieke 'residual-capture splice' konden zij tot 88% van de laagdoorlopen per tak besparen door enkel de beïnvloede suffixen opnieuw te berekenen.
Interessant is dat de onderzoekers ook een niet-terugkerend controlemodel testten. Uit de resultaten op blijkt dat ook dit model een readout van de kwaliteit van kandidaten kon produceren. Dit suggereert dat recurrentie — het proces waarbij informatie in lussen terugvloeit — niet noodzakelijk is voor elk type kwaliteitsignaal.
De grens tussen lezen en controleren
Ondanks het feit dat de onderzoekers in staat waren om de kwaliteit van de berekeningen af te lezen, bleek het onmogelijk om deze informatie te gebruiken om het model daadwerkelijk beter te laten presteren. Diverse interventies, waaronder directionele sturing en het gebruik van bounded LoRA (Low-Rank Adaptation), leverden geen gevalideerde winst in capaciteit op.
De auteurs beschrijven dit fenomeen als "operationele proto-introspectie". Dit houdt in dat de informatie over de kwaliteit van het proces weliswaar leesbaar is voor externe waarnemers via de verborgen trajecten van het model, maar dat het model zelf deze informatie niet raadpleegt of kan gebruiken om zijn eigen output te corrigeren. In de analyse op wordt expliciet vermeld dat de interventies faalden om de readouts om te zetten in een meetbare verbetering van de vaardigheden.
Beperkingen en conclusies
Het onderzoek erkent enkele beperkingen. Zo is het resultaat van de pre-answer probe beperkt tot één specifiek domein. Daarnaast bleek een audit naar 'span-misalignment' geen eenvoudige verklaring te bieden voor het gebrek aan verbetering na interventie.
Het project is onderdeel van een serie van twee papers, waarbij de methodologie in een apart document is behandeld. De volledige details over de 170 taken en 680 kandidaten die in het onderzoek zijn gebruikt, zijn terug te vinden in de volledige documentatie op . De bevindingen onderstrepen de complexe kloof tussen het kunnen detecteren van fouten in de interne representatie van een AI en het daadwerkelijk kunnen sturen van dat proces naar een correct resultaat.
Voor meer technische details over de implementatie van de recurrent cache en de specifieke AUROC-metingen kan men de volledige publicatie raadplegen via .