Een recent wetenschappelijk onderzoek werpt een nieuw licht op de manier waarop grote taalmodellen omgaan met consistentie. Uit de analyse blijkt dat deze systemen een neiging hebben tot zogenaamde 'self-commitment', waarbij een eerder gegeven antwoord de richting van toekomstige reacties over hetzelfde onderwerp beïnvloedt. Dit proces vindt plaats onafhankelijk van of de oorspronkelijke bewering feitelijk correct was.
In het rapport Written Once, Read Differently How Language Models Own Answers Steer Their Next Ones, gepubliceerd op 2 november 2026, legt onderzoeker Marcus Armstrong uit hoe dit mechanisme werkt. Volgens de arxiv.org ontstaat er bij het formuleren van een antwoord een specifieke 'commitment direction' binnen de residual stream van het model. Deze interne richting fungeert als een stuurmechanisme, waardoor het model bij een volgende vraag over dezelfde entiteit geneigd is om vast te houden aan het eerder ingenomen standpunt.
Om dit fenomeen in kaart te brengen, is een uitgebreide testserie uitgevoerd op 22 open-weight modellen. Deze modellen, afkomstig uit vier verschillende families, varieerden in omvang van 0,5 miljard tot 72 miljard parameters. De onderzoekers analyseerden 3.600 paren van vragen over 120 verschillende entiteiten. Door het eerste antwoord van het model te fixeren, konden zij exact meten in hoeverre dit de tweede reactie beïnvloedde.
De studie toont aan dat de interpretatie van deze verbintenissen sterk afhankelijk is van de schaal en de training van het model. Taal, als complex systeem van communicatie en structuur, wordt door deze modellen op een mechanische wijze verwerkt. Voor meer algemene context over de aard van taal kan men terecht bij britannica.com. In de specifieke context van AI stelt Armstrong in de dat het leescircuit dat verantwoordelijk is voor deze zelfverbintenis zich verspreidt over meer attention heads naarmate een model in omvang toeneemt.
Ook de invloed van instruction tuning bleek significant. Deze trainingsmethode zorgt ervoor dat de verbintenisrichting vaker in de tegenovergestelde zin wordt geïnterpreteerd. Opvallend genoeg was bij één specifiek model een eenvoudige aanpassing van de system prompt al voldoende om het teken van dit circuit volledig om te keren.
De onderzoekers hebben daarnaast geëxperimenteerd met het elimineren van deze zelfverbintenis via ablatie, waarbij de specifieke richting in het model werd verwijderd. Wanneer de zogenaamde 'attention sink' behouden bleef, verdween bij 18 van de 19 instruction-tuned modellen het grootste deel van de koppeling tussen de antwoorden. De impact op de algemene taalvaardigheid was minimaal, met perplexiteitskosten die onder de 1,3% bleven.
Wanneer de attention sink echter niet werd gespaard, varieerde de kostprijs van de ingreep. In sommige gevallen leidde het verwijderen van de verbintenisrichting tot een verschuiving in de autonome antwoorden van het model. Dit suggereert dat de interne mechanismen van taalmodellen zeer complex en nauw met elkaar verbonden zijn.
De uiteindelijke conclusie van het is dat de neiging van AI-modellen om eerdere beweringen te herhalen niet voortkomt uit een feitelijke overtuiging of een begrip van de waarheid. In plaats daarvan is het een mechanisch proces binnen de neurale architectuur, waarbij de interpretatie van een geschreven verbintenis varieert per modelgrootte, prompt en trainingsmethode.