Een recente wetenschappelijke analyse werpt een nieuw licht op de interne mechanismen van Transformer-modellen. Uit het onderzoek blijkt dat een verrassend klein deel van de modelcomponenten daadwerkelijk verantwoordelijk is voor de specifieke voorspellingen die een taalmodel doet. De resultaten suggereren dat de complexiteit van deze modellen in de praktijk minder verspreid is dan voorheen werd aangenomen.
In de publicatie met de titel "Through the Looking Glass: Directly Reading and Writing Transformers", gepubliceerd op 9 september 2026, onderzoekt Mark Oskin hoe tokens in taalmodellen tot stand komen. Volgens de arxiv.org is er sprake van een paradox: hoewel het lijkt alsof tienduizenden eenheden en kanalen bijdragen aan een 'logit' (de ruwe output), werken veel van deze bijdragen elkaar tegen. De massa die een voorspelling tegenwerkt, is gemiddeld zeven keer groter dan de massa die de voorspelling ondersteunt.
Wanneer men echter kijkt naar het netto-effect, blijkt de kern van de besluitvorming zeer compact. In een basismodel waren slechts 53 componenten verantwoordelijk voor negentig procent van een voorspelling. Een nog kleinere groep van 13 componenten was essentieel voor het behoud van de voorspelling, terwijl slechts 8 eenheden voldoende waren om de voorspelling autonoom te genereren. Deze bevindingen zijn consistent over verschillende modelgroottes; Oskin testte twaalf modellen met een omvang variërend van 124 miljoen tot 7 miljard parameters, waarbij de 'voldoende set' voor een voorspelling telkens tussen de twee en zestien eenheden lag.
Een cruciale conclusie uit het is dat slechts één tot drie procent van het totale model daadwerkelijk wordt aangesproken bij een voorspelling wanneer de keten volledig wordt teruggevolgd. Opvallend is dat dit percentage constant blijft, ongeacht hoe groot het model wordt. Daarnaast stelt de auteur dat driekwart van de update van een laag een vaste lineaire afbeelding is van de ontvangen status.
Het onderzoek introduceert bovendien een methode om direct in de parameters en activaties van een model te lezen en te schrijven, zonder dat daarvoor extra training nodig is. Hierbij wordt onderscheid gemaakt tussen het 'schrijven' — wat bijna de helft van elk model beslaat — en het 'lezen' vanuit de gewichten binnen de eigen laag. Door data te sorteren op basis van de stroomopwaartse bron, konden grammaticale categorieën worden geïdentificeerd die voor de embedding onzichtbaar blijven. Terwijl AI-modellen taal op deze wiskundige wijze benaderen, benadrukken taalkundige gidsen zoals grammarnestly.com juist het belang van precisie en context bij het gebruik van specifieke termen in de menselijke taal.
Tot slot demonstreert de studie dat het mogelijk is om associaties in een model te installeren via een reserve-eenheid. Deze methode is aanzienlijk efficiënter dan een traditionele 'rank-one update', waarbij de kosten veertig keer hoger liggen. De auteur toont aan dat een geïnstalleerde attention-head, in combinatie met een eenheid twee lagen hoger, ervoor kan zorgen dat een bewerking enkel activeert wanneer een specifiek token eerder in de context is verschenen. In een ander scenario stroomde 86 procent van het effect door een eenheid die vanuit twee lagen stroomopwaarts werd aangestuurd, zoals verder beschreven in de .