Onderzoekers van KAIST AI hebben een nieuwe theorie geïntroduceerd die verklaart hoe grote taalmodellen (LLM's) informatie opslaan en aanpassen. De zogenaamde 'lifted representation hypothesis' suggereert dat modellen niet werken met losse feiten, maar met gedeelde abstracte structuren.
In een recent wetenschappelijk artikel, dat werd gepresenteerd tijdens de ICML 2026 Workshop 'Philosophy Meets Machine Learning', analyseren onderzoekers Bumjin Park en Jaesik Choi de manier waarop taalmodellen queries beantwoorden. Volgens de publicatie op arxiv.org koppelen LLM's individuele waarnemingen vaak aan algemenere, regelachtige structuren. De kernvraag van het onderzoek is hoe deze structuren precies worden opgeslagen, geselecteerd en later herzien wanneer er nieuwe informatie beschikbaar komt.
Lifting en shattering
De onderzoekers introduceren twee centrale concepten: lifting en shattering. De 'lifted representation hypothesis' stelt dat LLM's hun geheugen bijwerken via gedeelde latente structuren in plaats van via geïsoleerde feiten op instantieniveau.
Lifting wordt in dit kader beschreven als een efficiënte manier om symmetrie tussen verschillende voorbeelden te benutten. Wanneer een model een algemene regel herkent die voor meerdere gevallen geldt, 'lift' het deze informatie naar een hoger abstractieniveau. Shattering is het tegenovergestelde proces: het is de verfijning van deze grove, algemene structuren naar specifiekere subtypen. Dit gebeurt wanneer het model leert dat er uitzonderingen zijn op de algemene regel.
Om deze processen te testen, voerden de auteurs gecontroleerde experimenten uit met 'exception-learning'. Hierbij werd gekeken naar verschillende trainingsmethoden, waaronder in-context learning, Low-Rank Adaptation (LoRA) en volledige fine-tuning.
Kwetsbaarheden in regelverwerking
De resultaten van het onderzoek tonen aan dat taalmodellen moeite hebben met complexe hiërarchieën van regels. Volgens de zijn LLM's kwetsbaar voor zogenaamde 'shattering failures'. Dit treedt vooral op wanneer de data worden beheerst door geneste regels en uitzonderingen; het model slaagt er dan niet in om de algemene regel correct te splitsen in specifiekere subcategorieën. Daarnaast merkten de onderzoekers op dat lifting vaak voortijdig gebeurt, wat betekent dat het model te snel een algemene regel concludeert terwijl de data dat wellicht nog niet rechtvaardigen.
Bredere context van representatie-hypotheses
Deze nieuwe hypothese sluit aan bij een bredere trend in de AI-wetenschap om de interne geometrie van taalmodellen te begrijpen. Zo is er eerder onderzoek gedaan naar de 'linear representation hypothesis'. In een publicatie via neurips.cc wordt gesteld dat concepten op hoog niveau lineair worden gerepresenteerd als richtingen in een representatieruimte. Dit stelt onderzoekers in staat om modelgedrag te controleren door interventies te plegen op deze specifieke richtingen.
Verder is deze lineaire benadering uitgebreid in een studie naar de geometrie van LLM's, waarbij gebruik werd gemaakt van contrafeitelijke paren om te bewijzen dat concepten in modellen zoals LLaMA-2 inderdaad lineair kunnen worden vastgelegd, zoals beschreven in een ander arxiv.org.
Implementatie en verdere studie
De theoretische kaders voor dergelijke representaties worden vaak ondersteund door open-source implementaties. Zo zijn er op github.com repositories te vinden die zich richten op de 'frame representation hypothesis', wat aantoont dat de wetenschappelijke gemeenschap actief zoekt naar verschillende structurele modellen om de cognitieve processen van AI te simuleren.
De conclusie van Park en Choi is dat er een dringende noodzaak is om de relatie tussen de structuur van data en de interne regelstructuren van LLM's verder te bestuderen. Het begrijpen van waarom modellen falen bij het verwerken van uitzonderingen is cruciaal voor het ontwikkelen van betrouwbaardere en nauwkeurigere kunstmatige intelligentie.