Een nieuw wetenschappelijk onderzoek onderzoekt of Transformer-modellen in staat zijn tot Bayesiaanse modelselectie, waarbij het model niet alleen data filtert maar ook de correcte hypotheseklasse identificeert.
In een recent gepubliceerd onderzoek getiteld "Bayesian Wind Tunnels for Model Selection" hebben onderzoekers Siddhartha R. Dalal, Vishal Misra en Abhay Parekh geëxperimenteerd met de cognitieve capaciteiten van kunstmatige neurale netwerken. Waar eerdere studies al hadden aangetoond dat Transformers exact Bayesiaans filteren kunnen uitvoeren binnen een vooraf vastgestelde hypotheseklasse, stelden de auteurs zich de vraag of deze modellen ook in staat zijn om de juiste klasse zelf te selecteren op basis van beschikbare data.
De 'Bayesian Wind Tunnel' methode
Om dit te testen, introduceerden de onderzoekers zogenaamde "model-selection Bayesian wind tunnels". Dit zijn gecontroleerde virtuele omgevingen waarin de theoretisch optimale antwoorden (de ground-truth posteriors) over verschillende hypotheseklassen in een gesloten vorm beschikbaar zijn. Hierdoor kunnen de prestaties van een AI-model direct worden vergeleken met het wiskundige optimum.
Een centraal onderdeel van het experiment was het gebruik van "fixed-point-free involutions". Dit zijn relaties waarbij de eigenschap $f(f(x))=x$ geldt. Volgens de publicatie op arxiv.org slaagde een Transformer met 2,8 miljoen parameters erin om een extreem nauwkeurige overeenstemming te bereiken met het Bayesiaanse optimum, met een entropie-verschil van slechts 0,01 bit. Dit resultaat werd behaald met zowel standaard integer-tokens als met "opaque symbols" (ondoorzichtige symbolen) waarvan de betekenis per episode veranderde.
Modelselectie versus eenvoud-bias
Een cruciaal aspect van het onderzoek was het vaststellen of de modellen daadwerkelijk een selectie maken op basis van de data, of dat ze simpelweg neigen naar de eenvoudigste verklaring (simplicity bias) of een subset-voorkeur hebben. Om dit te testen, voerden de onderzoekers vergelijkingen uit tussen niet-geneste klassen, specifiek tussen involuties en 3-cycli.
De resultaten, zoals beschreven in de , tonen aan dat de Mean Absolute Error (MAE) van de klasse-posterior onder de 0,001 bleef. Dit bewijst dat het model in staat is tot echte modelselectie, onafhankelijk van de complexiteit of de hiërarchische structuur van de klassen.
De grens van symbolische representatie
Het onderzoek identificeerde echter ook een scherpe grens in de waarneming van de modellen. Wanneer de selectie van het juiste model rekenkundige handelingen vereist — zoals modulaire optelling bij rotaties of vermenigvuldiging — treedt er een significant verschil op in prestaties.
Volgens de slaagt de modelselectie in deze gevallen wel wanneer er gebruik wordt gemaakt van integer-tokens, maar faalt het volledig bij het gebruik van ondoorzichtige symbolen. Opvallend is dat dit probleem niet wordt opgelost door het model simpelweg groter te maken; het opschalen van het model van 2,8 miljoen naar 316 miljoen parameters (een factor 112) leidde niet tot een verbetering van dit specifieke tekort.
De onderzoekers stelden vast dat stabiele semantiek essentieel is voor de compilatie van circuits in het model. Dit werd bevestigd door een controle-experiment waarbij ondoorzichtige tokens met een vaste herbenoeming wel succesvol waren, met een MAE van 0,009.
Vergelijking met Frontier LLM's
Naast de kleinere Transformers testten de onderzoekers ook grotere, moderne taalmodellen (Frontier LLM's). Hoewel deze modellen kwalitatief Bayesiaans gedrag vertoonden, was er sprake van een aanzienlijke "kalibratiekloof". De metingen, uitgevoerd via zogenaamde lossy probes, lieten een verschil zien van ongeveer 55 keer ten opzichte van het optimum. Hierdoor is het gedrag van deze grote modellen weliswaar in de juiste richting, maar niet exact.
Het volledige onderzoek, dat 27 pagina's beslaat en is ingediend op 1 juli 2026, biedt volgens de nieuwe inzichten in hoe neurale netwerken abstracte logische structuren en wiskundige relaties verwerken.