AI-modellen doen meer dan alleen menselijke instructies kopiëren. Nieuw onderzoek laat zien dat een transformer-model tijdens de training zelfstandig een sneller rekenalgoritme ontdekt dan de methode waarmee het oorspronkelijk werd getraind. De sleutel? Chain-of-thought-redenering: het model genereert tussenstappen en verfijnt die stap voor stap tot het een complex resultaat bereikt.
Van imitatie naar innovatie
Het onderzoek van Yuxuan Cai en Yuan Cao geeft chain-of-thought (CoT) een theoretische onderbouwing. De wetenschappers bouwden voort op eerder werk van Huang et al. uit 2025. Daarin werden transformers gezien als uitvoerders van algoritmen: wanneer de CoT-stappen werden begeleid door een 'leraar' die gradient descent (gradiëntafdaling) gebruikte, leerde het model die methode toepassen voor het voorspellen van gewichten in lineaire regressie.
De nieuwe studie, gepubliceerd op arxiv.org, stelde een scherpere vraag: kan CoT-redenering verder gaan dan de leraar simpelweg kopiëren? De onderzoekers testten dit opnieuw met de taak van in-context gewichtsvoorspelling.
Zelf de Heavy-Ball-methode ontdekt
Het experiment startte met initiële supervisie van een leraar die gradient descent gebruikte. Daarna voegden de onderzoekers iets nieuws toe: trajectory-level supervisie op basis van de werkelijke regressiegewichten.
Het gevolg was opvallend. Het model implementeerde de zogenaamde 'Heavy-Ball'-methode — een versnelde variant van gradiëntafdaling die in theorie sneller convergeert naar een oplossing. En dat is de kern van de doorbraak: het model vond die versnelling volledig zelfstandig. Er was geen leraar in het spel die de Heavy-Ball-methode kende of gebruikte.
Wat dit betekent voor machine learning
Het onderzoek levert een concreet theoretisch voorbeeld van hoe transformer-redenering nieuwe algoritmen kan ontdekken tijdens de trainingsfase. AI-modellen blijken daarmee geen passieve imitators van menselijke of algoritmische voorbeelden, maar kunnen optimalisaties vinden die de oorspronkelijke trainingsdata overstijgen.
Het volledige document beslaat 110 pagina's en bevat drie figuren. Het is ingediend op 22 oktober 2026 en valt onder de categorieën Machine Learning en statistiek.
Transformers: wetenschap versus filmfranchise
De term 'Transformers' verwijst in de technologie naar de architectuur van neurale netwerken die de basis vormt voor moderne taalmodellen. In de populaire cultuur staat de naam echter vooral bekend van de filmreeks. transformers.tv documenteert de geschiedenis van die films over de strijd tussen Autobots en Decepticons, van de animatieklassieker uit 1986 tot recentere producties.
Tussen de filmfranchise en de wiskundige ontdekking van Cai en Cao bestaat geen inhoudelijke link — alleen de naam. Maar de wetenschappelijke vondst zelf is wel degelijk groot: een belangrijke stap in het begrijpen hoe kunstmatige intelligentie autonoom leert om complexe wiskundige problemen efficiënter op te lossen.
🧠 Even simpel uitgelegd
Stel dat je een bal een heuvel op moet rollen en zo snel mogelijk bovenaan wilt zijn. Gradient descent is de standaardmanier: je neemt telkens een stap in de richting die het meeste vooruitgang biedt. De Heavy-Ball-methode doet het slimmer: de bal krijgt 'slingerkracht' mee, waardoor hij sneller boven komt. In dit onderzoek kreeg een AI-model eerst les in de trage methode, maar ontdekte tijdens het oefenen — door telkens tussenstappen te schrijven (chain-of-thought) — helemaal zelf de snellere variant. Niemand heeft het hem verteld; het model vond de truc zelf uit.