Onderzoekers hebben een fundamenteel mechanisme ontdekt dat de leercurve van grote taalmodellen beïnvloedt. De zogenaamde 'Effective Learning Rate' (ELR) blijkt de bepalende factor te zijn voor de dynamiek van het verlies tijdens het pretraining-proces.
In een recent wetenschappelijk rapport, gepubliceerd op 25 augustus 2026, beschrijven Zihan Liu en collega's een fenomeen dat zij 'ELR-collapse' noemen. Volgens de publicatie op arxiv.org wordt de dynamiek van het verlies (loss dynamics) tijdens het trainen van taalmodellen niet enkel bepaald door de leersnelheid (learning rate) of de parameternorm afzonderlijk, maar primair door de verhouding tussen deze twee variabelen. Deze specifieke ratio wordt aangeduid als de effectieve leersnelheid.
Het mechanisme van ELR-collapse
De kern van het onderzoek is de vaststelling dat wanneer de ELR in verschillende trainingsruns gelijk wordt gehouden, de trajecten van het verlies vrijwel identiek verlopen. Dit gebeurt zelfs wanneer de gebruikte leersnelheden en parameternormen aanzienlijk van elkaar verschillen. De onderzoekers stellen in hun dat deze convergentie, of 'collapse', consistent optreedt over diverse architecturen, datasets, modelgroottes en optimizers.
De precisie van deze collapse is opvallend hoog. De gemiddelde foutmarges bij deze samenval liggen doorgaans rond de enkele duizendsten (x 10^-3), wat volgens de auteurs lager is dan de natuurlijke variatie die men ziet tussen verschillende willekeurige startwaarden (seeds) in een representatieve configuratie, zoals beschreven in de .
Determinanten en interventies
Om de precieze oorzaken van dit fenomeen te achterhalen, hebben de onderzoekers systematische ablatiestudies uitgevoerd. Hieruit kwam naar voren dat vooral het ontwerp van de normalisatie en de tijdschaal waarop de leersnelheid en de norm variëren, bepalend zijn voor hoe nauwkeurig de ELR-collapse plaatsvindt.
Daarnaast zijn er gecontroleerde interventies uitgevoerd om de invloed van andere trainingsfactoren te testen. De resultaten tonen aan dat technieken zoals 'weight decay' en 'Hyperball' hun effect op de dynamiek van het verlies hoofdzakelijk uitoefenen via de ELR-schema's die zij induceren. Dit betekent dat deze methoden indirect werken door de effectieve leersnelheid aan te passen, in plaats van via een onafhankelijk mechanisme, aldus de .
Implicaties voor schalingswetten
Een van de meest praktische toepassingen van deze ontdekking is de verbetering van zogenaamde 'functional scaling laws' (FSL). Door de traditionele leersnelheid te vervangen door de effectieve leersnelheid, kunnen deze schalingswetten worden overgedragen tussen verschillende methoden voor normcontrole.
Bovendien biedt de ELR-benadering een verklaring voor 'delayed acceleration', een effect dat regelmatig wordt waargenomen bij het beheersen van de parameternorm. De onderzoekers concluderen in hun dat de ELR fungeert als een gemeenschappelijke coördinaat die de planning van de leersnelheid, de controle over de norm en de uiteindelijke dynamiek van het verlies met elkaar verbindt.
Hoewel andere bronnen, zoals scienceofpeople.com, geen specifieke technische details over dit AI-onderzoek verspreiden, onderstreept de publicatie op het de noodzaak om verder te kijken dan enkel de ingestelde leersnelheid bij het optimaliseren van het pretraining-proces van complexe taalmodellen.