Wetenschappers hebben een nieuw theoretisch kader ontwikkeld dat verklaart waarom neurale netwerken vaak efficiënter trainen wanneer de stapgrootte van het optimalisatieproces de klassieke stabiliteitsgrenzen overschrijdt.
In de praktijk van machine learning worden neurale netwerken vaak getraind met behulp van gradient descent (GD). Hierbij wordt een stapgrootte gehanteerd die volgens de traditionele convergentietheorie te groot zou zijn, wat normaal gesproken zou leiden tot instabiliteit. Toch blijkt dit regime in de praktijk vaak te resulteren in een snellere convergentie en een betere generalisatie van het model. Een recent onderzoek, gepubliceerd op 12 november 2026, probeert deze paradoxale dynamiek te verenigen.
De paradox van grote stapgrootten
Volgens een publicatie op arxiv.org vertonen neurale netwerken bij het gebruik van grote stapgrootten vaak een niet-monotoon verlies en oscillerende dynamiek. Ondanks deze schommelingen bewegen de modellen zich toch naar een optimaal punt. Tot nu toe waren er drie dominante, maar onvolledige perspectieven op dit fenomeen:
1. Een mechanisme van zelfstabilisatie dat GD naar vlakkere regio's drijft, maar geen concrete convergentiesnelheden biedt.
2. Rigoureuze convergentiesnelheden voor specifieke verliesfuncties, zonder uitleg over het stabilisatieproces.
3. Een verenigd geometrisch perspectief voor overgeparameteriseerde kleinste-kwadratenmethoden, dat echter niet van toepassing is op classificatieproblemen omdat daar een 'minimizer manifold' ontbreekt.
Doorbraak in classificatie-optimalisatie
De onderzoekers, waaronder Salma Tarmoun en René Vidal, hebben dit geometrische perspectief uitgebreid naar zogenaamde exponential-tail losses. Dit omvat veelgebruikte methoden zoals logistieke en cross-entropy verliezen bij separable lineaire classificatie. In deze specifieke scenario's wordt het minimum van het verlies nooit bereikt bij een eindige parameterwaarde, wat theoretische analyse bemoeilijkt.
In het onderzoek op introduceren de auteurs een referentie-subruimte, gedefinieerd door kromming, die de rol van de ontbrekende minimizer manifold overneemt. Dit resulteert in een gekoppeld dynamisch systeem. Hierbij worden orthogonale oscillaties gedempt door de vooruitgang in richtingen waar de scherpte van het landschap afneemt.
Impact op classificatiemodellen
Classificatie is een fundamentele techniek binnen supervised machine learning waarbij inputdata wordt toegewezen aan vooraf gedefinieerde categorieën op basis van geleerde patronen. Zoals beschreven door geeksforgeeks.org, varieert dit van binaire classificatie (zoals het onderscheid tussen spam en geen spam) tot multiclass classificatie, waarbij data over meerdere categorieën wordt verdeeld.
Het nieuwe onderzoek biedt cruciale inzichten in hoe deze modellen convergeren. Voor logistieke en multiclass cross-entropy verliezen op symmetrische datamodellen zijn expliciete grenzen afgeleid voor de iteraties. Het onderzoek onthult een driefasige dempingsstructuur in het stabiele regime.
Impliciete bias en max-margin richtingen
Een opvallende bevinding in de studie op is de ontdekking van een tijdelijke 'impliciete bias' die wordt veroorzaakt door de grote stapgrootten. Hoewel gradient descent asymptotisch gezien convergeert naar de zogenaamde max-margin richting, kunnen grote stappen leiden tot aanhoudende orthogonale residuen. In bepaalde geometrieën kunnen deze residuen zelfs worden versterkt, wat de snelheid waarmee het model zich uitlijnt met de max-margin richting beïnvloedt.
Deze theoretische vooruitgang helpt ontwikkelaars om beter te begrijpen waarom het negeren van klassieke stabiliteitsgrenzen bij het trainen van classificatiemodellen — die volgens essentieel zijn voor het voorspellen van labels uit inputdata — vaak leidt tot superieure resultaten.