Onderzoekers hebben Ori ontwikkeld, een nieuwe optimizer die het trainen van grote taalmodellen (LLM's) efficiënter maakt door gebruik te maken van een innovatieve methode om gradiënt-subruimtes te volgen.
In een recent onderzoek, gepubliceerd op 16 oktober 2026, presenteren Xinyu Luo en een team van zeven andere auteurs een nieuwe benadering voor het trainen van LLM's met een zeer lage rang. De methode, genaamd Ori, richt zich op het optimaliseren van het proces waarbij gradiënten worden geprojecteerd in een laagdimensionale subruimte, een techniek die eerder is gepionierd door GaLore.
De uitdaging van gradiënt-drift
Bij het trainen van grote taalmodellen maken veel moderne optimizers gebruik van gradiënt-subruimteprojectie. Hierbij wordt de gradiënt in elke stap geprojecteerd naar een kleinere ruimte, waarna de update wordt teruggekoppeld naar het volledige model. Volgens de publicatie op arxiv.org kampen bestaande methoden echter met een probleem: de subruimte van de gradiënten verschuift, of 'drift', naarmate de training vordert.
Huidige oplossingen proberen dit op te lossen door de subruimte op vaste intervallen opnieuw te berekenen of door achteraf aanpassingen te doen om de verschuiving in te halen. De makers van Ori hebben echter vastgesteld dat deze drift in de praktijk op een trage en stabiele manier verloopt.
De werking van Ori
Om deze stabiele verschuiving op te vangen, maakt Ori gebruik van een streaming $k$-PCA-algoritme. Dit algoritme is geïnspireerd door Oja++, een methode die het mogelijk maakt om de belangrijkste richtingen van de gradiënten in real-time en met lage kosten per stap te volgen. Door deze 'on-the-fly' tracking kan Ori de verschuivende principal gradient directions nauwkeuriger vastleggen dan eerdere optimizers.
Deze aanpak stelt het systeem in staat om zelfs onder zeer strikte beperkingen van lage rang toch een hoge nauwkeurigheid te behouden. In de praktijk leidt dit tot een aanzienlijke verbetering van de efficiëntie en prestaties van gradiënt-projecterende optimizers.
Resultaten en prestaties
De effectiviteit van Ori is getest in verschillende scenario's. Bij een pretrainingstaak met een 1B LLaMA-model slaagde Ori erin om de prestatiekloof tussen state-of-the-art low-rank optimizers en full-rank optimizers met wel 69,3% te verkleinen. Dit betekent dat training met een lage rang veel dichter bij de resultaten van volledige training komt, terwijl de rekenkracht en het geheugengebruik beperkt blijven.
Daarnaast werd de methode getest bij het fine-tunen van Roberta-Base. Hier behaalde Ori de beste prestaties in 10 van de 16 onderzochte taakscenario's. Volgens de auteurs van het duwt deze ontwikkeling de grenzen van zowel prestaties als efficiëntie voor LLM-training verder op.
Context en beschikbaarheid
De volledige details van het onderzoek en de technische implementatie zijn beschikbaar via de . De onderzoekers hebben aangegeven dat de code voor Ori beschikbaar is gesteld, waardoor andere ontwikkelaars en wetenschappers de resultaten kunnen verifiëren en toepassen in hun eigen trainingsprocessen.
Hoewel de term 'drift' in deze context verwijst naar de wiskundige verschuiving van gradiënten in machine learning, is dit een strikt technisch concept. Het staat volledig los van andere vormen van 'drift', zoals die in recreatieve simulaties of games zoals crazygames.com, waarbij het gaat om het besturen van voertuigen over gladde oppervlakken. De focus van Ori ligt puur op het optimaliseren van de computationele efficiëntie van kunstmatige intelligentie.