⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuwe SCALAR-methode reduceert parameters voor AI-fine-tuning drastisch

Nieuwe SCALAR-methode reduceert parameters voor AI-fine-tuning drastisch

Een team van onderzoekers, onder wie Ziqing Wen, heeft een innovatieve methode ontwikkeld om grote taalmodellen efficiënter aan te passen aan specifieke taken. De techniek, die bekend staat onder de naam SCALAR, richt zich op het minimaliseren van de trainingskosten en het geheugengebruik, terwijl de kwaliteit van de adaptatie behouden blijft.

Volgens een wetenschappelijke publicatie op arxiv.org biedt SCALAR een alternatief voor de veelgebruikte LoRA-methode. Hoewel de prestaties vergelijkbaar zijn, werkt SCALAR met aanzienlijk minder parameters die tijdens het trainen moeten worden aangepast. Dit resulteert in een lagere piekbelasting van het systeemgeheugen, wat vooral gunstig is bij het werken met beperkte hardwarebronnen.

De technische werking van SCALAR

De essentie van SCALAR ligt in een fundamenteel andere benadering van het leerproces tijdens het fine-tunen. In plaats van grote hoeveelheden parameters te wijzigen, creëert het systeem een vaste basis voor input op basis van taakactivaties. Hieraan wordt een willekeurig outputwoordenboek gekoppeld. De focus van het trainen verschuift hierdoor naar het leren van laagspecifieke scalaire coëfficiënten.

In de wereld van machine learning wordt een scalar gedefinieerd als een enkelvoudige numerieke waarde die enkel een grootte representeert en geen richting heeft, wat het tot het meest eenvoudige object in de lineaire algebra maakt, zoals uitgelegd door aiwiki.ai. Door uitsluitend deze scalairen te trainen, kan de benodigde opslagruimte voor de status van de optimizer en de gradiënten drastisch worden beperkt. Om de snelheid verder te optimaliseren, maakt de techniek gebruik van het delen van woordenboeken over verschillende compatibele lagen en gegroepeerde berekeningen.

Resultaten en prestatieanalyses

De effectiviteit van de methode is uitgebreid getest binnen diverse domeinen, waaronder wiskundige redenering, codegeneratie, algemene redenering en kennis-evaluatie. De resultaten wijzen uit dat SCALAR zeer krachtig is, zelfs wanneer er een zeer strikt budget voor trainbare parameters wordt gehanteerd.

Bij taken gericht op algemene redenering wist SCALAR een nauwkeurigheid te bereiken die concurreert met LoRA, terwijl er slechts ongeveer 4% van de trainbare parameters van die methode werden ingezet, aldus een analyse van megadose.ai. Daarnaast zijn er concrete systeemverbeteringen waargenomen bij het gebruik van het Qwen2.5-7B model. De implementatie van SCALAR leidde tot een stijging van 6% in de doorvoersnelheid en een vermindering van 20% in het piekgeheugen tijdens de trainingsfase.

Bredere wetenschappelijke context

De benadering van SCALAR past in een grotere trend binnen het AI-onderzoek waarbij een onderscheid wordt gemaakt tussen de richting en de grootte van vectoren. Een voorbeeld hiervan is de Magnitude-Direction (MD) Decoupling methode, waarbij gewichtsvectoren worden gesplitst in een leerbare grootte en een vaste norm om neurale netwerken beter te trainen, zoals beschreven op github.io.

Door de combinatie van een compacte trainbare staat, verhoogde efficiëntie en het behoud van de adaptatiekwaliteit, wordt SCALAR door de auteurs gepresenteerd als een veelbelovende oplossing voor het fine-tunen van modellen in omgevingen waar rekenkracht en geheugen schaars zijn.

Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!