Onderzoekers hebben QDA ontwikkeld, een systeem dat gebruikmaakt van AI-agents om het proces van quantisatie voor grote taalmodellen (LLM's) te automatiseren en te optimaliseren.
Het efficiënt implementeren van grote taalmodellen vereist vaak 'post-training quantization' (PTQ). Dit proces is essentieel om modellen met lagere kosten en minder rekenkracht te kunnen bedienen. Een aanzienlijk probleem bij deze techniek is echter dat de optimale instellingen, of het zogenaamde 'quantization recipe', sterk verschillen per model en per gewenste precisie. Tot nu toe moesten experts deze configuraties handmatig ontwerpen voor elk nieuw model, een proces dat tijdrovend is en vaak niet tot het best mogelijke resultaat leidt.
Automatisering via een gesloten lus
Om dit knelpunt op te lossen, presenteren Xingyang Li en collega-onderzoekers in een recent wetenschappelijk document het systeem QDA. Volgens de publicatie op arxiv.org maakt QDA gebruik van een AI-agent die het ontwerp van de quantisatie-instellingen overneemt. De agent werkt in een zogenaamde 'closed-loop': hij stelt configuraties voor, bouwt kandidaten en evalueert deze vervolgens om de instellingen in opeenvolgende rondes te verfijnen.
Een grote uitdaging bij dit proces is de tijd die nodig is voor evaluatie. Het testen van een gekwantiseerd redeneermodel kan normaal gesproken tientallen GPU-uren in beslag nemen. QDA lost dit op door kandidaten binnen enkele minuten te scoren. Dit gebeurt door de KL-divergentie van de output te meten ten opzichte van het originele model, gebruikmakend van redeneerpaden die de agent zelf niet eerder heeft gezien. Om kritieke fouten, zoals herhalingslussen, te detecteren, voert het systeem daarnaast controles uit met langere generaties voor de meest veelbelovende kandidaten.
Versnelde bouw en compatibiliteit
Naast de snelle evaluatie versnelt QDA ook het bouwproces. Het systeem beschikt over een bibliotheek met publieke PTQ-methoden die met elkaar en met nieuwe modelarchitecturen compatibel zijn. Dit voorkomt dat ontwikkelaars methoden uit verschillende codebases handmatig naar een nieuwe architectuur moeten porteren.
De effectiviteit van QDA is getest op vier verschillende redeneermodellen. Uit de resultaten in de blijkt dat QDA de nauwkeurigheid verbeterde ten opzichte van de sterkste publieke configuraties. De gemiddelde verbeteringen bedroegen 0,9, 1,4 en 2,2 procentpunten voor de configuraties W4A16, W4A8 en W3A16, waarbij er per zoekopdracht 64 GPU-uren werden gebruikt.
Prestaties bij zeer grote modellen
De impact van het systeem is ook zichtbaar bij extreem grote modellen. Bij het GLM-5.3-Flash model, een Mixture-of-Experts (MoE) model met 320 miljard parameters, wist QDA bij een NVFP4 W4A4-configuratie 98,3% van de nauwkeurigheid van het FP8-model te behouden. Ter vergelijking: het beste beschikbare vendor-checkpoint behaalde in dezelfde test een score van 96,9%, zoals vermeld in de .
Een belangrijk technisch voordeel is dat elk door QDA gegenereerd checkpoint kan draaien op bestaande serving-kernels. Dit betekent dat er geen extra overhead ontstaat tijdens de inferentie, waardoor de snelheid van het model behouden blijft terwijl de efficiëntie toeneemt.
De onderzoekers hebben aangekondigd dat zij de gebruikte bibliotheek, de evaluator en de harness publiekelijk beschikbaar zullen stellen. Hiermee wordt het proces van modeloptimalisatie toegankelijker voor een breder publiek van ontwikkelaars en data-scientists. De volledige details over de implementatie en de resultaten zijn terug te vinden in de van het onderzoek.