Wetenschappers hebben een nieuwe methode geïntroduceerd om de verwerkingssnelheid van grote taalmodellen (LLM's) te verbeteren. De focus ligt hierbij op het optimaliseren van het geheugengebruik tijdens de inferentiefase. De nieuw ontwikkelde engine, die de naam MINE (Memory-efficient INference Engine) draagt, maakt gebruik van verliesvrije compressie om de vertraging bij het genereren van tokens te minimaliseren.
De beperkingen van huidige geheugensystemen
Een significant knelpunt bij de inzet van taalmodellen is de zogenaamde 'single-stream decoding'. Dit scenario komt veelvuldig voor bij lokale installaties of in omgevingen waar een zeer lage latentie cruciaal is. In dergelijke gevallen kunnen verzoeken niet efficiënt in groepen worden verwerkt. Dit dwingt het systeem om elk gewicht van het model voor elk nieuw token opnieuw vanuit het geheugen te streamen. Hierdoor wordt het proces volledig beperkt door de snelheid van het geheugen, wat bekendstaat als een 'memory-bound' proces.
Volgens een wetenschappelijke publicatie op arxiv.org schieten huidige methoden voor verliesvrije compressie vaak tekort. Deze technieken bieden doorgaans enkel snelheidswinst voor specifieke datatypes, zoals BF16, en zijn bovendien vaak gebaseerd op aanvullende aannames die de brede inzetbaarheid beperken.
Innovatie via dtANS-LLM
De technische basis van de MINE-engine is een specifiek GPU-entropiecoderingsschema dat dtANS-LLM wordt genoemd. Dit systeem is een gespecialiseerde aanpassing van de bestaande dtANS-technologie, specifiek ontworpen voor de eisen van LLM-inferentie. De methode profiteert van het feit dat de distributie van gewichten binnen een model niet gelijkmatig is; dit specifieke patroon blijft behouden, zelfs wanneer het model is onderworpen aan quantisatie.
Om de ideale balans te vinden tussen de omvang van het model en de snelheid van de decodering, hanteert MINE hyperparameters. Deze parameters worden automatisch geoptimaliseerd voor elke specifieke GPU en tensor. Hierdoor kan het systeem een 'Pareto-front' vaststellen, waarbij de meest efficiënte configuratie wordt gekozen op basis van het beschikbare geheugenbudget, zoals beschreven in de .
Prestatiewinst en praktische toepassing
De MINE-engine is ontwikkeld als een plugin voor vLLM, wat een naadlooze integratie in bestaande workflows mogelijk maakt. De effectiviteit is getest met het Llama 3.1 8B Instruct-model, waarbij gebruik is gemaakt van een 2.1-bit EntQuant checkpoint.
In het worden aanzienlijke versnellingen gerapporteerd in vergelijking met de snelste baselines. Op een RTX 4060 Ti werd een versnelling van 2,52x behaald met een effectieve bitrate van 2,24 bits per gewicht. Voor een RTX 5090 werd een versnelling van 1,48x geregistreerd bij een effectieve bitrate van 3,43 bits per gewicht.
Toegankelijkheid en toekomstperspectief
De ontwikkelaars hebben MINE als open-source software vrijgegeven om verdere optimalisatie door de gemeenschap te stimuleren. Het project is ingediend voor de 15e editie van de International Conference on Learning Representations (ICLR), gepland voor 2027.
Terwijl MINE zich richt op de hardware-efficiëntie, focussen andere partijen zich op de gebruikerservaring en toegankelijkheid. Zo stelt claude.com gebruikers in staat om geavanceerde taalmodellen te benutten via diverse interfaces, waaronder mobiele applicaties, desktopsoftware en webbrowsers, om complexe analyses uit te voeren.
Voor geïnteresseerden zijn de volledige technische specificaties en de bijbehorende artefacten van de MINE-engine beschikbaar via de .