Wetenschappers hebben een innovatieve manier gevonden om spiking language models (SLM's) efficiënter te laten draaien op gangbare computerprocessoren. Door de implementatie van binaire spike-activaties kan een systeem selectief alleen die gewichtskolommen laden die op een specifiek moment actief zijn. Hierdoor worden zware vermenigvuldigingen vervangen door eenvoudige sommaties, wat de totale rekenlast voor de processor aanzienlijk verlaagt.
Volgens een wetenschappelijk rapport van onderzoeker Ting Liu, gepubliceerd via arxiv.org, is deze strategie ontwikkeld in C++. De methode is getest op een model met 874 miljoen parameters, waarbij een specifiek onderscheid wordt gemaakt tussen verschillende projecties om de prestaties te maximaliseren. Voor sparse projecties wordt gebruikgemaakt van INT8-gewichten in een 'column-major' layout, terwijl dense projecties een 'row-major' toegang behouden met FP32-activaties om de precisie van het model te bewaken.
De overstap naar deze geoptimaliseerde INT8-variant zorgt voor een merkbare winst in snelheid. In de blijkt dat de snelheid bij een enkele thread steeg naar 23,31 tokens per seconde, terwijl de FP32-variant slechts 9,82 tokens per seconde behaalde. Naast de snelheidswinst is er een aanzienlijke besparing in opslagruimte gerealiseerd; het geheugengebruik voor de gewichten daalde van 3355,2 MiB naar 1087,4 MiB.
Er is tevens geëxperimenteerd met een INT4-variant voor de dense projecties. Hoewel dit de benodigde opslagruimte met nog eens 17,4% verminderde, had dit een negatieve invloed op de prestaties. De doorvoer tijdens het decoderen zakte in dit scenario met 46,6%.
Om de praktische bruikbaarheid aan te tonen, is de software getest op een AMD Ryzen 7 5800X processor. De resultaten voor het definitieve INT8-checkpoint laten een schaalbare prestatie zien: van 22,63 tokens per seconde bij één thread tot 94,68 tokens per seconde bij acht threads (met een prefill van 512 tokens). In een herziene versie van het rapport, gedateerd op 7 september 2026, is bovendien een casestudy toegevoegd over een ARM-output-head, waarbij de energieconsumptie van het decode-window is geanalyseerd.
In deze geactualiseerde publicatie op zijn ook enkele correcties doorgevoerd. De auteurs hebben onjuiste resultaten over 'pure-INT4' ingetrokken en de protocollen voor de vergelijkingen verder verduidelijkt. Daarnaast is er een numerieke validatie toegevoegd om de betrouwbaarheid van de data te versterken.
Het is belangrijk om te vermelden dat deze techniek betrekking heeft op neurale netwerkarchitecturen. Hoewel de term 'SPIKE' ook voorkomt in de context van educatieve hardware, zoals bij de legoeducation.com systemen, is er geen enkel verband tussen die tools en dit computationele onderzoek naar taalmodellen.
De resultaten tonen aan dat door het slim inzetten van gekwantiseerde kernels en specifieke geheugenlayouts, geavanceerde spike-gated taalmodellen effectief kunnen draaien op consumentenhardware, zonder dat daarvoor dure of gespecialiseerde AI-versnellers nodig zijn.