Onderzoekers hebben een techniek ontwikkeld waarmee vooraf getrainde AI-modellen nauwkeurig kunnen worden uitgevoerd op analoge compute-in-memory (CIM) versnellers. Deze innovatie lost een kritiek probleem op waarbij hardwarefouten in analoge systemen voorheen leidden tot aanzienlijk prestatieverlies, tenzij kostbare hertrainingsprocessen werden toegepast.
In een recent wetenschappelijk rapport, gepubliceerd op 5 november 2026, presenteren George Karfakis en Puneet Gupta een methode om de efficiëntie van AI-inferentie te verhogen zonder de noodzaak voor hardware-bewuste hertraining. De studie, getiteld "Enabling Retraining-Free Accurate Inference in Analog Compute in Memory Accelerators", is beschikbaar via de preprint-server arxiv.org.
De uitdaging van analoge versnellers
Analoge compute-in-memory (CIM) versnellers zijn ontworpen om matrix-vectorproducten direct binnen geheugenarrays uit te voeren. Volgens de auteurs van het onderzoek elimineert deze aanpak de noodzaak om gewichten constant te verplaatsen tussen het geheugen en de processor. Dit belooft een enorme winst in de efficiëntie van inferentie, wat cruciaal is voor het draaien van grote modellen op energiezuinige hardware.
De praktische implementatie hiervan stuit echter op een groot probleem: fouten in converters en hardwarecomponenten. Deze imperfecties zorgen ervoor dat modellen die in een digitale omgeving zijn getraind, vaak onbruikbaar worden wanneer ze op analoge arrays worden geplaatst. Om dit te corrigeren, was tot nu toe vaak 'hardware-aware retraining' nodig, een proces dat zeer kostbaar en tijdrovend is.
Een oplossing via kalibratie en rotatie
De onderzoekers stellen een alternatief voor dat gebruikmaakt van een goedkope, gedeelde kalibratie. De kern van hun ontdekking is dat analoge fouten afhankelijk zijn van de manier waarop elke laag van een neuraal netwerk op de array wordt gerepresenteerd. Belangrijk is dat deze representatie offline kan worden gewijzigd zonder dat de eigenlijke berekening verandert.
De voorgestelde methode combineert het centreren van inputs met het toepassen van specifieke Hadamard-rotaties die zijn ontworpen voor analoge arrays. Volgens de publicatie op zorgt dit ervoor dat gedeelde referentiefouten worden verspreid en dat de menging van inputs beperkt blijft tot elke individuele array.
Significante resultaten voor LLM's en Vision-modellen
De effectiviteit van deze methode is getest op diverse architecturen, waaronder Convolutional Neural Networks (CNN's), vision transformers (ViT) en Large Language Models (LLM's) met maximaal 14 miljard parameters. De tests werden uitgevoerd op hardware gebaseerd op Phase Change Memory (PCM) en Resistive Random Access Memory (ReRAM).
De resultaten tonen een drastische verbetering in nauwkeurigheid. In een scenario met ReRAM en 6-bit ADCs slaagde de methode erin om de prestaties van het ViT-B/16 model te herstellen van 37,4% naar 82,9%. Voor het Phi-4 model steeg de nauwkeurigheid van 27,0% naar 72,2%. In beide gevallen bleven de resultaten binnen 2,2 procentpunten van de oorspronkelijke floating-point nauwkeurigheid, zoals beschreven in de .
Conclusie en impact
De resultaten suggereren dat de nieuwe methode de prestaties van gepubliceerde hardware-bewuste training benadert of zelfs evenaart, maar dan zonder dat er enige aanpassing van de gewichten in het model nodig is. Hiermee wordt de drempel voor het implementeren van complexe AI-modellen op energie-efficiënte analoge hardware aanzienlijk verlaagd.
Het onderzoek is gecategoriseerd onder Hardware Architectuur en Machine Learning en bevat uitgebreide data in 11 tabellen en 18 figuren om de claims te onderbouwen, zoals te zien is op de .