Een team van onderzoekers heeft een methode ontwikkeld om de prestaties en de rekenkundige nauwkeurigheid van het DeepSeek-V4-Flash-model op AMD-hardware aanzienlijk te verhogen. De focus van dit project lag op de implementatie voor AMD Instinct MI250 GPU's, specifiek gericht op de gfx90a/CDNA2-architectuur. Volgens een technisch rapport op arxiv.org was het doel niet enkel om de uitvoering op deze hardware mogelijk te maken, maar ook om de snelheid en de numerieke correctheid te optimaliseren.
Herstel van numerieke onjuistheden
Bij de start van de implementatie bleek dat een initieel snel executiepad leidde tot foutieve resultaten. De oorzaak hiervan lag in een mismatch in de layout van de 'routed-expert W2'. Om dit probleem op te lossen, is de output-permutatie geïdentificeerd en is de indeling van de gewichten tijdens het laden van het model gecorrigeerd.
Om de betrouwbaarheid van de AI-output op de AMD-architectuur te waarborgen, zijn er strikte controles ingevoerd. Hierbij werd gebruikgemaakt van vaste token-checks en hash-gebaseerde verificaties voordat verdere optimalisaties werden doorgevoerd. Deze stappen waren cruciaal om te voorkomen dat snelheidswinst ten koste zou gaan van de feitelijke correctheid van het model.
Architecturale optimalisaties
Om de efficiëntie van het systeem te verhogen, zijn diverse geavanceerde technieken geïntegreerd. De implementatie maakt gebruik van zowel tensor- als expert-parallelisme. Wat betreft de datatypen wordt er gebruikgemaakt van FP4 voor de routed mixture-of-experts berekeningen en FP8 voor de dense projections. Het systeem ondersteunt bovendien native safetensors loading en maakt gebruik van HIP graph execution. De serving van het model vindt plaats binnen SGLang en is compatibel met de OpenAI-standaard, zoals verder beschreven in de documentatie op .
Specifieke maatregelen zijn genomen om de 'decode'-prestaties te verbeteren. Hieronder vallen de inzet van gepakte FP4-gewichten, INT8-activatiekwantisatie en het gebruik van CDNA2 dot-product instructies. Daarnaast zijn peer-read all-reduce en topologie-bewuste kernelgeometrie toegepast om de verwerkingssnelheid te maximaliseren.
Ook de 'prefill'-fase is versneld. Dit werd bereikt door de inzet van CDNA2 MFMA-kernels, een efficiëntere reuse van gepakte gewichten en het minimaliseren van de overhead bij sparse-attention. Tevens is er gewerkt met grotere chunks en een aangepaste sortering van de experts.
Kwantitatieve resultaten en beperkingen
De effectiviteit van deze engineering-aanpassingen is gemeten op vier MI250 GCD's. Bij een configuratie van TP4/EP1 haalde de native autoregressieve decode een snelheid van ongeveer 74,5 tokens per seconde. Voor een prompt van 4.604 tokens werd een 'Time To First Token' (TTFT) vastgesteld tussen 2,061 en 2,062 seconden. Dit komt overeen met een snelheid van ongeveer 2.234 input tokens per seconde, aldus de gegevens van .
Ondanks deze resultaten zijn er nog steeds beperkende factoren aanwezig. Het onderzoek wijst uit dat de efficiëntie op CDNA2 niet alleen wordt gehinderd door de geheugenbandbreedte. Andere knelpunten zijn onder meer de mismatch in het FP4-executieformaat, een lage M-benutting en de synchronisatiekosten per laag.
Deze ontwikkelingen dragen bij aan de bredere inzetbaarheid van grote taalmodellen op hardware-ecosystemen buiten de dominante marktspelers. Meer informatie over de algemene projecten van de ontwikkelaars is beschikbaar via de officiële github.com.