De overgang naar hardware die is geoptimaliseerd voor lagere precisie zorgt voor aanzienlijke uitdagingen bij het uitvoeren van complexe wiskundige operaties. Een recente analyse van Satoshi Matsuoka toont aan dat de nieuwste generatie GPU's van NVIDIA, en specifiek de Blackwell Ultra (B300), een sterke verschuiving laten zien in rekenprestaties. Terwijl de snelheid voor FP8-tensorberekeningen toeneemt, is er een drastische afname in de doorvoer van traditionele FP64-vectorberekeningen.
Volgens een publicatie op arxiv.org is de doorvoer voor FP64-vectorberekeningen bij de B300 met ongeveer 30 keer gedaald. Deze trend dwingt wetenschappers om alternatieve methoden te zoeken om precisie-intensieve taken uit te voeren zonder de snelheid van de moderne hardware volledig te verliezen. Het onderzoek richt zich hierbij op de 3D Fast Fourier Transform (FFT), een essentiële operatie binnen High Performance Computing (HPC). Om deze op FP8-infrastructuur uit te voeren, wordt gebruikgemaakt van de 'Bailey six-step transform' en reconstructies via de Chinese Reststelling (CRT).
De meest kritieke bevinding van de studie is de identificatie van de zogenaamde 'integer-epilogue wall'. Dit is een hardwarematige beperking waarbij de snelheid niet wordt bepaald door de precisie van de drijvende komma, maar door het aantal instructies dat nodig is voor de reconstructie van data per output. In de praktijk betekent dit dat de transformatietijd op de B300 varieert tussen de 63 en 87 milliseconden, terwijl het theoretische optimum op 12,9 milliseconden ligt. De werkelijke prestaties blijven hiermee een factor 4,9 tot 6,7 achter bij het theoretische maximum.
Het onderzoek wijst erop dat softwarematige oplossingen momenteel niet in staat zijn om deze barrière te omzeilen. Wanneer emulatie wordt toegepast op de NVIDIA Rubin GPU, is het prestatieverlies zelfs nog groter, met een vertraging die tussen de 8 en 11 keer ligt. De auteur stelt dat ook varianten met een lagere precisie, zoals FP32, tegen dezelfde hardwarematige muur aanlopen, wat bevestigt dat de vertraging inherent is aan de per-scalar reconstructie in de hardware.
Om deze kloof te dichten, stelt Matsuoka specifieke aanpassingen aan de hardware voor. In het wordt gesuggereerd dat het herstellen van de INT8-tensor core van de B200 GPU, in combinatie met een specifieke 'position-weighted cross-column accumulation primitive', de efficiëntie aanzienlijk kan verbeteren. De projecties tonen aan dat minimale wijzigingen de rekentijd kunnen terugbrengen naar 16,0 tot 23,5 milliseconden. Bij ingrijpendere aanpassingen zou de tijd zelfs kunnen dalen tot 12,9 tot 15,0 milliseconden, wat bijna gelijkstaat aan de theoretische limiet.
De resultaten van deze studie zijn gebaseerd op theoretische modellen en geprojecteerde waarden. De analyse is onderdeel van een breder kader over de efficiëntie van FP8 en maakt gebruik van concepten zoals het 'Tensor-Memory Equilibrium model'. Voor diepgaande technische details en wiskundige bewijzen kan men terecht bij de volledige documentatie op . Hoewel grote techbedrijven via diverse kanalen informatie verspreiden over computing, zoals te zien is in de google.com, blijft de specifieke technische analyse van de B300-architectuur voorbehouden aan gespecialiseerde academische bronnen.