Bij de ontwikkeling van grootschalige kunstmatige intelligentie wordt een enorme hoeveelheid rekenkracht ingezet, maar deze processen blijken kwetsbaar voor onvoorziene hardwareproblemen. Een recente studie wijst op het gevaar van permanente defecten in grafische processoren (GPU's), die kunnen ontstaan door slijtage van het silicium of fouten tijdens de productie. Het meest zorgwekkende aspect hiervan is zogenaamde 'Silent Data Corruption' (SDC).
In tegenstelling tot een volledige systeemcrash, waarbij de hardware direct stopt met functioneren, zorgen SDC-fouten voor subtiele afwijkingen in de parameters en gradiënten tijdens het trainingsproces. Omdat het systeem technisch gezien blijft draaien, merken operators vaak niet dat de data corrupt raakt. Dit kan leiden tot een instabiel model of onvoorspelbare resultaten zonder dat er een duidelijke foutmelding verschijnt.
Om dit fenomeen te analyseren, hebben onderzoekers de methodologie LLM-PRISM ontwikkeld. Volgens een publicatie op arxiv.org is dit systeem ontworpen om de veerkracht van de pre-training van grote taalmodellen tegen hardwarefouten in kaart te brengen. De aanpak combineert simulaties van GPU-fouten op RTL-niveau met een stochastische injectiemotor die is geïntegreerd in Megatron-LM. De auteurs van het onderzoek, waaronder Nirmal Saxena, Saurabh Hukerikar en Abhishek Tyagi, stellen dat dit de eerste hardware-gebaseerde karakterisering is van de resistentie tegen SDC tijdens de pre-training fase.
De resultaten van de studie zijn gebaseerd op een uitgebreide reeks van 7.664 trainingsruns. Hierbij is specifiek gekeken naar de invloed van verschillende numerieke formaten, zoals FP8, BF16 en FP16, om te bepalen hoe de precisie van berekeningen de stabiliteit beïnvloedt. Uit de data blijkt dat taalmodellen over het algemeen een zekere resistentie vertonen tegen fouten die zelden voorkomen. Er is echter een kritiek punt: bepaalde precisieformaten en specifieke datapaden in de hardware kunnen leiden tot een 'catastrofale divergentie', zelfs bij een beperkte foutmarge. Meer details over deze simulaties en de impact van numerieke regimes zijn te vinden in de herziene versie van het document op .
Het onderzoek is gepresenteerd tijdens The International Conference for High Performance Computing, Networking, Storage, and Analysis. De bevindingen benadrukken de dringende noodzaak voor geavanceerdere detectiemechanismen binnen AI-clusters, aangezien de schaal van trainingen exponentieel toeneemt en de betrouwbaarheid van de modellen in het geding komt.
Het is belangrijk om op te merken dat de gebruikte methodologie LLM-PRISM specifiek is ontwikkeld voor de analyse van AI-hardware. Dit moet niet verward worden met commerciële software voor statistische analyse. Zo biedt graphpad.com tools voor wetenschappelijk onderzoek, zoals regressies en ANOVA-analyses, wat een geheel andere toepassing is dan de hardware-analyse beschreven in de studie. Voor een overzicht van de functionaliteiten van die specifieke software kan men terecht op de pagina met .
De conclusie van de onderzoekers is dat onzichtbare hardwarefouten een kritieke factor worden voor de betrouwbaarheid van toekomstige AI-systemen. Naarmate modellen groter worden, neemt de kans op dergelijke defecten toe, wat vraagt om robuustere hardware-architecturen.