Onderzoekers hebben een methode ontwikkeld waarbij een multi-agent systeem van grote taalmodellen (LLM's) zelfstandig leert hoe het softwarematige kernels moet optimaliseren voor onbekende AI-hardware. In een case study resulteerde dit in een significante prestatieverbetering voor de FuriosaAI RNGD NPU.
Hoewel geavanceerde taalmodellen in staat zijn om correcte CUDA-kernels te schrijven voor standaard benchmarktaken, neemt hun nauwkeurigheid drastisch af zodra zij worden geconfronteerd met hardware-architecturen of programmeertalen die zij niet kennen. Om dit probleem op te lossen, is een specifieke LLM-agent-lus ontwikkeld die in staat is om kennis over nieuwe accelerators autonoom op te bouwen en toe te passen.
Autonome kennisverwerving en optimalisatie
De effectiviteit van dit systeem werd getest op de FuriosaAI RNGD NPU. Deze hardware wordt geprogrammeerd met een recent ontwikkelde Rust-domeinspecifieke taal (DSL) die op dit moment nog nauwelijks gedocumenteerd is. Volgens een publicatie op arxiv.org slaagde de agent-lus erin om gedurende een periode van 12 dagen drie decode-kernels voor het Gemma-4-12B model te optimaliseren op een schaars beschikbaar apparaat.
Het systeem werkt door zijn eigen kennisbasis over het doelplatform op te bouwen. Dit proces omvat verschillende stappen:
* Het schrijven en controleren van samenvattingen van de beschikbare DSL-documentatie.
* Het uitvoeren van microbenchmarks om de eigenschappen van de chip te meten.
* Het vastleggen van legaliteitsregels die door de compiler worden gegenereerd.
* Het periodiek herzien van deze kennis wanneer de toolchain verandert.
Strategie voor efficiëntie en precisie
Vanwege de beperkte beschikbaarheid van de hardware en de aanwezigheid van ruis in de meetgegevens, hanteert het systeem een strikte filtermethode. Nieuwe ontwerpen worden eerst onderworpen aan goedkope controles voordat ze daadwerkelijk op het apparaat worden uitgevoerd. In de latere fasen van het optimalisatieproces werd een wijziging pas geaccepteerd na herhaalde vergelijkingen met de tot dan toe beste versie van de kernel.
De zoektocht naar de optimale configuratie gebeurt via een rolgebaseerde zoekmethode over zogenaamde 'Design Trees' per kernel. Hierbij worden volledige kernel-ontwerpen verkend en worden kleine, geaccepteerde verbeteringen cumulatief toegevoegd aan de beste versie.
Resultaten en impact
De resultaten van deze aanpak zijn aanzienlijk. De uiteindelijke kernels behaalden een geometrisch gemiddelde snelheidswinst van 9,293x ten opzichte van de officiële baseline. Bovendien bleken de kernels zeer efficiënt; ze presteerden elk binnen 1,25x van de theoretische minimumcyclus die nodig is voor het verplaatsen van de gewichten. Dit onderzoek werd gepresenteerd tijdens de eerste ronde van de NPU Model Optimization Competition op MICRO 2026, zoals vermeld in de .
Bredere context van AI-onderzoek in Vlaanderen
Terwijl dit specifieke onderzoek zich richt op hardware-optimalisatie, is er in Vlaanderen een brede beweging gaande op het gebied van kunstmatige intelligentie. Het flandersairesearch.be ondersteunt diverse PhD-trajecten, variërend van kennisgrafen voor machine learning tot autonome navigatie met cognitieve kaarten.
Daarnaast organiseert de vaia.be initiatieven zoals seminarseries om onderzoekers samen te brengen. Ook academische instellingen zoals de KU Leuven blijven actief bijdragen aan het veld, niet alleen via AI-onderzoek maar ook door rapporten over interpreteerbare alternatieven voor standaard RLS-methoden en neurale tracking.
De combinatie van autonome software-optimalisatie en fundamenteel AI-onderzoek wijst op een trend waarbij AI niet langer alleen wordt gebruikt voor applicaties, maar ook voor het optimaliseren van de fysieke infrastructuur waarop deze modellen draaien.