⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
AI schrijft prima software, maar faalt jammerlijk bij hardware: dit is waarom

AI schrijft prima software, maar faalt jammerlijk bij hardware: dit is waarom

AI-agenten die software schrijven, zijn verrassend slecht in het repareren van hardware. Dat blijkt uit nieuw onderzoek: dezelfde AI-systemen zakken 37% tot 58% in succespercentage zodra ze van software-taken naar hardware-taken gaan.

Onderzoekers publiceerden hun bevindingen via arxiv.org. Zij wilden weten of 'agentic AI' — AI die autonoom taken plant en uitvoert — ook werkt in de hardwarewereld. Het antwoord: nee, en het verschil is fundamenteel.

Om dat te meten, ontwikkelden zij Phoenix-bench: een nieuwe benchmark met 511 geverifieerde Verilator-instanties, afkomstig uit 114 verschillende GitHub-repositories.

🧠 Even simpel uitgelegd
Software draait op een processor: de code is een lijst met instructies die één voor één worden uitgevoerd. Hardware is de processor zelf: een ontwerp van schakelingen waarin duizenden signalen tegelijkertijd (parallel) door circuits stromen. Een bug in software zit meestal in de functie die hem aanroept. Een bug in hardware kan ontstaan in één module, maar pas zichtbaar worden in een heel andere module — via een keten van verbonden signalen. AI die alleen leert hoe software werkt, zoekt dus op de verkeerde plek.

Waarom AI-agenten struikelen

Het probleem zit in hoe fouten zich gedragen. In software volgen bugs vaak een call-graph: een hiërarchie van functieaanroepen. In hardware verspreiden bugs zich via signaalstromen over parallelle, geïnstantieerde modules.

AI-agenten die op software zijn getraind, stoppen bij het bestand waar het symptoom zichtbaar is. Ze volgen de volledige instantiatieketen niet terug naar de echte bron van het probleem. En dat is precies wat hardware-reparatie vraagt.

Drie klassieke valkuilen

Het onderzoek identificeert drie gebieden waar AI-agenten het vaakst falen:

  1. Control-flow en FSM-bugs: fouten in de aansturing en in Finite State Machines.
  2. Verificatie-testbenches: problemen bij het schrijven van de tests die het ontwerp moeten valideren.
  3. Cross-hiërarchische tracking: gevallen waarin signalen over meerdere hiërarchische niveaus gevolgd moeten worden — dat vraagt vaak gecoördineerde bewerkingen in meerdere bestanden tegelijk.

Om de resultaten zuiver te houden, draaiden de onderzoekers alles in een Docker-pinned EDA-omgeving (Electronic Design Automation). Zo was zeker dat verschillen in oplossingspercentages door het gedrag van de AI-agent kwamen — en niet door ontbrekende tools of afwijkende softwareversies in de toolchain.

Wat wél werkt: feedback van testcases

De meest opvallende bevinding? Het simpelweg aanwijzen van het juiste bestand (file-level oracle localization) helpt nauwelijks: slechts 1,4% verbetering. Agenten beschadigen in dat geval vaak bestanden die helemaal geen bewerking nodig hadden.

Feedback uit testcases werkt wél goed. Eén ronde feedback op basis van testbench-logs zorgde voor een stijging van het oplossingspercentage. Logisch: een testcase vertelt de AI niet alleen waar de fout zit, maar ook hoe de oplossing eruit moet zien.

Grootse test, breed erkend

De onderzoekers evalueerden in totaal vier commerciële agenten en acht open-source agentic structuren, verspreid over vier verschillende LLM-backbones.

De conclusie is duidelijk: AI-agenten zijn nog geen hardware-engineers. Maar met de juiste feedback — en benchmarks zoals Phoenix-bench die de unieke aard van hardware-bugs serieus nemen — wordt de stap van software naar silicium wellicht haalbaar.


Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!