Een AI-agent die een taak niet afrondt: daarvoor wordt vrijwel altijd het taalmodel verantwoordelijk gehouden. Maar is dat terecht? Nieuw onderzoek zegt: niet altijd. Het falen komt vaak voort uit een slechte samenwerking tussen het model en de 'harness' — het systeem dat het model aanstuurt en zijn acties uitvoert.
Dat concluderen onderzoekers in de studie "When Agents Fail: Model or Harness--Who's to Blame?", gepubliceerd op arxiv.org. Hun kernpunt: benchmarks meten in feite het gezamelijke gedrag van model én harness. Alleen naar het model kijken is dus onvoldoende — de harness moet apart worden geëvalueerd op hoe goed hij samenwerkt met het onderliggende model.
🧠 Even simpel uitgelegd
Stel je een chauffeur voor (het AI-model) en een auto (de harness). De chauffeur kan top rijden, maar met een kapotte of slecht afgestelde auto komt hij toch niet op tijd. Dit onderzoek meet dus niet alleen hoe goed de chauffeur rijdt, maar ook hoe goed de auto bij die specifieke chauffeur past. Pas als je beide scheidt, weet je wie er de schuldige is als iets misgaat.
Vijf meetwaarden om de samenwerking te doorgronden
Om die interactie in kaart te brengen, ontwikkelden de onderzoekers een framework met vijf complementaire meetwaarden:
- Valid Completion Rate (VCR): hoe betrouwbaar een agent een taak normaal afrondt en resultaten levert die te evalueren zijn — ongeacht of de uitkomst correct is.
- Model-Harness Fit: hoe goed een specifieke harness een model ondersteunt bij het behalen van zijn doelen.
- Cross-Model Fit: hoe geschikt een harness is over meerdere modellen heen.
- Interaction Residuals: specifieke sterktes en zwaktes in koppelingen die in algemene gemiddelden verborgen blijven.
- Token Load: hoeveel tokens een uitvoering kost, inclusief de mislukte pogingen.
De test: vier harnesses, vier modellen, 52.168 trajecten
De onderzoekers testten vier algemene harnesses — OpenCode, Codex CLI, Pi CLI en DeepAgents — in combinatie met vier kernmodellen. Twee vaste, native model-harness-systemen dienden als referentie. De evaluatie gebeurde op zes benchmarks, variërend van contextbeheer en toolgebruik tot multimodaliteit en planning over lange contexten.
In totaal analyseerden de onderzoekers 111 evaluatie-instellingen, goed voor 52.168 trajecten. De uitkomst is opvallend: de ranglijst van beste harnesses verschilt sterk per model en per benchmark. Bovendien gaat een hoge taakscore niet automatisch samen met een hoge Valid Completion Rate. Verschillende koppelingen kunnen tot vergelijkbare scores leiden, maar via totaal verschillende executieprofielen.
Uit de data blijkt dat OpenCode het beste scoort op cross-model prestaties. DeepSeek V4 Flash Preview hield binnen het geteste panel van vier benchmarks een consistent hoge gemiddelde VCR over alle harnesses heen.
Wat dit betekent voor AI-ontwikkeling
De studie pleit voor een verschuiving in hoe AI-agenten worden gebouwd. Modellen moeten volgens de auteurs overdraagbare vaardigheden leren, zodat ze met uiteenlopende harnesses kunnen werken. Omgekeerd moeten harness-designs worden aangepast aan zowel het gebruikte model als de aard van de taak.
Het grootste winstpunt: door model-falen en harness-falen van elkaar te onderscheiden, kunnen ontwikkelaars gerichter optimaliseren. De effectiviteit van een AI-agent is dus geen kwestie van alleen een krachtiger model — het draait vooral om de harmonie tussen de intelligentie en de technische infrastructuur die haar aanstuurt.