Wetenschappers hebben een nieuwe methode ontwikkeld om de betrouwbaarheid van AI-agenten te testen, waarbij blijkt dat taalmodellen die externe tools gebruiken vaak tekortschieten in onvoorspelbare situaties. De resultaten tonen aan dat huidige modellen moeite hebben met realistische verstoringen, zoals onjuiste metadata en onverwachte systeemstoringen, wat de kloof tussen theoretische tests en de praktijk benadrukt.
Veel bestaande evaluaties voor AI-agenten gaan uit van een ideale omgeving met foutloze invoer en betrouwbare API's. In de dagelijkse praktijk is dit echter zelden het geval; typefouten van gebruikers of technische time-outs kunnen processen blokkeren. Om dit te onderzoeken, hebben onderzoekers waaronder Aojie Yuan en Xiaolin Zhou de benchmark RobustBench-TC geïntroduceerd. Volgens een publicatie op arxiv.org bevat deze benchmark 22 verschillende typen verstoringen, die zijn gebaseerd op gedocumenteerde fouten en issues van GitHub.
De onderzoekers analyseerden deze fouten binnen een specifiek kader, het zogenaamde 'partially observable Markov decision process' (POMDP). Hierbij werd gekeken naar ruis in de observaties, de actieruimte, de transitiedynamiek en de metadata die relevant is voor beloningen. De resultaten van de tests, waarbij 21 verschillende modellen werden gebruikt met een omvang tussen de 1,5 en 32 miljard parameters, laten een wisselend beeld zien. Terwijl verstoringen in de observatie slechts een minimale impact hadden (minder dan 5% daling in nauwkeurigheid), zorgden transitieverstoringen voor een terugval van ongeveer 30%. De grootste impact was zichtbaar bij beloningsrelevante verstoringen, waarbij de nauwkeurigheid met circa 40% daalde.
Een belangrijke conclusie uit het onderzoek is dat het simpelweg vergroten van de modellen, ook wel 'scaling' genoemd, geen oplossing biedt voor deze kwetsbaarheden. Zelfs de grootste geteste modellen bleven gevoelig voor runtime-fouten die in standaard simulaties meestal worden weggelaten. Dit staat in contrast met commerciële simulaties, zoals die op crazygames.com, die vaak gericht zijn op entertainment en het nabootsen van taken in een gecontroleerde omgeving zonder stress.
Om de robuustheid van AI-agenten te verhogen, stellen de auteurs een nieuwe trainingsmethode voor: ToolRL-DR. Deze techniek maakt gebruik van reinforcement learning gebaseerd op domein-randomisatie, waarbij agenten worden getraind met kunstmatige verstoringen. De resultaten hiervan zijn positief; een model met een 3B-backbone dat met deze methode is getraind, behield driekwart van zijn oorspronkelijke nauwkeurigheid in schone omgevingen, terwijl het bij verstoringen presteerde op een niveau dat vergelijkbaar is met open-source baselines van 14 miljard parameters.
Opvallend is dat dit model de zogenaamde 'Transition gap' met ongeveer 27% wist te verkleinen, ondanks dat het tijdens de training niet specifiek was blootgesteld aan transitieverstoringen. Dit suggereert dat training op adversaire statische inputs leidt tot een effectiever 'retry-beleid' bij onvoorziene fouten. Het volledige onderzoek is geaccepteerd voor de conferentie NeurIPS 2026. Om verdere innovatie te stimuleren, zijn de dataset, de code en het bijbehorende leaderboard publiek toegankelijk gemaakt via . De auteurs concluderen dat de huidige neiging om chaos en fouten weg te laten in simulaties de ontwikkeling van echt betrouwbare AI-agenten voor professioneel gebruik in de weg staat.