Wetenschappers hebben een nieuw evaluatiesysteem ontwikkeld om te onderzoeken hoe kunstmatige intelligentie-agenten reageren wanneer hun digitale collega's onbetrouwbaar zijn. Uit het onderzoek blijkt dat veel huidige AI-modellen er slecht in slagen om foutieve informatieprocessen te herkennen en te corrigeren, wat de effectiviteit van multi-agent samenwerking beperkt.
In de huidige ontwikkeling van AI wordt vaak gewerkt met systemen waarbij complexe opdrachten worden verdeeld over verschillende gespecialiseerde agenten. Tot nu toe gingen veel van deze evaluaties uit van de zogenaamde 'perfect-colleague assumption'. Hierbij wordt onterecht aangenomen dat elke agent in het netwerk altijd volledige, correcte en tijdige informatie verstrekt. Volgens een publicatie op arxiv.org is deze aanname in de praktijk onrealistisch, aangezien samenwerkers in echte scenario's vaak antwoorden geven die de vraag missen, onvoldoende details bieden of simpelweg niet reageren.
Om dit gat in de kennis te dichten, hebben Chen Huang en zijn team de Unreliable Colleagues Benchmark (UnCoBench) geïntroduceerd. Dit systeem is specifiek ontworpen om een onderscheid te maken tussen de algemene capaciteit van een model om een taak op te lossen en het specifieke vermogen om een gebrekkig proces van bewijsverzameling te herstellen. De benchmark richt zich op drie typen gedragsfouten: 'misaligned' informatie die niet aansluit bij de vraag, 'incomplete' antwoorden met te weinig detail, en 'missed' reacties waarbij een verzoek volledig wordt genegeerd.
Voor de tests werd gebruikgemaakt van een geautomatiseerde generatiepijplijn die scenario's creëerde door LLM-gebaseerde generatie te combineren met controles op de noodzaak van specifieke rollen en de uniekheid van de antwoorden. De resultaten van tien verschillende geteste modellen laten zien dat een hoge prestatie in een betrouwbare omgeving niet automatisch betekent dat een model ook robuust is wanneer de informatiebronnen onbetrouwbaar zijn.
Uit een gedetailleerde analyse van de interacties bleek dat AI-agenten vaak nalieten om correctieve vervolgvragen te stellen. Daarnaast vertoonden de modellen inefficiënt herstelgedrag, zoals het herhalen van redundante queries of onnodig lang wachten. De auteurs van het onderzoek op concluderen dat effectieve samenwerking verder gaat dan enkel logisch redeneren; het vereist actieve diagnostiek van fouten in de bewijsvoering en het vermogen om relevante informatie effectief te integreren in de uiteindelijke besluitvorming.
Hoewel dit onderzoek zich richt op de dynamische interactie tussen AI-agenten, kunnen parallellen worden getrokken met andere digitale systemen die werken met strikte regels en datastructuren. Zo beheert dndbeyond.com complexe regelsystemen en character sheets, wat het belang van consistente data illustreert. Echter, waar een platform als dndbeyond.com steunt op statische regels, moet een AI-agent in een veranderlijke omgeving actief kunnen detecteren wanneer een partner faalt.
Het onderzoek, dat in oktober 2026 is bijgewerkt, is uitgebreid gedocumenteerd over 24 pagina's met diverse tabellen en figuren. Om verdere innovatie in multi-agent systemen te stimuleren, zijn de gebruikte data en de broncode publiekelijk beschikbaar gesteld. De bevindingen benadrukken de noodzaak voor een nieuwe generatie AI die niet blind vertrouwt op input, maar kritisch reflecteert op de kwaliteit van de ontvangen informatie.