Een recent wetenschappelijk onderzoek werpt een nieuw licht op de complexe dynamiek tussen menselijke gebruikers en kunstmatige intelligentie. De studie waarschuwt dat de manier waarop interacties mislukken sterk afhankelijk is van de mate van autonomie die aan een AI-agent wordt toegekend. Wanneer systemen meer zelfstandig beslissingen nemen, verandert niet alleen de frequentie, maar ook de aard en de impact van de gemaakte fouten.
In de publicatie "When AI Agents Act on Our Behalf: A Taxonomy of Human-Agent Interaction Failure" onderzoeken Canwen Wang, Qing Xiao, Haiyi Zhu en Hong Shen hoe AI-agenten falen bij het uitvoeren van taken voor een gebruiker. Deze systemen zijn in staat om zelfstandig code te schrijven, transacties te verrichten en gebruikersinterfaces te bedienen. Volgens de analyse op arxiv.org is de centrale vraag van het onderzoek hoe het falen van interacties evolueert naarmate de autonomie van deze agenten toeneemt.
Om deze patronen te begrijpen, hebben de onderzoekers 695 gedocumenteerde incidenten uit openbare bronnen bestudeerd. Hieruit vloeit een classificatie voort van twaalf verschillende 'falen-modi', die zijn onderverdeeld in drie specifieke interactiefases. Een belangrijke conclusie is dat de mogelijkheid voor een mens om tijdig in te grijpen direct wordt beïnvloed door de configuratie van het systeem. De hoeveelheid werk die een agent autonoom uitvoert voordat een gebruiker opnieuw wordt betrokken, bepaalt in welke mate een fout kan worden gecorrigeerd. De auteurs stellen dat hetzelfde AI-model bij een identieke taak op verschillende manieren kan falen, afhankelijk van de ingestelde autonomie.
Om de context van dit falen te begrijpen, is een heldere definitie van de gebruikte technologie noodzakelijk. In algemene zin kan een agent worden omschreven als een entiteit die handelt namens een ander, zoals uiteengezet door merriam-webster.com. In de context van informatica gaat dit verder; volgens geeksforgeeks.org is een AI-agent een systeem dat zijn omgeving waarneemt, informatie verwerkt en acties onderneemt om specifieke doelen te bereiken. Dergelijke systemen worden gekenmerkt door doelgerichtheid, aanpassingsvermogen en autonomie, waarbij ze beslissingen kunnen nemen zonder dat er constant menselijke input nodig is.
Het onderzoek bekritiseert bovendien de huidige methoden om AI te testen. De auteurs merken op dat bestaande benchmarks en incidentenregisters onvoldoende inzicht bieden in de specifieke interacties waar de twaalf geïdentificeerde faalmodi optreden. Hoewel deze fouten bij zowel lage als hoge autonomie voorkomen, verschuift de vorm van de fout naarmate het systeem zelfstandiger wordt.
De studie concludeert dat het enkel verbeteren van de technische capaciteiten van een AI-model niet volstaat om de betrouwbaarheid te waarborgen. De focus moet verschuiven naar de controlemechanismen tijdens het proces. De onderzoekers pleiten voor het implementeren van controles die een middenweg vormen tussen volledige handmatige bediening en totale delegatie. Ontwikkelaars worden aangemoedigd om kritischer te kijken naar de interactiepunten waar een mens kan interveniëren, om zo catastrofale fouten door autonome systemen te voorkomen.