Onderzoekers hebben een nieuw fenomeen gedefinieerd genaamd 'Agentic Abstention', waarbij blijkt dat AI-agenten vaak moeite hebben om tijdig te stoppen met handelen wanneer een opdracht onuitvoerbaar is.
In de ontwikkeling van Large Language Model (LLM) agenten ligt de focus vaak op het vermogen om complexe doelen te bereiken via zoekopdrachten, browsing-interfaces en diverse tools. Echter, niet elke opdracht die een gebruiker geeft is duidelijk gespecificeerd of technisch haalbaar binnen de beschikbare omgeving. Volgens een recent onderzoek gepubliceerd op arxiv.org is een betrouwbare agent in staat om te herkennen wanneer verdere interactie geen zin meer heeft, om zo onnodige acties en tool-aanroepen te vermijden.
Het concept van Agentic Abstention
De auteurs van het onderzoek, waaronder Han Luo, Bingbing Wen en Lucy Lu Wang, introduceren de term 'Agentic Abstention'. Dit verwijst naar het specifieke probleem van het beslissen wanneer een agent moet stoppen met handelen onder onzekerheid.
Het onderzoek maakt een belangrijk onderscheid met standaard LLM-abstentie. Waar traditionele abstentie meestal wordt geëvalueerd als een eenvoudige keuze in één enkele beurt (antwoorden of onthouden), is agentic abstention een sequentieel besluitvormingsproces. Een agent kan in elke beurt kiezen om een antwoord te geven, te onthouden of juist meer informatie te verzamelen. De noodzaak om te stoppen wordt vaak pas duidelijk nadat de agent al interactie heeft gehad met de omgeving.
Resultaten van het grootschalige onderzoek
Om dit gedrag te analyseren, hebben de onderzoekers 13 verschillende LLM-agent-systemen en twee agent-scaffolds getest. Deze tests werden uitgevoerd op basis van meer dan 28.000 taakinstructies binnen drie verschillende domeinen: webshopping, terminal-omgevingen en vraag-en-antwoord-scenario's.
De resultaten, die zijn geaccepteerd voor de conferentie , tonen aan dat de grootste uitdaging niet alleen is of een agent kan stoppen, maar vooral wanneer dit gebeurt. De onderzoekers stelden vast dat sommige agenten nooit stoppen, zelfs wanneer dat wel noodzakelijk is. Andere agenten stoppen wel, maar pas na een groot aantal overbodige interacties.
Deze kloof is bijzonder groot bij taken die in eerste instantie haalbaar lijken, maar waarbij de omgeving later onthult dat het doel onbereikbaar is, zoals wanneer er geen enkel geldig resultaat is dat overeenkomt met de instructie van de gebruiker.
De paradox van modelgrootte en prestaties
Een opvallende bevinding in het onderzoek is de relatie tussen de capaciteit van het model en het vermogen tot tijdige abstentie. De data suggereren dat modelgrootte, redeneervermogen en de gebruikte agent-scaffolding elk op een andere manier invloed hebben. Opvallend is dat grotere of meer geavanceerde modellen soms slechter presteren wanneer het gaat om het tijdig stoppen van een zinloze actie.
Introductie van CONVOLVE
Om dit probleem aan te pakken, presenteren de onderzoekers een nieuwe methode genaamd CONVOLVE. Dit is een vorm van context engineering die interactietrajecten distilleert tot herbruikbare stopregels.
Het belangrijkste voordeel van CONVOLVE is dat het de tijdige abstentie van agenten verbetert zonder dat de parameters van het model zelf hoeven te worden bijgewerkt. In tests met WebShop-taken zorgde deze methode voor een aanzienlijke stijging in de 'timely recall rate' voor het Llama-3.3-70B model, waarbij deze steeg van 26,7 naar 57,4, zoals beschreven in de .
De volledige dataset en de bijbehorende code zijn door de auteurs beschikbaar gesteld om verder onderzoek naar de betrouwbaarheid van autonome agenten te stimuleren. De meest recente versie van het onderzoek, versie v3, werd op 6 november 2026 bijgewerkt met herziene referenties en correcties, volgens de .