Wetenschappers hebben een nieuw theoretisch kader ontwikkeld om de onzekerheid van Large Language Model (LLM) agenten in kaart te brengen. Volgens een publicatie van 7 september 2026 schieten traditionele meetmethoden tekort wanneer deze worden toegepast op complexe taken die uit meerdere stappen bestaan. Waar oudere studies zich vaak beperkten tot eenvoudige interacties in één beurt, opereren moderne taalmodellen steeds vaker als autonome agenten die plannen maken, externe instrumenten gebruiken en informatie uit een geheugen ophalen.
In de wetenschappelijke database arxiv.org wordt gesteld dat het begrijpen van de betrouwbaarheid van dergelijke agentische systemen een noodzakelijke voorwaarde is voor een veilige implementatie. De onderzoekers, waaronder Moule Lin, betogen dat onzekerheden in deze systemen niet voortkomen uit een enkel moment, maar zich ontwikkelen tijdens langere gesprekken en door de interactie met de omgeving en diverse tools.
Om deze problematiek te analyseren, introduceert het onderzoeksteam een driedimensionale taxonomie. Deze structuur is bedoeld om onzekerheid binnen de operationele pijplijn van een AI-agent te categoriseren op basis van drie criteria: de aard van de onzekerheid, de methode van schatting en de specifieke locatie in de pijplijn waar de onzekerheid ontstaat. De auteurs stellen dat een algemene score voor onzekerheid vaak te beperkt is om de werkelijke onbetrouwbaarheid van een systeem accuraat weer te geven.
Binnen de context van taal en communicatie kan onzekerheid worden gezien als een toestand van twijfel of onvoorspelbaarheid, een concept dat verder wordt uitgediept in de definities op dictionary.com. Voor AI-systemen betekent dit concreet dat een model niet met zekerheid kan vaststellen of een specifieke stap in een complex proces correct is uitgevoerd.
De empirische resultaten van de studie, die is uitgevoerd met vier verschillende modellen en trajecten van maximaal 50 stappen, werpen een nieuw licht op de kalibratie van AI. De onderzoekers introduceerden hiervoor het Trajectory-Checkpoint Expected Calibration Error (TC-ECE) protocol. Een cruciale bevinding is dat een goede kalibratie op het niveau van een individuele stap niet garandeert dat het gehele traject accuraat is. Bovendien kan het middelen van trajecten een vertekend beeld geven, waardoor overmoed in latere fasen van een proces onopgemerkt blijft.
Daarnaast wijst de studie uit dat confidence-schattingen die de agent zelf in de antwoorden genereert, niet consistent superieur zijn aan een eenvoudige baseline. Dit wijst erop dat AI-agenten momenteel nog moeite hebben om hun eigen fouten correct in te schatten. Volgens de details in de publicatie op is het identificeren van de exacte bron van onzekerheid in de pijplijn daarom essentieel om agenten te leren wanneer zij onjuist zijn.
De conclusie van het onderzoek is dat een enkelvoudig betrouwbaarheidscijfer onvoldoende is om de complexiteit van autonome AI-systemen te vatten. Door het gebruik van het TC-ECE protocol kunnen ontwikkelaars preciezer bepalen waar de foutmarge in een proces toeneemt. Dit draagt bij aan de creatie van transparantere en veiligere AI-agenten. Meer informatie over dit evaluatieprotocol en de bijbehorende taxonomie is terug te vinden via .