Een recent wetenschappelijk onderzoek naar Large Language Models (LLM) toont aan dat de manier waarop een AI-agent een plan formuleert, een aanzienlijke impact heeft op het succesvol uitvoeren van complexe taken op het web.
Ondanks de snelle technologische vooruitgang kampen webagents op basis van LLM's nog steeds met specifieke beperkingen. Volgens een studie gepubliceerd op arxiv.org vertonen deze systemen vaak een gebrekkige exploratie van webpagina's, slaan ze cruciale stappen over en zijn ze overgevoelig voor specifieke taakbeperkingen. De onderzoekers stellen dat veel van deze fouten voortvloeien uit zwakheden in de planningsfase van de agent.
Het PlanAhead-raamwerk
Om de invloed van verschillende planningsrepresentaties te analyseren, hebben onderzoekers onder leiding van Alejandra Zambrano het raamwerk 'PlanAhead' ontwikkeld. Dit is een statisch planner-executor systeem dat specifiek is ontworpen om te evalueren hoe de vormgeving van een plan de uiteindelijke prestaties van een agent beïnvloedt.
Binnen dit onderzoek zijn taken uit de WebArena-dataset automatisch ingedeeld in drie verschillende moeilijkheidsgraden. Deze categorisering gebeurde zonder menselijke annotatie om een consistente grading te waarborgen. De focus van de evaluatie lag vervolgens op de taken die als 'moeilijk' waren geclassificeerd.
Vergelijking van planningsvormen
De onderzoekers testten vier verschillende manieren om plannen in natuurlijke taal te representeren:
1. Sequentiële subdoelen: Een lineaire lijst van stappen.
2. Narratief: Een beschrijvende, verhalende vorm van planning.
3. Pseudocode: Een gestructureerde vorm die lijkt op programmeertaal.
4. Checklist: Een lijst met items die afgevinkt moeten worden.
Deze representaties werden getest over verschillende families van multimodale LLM-agents, waaronder modellen van OpenAI, Google en Alibaba. Volgens de publicatie op blijkt dat zowel de formulering van het plan als het onderliggende taalmodel dat het plan genereert, een significante invloed hebben op de robuustheid en het succes van de webagent.
Nieuwe meetmethoden voor succes
Om rekening te houden met de stochastische variabiliteit — de onvoorspelbaarheid van AI-outputs — introduceerden de auteurs een nieuwe decompositie van de Success Rate (SR). In plaats van enkel naar het eindresultaat te kijken, maken zij gebruik van twee interpreteerbare metrieken:
- Achievement Rate (AR): De mate waarin het uiteindelijke doel is behaald.
- Solved-Task Consistency (STC): De mate van consistentie waarmee een taak correct wordt opgelost over meerdere pogingen.
Context van planning
De noodzaak van een gestructureerde planning is een breed erkend principe in zowel menselijke als kunstmatige systemen. In algemene termen wordt planning beschouwd als een gids die het mogelijk maakt om meerdere taken en middelen te coördineren. Zoals beschreven door de humanidades.com, dient een plan als een gedetailleerde lijst van processen, middelen en tijd die nodig zijn om een specifiek probleem op te lossen of een doel te bereiken.
Een effectief planningsproces omvat doorgaans stappen zoals het analyseren van de huidige situatie en het definiëren van heldere doelstellingen. Wanneer deze stappen worden overgeslagen of verkeerd worden geïnterpreteerd, kan dit leiden tot problemen tijdens de uitvoering, een observatie die parallel loopt met de tekortkomingen die de onderzoekers bij LLM-webagents hebben vastgesteld.
De resultaten van de studie, die in oktober 2026 in een herziene versie (v2) op zijn geplaatst, onderstrepen dat de keuze voor een specifieke planningsrepresentatie niet triviaal is, maar een bepalende factor vormt voor de effectiviteit van autonome AI-systemen in complexe webomgevingen.