Onderzoekers hebben vastgesteld dat er een aanzienlijk gat bestaat tussen het vermogen van AI-agenten om een goede instructie te volgen en hun vermogen om diezelfde instructies zelf af te leiden uit eerdere fouten.
In een recent wetenschappelijk onderzoek, getiteld "From Agent Failures to Text Policies: What Works and What Breaks", analyseren onderzoekers Jaideep Ray en Ankit Goyal de effectiviteit van tekstuele optimalisatie bij autonome AI-agenten. De kern van hun studie draait om het concept van 'TextGrad', een methode waarbij taalmodellen worden verbeterd door tekstuele componenten aan te passen op basis van feedback, zonder dat de interne gewichten van het model zelf worden gewijzigd.
De paradox van tekstuele feedback
Het basisprincipe van TextGrad is dat feedback in natuurlijke taal kan fungeren als een 'gradiënt' — een richtingwijzer die aangeeft hoe een tekstuele instructie moet worden aangepast om een beter resultaat te behalen. Hoewel dit proces effectief is voor eenvoudige taalmodellen, blijkt de toepassing op AI-agenten complexer. Volgens de publicatie op arxiv.org komt feedback bij agenten namelijk pas nadat een hele reeks acties is uitgevoerd. Dit maakt het voor het systeem uiterst moeilijk om precies te identificeren welke specifieke beslissing in de keten leidde tot de uiteindelijke mislukking.
Om dit probleem te ontleden, maakten de onderzoekers een strikt onderscheid tussen twee verschillende vaardigheden:
1. Het vermogen om een nuttige, vooraf geschreven richtlijn (policy) te volgen.
2. Het vermogen om die richtlijn zelfstandig te leren uit ervaring.
Resultaten uit de praktijk
De resultaten van het onderzoek tonen een opvallende discrepantie aan. Wanneer de onderzoekers handgeschreven richtlijnen introduceerden voor twee 'frozen' 7B-agenten (modellen waarvan de parameters vaststonden) in de omgeving TextWorldExpress, steeg het succespercentage met 5,0 punten. Dit bewijst dat er effectieve tekstuele instructies bestaan die de prestaties van de agenten direct kunnen verbeteren.
Echter, wanneer de agenten zelf probeerden richtlijnen te genereren op basis van hun eigen trajecten en fouten, bleek dit niet succesvol. Volgens de data in het presteerden deze zelfgegenereerde richtlijnen niet betrouwbaar beter dan standaard prompting. Zelfs wanneer de onderzoekers gebruikmaakten van rijkere gegevenssporen, tegenfeitelijk bewijs of iteratieve zoekmethoden zoals GEPA, bleef de verbetering uit.
Conclusie over agent-optimalisatie
De belangrijkste conclusie van de studie is dat de grootste hindernis voor agent-level TextGrad niet ligt in de uitvoering van de tekstuele updates. De agenten zijn immers prima in staat om een goede instructie toe te passen zodra deze er is. De werkelijke uitdaging ligt in het betrouwbaar genereren en selecteren van de juiste updates op basis van ervaring.
Het onderzoek, dat is ingediend in de categorieën en , suggereert dat het simpelweg verzamelen van feedback na een mislukking onvoldoende is om complexe agenten autonoom te laten leren. De stap van een 'fout' naar een 'verbeterde regel' blijft voor huidige taalmodellen een kritiek knelpunt.
Voor meer details over de methodologie en de specifieke testomgevingen kan de volledige PDF worden geraadpleegd via de .