Een team van onderzoekers heeft een systeem ontwikkeld waarmee AI-agenten zelfstandig complexe procedures kunnen aanleren door succesvolle acties uit het verleden te analyseren en om te zetten in herbruikbare 'skills'. Deze methode, genaamd Zep Agent Skills, stelt minder krachtige modellen in staat om prestaties te verbeteren zonder dat er sprake is van traditionele training of fine-tuning.
In de huidige generatie van Large Language Model (LLM) agenten wordt geheugen voornamelijk ingezet voor semantische informatie, zoals feiten over gebruikers, of episodisch geheugen, waarbij eerdere interacties worden opgeslagen. Volgens een recent onderzoek getiteld "Learning by Doing", gepubliceerd op arxiv.org, schieten deze systemen tekort in het onthouden van procedurele kennis: het vermogen om te weten hoe een specifieke taak stap voor stap moet worden uitgevoerd.
Van sporen naar vaardigheden
Het gepresenteerde systeem, Zep Agent Skills, introduceert een vorm van procedureel geheugen voor AI-agenten. Het proces begint bij het vastleggen van een 'Trace' (spoor). Elke poging om een taak uit te voeren wordt geregistreerd als een reeks geordende gebeurtenissen, inclusief de uiteindelijke uitkomst en de sterkte van de verificatie.
Om deze ruwe data om te zetten in bruikbare kennis, maakt het systeem gebruik van een compiler. Deze compiler hanteert twee specifieke rollen: een 'Reflector' en een 'Curator'. Samen zorgen zij ervoor dat geverifieerde sporen worden omgezet in versiebeheerde vaardigheden. Om de kwaliteit te waarborgen, worden kandidaten voor nieuwe vaardigheden onderworpen aan scans en 'admission gates' voordat ze actief worden gesteld. De rangschikking van deze vaardigheden in het systeem wordt vervolgens dynamisch aangepast op basis van succesvolle resultaten bij toekomstig gebruik, zoals beschreven in de publicatie op .
Open standaard en integratie
Een opvallend aspect van dit project is de focus op interoperabiliteit. Het formaat van de Agent Skills is een open standaard. Deze standaard is oorspronkelijk ontwikkeld door Anthropic en later gedoneerd aan de Agentic AI Foundation. Hierdoor kunnen verschillende hosts die dit formaat ondersteunen, gecompileerde vaardigheden laden en gebruiken.
Agenten kunnen deze vaardigheden ophalen via een API of het Model Context Protocol (MCP), waarbij gebruik wordt gemaakt van lexicale zoekopdrachten met progressieve onthulling. Dit zorgt ervoor dat de agent alleen de relevante informatie ontvangt die nodig is voor de specifieke taak op dat moment, wat de efficiëntie van het model ten goede komt, meldt de documentatie via .
Significante prestatiewinst
De effectiviteit van Zep Agent Skills is getest op verschillende benchmarks, waaronder AppWorld, EnterpriseOps-Gym en de banking-sectie van $\tau^3$-bench. De resultaten tonen aan dat vaardigheden die zijn gecompileerd uit de sporen van een krachtig 'docentenmodel' (teacher model) de prestaties van drie zwakkere 'uitvoeringsmodellen' (executor models) aanzienlijk verbeteren.
De pass-rate van deze zwakkere modellen steeg met 4,5 tot 18,8 punten bij elke mate van redeneringsinspanning. De grootste winst werd behaald bij taken die het docentenmodel reeds succesvol had opgelost. Daarnaast werd het systeem getest op ALFWorld. Hier bleek dat vaardigheden die waren afgeleid van de runs van een klein model een prestatieverbetering boden die gelijk aan of zelfs groter was dan de winst die in eerder onderzoek werd gerapporteerd voor continue fine-tuning, terwijl er in dit geval geen sprake was van training, aldus de auteurs op .
Door het gebruik van geverifieerde bewijslast en een strikt beheer van versiebeheer, biedt Zep Agent Skills een schaalbare manier om de operationele capaciteiten van AI-agenten te vergroten zonder de computationele kosten van herhaaldelijke training. De volledige details van de methodologie en de resultaten zijn terug te vinden in het volledige rapport op .