De effectiviteit van AI-agenten hangt niet alleen af van het onderliggende taalmodel, maar in sterke mate van de manier waarop informatie binnen het geheugen wordt beheerd. In een recent wetenschappelijk onderzoek is geanalyseerd hoe de zogenaamde 'harness' — het systeem dat reguleert welke data behouden, samengevat of herhaald worden tijdens interacties — een doorslaggevende rol speelt in het slagen of falen van een opdracht.
Volgens de analyse van Raimondas Lencevicius van Microsoft bepalen technische keuzes in deze harness wat een model op een specifiek moment kan 'zien'. Wanneer informatie uit het contextvenster verdwijnt, kan dit leiden tot onherstelbaar verlies van cruciale feiten. In een synthetische test werd aangetoond dat modellen geen problemen ondervinden wanneer een feit opnieuw kan worden opgezocht, zelfs als de context wordt ingekort. Echter, zodra een feit niet meer geobserveerd kan worden, keldert het succespercentage naar het niveau van puur toeval. Het verschil in prestaties tussen herstelbare en niet-herstelbare informatie bedroeg in deze tests maar liefst 92,5 procentpunt, zoals beschreven in de publicatie arxiv.org.
Het onderzoek richtte zich daarnaast op de ARC-AGI-3 benchmark, waarbij een opvallend prestatieverschil werd waargenomen tussen de 'Standard harness' en de 'Provider Adapter harness'. Om te begrijpen hoe dit gat in prestaties gedicht kan worden, is gekeken naar specifieke componenten van het geheugenbeheer. Hieruit bleek dat het samenvatten van oude interacties effectiever is dan het simpelweg verwijderen van data. Wanneer een model bovendien wordt aangemoedigd om aantekeningen te maken, kon 86% van een prestatiekloof van 63 punten worden overbrugd. De overige 57% van dit verschil werd hersteld door gebruik te maken van de native replay-functie van de provider, waarbij eerdere redeneringen van het model opnieuw werden gepresenteerd. Deze technische nuances in de architectuur zijn essentieel voor het optimaliseren van agentische systemen, een onderwerp dat verder wordt uitgediept in de databricks.com.
Een verdere observatie uit de studie is dat de invloed van een geoptimaliseerde harness toeneemt naarmate de complexiteit van de taak stijgt. Bij diepere en complexere niveaus van de benchmark was de kans op succes groter bij gebruik van de 'Adapter' dan bij eenvoudigere taken. Dit suggereert dat een geavanceerde configuratie van het geheugenbeheer vooral bij langdurige of ingewikkelde processen het verschil maakt. De volledige dataset, inclusief de gebruikte code en kostenoverzichten, is raadpleegbaar via .
De resultaten onderstrepen dat de ontwikkeling van AI-agenten niet enkel moet focussen op de rekenkracht van het model, maar ook op de infrastructuur die bepaalt hoe informatie wordt gefilterd en onthouden. Voor organisaties die dergelijke systemen implementeren, biedt de visie van over de inzet van agentische architecturen aanvullende context over hoe deze theoretische inzichten vertaald kunnen worden naar zakelijke toepassingen.