Wetenschappers hebben een innovatieve methode ontwikkeld om de beperkingen van het kortetermijngeheugen bij Large Language Model (LLM) agenten aan te pakken. Het systeem, genaamd APEX-EM, zorgt ervoor dat AI-agenten niet bij elke nieuwe, vergelijkbare taak hun volledige redeneringsproces opnieuw hoeven op te bouwen. In plaats daarvan kunnen zij putten uit eerder opgeslagen ervaringen.
Volgens een wetenschappelijke publicatie op arxiv.org is dit systeem ontwikkeld door Pratyay Banerjee, Masud Moshtaghi en Ankit Chadha. Het kernprobleem dat zij oplossen is het gebrek aan procedureel geheugen; huidige modellen negeren vaak de succesvolle stappen die ze zojuist hebben gezet wanneer ze een soortgelijke opdracht opnieuw krijgen.
De techniek achter het procedurele geheugen
APEX-EM maakt gebruik van een non-parametrisch geheugen, wat betekent dat de interne gewichten van het AI-model zelf niet worden aangepast tijdens het gebruik. In plaats daarvan worden procedurele en episodische gegevens opgeslagen in een zogenaamde Procedural Knowledge Graph (PKG).
Om relevante informatie uit deze graaf terug te halen, combineert het systeem drie verschillende methoden: semantisch zoeken op basis van betekenis, het matchen van structurele handtekeningen voor abstracte operaties en graaf-traversatie om verbindingen binnen de kennisstructuur te volgen. Dit proces volgt een specifieke cyclus genaamd Plan-Retrieve-Generate-Iterate-Ingest (PRGII). Hierbij worden ervaringen niet alleen vastgelegd als ze succesvol waren, maar worden ook fouten geïndexeerd, zodat de agent toekomstige misstappen kan vermijden.
Resultaten en benchmarks
De effectiviteit van het systeem is getoetst op diverse benchmarks, waaronder BigCodeBench en de Lifelong Agent Bench. Om de impact van het geheugensysteem te isoleren, gebruikten de onderzoekers telkens hetzelfde basismodel.
Uit de data op blijkt dat APEX-EM op BigCodeBench, met gebruik van een GPT-4o backbone, een stijging van 7,6 procentpunt in prestaties realiseerde ten opzichte van de baseline. Een nog sterker resultaat werd gezien bij KGQAGen-10k, waar de score op een testset van 1.079 vragen steeg van 42,0% naar 73,7%. Dit komt in de buurt van de prestaties van een 'oracle' die direct toegang heeft tot de juiste informatie (84,9%).
Modulaire conclusies
De analyse wijst uit dat de combinatie van verschillende ophaalmethoden cruciaal is. Zo bleken structurele handtekeningen ruim drie keer effectiever voor kennisoverdracht dan enkel semantisch zoeken. Het onderzoek, dat is geaccepteerd voor de EMNLP 2026 conferentie, concludeert dat een modulair geheugen dat specifiek per domein wordt samengesteld de beste resultaten biedt.
Vanwege de naamgeving kan er verwarring ontstaan met andere producten. Zo is er een educatief platform genaamd apexvs.com en biedt Electronic Arts via de ea.com virtuele valuta aan voor de game Apex Legends. Het onderzoek naar APEX-EM staat echter volledig los van deze commerciële entiteiten en richt zich puur op de technische vooruitgang van autonome AI-agenten.