Onderzoekers hebben een nieuwe methode ontwikkeld genaamd Supra Cognitive Modes (SCM), een architectuur die AI-agenten helpt om efficiënter om te gaan met complexe geheugentaak door queries dynamisch te routeren naar verschillende verwerkingsmodi.
Het beheren van geheugen in AI-agenten is een uitdagende taak omdat de behoeften per vraag sterk variëren. Soms moet een systeem simpelweg een feit opzoeken, terwijl het op andere momenten complexe relaties moet leggen of een synthese moet maken van een zeer lange geschiedenis. Volgens een recent onderzoekspapier op arxiv.org probeert de Supra Cognitive Modes-architectuur dit probleem op te lossen door een systeem te implementeren dat per query een specifieke 'modus' selecteert.
Dynamische routering en verwerking
De kern van SCM is een zogenaamd 'routed architecture'. In plaats van elke vraag op dezelfde manier te behandelen, maakt het systeem gebruik van een bevroren semantische classifier en runtime-gates. Deze componenten bepalen of een vraag expliciet door de gebruiker is toegewezen aan een modus, of dat het systeem dit automatisch moet doen.
Zodra de modus is bepaald, wordt de query verzonden naar een specifieke verwerkingsstroom. De architectuur maakt hierbij onderscheid tussen verschillende typen taken:
- Lexicale en dense lookup: Voor het direct terugvinden van feiten.
- Graph of iterative multi-hop handling: Voor redeneringen waarbij meerdere stappen of relaties tussen gegevenspunten nodig zijn.
- Stratified long-form synthesis: Voor het samenvoegen van informatie uit uitgebreide historische data.
Al deze modi maken gebruik van één gedeelde basislaag, genaamd het 'ingest substrate'. Deze laag combineert verschillende vormen van data, waaronder embeddings met meerdere granulariteiten, geëxtraheerde triples en metadata over versies van feiten.
Prestaties en benchmarks
Om de effectiviteit van de SCM-configuratie te testen, hebben de auteurs, Joshua Tobkin en David Yang, het systeem onderworpen aan drie verschillende benchmarks. De resultaten laten zien dat de architectuur sterk presteert bij specifieke geheugentaak.
Op de benchmark Long-term Conversational Memory (LoCoMo) behaalde het systeem een score van 84,87% voor factoid-categorieën. Daarnaast scoorde het 68,61% op het gebied van 'adversarial abstention', wat aangeeft hoe goed het systeem in staat is om onjuiste antwoorden te vermijden. In de test met MemoryAgentBench (MAB) behaalde de configuratie een score van 61,49% over twee herhalingen. Tot slot werd op LongMemEval een score van 86,00% geregistreerd.
Volgens de publicatie op zijn deze resultaten reproduceerbaar via een repository-ondersteunde methode, wat verdere analyse van foutpatronen per taak en modus mogelijk maakt.
Beperkingen en openstaande vragen
Ondanks de positieve resultaten op de benchmarks, plaatsen de onderzoekers kanttekeningen bij de beschikbare data. In de documentatie op wordt vermeld dat bepaalde gegevens, zoals de volledige token-registers en de exacte end-to-end timing voor LoCoMo en LongMemEval, niet beschikbaar zijn. Ook ontbreken sommige definitieve runtime-beslissingen in de opgeslagen rijen van de data.
Bovendien geven de auteurs toe dat er nog onvoldoende bewijs is voor bepaalde claims. Zo zijn de causale effecten van de routering, de exacte efficiëntiewinst en de statistische significantie van de resultaten momenteel nog buiten het bereik van de beschikbare bewijslast. De huidige resultaten karakteriseren dus één specifieke implementatie van de routed configuratie.
De architectuur biedt echter wel een transparante interface voor per-query controle, wat volgens de auteurs een belangrijk onderdeel is van het ontwerp van het gedeelde substraat. Het onderzoek is ingediend onder de categorieën Kunstmatige Intelligentie en Computation and Language op het platform .