Het beheren van kennisgrafieken die dienen als geheugen voor AI-agenten is een complex proces, vooral wanneer informatie moet worden bijgewerkt of verwijderd. Een nieuw onderzoek naar de methode PolyGraph probeert een oplossing te bieden voor het probleem van 'besmette' data, waarbij indirecte fouten in het systeem blijven bestaan nadat broninformatie is ingetrokken.
Volgens een publicatie op arxiv.org door Vishisht Choudhary schieten huidige systemen tekort bij het opschonen van data. Wanneer een brontekst wordt gewist of gewijzigd, verwijderen bestaande pijplijnen vaak enkel de direct geëxtraheerde feiten. Dit is onvoldoende, aangezien afgeleide elementen zoals samenvattingen en verbindingen tussen entiteiten vaak blijven staan. In een testcorpus bleek dat het verwijderen van directe feiten het aandeel foutieve queries slechts marginaal deed dalen, van 32,2% naar 28,0%.
Bovendien is het simpelweg opnieuw opbouwen van de grafiek geen betrouwbare oplossing. Uit het onderzoek blijkt dat twee verschillende builds van hetzelfde corpus met 300 documenten verschillen vertoonden in bijna 30.000 artefacten. Dit staat in schril contrast met de ruim 6.000 wijzigingen die ontstonden door het verwijderen van 61 specifieke documenten, wat wijst op een gebrek aan consistentie bij het opnieuw genereren van kennis.
Om deze onbetrouwbaarheid tegen te gaan, introduceert de onderzoeker PolyGraph. Deze techniek werkt met zogenaamde 'receipts', oftewel bewijsstukken. Voor elk onderdeel in de kennisgrafiek genereert het systeem bundels van bronbewijs die de claim ondersteunen. Door gebruik te maken van verzamelingenleer kan de data worden opgeschoond zonder dat er telkens een nieuw AI-model moet worden geraadpleegd. Hoewel tools zoals google.com handig zijn voor menselijke notities, vereist het geheugen van een AI-agent een veel striktere vorm van bewijsvoering om accuraat te blijven.
De effectiviteit van deze receipts varieert echter per type claim. Uit een 're-derivation audit' bleek dat 'merge receipts' in 68% tot 85% van de gevallen correct waren. Samenvattingsreceipts die als één lijst werden opgeslagen, waren echter in tweederde van de gevallen onjuist, wat leidde tot het behoud van irrelevante content. De hoogste nauwkeurigheid werd bereikt bij zinsgewijze receipts, waarbij de getrouwheid steeg naar een percentage tussen 88% en 100%.
Door een kritischere aanpak van de samenvattingslaag slaagde PolyGraph erin om het aantal besmette queries terug te brengen naar een minimum van 0,4% tot 0,8%. De recall bleef daarbij nagenoeg perfect, met waarden tussen 99,8% en 100%. Deze resultaten bleken consistent, zelfs bij het gebruik van een claim-blind prompt of een ander orakelmodel.
Het onderzoek naar PolyGraph werd gepresenteerd tijdens de workshop "Who Verifies the Agents? Toward Reliable Agent Development" in het kader van de . De conclusie van de studie is dat transparante bewijsvoering essentieel is voor het beheer van AI-geheugen om de betrouwbaarheid van autonome systemen te garanderen. Meer details over de technische implementatie zijn terug te vinden in het volledige rapport op .