Wetenschappers hebben een methode ontwikkeld om een specifiek lek in de beveiliging van geavanceerde kunstmatige intelligentie te dichten. Het probleem draait om het proces van 'unlearning', waarbij ongewenste of gevoelige informatie uit de interne parameters van een taalmodel wordt gewist. Hoewel dit bij traditionele chatbots effectief is, blijkt dit bij autonome AI-agenten problematisch omdat zij externe hulpmiddelen kunnen gebruiken om de gewiste data alsnog op te sporen.
Volgens een onderzoek gepubliceerd op arxiv.org ontstaat er een zogenaamde 'evaluatie-mismatch'. Dit houdt in dat informatie die succesvol uit de interne gewichten van het model is verwijderd, door de agent simpelweg opnieuw kan worden opgehaald via een database-lookup of een zoekopdracht op het web. De auteurs van de studie, waaronder Zheyuan Liu en Baicheng Chen, noemen dit fenomeen 'tool-mediated recovery'. In hun publicatie Forgotten in Weights, Recovered by Tools leggen zij uit dat huidige technieken voor het wissen van data zich te veel richten op het onderdrukken van directe herinneringen, terwijl de agent via een omweg alsnog bij de verboden informatie kan komen.
Dit risico is direct gekoppeld aan de evolutie van AI-technologie. Waar vroege generatieve modellen vooral tekst produceerden, is er nu een verschuiving naar agentic AI. Zoals mit.edu beschrijft, onderscheidt agentic AI zich van standaard chatbots door het vermogen om complexe workflows met meerdere stappen te automatiseren. Deze systemen kunnen zelfstandig beslissingen nemen en acties uitvoeren in een digitale omgeving, wat hen veel krachtiger maakt maar ook kwetsbaarder voor onbedoelde datalekken via externe API's.
Om dit probleem op te lossen, hebben de onderzoekers het Agentic Tool Unlearning (ATU) framework ontwikkeld. Dit proces bestaat uit twee fasen. Eerst wordt de standaard parametrische kennis gewist om de directe herinnering in het model te blokkeren. Daarna volgt een cruciale tweede stap: het model wordt via reinforcement learning in gesimuleerde omgevingen getraind om specifiek gedrag te vermijden. Het systeem krijgt een 'straf' wanneer het probeert tools aan te roepen om naar de gewiste informatie te zoeken of wanneer de uiteindelijke output de verboden data bevat.
Het doel van deze aanpak is om een balans te vinden waarbij de agent zijn algemene vaardigheden om tools te gebruiken behoudt, maar specifiek wordt geblokkeerd voor de informatie die verwijderd had moeten worden. De effectiviteit van dit ATU-framework is getest op diverse LLM-architecturen met behulp van de datasets MUSE en RWKU. Volgens de analyse op zorgt deze methode voor een robuuster unlearning-proces, waarbij de bruikbaarheid van het model behouden blijft terwijl de doeldata effectief onbereikbaar wordt.
De conclusie van de onderzoekers is dat de definitie van 'vergeten' in de huidige AI-context moet worden uitgebreid. Het volstaat niet langer om enkel interne parameters aan te passen; het volledige gedrag van de agent binnen zijn digitale omgeving moet worden beheerst. Gezien de toenemende autonomie van systemen die kunnen beheren, is deze integrale benadering van privacy en veiligheid essentieel.