Onderzoekers hebben een nieuwe aanvalsmethode ontwikkeld waarmee zelf-evoluerende AI-agenten worden misleid om kwaadaardige regels in hun eigen vaardigheden te bouwen. De aanvaller heeft daarvoor geen directe toegang tot het systeem nodig — de AI doet het werk zelf.
Moderne AI-agenten gebruiken steeds vaker 'zelf-evolutie': ze destilleren ervaringen uit eerdere taken om en slaan die op als herbruikbare vaardigheden. Dat maakt ze slimmer en efficiënter. Maar volgens nieuw onderzoek creëert het ook een gevaarlijk nieuw aanvalsoppervlak. Zit eenmaal een kwaadaardige regel in die opgeslagen vaardigheden, dan kan het toekomstige gedrag van de agent volledig worden gecompromitteerd.
🧠 Even simpel uitgelegd
Stel je een AI voor die leert van elke klus die hij uitvoert, net zoals jij leert van elke opdracht op school. Wat hij leert, schrijft hij op in een notitieboekje dat hij daarna altijd raadpleegt. De nieuwe aanval werkt als volgt: iemand geeft de AI opdrachten die er onschuldig uitzien, maar die hem stiekem een slechte gewoonte laten opschrijven in dat notitieboekje. Vanaf dat moment volgt de AI die slechte gewoonte bij élke toekomstige klus — zonder dat iemand ooit direct in het notitieboekje heeft kunnen kijken.
Waarom traditionele aanvallen niet meer werken
Eerdere 'backdoor'-aanvallen gingen ervan uit dat een aanvaller de vaardigheden van een AI direct kon aanpassen. Maar dat is in de praktijk vaak onmogelijk, zoals beschreven in de publicatie op arxiv.org. Veel systemen gebruiken een vertrouwde 'evolver' die vaardigheden intern construeert, waardoor externe manipulatie wordt geblokkeerd.
Het onderzoeksteam, met onder anderen Minhua Lin, richtte zich daarom op een nieuw probleem: aanvallen op taakniveau. De aanvaller kan dan niets wijzigen in de code of de vaardigheden, maar injecteert wél 'vergiftigde' evolutietaken. De AI-agent wordt zo onbewust gedwongen om backdoors in zijn eigen vaardigheidsset te bouwen.
Zo werkt BadEvolve
Een AI-agent succesvol misleiden is complex: de aanvaller controleert niet hoe vaardigheden worden geïnduceerd of later uitgevoerd. Daarom ontwikkelden de onderzoekers het framework BadEvolve.
BadEvolve diagnosticeert mislukte aanvallen en optimaliseert ze. Het systeem analyseert fouten in vier specifieke fasen:
- Inductie: het proces waarbij de AI de vaardigheid creëert.
- Activatie: het moment waarop de AI besluit de vaardigheid te gebruiken.
- Following: de mate waarin de AI de instructies van de vaardigheid volgt.
- Effect: de uiteindelijke impact van de actie op de uitkomst.
Door precies te weten in welke fase een aanval faalt, kan BadEvolve de vergiftigde taken stap voor stap verbeteren. Een 'rollback'-mechanisme en een geheugen voor fouten zorgen ervoor dat nieuwe pogingen eerdere vooruitgang niet wissen en dat ineffectieve updates niet worden herhaald.
Wat betekent dit?
De effectiviteit van BadEvolve is getest over diverse zelf-evolutie-frameworks, benchmarks en verschillende backbone LLM's. De conclusie: het is mogelijk om AI-agenten te manipuleren via hun eigen leerproces. Dat werpt nieuw licht op de risico's van systemen die autonoom hun eigen kennisbasis uitbreiden op basis van ervaring.
Waar 'ervaring' in het dagelijks leven gewoon staat voor kennis opdoen door dingen te doen — zoals het cambridge.org definieert — wordt die eigenschap bij LLM-agenten nu dus geïdentificeerd als potentiële zwakke plek. Juist de persistentie van ervaringen maakt het gevaarlijk: één succesvolle injectie van een kwaadaardige regel heeft langdurige gevolgen voor alle toekomstige taken van de agent.
De volledige studie en de bijbehorende code zijn beschikbaar gesteld, zodat andere onderzoekers zelf-evoluerende AI-systemen kunnen helpen beveiligen tegen dit type taak-gebaseerde vergiftiging.