Onderzoekers hebben ChainWatch ontwikkeld, een framework dat specifiek is ontworpen om meerstapsaanvallen op AI-systemen te detecteren die gebruikmaken van het Model Context Protocol (MCP).
De integratie van AI-agenten met externe databases, tools en diensten opent nieuwe mogelijkheden voor automatisering, maar creëert tegelijkertijd significante veiligheidsrisico's. In een recent gepubliceerd wetenschappelijk artikel beschrijven onderzoekers Om Narayan, Rashmi Jyoti en Ramkinker Singh hoe traditionele beveiligingsmechanismen tekortschieten bij het herkennen van geavanceerde aanvalspatronen.
De kwetsbaarheid van het Model Context Protocol
Het Model Context Protocol (MCP) is een open-source standaard die AI-agenten in staat stelt om naadloos verbinding te maken met externe bronnen. Hoewel deze connectiviteit de functionaliteit van AI-systemen vergroot, introduceert het een specifiek risico: de meerstapsaanval.
Volgens de publicatie op arxiv.org kunnen aanvallers kwaadaardige sequenties samenstellen uit individuele tool-aanroepen die op zichzelf onschadelijk lijken. Omdat veel huidige beveiligingssystemen elke aanroep afzonderlijk inspecteren (per-call defense), blijven deze patronen vaak onopgemerkt. De aanval is pas zichtbaar wanneer men kijkt naar de volledige keten van acties, in plaats van naar geïsoleerde gebeurtenissen.
De werking van ChainWatch
Om dit probleem aan te pakken, hebben de auteurs ChainWatch ontwikkeld. Dit framework is gebaseerd op het concept van een 'kill chain', een model dat de verschillende fasen van een cyberaanval in kaart brengt. ChainWatch hanteert een zesstaps kill chain om de progressie van een aanval te modelleren.
Het systeem maakt gebruik van een Hidden Markov Model (HMM) om sequenties van tool-aanroepen te classificeren. Door gedragssignalen uit tool-interacties te analyseren via een schema met 20 verschillende dimensies, kan het framework bepalen of een sessie een verdacht verloop vertoont over meerdere fasen heen. Wanneer een AI-agent een reeks acties uitvoert die overeenkomt met de progressie van een aanvalsketen, wordt er een detectieregel geactiveerd.
Breed dreigingsmodel en validatie
Het framework is ondersteund door een gestructureerd dreigingsmodel dat drie hoofdcategorieën van aanvallen beslaat:
1. Directe sequentiële aanvallen: Waarbij de aanvaller direct een reeks schadelijke acties aanstuurt.
2. Indirecte prompt injection chains: Waarbij kwaadaardige instructies via externe bronnen in de AI-agent worden geslopen.
3. Hybride meerstapsaanvallen: Een combinatie van verschillende methoden om detectie te omzeilen.
In de studie, zoals beschreven in het document , is de effectiviteit van ChainWatch aangetoond aan de hand van vijf representatieve aanvalsscenario's uit de bestaande beveiligingsliteratuur. De resultaten tonen aan dat ChainWatch in staat is om aanvalsketens te identificeren die traditionele beveiligingsmechanismen, die enkel naar individuele aanroepen kijken, volledig missen.
Context en wetenschappelijke impact
Het onderzoek is ingediend in de categorieën Cryptografie en Beveiliging (cs.CR) en Artificiële Intelligentie (cs.AI) op het platform . De publicatie benadrukt de noodzaak voor een verschuiving in de beveiliging van AI-agenten: van statische inspectie naar sequentiële analyse.
Door de focus te leggen op de progressie van acties in plaats van op individuele commando's, biedt ChainWatch een methode om de "blinde vlek" van huidige AI-beveiliging op te vullen. Dit is cruciaal naarmate AI-agenten meer autonomie krijgen in het beheren van gevoelige data en het aansturen van kritieke bedrijfssystemen via standaarden zoals het Model Context Protocol.
Voor meer details over de technische implementatie en de gebruikte Hidden Markov Modellen kan het volledige rapport worden geraadpleegd via de .