Wetenschappers hebben een innovatieve methode ontwikkeld om beveiligingsrisico's in AI-agenten te identificeren. Het nieuwe systeem, dat de naam Supply-Chain Scanner for Agent Skills (SCS) draagt, richt zich specifiek op de gevaren die ontstaan wanneer natuurlijke taalinstructies en uitvoerbare code worden gecombineerd. Deze hybride vorm van 'skills' van derden vormt een groeiend risico voor de toeleveringsketen van AI-systemen.
De noodzaak voor dit nieuwe kader komt voort uit de beperkingen van huidige beveiligingstools. Volgens een wetenschappelijke publicatie op arxiv.org schieten bestaande scanners vaak tekort omdat ze steunen op eenvoudige regelmatching of enkelvoudige oordelen van taalmodellen. Deze methoden zijn onvoldoende om kwaadaardig gedrag te traceren dat verspreid is over zowel tekstuele instructies als de daadwerkelijke code.
Om dit gat te dichten, verenigt SCS beide domeinen voor een integrale analyse. In de basis is een computerhope.com een reeks instructies die een computer vertelt wat hij moet doen. SCS analyseert deze instructies door natuurlijke taal om te zetten naar een specifieke 'intermediate representation' (IR) in Python-stijl, waarbij gebruik wordt gemaakt van beveiligingsgerichte API's. Vervolgens creëert het systeem programmadependentiegrafieken (PDG's) die worden samengevoegd tot een zogenaamde cross-domain graph (xPDG).
Voor de detectie van risico's hanteert het systeem een Trust-Sensitivity-Capability (TSC) model. Dit model verspreidt beveiligingseigenschappen over de grafiek, wat resulteert in een gestructureerde en grotendeels deterministische manier om dreigingen op te sporen. De effectiviteit van deze aanpak is uitgebreid getest op een benchmark met 234 geverifieerde vaardigheden (verdeeld in 117 kwaadaardige en 117 goedaardige voorbeelden).
De resultaten van dit onderzoek, zoals beschreven via , tonen aan dat SCS superieur presteert ten opzichte van andere methoden over vijf verschillende Large Language Models (LLM's). Het systeem behaalde een gemiddelde nauwkeurigheid van 85,6% en een recall van 95,2%. De F1-score werd vastgesteld op 86,9%, met een precisie van 80,2%. Daarnaast bleek de compiler die tekst omzet naar IR zeer betrouwbaar, met een correctheid tussen de 92,5% en 94,5% op een dataset van 400 geannoteerde stappen.
Om de praktische waarde van het kader te bewijzen, hebben de onderzoekers een grootschalige analyse uitgevoerd op het platform ClawHub. Hierbij werden 66.157 vaardigheden onderzocht. Deze scan leidde tot 2.473 potentiële verdachten van kwaadaardig gedrag. Na een handmatige controle en dynamische validatie werd bevestigd dat 627 van deze vaardigheden daadwerkelijk schadelijk waren.
Dit onderzoek benadrukt dat moderne AI-agenten complexe interacties vertonen tussen tekst en code, waardoor traditionele scanners ontoereikend zijn. De volledige technische details en de methodologie van dit project zijn terug te vinden in de publicatie op .