De beveiliging van geavanceerde AI-agenten die worden ingezet voor wetenschappelijk onderzoek is minder robuust dan voorheen werd aangenomen. Uit een recent onderzoek blijkt dat specialistische domeinkennis, die vaak is ondergebracht in modulaire 'skills', kwetsbaar is voor extractie. Deze vaardigheden stellen AI-systemen in staat om complexe workflows te beheren en specifieke instrumenten te selecteren, maar de interacties die hiervoor nodig zijn, kunnen onbedoeld de onderliggende logica onthullen.
Om de mate van kwetsbaarheid te bepalen, hebben wetenschappers een benchmark opgesteld met 40 beschermde vaardigheden. Deze werden getest op acht verschillende platforms voor wetenschappelijke agenten, variërend van open-source tot gesloten systemen. Volgens de resultaten in een publicatie op arxiv.org bleken alle acht de geteste platforms in staat om minstens één beschermde vaardigheid prijs te geven, wat neerkomt op een lekpercentage van 100%.
De mate van onbeveiliging varieerde per platform. Bij vier van de acht onderzochte systemen werd de volledige gevraagde informatie reeds na één enkele directe aanvraag geleverd. De onderzoekers maakten gebruik van diverse extractiemethoden, waaronder directe bevraging, vaste strategieën en iteratieve probing via zogenaamde 'bandits'.
Voor systemen die resistenter bleken tegen deze eenvoudige methoden, introduceerden de onderzoekers SEEK (Skill Extraction with Evolving Knowledge). Dit instrument fungeert als een 'black-box, self-evolving red-teaming agent'. In tegenstelling tot traditionele, statische aanvalsmethoden, beschikt SEEK over een persistent geheugen waarin informatie uit eerdere reacties van de AI wordt opgeslagen. Hierdoor kan de agent zijn strategie voortdurend aanpassen en nieuwe technieken ontwikkelen op basis van de output van de gebruiker. Hoewel de naam overeenkomt met commerciële vacatureplatforms zoals seek.com of seek.com, betreft dit hier een specifiek technisch model voor AI-beveiligingstests.
De effectiviteit van SEEK werd specifiek getoetst op 12 vaardigheden binnen de platforms Biomni en SpatialAgent. Uit de data op blijkt dat SEEK hier een succespercentage van 100% behaalde. Daarnaast was het model aanzienlijk sneller dan eerdere methoden; de gemiddelde tijd tot het eerste succes daalde met respectievelijk 31,8% en 38,2% in vergelijking met bandit-gestuurde probing.
Zelfs wanneer platforms een strikt beleid hanteerden dat standaard benchmark-protocollen blokkeerde, bleek SEEK nog steeds in staat om informatie te onttrekken. In een specifiek scenario wist de agent één van de zes beschermde vaardigheden alsnog te extraheren, ondanks de actieve beveiligingsmaatregelen. Dit onderstreept dat huidige mechanismen onvoldoende bescherming bieden tegen adaptieve aanvallers die over meerdere interactierondes opereren.
De auteurs van het onderzoek, waaronder Cheng Gui, concluderen dat de huidige generatie wetenschappelijke AI-agenten hun intellectuele eigendom en specialistische kennis niet betrouwbaar kunnen beschermen. De trend om expertise te verpakken in herbruikbare modules vereist volgens de onderzoekers een fundamenteel nieuwe aanpak van beveiligingsprotocollen. Terwijl platforms zoals seek.com zich richten op arbeidsbemiddeling, waarschuwt dit AI-onderzoek voor de risico's van kennislekken in de frontier science sector.