Wetenschappers hebben een ernstig beveiligingsrisico blootgelegd in Textual Collaborative Prompt Optimization (TCPO). Dit systeem is ontworpen om meerdere gebruikers in staat te stellen gezamenlijk de prompts van grote taalmodellen (LLM's) te verbeteren, terwijl de privacy van lokale gegevens gewaarborgd blijft. Echter, een nieuwe methode van manipulatie zet de integriteit van dit proces op het spel.
De kern van het probleem ligt in een aanvalsvector die door onderzoekers is aangeduid als CPInj. Volgens een arxiv.org maakt deze aanval misbruik van de manier waarop tekstuele updates worden verzameld en samengevoegd op een centrale server. Hierdoor kunnen kwaadwillende instructies in lokale prompts worden geplaatst, die vervolgens via de aggregatie naar alle deelnemende gebruikers worden verspreid.
De mechaniek achter de aanval
TCPO is gebaseerd op het Textgrad-concept en streeft naar hogere prestaties van AI-modellen door prompts collectief te optimaliseren zonder dat gebruikers hun private data hoeven te delen. Juist deze focus op vrije tekstuele updates creëert echter een onverwacht toegangspunt voor aanvallers.
In tegenstelling tot gangbare prompt-injecties richt CPInj zich specifiek op de optimalisatielus van het systeem. Om succesvol te zijn, moet de malafide instructie drie kritieke barrières overwinnen: de aggregatie op de server, de opeenvolgende optimalisatierondes van eerlijke gebruikers en de bestaande detectiesystemen. Uit de blijkt dat deze aanval complexer is dan standaardinjecties, maar wel zeer effectief in het contamineren van de globale prompt.
Impact op AI-prestaties
Om de ernst van de situatie te bepalen, hebben Xinting Liao en collega's uitgebreide experimenten uitgevoerd. Zij testten de aanval over vijf verschillende redeneertaken in de domeinen geneeskunde, logica en wiskunde, verspreid over drie verschillende LLM-families.
De resultaten zijn zorgwekkend. De aanval verslechtert niet alleen de prestaties van de taken, maar blijkt ook resistent tegen natuurlijke zuivering. Zelfs wanneer welwillende gebruikers proberen de prompt verder te optimaliseren, blijven de schadelijke instructies vaak aanwezig. Bovendien stelt de dat huidige server-side detectiemethoden onvoldoende zijn om CPInj tijdig te herkennen en te blokkeren.
Verdedigingsmechanismen en conclusies
Als reactie op deze kwetsbaarheid hebben de auteurs een nieuwe verdedigingsmethode ontwikkeld, genaamd APAgg. Deze aggregatietechniek is specifiek ontworpen om malafide instructies uit de tekststroom te filteren, waardoor de bruikbaarheid van TCPO gedeeltelijk kan worden hersteld.
Ondanks de introductie van APAgg concluderen de onderzoekers dat de aanval nog steeds een aanzienlijke impact heeft. De kwetsbaarheid is volgens hen nog niet volledig gedicht, wat de noodzaak onderstreept voor robuustere beveiligingsmechanismen bij gedecentraliseerde AI-optimalisatie. Het onderzoek is inmiddels geaccepteerd voor de en is gepresenteerd tijdens de AI4GOOD workshop, waarbij de nadruk lag op de nieuwe risico's die ontstaan bij de verschuiving naar lokale dataverwerking.