Word je gehackt via een AI-aanval, dan kopieer je die aanval mogelijk gewoon en gebruik je hem tegen iemand anders. Dat blijkt uit grootschalig onderzoek naar prompt-injecties: manipulaties waarmee aanvallers de instructies van een AI-model omzeilen.
Onderzoekers Zihan Chen, Lei Nico Zheng en Di Zhu analyseerden 563.349 aanvalrecords uit Tensor Trust, een online spel waarin spelers hun AI-beveiligde account moeten verdedigen én proberen accounts van anderen binnen te dringen. Spelers zien daarbij welke aanvallen op hen zijn gericht. De resultaten staan in een publicatie op arxiv.org.
Succes is besmettelijk
De kern van de bevinding: hoe succesvoller de aanval, hoe groter de kans dat het slachtoffer hem kopieert. Van de succesvolle prompt-injecties werd 10,0% binnen een week hergebruikt tegen andere spelers. Bij vergelijkbare aanvallen die het slachtoffer nooit bereikten, was dat slechts 0,03%.
Ook 'near-misses' — pogingen die er bijna succesvol uitzagen maar uiteindelijk faalden — werden nauwelijks overgenomen. Gebruikers handelen dus op basis van het daadwerkelijke resultaat. De onderzoekers noemen dit 'payoff-biased social learning'.
Verdedigen lukt ook
Er is ook goed nieuws. Wie doelwit werd, verstevigde zijn eigen beveiliging. Na een geslaagde inbraak waren aanvallen van hetzelfde type 24,5 procentpunten minder succesvol tegen die specifieke gebruiker dan tegen andere verdedigers.
Maar de schaduwzijde is groot: ongeveer 23,2% van alle succesvolle kapingen in het onderzoek gebruikte tekst die de aanvallers eerder zelf als slachtoffer hadden ontvangen. Dat gebeurde vooral bij spelers die al ervaren waren met aanvalsmethoden.
Minder details, meer veiligheid
De auteurs adviseren daarom om het delen van aanvalsinformatie in beveiligingstools te herzien. Hun voorstel: beschrijf de gebruikte techniek, maar toon niet de volledige, kopieerbare aanvalstekst. Zo voorkom je dat slachtoffers onbedoeld uitgroeien tot aanvallers.
Hoewel dit onderzoek over AI-beveiliging gaat, is slachtofferhulp bij misdrijven een breed thema. Voor informatie over de rechten van slachtoffers binnen de Europese Unie en beschikbare ondersteuning bij diverse vormen van criminaliteit verwijzen we naar het initiatief europa.eu van de Europese Unie.