Onderzoekers van UC Davis en Microsoft Research hebben een nieuw framework ontwikkeld genaamd ShallowDefend, dat grote taalmodellen (LLM's) beter bestand maakt tegen kwaadaardige verzoeken die over meerdere beurten in een gesprek worden verspreid.
Hoewel moderne taalmodellen door veiligheidsuitlijning (safety alignment) vaak direct weigeren om schadelijke vragen te beantwoorden, blijven ze kwetsbaar voor zogenaamde 'multi-turn jailbreaks'. Hierbij wordt een schadelijk verzoek opgesplitst over een langer gesprek, waardoor de beveiliging van het model wordt omzeild. Volgens een publicatie op arxiv.org komt deze kwetsbaarheid voort uit het feit dat veiligheidsgedrag vaak 'ondiep' is en zich concentreert in de eerste paar tokens van een antwoord.
De mechaniek van de kwetsbaarheid
De onderzoekers stellen dat bestaande verdedigingsmechanismen vaak alleen de oppervlakkige vorm van een reactie bewaken, zonder het model een expliciete veiligheidsbeslissing te laten nemen. Wanneer een aanvaller erin slaagt om het model een bevestigende opening te laten genereren, stort de veiligheidsdistributie in en valt het model terug op zijn basisgedrag, wat resulteert in het beantwoorden van de schadelijke vraag.
In een analyse op aiexpert.news wordt uitgelegd dat dit geen gebrek is aan trainingsdata, maar een structureel probleem. Zodra een antwoord compliant begint, wordt de kans op een weigering drastisch kleiner. ShallowDefend probeert dit proces om te keren door de 'ondiepte' van de uitlijning juist als mechanisme voor verdediging te gebruiken.
Het 'Assess $\to$ Decide $\to$ Respond' framework
De kern van de nieuwe aanpak is het framework Assess $\to$ Decide $\to$ Respond. In plaats van direct een antwoord te genereren, doorloopt de verdediger drie expliciete stappen:
1. Assess: Het model analyseert de onderliggende intentie van de gebruiker.
2. Decide: Het model committeert zich aan een expliciete, parseerbare beslissing, zoals COMPLY (toegeven), REFUSE (weigeren) of in sommige varianten SAFE-REDIRECT.
3. Respond: Pas na deze beslissing genereert het model een antwoord dat is geconditioneerd op de gemaakte keuze.
Door de beslissing te externaliseren als een specifiek token-span, ontstaat er een causaal controlepunt. Volgens DeepPaper maakt dit het mogelijk om reinforcement learning (RL) toe te passen op de beslissingsfase. Hierbij wordt gebruikgemaakt van een zelf-geverifieerde beloning die het label controleert tegen de bekende aard van het gesprek, waardoor er geen externe menselijke annotatie of een apart 'judge-model' nodig is.
Resultaten en prestaties
De effectiviteit van ShallowDefend is getest over twee modelfamilies en veertien verschillende benchmarks die veiligheid, nut en behulpzaamheid meten. Volgens berichtgeving van aisecwatch.com behaalden de defenders de sterkste resultaten op het gebied van multi-turn veiligheid in een gecontroleerde vergelijking.
Specifieke data op melden dat de veiligheid tegen multi-turn jailbreaks is gestegen naar 90,4%. Hoewel de veiligheid en het algemene nut van de modellen behouden bleven, was er wel sprake van een bescheiden kostprijs op het gebied van de behulpzaamheid, wat kan wijzen op een toename in 'over-refusal' (het onterecht weigeren van onschuldige vragen).
De onderzoekers concludeerden via hun publicatie op researchia.net dat het dwingen van het model tot een expliciete beslissing vóór de feitelijke reactie, de meest effectieve manier is om de trajecten van schadelijke antwoorden te blokkeren.