Een nieuw onderzoek wijst uit dat de methoden om het succes van 'jailbreaks' bij grote taalmodellen (LLM's) te meten, zeer onbetrouwbaar kunnen zijn. De resultaten hangen sterk af van de gebruikte beoordelaar, wat kan leiden tot een enorme vertekening van de gerapporteerde succespercentages.
In de wereld van kunstmatige intelligentie wordt vaak geprobeerd om veiligheidsfilters van taalmodellen te omzeilen via zogenaamde 'jailbreaks'. Onderzoekers rapporteren hierbij meestal een 'attack success rate': het percentage reacties waarin het model daadwerkelijk gehoor geeft aan een schadelijk verzoek. Volgens een recent onderzoek van Ruqiya Bin Safi, gepubliceerd op arxiv.org, wordt dit succespercentage vaak ten onrechte gezien als een eigenschap van het doelmodel, terwijl het in werkelijkheid sterk wordt beïnvloed door de partij die de resultaten beoordeelt.
Het fenomeen van 'class collapse'
Het onderzoek richtte zich op de rol van de zogenaamde 'graders' (beoordelaars): andere AI-modellen die bepalen of een antwoord van een doelmodel compliant is (het schadelijke verzoek uitvoert) of dat het verzoek is afgewezen. Om de invloed van deze beoordelaars te testen, hield de onderzoeker het doelmodel, de prompts en de gegenereerde reacties constant en varieerde enkel de grader.
Uit de resultaten blijkt dat bepaalde beoordelaars lijden aan wat wordt aangeduid als 'class collapse'. Drie specifieke 'dense graders' met een omvang van 8 miljard en 9 miljard parameters, afkomstig uit drie verschillende modelfamilies, vertoonden dit gedrag. In plaats van compliant antwoorden correct te labelen, verschooften deze modellen de reacties naar een naburige categorie, namelijk 'evasion' (ontwijking). In één extreem geval wees een beoordelaar in een set van 900 reacties nul keer het label 'compliant' toe, ondanks de inhoud van de antwoorden.
Volgens de publicatie op is dit probleem niet beperkt tot één type model. De 'collapse' trad ook op bij nieuwe schadelijke verzoeken, bij doelmodellen uit een derde familie en zelfs bij een aparte 7B-grader uit een vierde modelfamilie.
Extreme verschillen in succespercentages
De impact van deze onbetrouwbare beoordelaars op de statistieken is aanzienlijk. In de analyse van twee corpora met elk 900 reacties en acht verschillende beoordelaars, bleek dat het compliance-percentage met een factor 22 tot 25 verschilde afhankelijk van de gekozen grader. Tegelijkertijd varieerde het 'non-refusal rate' (het percentage antwoorden dat niet expliciet weigert) met 18 tot 23 procentpunten.
Wanneer de drie problematische, 'collapsing' graders uit de analyse werden verwijderd, werden de verschillen aanzienlijk kleiner. Het compliance-percentage verschilde dan nog slechts met een factor 1,7 tot 2,8 over vier corpora, terwijl het non-refusal rate nog steeds varieerde tussen de 10 en 22 punten.
Voorstel voor strengere rapportagestandaarden
Om deze onbetrouwbaarheid in de toekomst te voorkomen, stelt de auteur van het onderzoek een nieuwe minimale rapportagestandaard voor. In plaats van enkel een succespercentage te noemen, zouden onderzoekers volgens de publicatie op het volgende moeten rapporteren:
- Het compliance-percentage.
- De aantallen labels per categorie (per-class label counts).
- De specifieke naam van de gebruikte grader.
- Het non-refusal rate, aangezien de onenigheid tussen beoordelaars hierbij additief is.
Door de aantallen per label te rapporteren, kan 'class collapse' eenvoudig en kosteloos worden gedetecteerd zonder dat er menselijke labels aan te pas komen. Het onderzoek, dat is ingediend op 17 oktober 2026, benadrukt hiermee dat de huidige praktijk van het rapporteren van jailbreak-succes zonder transparantie over de beoordelaar een onvolledig beeld geeft van de werkelijke veiligheid van AI-modellen. De volledige details, inclusief 17 tabellen en 6 figuren, zijn beschikbaar via de .