Grote taalmodellen moeten elke vraag beoordelen: is deze prompt onschuldig of potentieel schadelijk? Dat gaat vaak mis bij complexe of dubbelzinnige vragen. Onderzoekers Jeremias Ferrao en Yftah Ziser hebben nu een trainingsmethode ontwikkeld die dat oplost door één simpel idee: het model leert eerst de intentie van de gebruiker herkennen, voordat het een veiligheidslabel geeft.
De intentie fungeert daarbij als een tussenstap tussen de oorspronkelijke prompt en het uiteindelijke oordeel. Volgens het rapport, gepubliceerd op arxiv.org, maakt die aanpak veiligheidssystemen robuuster.
De AIMS-dataset: 1.724 lastige prompts
Om de theorie te testen, bouwden de onderzoekers de AIMS-dataset. Die bestaat uit 1.724 complexe veiligheidsprompts, allemaal met de hand geannoteerd. Elke prompt is gekoppeld aan een beschrijving van de intentie én een label voor schadelijkheid.
De dataset is relatief klein, maar groot genoeg om verschillende trainingsmethoden te vergelijken:
- Supervised Fine-Tuning (SFT)
- Preference learning (DPO)
- Reasoning distillation
- Reinforcement learning (GRPO)
Intentie wint in elke methode
De uitkomst is consistent: modellen die rekening houden met intentie presteren beter. Direct Preference Optimization (DPO), gebaseerd op door het model zelf gegenereerde intentiefouten, verslaat standaard Supervised Fine-Tuning. Ook intentie-geconditioneerde distillatie presteert in de meeste gevallen beter dan distillatie die alleen op redenering is gebaseerd, bij verschillende teacher-student paren.
De sterkste resultaten kwamen van Group Relative Policy Optimization (GRPO). Door het model direct te belonen voor getrouwheid aan de intentie, werd de beste gemiddelde score behaald op vijf externe veiligheidsbenchmarks. De auteurs benadrukken dat hun intentie-bewuste modellen een optimale balans vinden tussen inferentiesnelheid (latency) en de F1-score, de maatstaf voor classificatienauwkeurigheid.
Wat dit betekent voor AI-veiligheid
Het onderzoek toont aan dat intenties een compact en kwalitatief sterk supervisiesignaal vormen. Daarmee zijn veiligheidsclassificaties te bouwen die minder fouten maken bij complexe of ambigue prompts. Het rapport, ingediend in juni 2026 en herzien in oktober 2026, markeert een verschuiving: weg van simpele label-classificatie, richting een dieper begrip van de context achter een gebruikersvraag.
Voor ontwikkelaars van taalmodellen is de boodschap helder: door de intentie expliciet te maken, kun je gerichter sturen op veiligheid — zonder de bruikbaarheid van het model onnodig in te perken.
🧠 Even simpel uitgelegd
Stel dat iemand tegen een AI zegt: "Vertel me hoe ik een slot openmaak." Is dat schadelijk? Dat hangt af van de intentie: iemand die buitengesloten is, of een inbreker. Deze onderzoekers leren de AI dus eerst om te raden waarom iemand iets vraagt, voordat het beslist of het antwoord veilig is. Dat bleek in hun experimenten telkens beter te werken dan alleen het antwoord zelf beoordelen.