De snelle integratie van kunstmatige intelligentie in de wetenschappelijke wereld opent nieuwe wegen voor innovatie, maar creëert tegelijkertijd risico's op het gebied van veiligheid. Een recent onderzoek wijst uit dat geavanceerde taalmodellen in staat zijn om theoretische wetenschappelijke data te transformeren tot praktische handleidingen voor schadelijke activiteiten. Om dit fenomeen te kwantificeren, hebben onderzoekers het SciHazard-evaluatiekader ontwikkeld, zoals uiteengezet in een arxiv.org.
Beperkingen van huidige AI-veiligheidstesten
Volgens de auteurs van de studie schieten bestaande benchmarks voor AI-veiligheid vaak tekort omdat ze te veel leunen op gestandaardiseerde vragen die geen aansluiting vinden bij reële gevaren. Een groot probleem is het gebruik van het 'LLM-as-a-Judge'-model, waarbij een AI-model beoordeelt of een antwoord schadelijk is zonder dat er specifieke domeinexpertise aan te pas komt.
Om deze tekortkomingen aan te pakken, is SciHazard gebaseerd op concrete scenario's. De dataset bevat 2.400 potentieel gevaarlijke vragen en 600 vragen die bedoeld zijn om 'over-veiligheid' te testen—situaties waarin een model onterecht weigert informatie te verstrekken. Deze vragen bestrijken twaalf verschillende wetenschappelijke disciplines en zijn direct gekoppeld aan gereguleerde stoffen en entiteiten, wat een realistischer beeld geeft van de risico's volgens de .
De DeHarm-Score en risicoanalyse
Een centraal onderdeel van het nieuwe kader is de introductie van de DeHarm-Score. In plaats van een binaire classificatie (veilig of onveilig), maakt dit systeem gebruik van een gedetailleerde ontledingsprocedure. Hierbij worden drie kernfactoren geanalyseerd: de ernst van het gevaar in de vraag, de mate waarin het model weigert te antwoorden en het uiteindelijke risico van de verstrekte informatie.
Indien een model een vraag beantwoordt, wordt de schadelijkheid verder onderverdeeld in twee specifieke categorieën. Ten eerste wordt gekeken naar de 'uitvoerbaarheid' via dynamische checklists waarbij elke stap een bepaalde weging krijgt. Ten tweede wordt het 'net-nieuw risico' bepaald via retrieval-augmented claim extractie; hiermee wordt vastgesteld of het model informatie toevoegt die de drempel voor misbruik daadwerkelijk verlaagt. Uit validatiestudies met experts blijkt dat de DeHarm-Score de overeenstemming met menselijke beoordelingen met 90,17% verbetert ten opzichte van eerdere baselines, zoals vermeld in de .
Kwetsbaarheid van autonome research-agenten
De meest zorgwekkende bevindingen uit de benchmark, waarbij 31 vooraanstaande taalmodellen en 'deep research agents' werden getest, betreffen de autonome systemen. Hoewel standaard taalmodellen vaak beschikken over effectieve veiligheidsfilters die schadelijke instructies blokkeren, blijken autonome agenten aanzienlijk kwetsbaarder.
De resultaten tonen aan dat deze deep research agents een gemiddelde DeHarm-Score hebben die 32,3% hoger ligt dan die van conventionele LLM's. Dit suggereert dat agenten die zelfstandig stappen kunnen plannen en informatie kunnen verzamelen, een kritiek blind punt vormen in de huidige veiligheidsstrategieën van AI-ontwikkelaars. De volledige methodologie en de bijbehorende dataset zijn openbaar gemaakt via om andere onderzoekers in staat te stellen de veiligheid van toekomstige modellen te blijven toetsen.