Nieuwe onderzoeken wijzen uit dat hoog scorende reward-modellen voor taalmodellen niet noodzakelijkerwijs minder bevooroordeeld zijn. Er lijkt een spanningsveld te bestaan tussen het vermijden van stereotypen en het behouden van contextuele accuratesse.
In de ontwikkeling van grote taalmodellen (LLM's) spelen zogenaamde 'reward models' een cruciale rol bij de zogenaamde alignment, het proces waarbij een model wordt afgestemd op menselijke voorkeuren. Echter, volgens een recent wetenschappelijk artikel gepubliceerd op arxiv.org schieten de huidige benchmarks tekort in het in kaart brengen van hoe deze modellen omgaan met diverse en soms tegenstrijdige sociale voorkeuren.
Beperkingen van standaard benchmarks
De onderzoekers Gayane Ghazaryan en Esra Dönmez hebben de evaluatie van reward-modellen uitgebreid naar vier domeinen die maatschappelijk relevant zijn: veiligheid, moraliteit, ethische redenering en bias (vooroordelen). Uit hun analyse blijkt dat een sterke prestatie op standaard benchmarks vaak een masker kan zijn voor problematisch sociaal gedrag.
Een belangrijk bevinding is dat modellen bepaalde stereotypen weliswaar kunnen vermijden, maar tegelijkertijd andere stereotypen kunnen versterken. Omdat geaggregeerde scores voor bias vaak een gemiddelde tonen, blijven deze tegenstelde tendensen in de praktijk onzichtbaar. Volgens de publicatie op arxiv.org is de prestatie op standaard benchmarks daarom slechts inconsistent gerelateerd aan daadwerkelijk sociaal afgestemd gedrag.
De trade-off tussen bias en context
Het onderzoek legt daarnaast een specifiek conflict bloot: de balans tussen het mitigeren van sociale vooroordelen en de gevoeligheid voor context. De auteurs stellen dat een sterkere focus op het vermijden van stereotypen ten koste kan gaan van de 'contextuele getrouwheid'. Dit betekent dat een model dat té strikt is geprogrammeerd om geen vooroordelen te tonen, mogelijk minder accuraat wordt in het begrijpen van de specifieke context van een vraag of situatie.
Deze resultaten suggereren dat krachtigere reward-modellen niet automatisch beter zijn in het navigeren van pluralistische sociale verwachtingen. De onderzoekers pleiten daarom voor een directere evaluatie van de sociale voorkeuren die in deze modellen zijn gecodeerd, in plaats van blind te vertrouwen op algemene benchmarks.
Bredere context van termen en systemen
Hoewel de technische discussie over AI-alignment complex is, is de betekenis van termen als "better" (beter) in een algemene context vaak simpelweg een hogere standaard of een effectievere werking, zoals beschreven in het cambridge.org. In de context van AI-modellen wordt "beter" echter vaak gelijkgesteld aan hogere scores op tests, terwijl dit onderzoek aantoont dat dit niet altijd correleert met een eerlijkere of minder bevooroordeelde output.
Bovendien is de waarschuwing over de feilbaarheid van AI-systemen breed verspreid. Zo vermeldt een organisatie in het Verenigd Koninkrijk op hun platform org.uk expliciet dat systemen voor kunstmatige intelligentie fouten kunnen maken, wat in hun geval specifiek betrekking heeft op de accuraatheid van vertalingen.
Conclusie
De bevindingen van Ghazaryan en Dönmez onderstrepen de noodzaak voor nieuwe meetmethoden binnen de AI-sector. Zolang standaard benchmarks de nuances van sociale bias en contextuele getrouwheid over het hoofd zien, blijft het risico bestaan dat technisch "superieure" modellen onbedoeld schadelijke sociale patronen reproduceren. De roep om transparante en specifieke evaluaties van sociale voorkeuren in reward-modellen wordt hierdoor urgenter.