Wetenschappers hebben vastgesteld dat de sociale bias in Diffusion Language Models (DLMs) niet constant is, maar sterk fluctueert op basis van de gekozen sampling-configuratie. Dit betekent dat de mate van eerlijkheid van een AI-model niet enkel bepaald wordt door de interne modelgewichten, maar ook door de technische instellingen die tijdens het genereren van tekst worden gehanteerd.
In een studie die op 20 oktober 2026 werd gepubliceerd, analyseerden onderzoekers hoe DLMs zich verhouden tot de meer gangbare autoregressieve taalmodellen (ARLMs). Terwijl DLMs steeds vaker als alternatief worden ingezet, blijkt uit de resultaten dat hun neiging tot sociale bias onvoorspelbaar reageert op specifieke configuraties. Volgens een publicatie op arxiv.org spelen hierbij vooral de 'remasking strategy' en de 'block length' een cruciale rol. Deze parameters bepalen het operationele evenwicht tussen de snelheid van de tekstgeneratie en de uiteindelijke kwaliteit van de output.
Het onderzoeksteam, bestaande uit Koshiro Saito, Diasuke Oba, Danushka Bollegala en Naoaki Okazaki, onderzocht of de gemeten bias stabiel blijft wanneer deze instellingen worden gewijzigd. Hiervoor werden de modellen LLaDA, LLaDA-1.5 en Dream getest met de Open-BBQ benchmark. De data tonen aan dat alle drie de modellen sociale bias vertonen. Opvallend is echter dat zowel de intensiteit van deze bias als de onderlinge rangschikking van de modellen veranderen afhankelijk van de sampling-configuratie. Een model dat in de ene instelling als relatief neutraal wordt beschouwd, kan in een andere configuratie plotseling een significante bias vertonen. De auteurs concluderen in hun dat de eerlijkheid van DLMs daarom niet losgekoppeld kan worden van de gebruikte sampling-instellingen.
Daarnaast is er gekeken naar de effectiviteit van debiasing-strategieën. De onderzoekers stelden vast dat methoden om bias te verminderen, die oorspronkelijk zijn ontwikkeld voor autoregressieve modellen, succesvol kunnen worden toegepast op DLMs. Deze mitigatiemaatregelen konden de bias verlagen zonder dat dit ten koste ging van de algemene prestaties van het model. Toch blijft de fundamentele afhankelijkheid van de sampling-instellingen bestaan, zelfs na deze correcties. Dit suggereert dat het enkel aanpassen van modelgewichten of het gebruik van minder bevooroordeelde trainingsdata onvoldoende is om een consistent niveau van eerlijkheid te garanderen over alle mogelijke gebruikersinstellingen.
De complexiteit van deze configuraties is herkenbaar in de bredere implementatie van AI-technologie. In commerciële omgevingen wordt vaak gewerkt met een breed scala aan ondersteunde modellen om specifieke taken uit te voeren. Zo biedt GitHub via Copilot toegang tot diverse github.com om ontwikkelaars te ondersteunen bij het schrijven van code. In dergelijke systemen is de keuze van het model en de bijbehorende configuratie bepalend voor de betrouwbaarheid en de aard van de output.
De resultaten van deze studie benadrukken dat auditors en ontwikkelaars niet enkel naar het getrainde model zelf moeten kijken, maar naar de gehele generatiepijplijn om vooroordelen effectief aan te pakken. De volledige technische details, inclusief uitgebreide tabellen en figuren, zijn terug te vinden in de .