← Terug
Wetenschappers waarschuwen voor beperkingen van synthetische populaties in AI

Wetenschappers waarschuwen voor beperkingen van synthetische populaties in AI

Onderzoekers stellen dat het gebruik van vaste persona's in AI-simulaties een vertekend beeld geeft van menselijk gedrag, omdat identiteit in de praktijk afhankelijk is van de context en niet een statisch kenmerk is.

In een recent wetenschappelijk artikel, gepubliceerd op 3 november 2026, betogen onderzoekers Tamunotonye Harry en Yuanyuan Feng dat de huidige methode om synthetische populaties te creëren fundamenteel gebrekkig is. Deze simulaties, die bestaan uit grote groepen gesimuleerde mensen, worden steeds vaker ingezet om AI-systemen te evalueren, gebruikersgemeenschappen na te bootsen en enquêtes vooraf te testen. Volgens de auteurs van het onderzoek arxiv.org berusten deze systemen op de onjuiste aanname dat de identiteit van een persoon een stabiel attribuut is dat in elke situatie hetzelfde reageert.

Het probleem met statische persona's

Binnen de huidige AI-simulaties wordt een gesimuleerd persoon gedefinieerd door een persona: een geschreven profiel met vaste demografische gegevens, eigenschappen en attitudes. Een taalmodel krijgt vervolgens de instructie om zich volgens dit profiel te gedragen. De onderzoekers stellen echter dat deze benadering een "niet onschuldige vereenvoudiging" is.

Het onderzoek baseert zich op drie decennia aan persoonlijkheidsonderzoek, waaruit blijkt dat het gedrag van een individu sterker varieert afhankelijk van de context dan dat individuen van elkaar verschillen. De auteurs trekken parallellen met de identiteitseconomie, een vakgebied dat beschrijft hoe verschillende situaties specifieke normen en identiteiten binnen één persoon activeren.

Theoretische tekortkomingen

Om de complexiteit van menselijk gedrag beter te vatten, stellen Harry en Feng voor om gedrag op te splitsen in drie componenten:
1. Stabiele eigenschappen.
2. De specifieke identiteit die door een context wordt opgeroepen.
3. De situatie zelf.

De onderzoekers bewijzen in hun publicatie op dat simulaties die gebaseerd zijn op vaste persona's niet in staat zijn om het deel van het populatiegedrag te reproduceren dat specifiek is voor de omstandigheden. Dit geldt ongeacht hoe gedetailleerd de persona's zijn of hoe groot het onderliggende taalmodel is.

Testresultaten en risico's

De theoretische claims werden getest met een nieuw ontwerp voor "personen-in-context". Dit werd toegepast op twee verschillende datasets: een corpus van persoonlijkheden van Reddit en een enquête voor de werving van klinische proeven binnen een gemeenschap die bekend staat om haar wantrouwen tegenover medische instellingen. Hoewel het nieuwe ontwerp wel contextafhankelijk gedrag produceerde, slaagde het er in beide gevallen niet in om de echte populatie volledig te matchen.

De conclusie van de onderzoekers is dat er een aanzienlijk risico bestaat dat evaluaties met synthetische populaties juist die groepen verkeerd representeren wiens gedrag het meest door de context wordt gevormd. Het toevoegen van meer details aan een persona kan deze systematische vervorming niet corrigeren.

Context: Persona's in design

Het concept van persona's is overigens niet nieuw en wordt al langdurig gebruikt buiten de AI-simulaties. Zo beschrijft de ixdf.org persona's als fictieve, op onderzoek gebaseerde representaties van de mensen die ontwerpers willen bereiken met hun producten of diensten. In de wereld van User Experience (UX) design worden deze profielen ingezet om empathie te bevorderen en teams af te stemmen op de behoeften en motivaties van een specifieke subset van gebruikers.

Waar persona's in UX-design dienen als richtinggevend hulpmiddel voor ontwikkeling, waarschuwen de onderzoekers in de publicatie op dat het gebruik ervan als vervanging voor echte mensen in complexe sociale simulaties tot misleidende resultaten kan leiden.

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!