Wetenschappelijk onderzoek heeft een fundamenteel probleem blootgelegd in de manier waarop grote taalmodellen (LLM's) worden ingezet om synthetische menselijke populaties na te bootsen. Wanneer AI-agenten worden gebruikt als representanten van individuen, neigen zij ertoe om een eenvormig gemiddelde te produceren in plaats van de diverse profielen van een echte samenleving te weerspiegelen.
In een studie die is gepubliceerd via arxiv.org analyseert onderzoeker Gürkan Özkan waarom de huidige methode van onafhankelijke agenten tekortschiet. De gangbare praktijk is om elke persoon in een gesimuleerde groep als een aparte entiteit te laten opereren. De resultaten tonen echter aan dat dit leidt tot een zogenaamde 'collapse', waarbij de natuurlijke variatie binnen een populatie vrijwel volledig verdwijnt.
De problematiek van onafhankelijke agenten
Voor het onderzoek werd gebruikgemaakt van microdata uit de World Values Survey, met een specifieke focus op 2.414 respondenten uit Turkije. Deze keuze is strategisch, aangezien veel AI-modellen primair zijn getraind op WEIRD-data (Western, Educated, Industrialized, Rich, and Democratic), wat vaak leidt tot een gebrekkige weergave van niet-westerse contexten.
Uit de analyse blijkt dat onafhankelijke LLM-agenten er niet in slagen om de werkelijke cambridge.org van menselijke reacties te reproduceren. In plaats van een breed spectrum aan antwoorden, convergeren de agenten naar een modaal gemiddelde. Dit resulteert in een dramatische daling van de entropie, van 1,46 naar 0,77, wat wijst op een instorting van de diversiteit met ongeveer 85%. In de praktijk reageren de AI-persona's dus bijna identiek, ongeacht de unieke kenmerken die aan hen zijn toegewezen.
Experimenten met Verbalized Sampling
Om deze onder-dispersie tegen te gaan, experimenteerde de onderzoeker met een techniek genaamd Verbalized Sampling (VS). Deze methode probeert de spreiding in antwoorden te herstellen zonder dat het model opnieuw getraind hoeft te worden. Hoewel deze aanpak de getrouwheid van de data verbeterde — met name bij het Qwen-model — ontstond er een nieuw probleem: over-dispersie. De agenten schoten hierbij door het juiste midden heen, waardoor de variatie in antwoorden juist te groot werd. De SD-ratio steeg van een bereik tussen 0,4-0,56 naar 1,26-1,37, wat aantoont dat de spreiding van de cambridge.org moeilijk nauwkeurig te kalibreren is via deze methode.
Kloof tussen persona en gedrag
Het onderzoek werpt daarnaast een kritisch licht op het verschil tussen hoe een AI-persona een enquête invult en hoe deze zich daadwerkelijk gedraagt in een praktijksituatie. In een testscenario waarbij agenten een boeking moesten maken, bleek dat de toegewezen persona-eigenschappen nauwelijks invloed hadden op de uiteindelijke beslissing.
Ongeveer 80% van de agenten koos simpelweg voor de goedkoopste optie. Hoewel een hoger inkomen een kleine invloed had — de voorkeur voor comfort steeg van 0% naar 32% bij hogere inkomensbanden — bleef de neiging naar de laagste prijs dominant. Dit suggereert dat een accuraat profiel in een survey niet automatisch leidt tot realistisch gedrag in een actieve simulatie.
Een alternatieve benadering: Distribution-First
Als oplossing stelt Özkan een 'distribution-first' benadering voor. In plaats van elke agent onafhankelijk te laten beslissen, wordt eerst de statistische verdeling van de gehele populatie gemodelleerd via Verbalized Sampling. Deze globale verdeling wordt vervolgens toegewezen aan de individuele personages.
Volgens de is deze methode niet alleen efficiënter in termen van rekenkracht, maar ook accurater. De onderzoeker implementeerde een budgetbewuste router met een 'honest AUC' van 0,805. Hiermee wordt voorkomen dat het systeem simpelweg een tautologie volgt of volledig afhankelijk is van het geheugen van het model, wat in eerdere tests leidde tot vervuiling van claims door recall-effecten.
De conclusie van het onderzoek is dat het simpelweg toewijzen van een persona aan een LLM onvoldoende is om menselijke populaties betrouwbaar te simuleren. Zonder correcties op populatieniveau produceren AI-modellen een vertekend beeld van de werkelijkheid, waarbij nuance en diversiteit worden opgeofferd voor statistische gemiddelden.