Onderzoekers hebben een nieuw framework ontwikkeld, genaamd Matching-LLM, dat synthetische reacties van grote taalmodellen (LLM's) combineert met historische menselijke gedragsdata om de publieke opinie en verkiezingsuitslagen beter te voorspellen.
Het gebruik van Large Language Models (LLM's) voor het simuleren van menselijke attitudes biedt nieuwe mogelijkheden voor sociaal wetenschappelijk onderzoek, maar kent ook beperkingen. Volgens een publicatie op arxiv.org weerspiegelen puur synthetische reacties van AI vaak onvoldoende de menselijke heterogeniteit en complexe attitudes. Om dit te ondervangen introduceerden Shapeng Jiang, Lijia Wei en Chen Zhang het Matching-LLM-framework, een gewogen systeem dat AI-gegenereerde antwoorden koppelt aan feitelijke historische data.
Methodologie en validatie
Het framework is getest met behulp van diverse datasets, waaronder de World Values Survey, de American National Election Studies en Duitse verkiezingsonderzoeken. Het doel was om te evalueren hoe effectief het model survey-antwoorden kan reconstrueren en verkiezingsuitslagen kan voorspellen.
Uit de resultaten blijkt dat Matching-LLM over het algemeen nauwkeuriger is dan modellen die uitsluitend op LLM's vertrouwen. In 11 van de 12 geteste gevallen bij surveyvragen die niet waren gebruikt voor de kalibratie, presteerde het gecombineerde model beter. Echter, de onderzoekers merken op dat het systeem niet consistent beter presteert dan een benadering die enkel op historische data ('History-only') is gebaseerd.
Toepassing op Amerikaanse en Duitse verkiezingen
Een prominente toepassing van het model was de voorspelling van de Amerikaanse presidentsverkiezingen van 2024. Volgens de details in het voorspelde Matching-LLM dat de Republikeinen 310 kiescollegezetels zouden behalen, terwijl het werkelijke aantal 312 was. Hiermee bleek het model nauwkeuriger dan de benchmarks die slechts één bron (ofwel alleen AI, ofwel alleen historische data) gebruikten.
Naast de Verenigde Staten is het framework ook toegepast op een multiparty-setting in Duitsland, waarbij onder andere de federale verkiezingen van 2025 werden geanalyseerd. In een presentatie via edu.cn werd toegelicht dat specifiek ChatGPT-4o werd ingezet om menselijke reacties in grootschalige enquêtes te repliceren. Hierbij bleek het model effectief in het nabootsen van culturele verschillen en vertoonde het een plausibele voorspellende waarde voor resultaten buiten de steekproef.
Bredere context van synthetische publieke opinie
Het onderzoek naar Matching-LLM past in een bredere trend binnen de sociale wetenschappen. Zo onderzoekt het Social Data Science and AI Lab van de LMU München in hoeverre synthetische steekproeven traditionele enquêtes kunnen aanvullen of vervangen, vooral in landen met verschillende digitale en politieke settings.
Andere benaderingen proberen de nauwkeurigheid van AI-simulaties te verhogen door middel van 'role creation'. Zo beschrijft een studie op (via referentie naar aanvullend onderzoek zoals dat van Karanjai et al.) hoe kennisinjectie en persoonlijkheidsprofielen op basis van het HEXACO-model kunnen worden gebruikt om diverse meningen nauwkeuriger te simuleren dan standaard prompt-engineering.
Conclusies en beperkingen
Hoewel Matching-LLM de potentie heeft om een kosteneffectief supplement te zijn voor traditioneel survey-onderzoek, benadrukken de auteurs de noodzaak van taakspecifieke validatie. De resultaten tonen aan dat historische data essentieel zijn om de beperkingen van puur synthetische AI-responses te corrigeren.
De bredere academische discussie, zoals ook geregistreerd op repec.org, suggereert dat de synergie tussen menselijke data en AI de meest betrouwbare weg is naar het begrijpen van electorale trends en maatschappelijke waarden in een digitaliserende wereld.