Kun je de uitkomst van een wetenschappelijke studie voorspellen voordat die er is? Volgens nieuw onderzoek van econoom Eva Vivalt kan kunstmatige intelligentie dat verrassend goed. Grote taalmodellen (LLM's) voorspelden de resultaten van economische studies nauwkeuriger dan de gebruikelijke benchmarks. Dat opent mogelijk een nieuwe weg voor beleid en wetenschappelijk onderzoek.
Vivalt publiceerde haar studie op 28 oktober 2026. De kernvraag: kan AI zogenaamde 'treatment effects' — de gemeten effecten van een interventie — in de economische wetenschap van tevoren inschatten?
Zo voorkwam ze dat de AI spiekte
De grootste valkuil van zo'n experiment: de AI kent de antwoorden misschien al uit zijn trainingsdata. Vivalt sloot dat slim uit. Ze gebruikte alleen studies waarvan de resultaten in 2026 voor het eerst publiek werden. Alle taalmodellen in het experiment hadden een kennisdeadline die vóór die publicaties lag. De AI kon dus niet uit zijn geheugen putten.
De onderzoeksprojecten waren vooraf geregistreerd in het AEA RCT Registry en op het Open Science Framework. De LLM's haalden forecasting-vragen uit die pre-registraties en pre-analyseplannen. Op basis daarvan deden ze voorspellingen over de uiteindelijke effecten van de onderzochte interventies.
In eerste instantie ging het om 889 behandelingseffecten uit 39 papers. Na een screeningsproces bleven 673 voorspellingen over, afkomstig uit 33 papers waarvan de resultaten vanaf januari 2026 werden onthuld. Dat blijkt uit de publicatie op arxiv.org.
De cijfers
De voorspellingen werden aanvankelijk in ruwe eenheden gedaan. Voor de analyse gebruikte Vivalt alleen data die gestandaardiseerd konden worden. Zo kon ze de nauwkeurigheid vergelijken over verschillende papers heen.
Het best presterende model scoorde als volgt:
- De mediane absolute voorspellingsfout: 0,054 standaarddeviatie (SD).
- De gemiddelde absolute fout: 0,093 SD.
- De Mean Squared Error (MSE): 0,0218.
Ter vergelijking dienden twee benchmarks: een scenario waarin altijd een effect van nul werd voorspeld, en een scenario waarin het gemiddelde effect van andere papers uit dezelfde periode werd aangehouden. De AI-voorspellingen presteerden aanzienlijk beter dan beide.
Wat betekent dit voor de praktijk?
De bevindingen suggereren dat AI een grote rol kan spelen bij beleidsvorming en academisch onderzoek. Wie effecten vooraf nauwkeuriger kan inschatten, bepaalt efficiënter welke interventies het meest kansrijk zijn. Onderzoekers en beleidsmakers kunnen daardoor beter kiezen waar ze tijd en geld in steken.
De studie is gecategoriseerd onder General Economics. De volledige details over de gebruikte modellen en de dataset staan in de PDF- en HTML-versies van het document. Het onderzoek onderstreept daarmee de groeiende rol van machine learning binnen de kwantitatieve economie.