Onderzoekers hebben een nieuw open-source evaluatiesysteem genaamd EconEvals ontwikkeld om de capaciteiten van taalmodellen (LLM's) specifiek te toetsen op taken die economische waarde hebben binnen de Amerikaanse arbeidsmarkt. Het systeem beoordeelt hoe goed AI-modellen presteren bij diverse werkactiviteiten en beroepen, waarbij de nadruk ligt op de potentiële tijdswinst voor werknemers.
Focus op economische waarde en arbeidsmarkt
Volgens een publicatie op arxiv.org voeren taalmodellen momenteel werk uit dat economisch waardevol is, maar er was tot nu toe een gebrek aan systematische beoordelingen over hoe effectief ze deze specifieke taken uitvoeren. EconEvals vult dit gat door capaciteiten te meten die direct relevant zijn voor beroepen en werkactiviteiten in de VS.
Om de evaluaties zo realistisch mogelijk te maken, hebben de auteurs — waaronder onderzoekers van Stanford University — het systeem gebaseerd op werkelijke gebruikersvragen aan taalmodellen, aangevuld met synthetische data. Een belangrijk resultaat van dit nieuwe kader is dat het een veel bredere dekking biedt dan de bestaande GDPval-benchmark van OpenAI. Waar GDPval slechts 5% van de Amerikaanse beroepen beslaat, biedt EconEvals een uitgebreidere analyse tegen kosten die 500 keer lager liggen, zoals beschreven in de documentatie op papers.cool.
Potentiële tijdswinst en adoptiekloof
Naast de benchmarks introduceerden de onderzoekers een simulatiemethode om de 'blootstelling' (exposure) te meten. Hiermee wordt geschat hoeveel tijd huidige AI-capaciteiten kunnen besparen over alle taken binnen alle Amerikaanse beroepen. De resultaten wijzen uit dat huidige modellen aanzienlijke tijd kunnen besparen voor ten minste de helft van de taken in 47% van alle beroepen.
Opvallend is echter dat de feitelijke adoptie achterblijft bij het potentieel. Uit de data blijkt dat voor 79% van de taken waarbij substantiële tijdswinst wordt voorspeld, het gebruik van het model Claude laag is. De onderzoekers identificeren privacyzorgen en het gebruik van propriëtaire (gesloten) systemen als de belangrijkste knelpunten die verdere tijdswinst door AI in de weg staan, aldus de samenvatting op .
Complementaire economische kaders
De ontwikkeling van EconEvals sluit aan bij een bredere trend in de wetenschap om AI-modellen economisch te kwantificeren. Zo is er ook onderzoek gedaan naar het concept 'Cost-of-Pass', een kader dat de productiviteit van taalmodellen evalueert door de nauwkeurigheid af te zetten tegen de inferentiekosten. Volgens een rapport op arxiv.org helpt dit om te bepalen welk type model het meest kosteneffectief is voor specifieke taken: lichtgewicht modellen voor basiskwantitatieve taken, grote modellen voor kennisintensief werk en redeneringsmodellen voor complexe problemen.
Beperkingen in economisch redeneren
Ondanks de potentiële tijdswinst waarschuwen andere studies voor de beperkingen van LLM's bij kritische economische analyses. In het project EconNLI, beschreven via , werd onderzocht in hoeverre modellen kunnen redeneren over economische gebeurtenissen. De resultaten tonen aan dat LLM's vaak niet geavanceerd genoeg zijn in economisch redeneren en geneigd zijn om foutieve of gehallucineerde antwoorden te genereren. Dit benadrukt dat, hoewel AI veel tijd kan besparen bij routinetaken, voorzichtigheid geboden is bij het gebruik van deze modellen voor cruciale economische besluitvorming.
Door de introductie van aanpasbare infrastructuren zoals EconEvals kunnen de effecten van AI op de arbeidsmarkt voortdurend worden bijgewerkt naarmate de technische capaciteiten van de modellen verbeteren.