Een recent onderzoek naar de capaciteiten van agentische AI-modellen heeft aangetoond dat de kwaliteit van end-to-end data science-projecten sterk stijgt wanneer modellen de mogelijkheid krijgen om hun werk te herzien. In de studie werd geëvalueerd hoe taalmodellen zelfstandig een proces doorlopen dat bestaat uit het downloaden, opschonen en analyseren van datasets, om dit vervolgens af te sluiten met het schrijven van een wetenschappelijk artikel.
Volgens een publicatie op arxiv.org werd hiervoor een specifiek systeem opgezet waarbij een onderscheid werd gemaakt tussen een 'schrijver' en een 'beoordelaar'. De onderzoeker, Rohan Alexander, testte zeven verschillende modellen van vijf diverse ontwikkelaars, waaronder Google, OpenAI, Anthropic en DeepSeek. In totaal werden 49 unieke combinaties van schrijver-beoordelaar-paren gevormd. Elk van deze paren voerde het proces drie keer uit, wat leidde tot een totaal van 147 initiële projectinzendingen.
Uit de resultaten blijkt dat de technische uitvoering van dergelijke projecten in principe goed mogelijk is; 107 van de 147 eerste pogingen werden succesvol voltooid en gerenderd. De kern van het onderzoek lag echter bij de kwaliteitsverbetering door middel van iteratie. De data tonen aan dat de gemiddelde score van de projecten steeg van 59 procent naar 76 procent na de laatste feedbackronde.
De mate van vooruitgang varieerde echter sterk per model. Zo vertoonde Anthropic's Haiku 4.5 een stijging van 46 procentpunten, terwijl de verbetering bij Anthropic's Opus 5.5 slechts 3 procentpunten bedroeg. Ook de keuze van de beoordelaar speelde een rol: de scorestijgingen varieerden van 13 procentpunten bij Google's Gemini 3.8 Flash tot 32 procentpunten bij Anthropic's Haiku 4.5.
Een kritisch punt in de analyse is de neiging van modellen tot overschatting. Wanneer een model zijn eigen werk beoordeelde, lag de score gemiddeld 9 procentpunten hoger dan wanneer andere modellen hetzelfde project beoordeelden. Daarnaast stelt de auteur in de dat ongeveer de helft van het verschil tussen de verschillende rondes kan worden toegeschreven aan 'ruis' in de beoordelingen van de grader-modellen. Hoewel specifieke feedback meestal de beste resultaten opleverde, bleek voor sommige modellen simpelweg de kans om te herzien — of een groter budget aan tijd en tool-aanroepen — al voldoende voor een aanzienlijke verbetering.
De in het onderzoek gebruikte systemen vallen onder de categorie Large Language Models (LLM's). Zoals uiteengezet in de documentatie van google.com, zijn dit statistische modellen die getraind zijn op gigantische hoeveelheden data om tekst te genereren, te vertalen en complexe opdrachten uit te voeren. Moderne versies, zoals de modellen binnen het , beschikken over geavanceerde redeneermogelijkheden en kunnen diverse inputvormen, waaronder code en afbeeldingen, verwerken om problemen op te lossen.
De uiteindelijke conclusie van het onderzoek is dat de effectiviteit van een iteratieve loop sterk afhankelijk is van de specifieke combinatie van gebruikte modellen. Een belangrijke beperking is dat zwakkere modellen over het algemeen niet in staat waren om de prestaties van sterkere modellen verder te verbeteren.