Een nieuwe wetenschappelijke benchmark, genaamd ExpertCrowd-SWE (EC-SWE), is geïntroduceerd om de capaciteiten van autonome programmeeragenten te meten. De test richt zich specifiek op het uitvoeren van complexe software engineering-taken in grote, onbekende codebases.
De benchmark bestaat uit 100 taken die zijn opgesteld door ervaren software engineers. Elke taak is geformuleerd als een officieel wijzigingsverzoek (change request) dat is toegepast op een specifieke commit van een bestaand repository. Om de kwaliteit van de oplossingen te waarborgen, is elke taak gekoppeld aan een verzegelde referentieoplossing en een specifieke grader. Deze grader maakt gebruik van gewogen, grotendeels uitvoerbare criteria om gedeeltelijke punten toe te kennen, waarbij kritieke blokkades en 'pass/fail'-poorten bepalen of een wijziging door een maintainer zou worden geaccepteerd of geweigerd.
Breed scala aan projecten en talen
De EC-SWE benchmark is ontworpen om een realistisch beeld te geven van de uitdagingen waar AI-agenten in de praktijk voor staan. De taken zijn verspreid over 87 verschillende open-source projecten en beslaan 11 verschillende programmeertalen. Volgens de publicatie op arxiv.org bedraagt de mediane lengte van een ticket 148 woorden, terwijl de mediane referentieoplossing ongeveer 471 regels code wijzigt.
Om de betrouwbaarheid van de resultaten te verhogen, is elk taakbeeld gekalibreerd. Dit betekent dat de referentieoplossing een score van 1.0 behaalt, terwijl zowel de ongewijzigde repository als een inerte wijziging een score van 0 krijgen. Daarnaast bevat bijna de helft van de taken alternatieve, 'luie' of adversariële controle-patches die de grader correct moet kunnen classificeren.
Prestaties van frontier-modellen
In het kader van de benchmark zijn zeven vooraanstaande AI-modellen geëvalueerd, waarbij elk model vijf keer per taak is ingezet, wat resulteerde in in totaal 3.495 gescorede runs. De modellen kregen toegang tot hun eigen provider-native tool-interfaces.
De resultaten tonen aan dat Claude Opus 5.5 met een score van 67,3% en GPT-6 Astra met 63,7% de lijst aanvoeren, waarbij er geen statistisch significant verschil tussen beide is vastgesteld. Andere modellen die zijn getest, zijn:
* Claude Fable 5.1 (46,5%)
* Gemini 3.8 Flash (40,0%)
* Qwen 3.8 Max, DeepSeek V4.1 Flash en Grok 4.6 (variërend tussen 32% en 34%)
Opvallend is dat geen enkele taak door alle geteste modellen volledig is opgelost. Bij 80 van de taken slaagde geen enkel model erin om bij alle vijf de pogingen de volledige score te behalen. De onderzoekers merkten op dat het aantal stappen dat een agent zet — variërend van een mediaan van 33 tot 166 stappen per run — nauwelijks correleert met de uiteindelijke score.
Beschikbaarheid en dataset
Om contaminatie van de trainingsdata te voorkomen, hebben de auteurs besloten om slechts een deel van de benchmark openbaar te maken. Er zijn momenteel 24 taken vrijgegeven, inclusief de bijbehorende omgevingen, graders en resultaten. De overige 76 taken worden achtergehouden.
De dataset is beschikbaar gesteld via het platform huggingface.co, waar de organisatie Expert Crowd de data beheert. Hoewel sommige externe bronnen zoals toptal.com in de context worden genoemd, is de primaire technische documentatie en de resultatenlijst terug te vinden in de wetenschappelijke indiening op .