Kunnen AI-agenten meer dan code schrijven? Een internationaal onderzoeksteam lanceerde FrontierCS 2, een benchmark die meet of AI daadwerkelijk kan bijdragen aan onderzoek en ontwikkeling (R&D) binnen de computerwetenschappen. Geen simpele programmeeropdrachten, maar complexe wetenschappelijke problemen in een realistische onderzoeksomgeving.
Zo werkt de benchmark
De opzet is slim. De onderzoekers namen 48 open-ended taken uit reeds gepubliceerde wetenschappelijke artikelen. Volgens een publicatie op arxiv.org halen ze daarbij de kerninnovatie uit de bijbehorende openbare code. De AI-agent krijgt een werkende repository zonder die cruciale toevoeging en moet de oorspronkelijke methode reconstrueren — of zelfs overtreffen.
Om te voorkomen dat modellen bestaande kennis gewoon reproduceren, hebben de agenten geen toegang tot het oorspronkelijke artikel of het internet. Zoals x.com op X toelichtte, werken ze binnen een tijdslimiet van vijf uur. Ze dienen patches in de repository in, een judge geeft scores via een ontwikkelingssuite, en de eindbeoordeling gebeurt op een verborgen testset. De prestaties worden vergeleken met de oorspronkelijke menselijke referentie.
Breed getest: van machine learning tot beveiliging
FrontierCS 2 bestrijkt 13 domeinen binnen de computerwetenschappen. Volgens x.com op X verfijnden experts uit de betreffende vakgebieden de taken. De reeks loopt van machine-learning systemen en high-performance computing tot databanken, robotica en beveiliging.
Naast de 48 publieke taken bewaart het team een private set van meer dan 100 extra taken voor toekomstig gebruik.
De resultaten: mensen zijn nog niet verslagen
De evaluatie van 12 AI-agenten laat zien dat menselijk niveau in frontier R&D nog ver weg is. De best presterende agent, Claude Opus 5.5, slaagde in 58% van de pogingen. Opvallend: bij 16 van de 48 taken was geen enkele geëvalueerde agent succesvol.
Daarnaast blijkt dat een hogere score niet automatisch een 'pass' betekent. Veel runs die de referentie overtroffen op de gecombineerde eindscore, schoten alsnog tekort op specifieke metrieken of workloads. In een analyse op X merkt een expert op dat het produceren van plausibele code relatief eenvoudig is. Maar optimalisaties ontwikkelen die de prestaties écht verbeteren én correct blijven over verschillende workloads heen, is een veel complexer probleem.
Open beschikbaar voor de AI-gemeenschap
De lancering van FrontierCS 2 is een gezamenlijke inspanning met partners zoals Google DeepMind en Kaggle. De benchmark moet de stap maken van eenvoudige programmeertaken naar het meten van echt R&D-werk.
De code en datasets zijn open beschikbaar via github.com en huggingface.co. Zo kan de bredere AI-gemeenschap de resultaten valideren en nieuwe agenten testen tegen deze standaard.
🧠 Even simpel uitgelegd
Stel je voor: wetenschappers schrijven een artikel met een slimme oplossing voor een technisch probleem. De onderzoekers van FrontierCS 2 verwijderen die slimme oplossing uit de bijbehorende computercode. Vervolgens krijgt een AI vijf uur de tijd om de oplossing zelf opnieuw te bedenken — zonder het artikel te mogen lezen of het internet op te mogen. Lukt dat, dan kan de AI écht meedenken als onderzoeker. Lukt dat niet, dan is de AI vooral goed in het herhalen van bestaande kennis.