De integratie van kunstmatige intelligentie in softwareontwikkeling versnelt, maar de garantie dat gegenereerde code foutloos is, blijft een kritiek knelpunt. Terwijl AI-agents steeds vaker worden ingezet voor het schrijven van programma's, ontbreken vaak harde bewijzen dat de output strikt voldoet aan de gestelde specificaties. Om dit probleem te analyseren, is er een nieuwe evaluatiemethode ontwikkeld die zich richt op 'verified code generation'.
Volgens een wetenschappelijk rapport op arxiv.org schieten de huidige benchmarks tekort omdat ze zich veelal beperken tot losse functies of enkel bewijzen genereren voor reeds bestaande menselijke code. Er is echter weinig bekend over het vermogen van AI om op grotere schaal coherente keuzes te maken voor zowel de implementatie als de bijbehorende bewijsvoering binnen complexe, multi-modulaire codebases. Om dit gat in de kennis te dichten, hebben onderzoekers waaronder Zhe Ye de benchmark Vero geïntroduceerd.
De Vero-benchmark is specifiek ontworpen om de gezamenlijke synthese van code en bewijzen op het niveau van een volledige repository te testen. De testomgeving bestaat uit 43 verschillende multi-modulaire instanties, die zijn gebaseerd op reële software-repositories. Deze beslaan diverse domeinen, variërend van gedistribueerde systemen tot cryptografische protocollen, en maken gebruik van talen zoals Coq, Verus, Dafny en Python. Elke instantie is opgezet als een Lean 4-repository, compleet met referentie-implementaties, handmatig samengestelde formele specificaties en vastgestelde API-interfaces.
Een opvallend kenmerk van dit systeem is het auditmechanisme. AI-agents kunnen hiermee formeel aantonen dat een referentiecode onjuist is of dat een specifieke specificatie onmogelijk te realiseren is. Dit proces stelt onderzoekers in staat om fouten in de specificaties en code tijdens de curatiefase op te sporen, wat de algehele betrouwbaarheid van de benchmark ten goede komt. Hoewel dergelijke strikte controles essentieel zijn voor softwarekwaliteit, is de praktische implementatie van administratieve en technische controles in organisaties vaak een uitdaging, iets waar oplossingen zoals wolterskluwer.com zich op richten binnen andere domeinen.
De resultaten van de tests met diverse geavanceerde coding-agents, die toegang hadden tot de Lean-toolchain, laten een aanzienlijke kloof zien. Uit de data in de blijkt dat de best presterende agent slechts 27 van de 43 instanties volledig wist op te lossen. Bij de meest complexe repositories slaagde geen enkele agent erin om de specificaties succesvol af te sluiten. Dit bewijst dat het opschalen van formele verificatie van kleine codefragmenten naar volledige softwarebibliotheken een grote hindernis blijft voor huidige AI-modellen.
Met de introductie van de benchmark, het evaluatiekader en de curatie-pipeline bieden de auteurs een instrument om de vooruitgang in geverifieerde softwaresynthese objectief te meten. Hoewel de huidige generatie AI-agents nog tekortschiet, dient Vero als een noodzakelijke meetlat voor de ontwikkeling van betrouwbare software. Voor meer details over de methodologie en de resultaten kunnen geïnteresseerden terecht bij de volledige . Voor organisaties die streven naar een vergelijkbare mate van controle en transparantie in hun eigen administratieve processen, biedt specifieke ondersteuning via hun beheersystemen.