Onderzoekers hebben ITPEval ontwikkeld, de eerste benchmark die specifiek is ontworpen om de geautomatiseerde vertaling van formele bewijzen tussen verschillende interactieve theorem provers (ITP's) te evalueren. Het project richt zich op het overbruggen van de fragmentatie in het ecosysteem van formele wiskunde, waarbij bewijzen momenteel vaak opgesloten zitten in incompatibele systemen.
Fragmentatie in formele bewijsvoering
Binnen de wereld van machine learning vormt formeel bewijzen een grote uitdaging. Volgens een publicatie op arxiv.org is het huidige landschap versnipperd, wat de beschikbaarheid van trainingsdata voor AI-modellen beperkt en de overdraagbaarheid van geverifieerde resultaten bemoeilijkt. Omdat verschillende systemen verschillende logische fundamenten en bibliotheken gebruiken, is het lastig om een wiskundig bewijs van het ene systeem naar het andere te porteren.
ITPEval richt zich op vier prominente systemen: Lean 4, Rocq (voorheen Coq), Isabelle/HOL en HOL Light. Deze systemen overspannen twee verschillende logische fundamenten, variërend van afhankelijke typetheorie in Lean 4 tot hogere-orde logica in Isabelle en HOL Light.
Opbouw van de benchmark
De benchmark is gestructureerd om verschillende soorten vertaalproblemen te isoleren. Volgens informatie van leandojo.org bestaat de dataset uit honderden uitgelijnde bestanden met meer dan 1.700 stellingen en lemma's. De data is onderverdeeld in twee categorieën:
- Controlled tier: Bestanden met axioma's die specifiek zijn ontworpen om de fundamentele vertaalproblemen te isoleren.
- Ecosystem tier: Bestanden afkomstig uit echte bibliotheken, die de uitdagingen van API-verschillen en specifieke bewijsstijlen blootleggen.
Om de resultaten te valideren, maakt het team gebruik van een infrastructuur waarbij een vertaling pas als succesvol wordt beschouwd als de doel-prover het gegenereerde bestand daadwerkelijk accepteert. De volledige infrastructuur en evaluatie-pipelines zijn publiekelijk beschikbaar gesteld via github.com.
Resultaten en knelpunten
Bij het testen van vijf geavanceerde en open-weight Large Language Models (LLM's) op twaalf verschillende vertaalcombinaties, kwamen significante prestatieverschillen naar voren. Zo rapporteert ai-deep-signal.com dat de maximale score voor het vertalen van stellingen (statement translation) uitkwam op 29,1% (pass@1), terwijl de vertaling van volledige bewijzen (proof translation) slechts 10,5% behaalde.
Een cruciaal inzicht uit het onderzoek is dat de mismatch tussen bibliotheken de grootste hindernis vormt. Dit wordt bevestigd door de resultaten in de verschillende tiers: bij de gecontroleerde stellingen lag het succespercentage voor bewijsvertaling op 29,7%, terwijl dit voor vertalingen op ecosysteemniveau kelderde naar 5,2%.
Semantische getrouwheid en context
Het onderzoek wijst daarnaast op de beperkingen van standaard type-checking. Met behulp van een deterministische 'BEq check' in Lean 4 bleek dat native type-checking de semantische getrouwheid van vertalingen vaak overschat; slechts 54,0% van de geverifieerde vertalingen naar Lean 4 was semantisch equivalent.
Interessant is dat de context van meerdere ITP's de prestaties kan verbeteren. In een studie naar auto-formalisering en auto-informalisering bleek dat het gebruik van multi-ITP context het succespercentage voor Lean 4 deed stijgen van 4,8% naar 10,6%. Bovendien bleken Rocq en HOL Light makkelijkere doelen voor formalisering dan Lean 4 en Isabelle.