⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuwe benchmark LCS-Bench onthult tekortkomingen in automatische formalisering van logica

Nieuwe benchmark LCS-Bench onthult tekortkomingen in automatische formalisering van logica

Onderzoekers hebben LCS-Bench ontwikkeld, een grootschalige benchmark die de capaciteiten van AI-modellen test bij het vertalen van complexe logische theorieën naar computertaal. De resultaten tonen aan dat zelfs de meest geavanceerde modellen momenteel moeite hebben met het behouden van consistentie over volledige theorieën.

Het proces van auto-formalisering — het automatisch omzetten van wiskundige of logische bewijzen uit natuurlijke taal naar een formele taal die door computers kan worden geverifieerd — is essentieel voor het schalen van formele verificatie. Tot op heden richtte het onderzoek zich echter hoofdzakelijk op geïsoleerde beweringen. Volgens een recent onderzoekspapier op arxiv.org blijft "theory-scale" auto-formalisering een open uitdaging. Hierbij gaat het om het coherent vertalen van honderden onderling afhankelijke definities, lemma's en stellingen, waarbij problemen met consistentie, getrouwheid en correctheid vaak optreden.

De introductie van LCS-Bench

Om deze kloof te overbruggen hebben Yuming Feng en collega's LCS-Bench geïntroduceerd. Deze benchmark is specifiek gebaseerd op de logica voor informatica. De dataset is tot stand gekomen via een semi-geautomatiseerde "agentic pipeline". Dit proces maakte gebruik van conceptgrafieken, formele planning van signaturen, issue-tracking en het zoeken naar tegenvoorbeelden om gaten in de bewijzen op te vullen. Om de kwaliteit te waarborgen, is het resultaat getoetst door menselijke experts.

De omvang van LCS-Bench is aanzienlijk. Het artifact bevat 327 items uit tekstboeken, wat resulteert in meer dan 4.076 Lean-declaraties en ruim 85.000 regels Lean-code. De dataset is uitgerust met een data-engine die automatisch vijf verschillende evaluatietracks genereert om diverse aspecten van auto-formalisering en het bewijzen van stellingen te meten. Daarnaast is er een nieuw evaluatieprotocol ontwikkeld met "definitional equivalence checkers" voor een nauwkeurigere beoordeling.

Prestaties van AI-modellen

De onderzoekers hebben 17 verschillende modellen uitgebreid getest. De resultaten zijn volgens de auteurs van de onthullend: de benchmark blijkt zeer uitdagend. De huidige state-of-the-art modellen behaalden slechts een score van 20,3% op de auto-formaliseringstaken. Dit onderstreept dat AI-modellen nog niet in staat zijn om op grote schaal complexe, onderling verbonden logische structuren foutloos te vertalen.

Bredere context van AI-onderzoek

Terwijl LCS-Bench zich richt op de formele logica, vindt er in andere domeinen eveneens intensieve AI-ontwikkeling plaats. Zo rapporteert het flandersairesearch.be over diverse PhD-trajecten in 2026, waaronder onderzoek naar kennisgrafieken voor machine learning door Ioannis Dasoulas en het gebruik van cognitieve kaarten voor autonome navigatie door Daria de Tinguy. Deze diverse onderzoekslijnen tonen de breedte van de huidige AI-exploratie, van theoretische logica tot praktische robotica en medische tijdreeksanalyse.

Daarnaast houdt de Universiteit Gent een uitgebreide academische bibliografie bij waarin duizenden publicaties uit 2026 zijn opgenomen, wat de actuele wetenschappelijke output in diverse disciplines weerspiegelt. Hoewel andere bronnen zoals klimaat.be of fgov.be geen directe informatie verspreiden over auto-formalisering, illustreert de verspreiding van digitale documentatie de noodzaak voor betere automatische verwerking en verificatie van complexe data.

De conclusies uit het onderzoek naar LCS-Bench suggereren dat er nieuwe richtingen moeten worden ingezet om de getrouwheid en schaalbaarheid van AI-gestuurde formalisering te verbeteren. Het werk is gepresenteerd in de Evaluations and Datasets Track van NeurIPS 2026.

Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!