Onderzoekers hebben TLAPS-Bench ontwikkeld, een nieuw systeem dat kunstmatige intelligentie gebruikt om de correctheid van complexe, real-world softwarespecificaties formeel te bewijzen via het TLA+ Proof System.
Op 2 november 2026 is een wetenschappelijk artikel gepubliceerd waarin de introductie van TLAPS-Bench wordt toegelicht. Dit project richt zich op het automatiseren van machine-gecontroleerde bewijzen voor systeemspecificaties in TLA+. Volgens de publicatie op arxiv.org is het bewijzen van de correctheid van complexe systemen een uitdagende taak. Dit proces vereist namelijk het ontdekken van inductieve invarianten, het analyseren van ingewikkelde staatsovergangen en het opdelen van bewijzen in hanteerbare verplichtingen.
Een framework voor agentische AI
TLAPS-Bench fungeert als een benchmark en een zogenaamde 'execution harness'. Dit stelt agentische AI-modellen in staat om iteratief bewijzen te ontwikkelen bovenop het TLA+ Proof System (TLAPS). Om dit proces te ondersteunen, worden de AI-agenten voorzien van specifieke bewijstools en bibliotheken. Daarnaast zijn er waarborgen ingebouwd om 'reward hacking' te voorkomen, een fenomeen waarbij AI-modellen shortcuts zoeken om een beloning te maximaliseren zonder de eigenlijke taak correct uit te voeren.
De praktische waarde van dit systeem is reeds aangetoond. De onderzoekers hebben AI-agenten ingezet om eigenschappen te bewijzen voor cruciale systeemspecificaties die voorheen niet bewezen waren. Hierbij ging het onder andere om systemen voor cache-coherentie, Byzantine consensus en write-ahead logs, zoals beschreven in de .
Resultaten en prestaties van AI-modellen
De omvang van de benchmark is aanzienlijk. TLAPS-Bench bevat in totaal 265 bewijstargets, waarbij elke target een specifieke eigenschap representeert die bewezen moet worden. Deze targets zijn afgeleid van 95 TLA+-specificaties van systemen uit de echte wereld.
Om de effectiviteit van moderne AI te testen, hebben de auteurs frontier AI-agenten geëvalueerd. In deze tests werd gebruikgemaakt van Codex met GPT-modellen. De evaluatie richtte zich op een subset van 70 bewijstargets verspreid over 12 verschillende specificaties. Uit de resultaten blijkt dat het model GPT-6.1 Sol (max) de beste prestaties leverde door 31 van de targets succesvol te bewijzen, wat neerkomt op een score van 44,3%.
Volgens de auteurs van het artikel op laten deze resultaten zowel de huidige uitdagingen als de kansen zien voor end-to-end ontwikkeling van formele bewijzen.
Context en tijdlijn
Het onderzoek is breed gedragen door een team van zestien auteurs, waaronder Qian Cheng, Ruize Tang en diverse andere experts op het gebied van kunstmatige intelligentie en software engineering. De publicatie verscheen op maandag 2 november 2026.
Ter referentie van de huidige datum, meldt worldtimeserver.com dat het in België inmiddels dinsdag 3 november 2026 is. De publicatie van TLAPS-Bench is daarmee zeer recent en biedt een actueel inzicht in de synergie tussen formele methoden en geavanceerde taalmodellen.
Het volledige onderzoek beslaat 35 pagina's, inclusief een kerntekst van 10 pagina's, diverse referentielijsten en een uitgebreide appendix met zeven figuren en twintig tabellen. De resultaten suggereren dat AI een significante rol kan spelen bij het verhogen van de betrouwbaarheid van kritieke computersystemen door het automatiseren van bewijslast die voorheen handmatig en tijdrovend was. Meer details over de implementatie en de gebruikte harness zijn beschikbaar via de .