Het accuraat oplossen van zogenaamde constraint problems — vraagstukken waarbij een oplossing aan strikte voorwaarden moet voldoen — blijft een complex punt voor moderne taalmodellen. Een veelgebruikte strategie is om het model de probleemstelling te laten omzetten naar een formele specificatie, die vervolgens door een gespecialiseerde solver wordt verwerkt. Een fundamenteel risico hierbij is echter dat de vertaling naar deze formele taal onjuist kan zijn, waardoor de solver een foutief probleem uitrekent.
In een recent onderzoek van Dipankar Sarkar wordt een nieuwe benadering voorgesteld om dit probleem aan te pakken. In plaats van enkel te vertrouwen op standaard foutmeldingen wanneer een programma vastloopt, stelt de auteur voor om deze te vervangen door een bewijs van de onmogelijkheid. Volgens de publicatie op arxiv.org gebeurt dit door het extraheren van een minimal unsatisfiable core wanneer een gegenereerd programma onvervulbaar is.
Deze methode identificeert een specifieke, beperkte set van constraints die onderling tegenstrijdig zijn. Door deze exacte kern terug te koppelen naar het taalmodel, krijgt de AI een nauwkeurig signaal over waar de vertaalfout zich bevindt. De term 'minimal' wordt hierbij gebruikt in de zin van een hoeveelheid die zo klein mogelijk is, een definitie die ook wordt bevestigd door het cambridge.org. Door enkel de kleinst mogelijke set van tegenstrijdige regels te gebruiken, wordt voorkomen dat er irrelevante informatie wordt gedeeld, terwijl de foutlocatie wel precies wordt aangegeven.
De resultaten van dit onderzoek tonen een significante impact, met name bij minder krachtige taalmodellen. Uit de data in de blijkt dat het gebruik van deze minimale kern het fabriceren van oplossingen voor onmogelijke problemen reduceerde van 79% naar slechts 7%. Voor deze evaluatie is een nieuwe benchmark van 77 problemen gebruikt, waarbij de vertaling naar Answer Set Programming (ASP) centraal stond.
Uit de tests bleek dat de vertalingen in zes van de zeven onderzochte domeinen accuraat waren. De enige uitzondering was het gebied van aggregate coverage scheduling, waar de fouten in een specifiek en diagnosticeerbaar patroon voorkwamen. Opvallend is dat een sterke chain-of-thought baseline qua pure accuraatheid vergelijkbaar presteerde met de symbolische methode. De werkelijke winst van de neuro-symbolische route zit volgens de auteur dan ook niet in een hogere score, maar in het kunnen leveren van certificaten en het vermogen om te weigeren feiten te fabriceren.
Het onderzoek is geaccepteerd voor presentatie op de . De bevindingen bieden nieuwe inzichten voor de vakgebieden machine learning, symbolische computatie en kunstmatige intelligentie.