In de ontwikkeling van AI-agenten is er een groeiende trend om Large Language Models (LLM's) in te zetten als zogenaamde 'transactie-compilers'. Deze modellen hebben de taak om natuurlijke taal van een gebruiker om te zetten in gestructureerde data, zoals JSON-objecten, die vervolgens direct door een API kunnen worden uitgevoerd. Hoewel technieken zoals JSON-schema's en specifieke modi voor gestructureerde output parse-fouten vrijwel volledig elimineren, blijkt uit recent wetenschappelijk onderzoek dat technische correctheid niet gelijkstaat aan feitelijke betrouwbaarheid.
Volgens een studie gepubliceerd op arxiv.org bestaat er een significante kloof tussen syntactische validiteit en semantische betrouwbaarheid. Dit betekent dat een AI-model weliswaar een bestand kan genereren dat technisch perfect voldoet aan de eisen van een schema, maar dat de inhoud van dat bestand onjuist kan zijn of de intentie van de gebruiker volledig kan misinterpreteren. De technische vorm is correct, maar de logische uitvoering is foutief.
Om dit fenomeen te kwantificeren, heeft onderzoeker Yin Li de 'OrderBench' ontwikkeld. Dit is een deterministische benchmark die specifiek is ontworpen om AI-agenten te testen bij het verwerken van restaurantbestellingen. In het onderzoek wordt de evaluatie opgesplitst in verschillende kritieke categorieën. Hierbij wordt niet alleen gekeken naar de syntaxis en schema-validiteit, maar vooral naar de exacte item-semantiek, het behoud van specifieke klantbeperkingen en het voorkomen van onveilige acceptaties, waarbij riskante of onmogelijke verzoeken onterecht worden goedgekeurd.
De resultaten van de tests, die gebaseerd zijn op 2.400 aanroepen via de Nebius Token Factory, tonen een zorgwekkend beeld. Er werden vier verschillende open modellen getest in zowel 'prompt-only' als 'JSON-schema' modi. De data onthullen dat zelfs bij het meest geavanceerde geteste model een paradox ontstond: terwijl de schema-validiteit een score van 100% behaalde, bleef het semantische succes steken op ongeveer 80%. Dit impliceert dat in één op vijf gevallen de AI-agent een technisch foutloos bestand leverde, maar de feitelijke bestelling onjuist verwerkte.
Bij minder krachtige modellen waren de tekortkomingen nog prominenter. Hier traden onveilige acceptaties in dubbele cijfers op, ondanks dat de output technisch valide was volgens het JSON-schema. Dit bewijst dat het beheersen van de datavorm niet betekent dat het model de logische implicaties van een transactie begrijpt. Zoals uiteengezet in de publicatie op , vormt dit een belangrijke waarschuwing voor software engineers die blind vertrouwen op gestructureerde output.
De conclusie van de studie is dat gestructureerde output enkel als een noodzakelijke interface-laag moet worden beschouwd en nooit als een vervanging voor domeinspecifieke verificatie. De onderzoekers pleiten voor de implementatie van een 'fail-closed' executiemodel. In dit model worden transacties niet automatisch uitgevoerd op basis van de validiteit van een JSON-object, maar volgen er aanvullende controles om te verifiëren of de actie semantisch correct en veilig is.
De volledige methodologie en de gedetailleerde resultaten per model zijn beschikbaar in de wetenschappelijke database van , waar het artikel is ingediend onder de categorie Artificial Intelligence (cs.AI). De studie benadrukt dat de focus in de industrie moet verschuiven van het simpelweg correct formatteren van antwoorden naar het waarborgen van de feitelijke betrouwbaarheid van de acties die deze antwoorden triggeren.