Het gebruik van gestructureerde outputformaten in grote taalmodellen (LLM's) heeft een onverwachte invloed op de kwaliteit en variatie van de gegenereerde antwoorden. Hoewel machineleesbare formaten essentieel zijn voor de integratie van AI in software, blijkt uit recent onderzoek dat deze technische eis de creativiteit van de modellen aanzienlijk inperkt.
In de meeste interacties met AI gebeurt dit via een natuurlijke chatinterface. Echter, voor ontwikkelaars is het cruciaal dat een model antwoordt in een formaat dat direct door andere programma's verwerkt kan worden. Volgens een arxiv.org leidt de specifieke instructie om in een gestructureerd formaat te antwoorden tot een sterke convergentie naar standaardantwoorden, waardoor de diversiteit in de output afneemt.
De impact van JSON op variatie
Om dit fenomeen te analyseren, is de zogenaamde 'One-Word Census' uitgevoerd. Hierbij werden 44 verschillende modellen getest over 31 diverse categorieën van prompts. De onderzoekers stelden vast dat het simpelweg toevoegen van de eis om in JSON te antwoorden, de keuzes van het model drastisch verandert.
De cijfers laten een duidelijke trend zien: bij onbeperkte opdrachten lag het percentage van het meest voorkomende antwoord op 41%, maar dit steeg naar 64% zodra JSON werd vereist. Tegelijkertijd zakte het aantal unieke antwoorden van 52 naar 36. Dit bewijst dat modellen minder geneigd zijn om originele of minder voor de hand liggende opties te kiezen wanneer ze gebonden zijn aan een strikt technisch format.
Een belasting op originaliteit
Het effect van deze formaten is niet gelijk voor elk model. Uit de blijkt dat juist de modellen die in een normale chatmodus het meest onderscheidend waren, de sterkste neiging vertoonden om in JSON-modus terug te vallen op het meest gemiddelde antwoord. Modellen die van nature al weinig variatie vertoonden, bleven in hun gedrag ongewijzigd.
In de meeste gevallen worden bestaande voorkeuren simpelweg 'aangescherpt'. In 28 van de 31 geteste categorieën bleef het meest gekozen antwoord hetzelfde als in de chatmodus, maar werd dit antwoord in de JSON-modus simpelweg vaker herhaald. Er zijn echter opvallende uitzonderingen; zo koos het model Claude Fable in chatmodus nooit voor de kleur "cerulean", terwijl dit in 100% van de gevallen gebeurde wanneer JSON werd gevraagd.
De rol van training en taalregisters
Het onderzoek suggereert dat dit gedrag voortvloeit uit de manier waarop modellen zijn getraind voor het gebruik van tools. Opvallend is dat dit effect niet bij elk formaat voorkomt. Terwijl de compressie van diversiteit zeer significant was bij JSON en XML, was dit effect afwezig bij YAML en CSV. Wanneer er gebruik werd gemaakt van een willekeurige omlijsting met haakjes, steeg de diversiteit zelfs licht.
Dit wijst erop dat de afname in variatie niet wordt veroorzaakt door de technische beperkingen van de software die het antwoord genereert, maar door een interne reactie van het model op het taalregister. Het aanvragen van een specifiek formaat activeert een modus in het model die minder creatief is.
Gevolgen voor de softwaresector
Deze bevindingen leggen een kritieke kloof bloot tussen de evaluatie van taalmodellen en hun praktische toepassing. De meeste benchmarks worden uitgevoerd in een chat-omgeving, terwijl softwareontwikkelaars de modellen in de praktijk consumeren via gestructureerde output. Hierdoor maken ontwikkelaars in feite gebruik van een meetbaar homogener model dan de versies die in publieke tests worden gepresenteerd.
Hoewel er diverse tools op de markt zijn om structuur aan te brengen in data en planning, zoals structured.app, richt dit specifieke onderzoek zich op de fundamentele reactie van LLM's op formattering. Voor wie de volledige technische details en de interactieve explorer wil raadplegen, zijn deze beschikbaar via de .