Vraag een AI-agent om "blokken in een piramide te stapelen" en de kans is groot dat het misgaat. Niet omdat het model de woorden niet begrijpt, maar omdat het de sprong van een vage menselijke bedoeling naar concrete, uitvoerbare stappen niet goed kan maken. Uit recent onderzoek blijkt dat de prestaties van taalmodellen afnemen naarmate instructies abstracter worden.
Onderzoekers Amit Lisha en Reut Tsarfaty hebben daar een oplossing voor gevonden, geïnspireerd door de programmeerwereld: een domain-specific language (DSL) als expliciete tussenlaag. Volgens de publicatie op arxiv.org fungeert die laag als brug tussen natuurlijke taal en de uiteindelijke uitvoering. Terugkerende abstracties worden benoemd als gedocumenteerde primitieven, die daarna kunnen worden uitgebreid naar concrete acties. Het model springt dus niet direct van abstract concept naar individuele actie, maar maakt eerst een gestructureerde tussenstap in code.
🧠 Even simpel uitgelegd
Stel dat je iemand vraagt om "een piramide van blokken te bouwen". Een mens weet dan meteen: eerst een brede onderlaag, daarboven een kleinere laag, enzovoort. Een AI moet dat zelf nog uitzoeken. Een DSL is eigenlijk een soort receptenboek voor de AI: het legt vast wat "piramide", "stapel" of "rij" precies betekent in stapjes. Door eerst zo'n recept op te schrijven — in plaats van direct te handelen — maakt de AI veel minder fouten.
Code wint het van direct raden
De methode is getest op verschillende benchmarks, waaronder \textsc{Hexagons}: een taak waarbij instructies visueel worden onderbouwd en gecategoriseerd op abstractieniveau. De resultaten zijn duidelijk. Code-generatie presteert consistent beter dan directe inferentie.
De grootste winst zit bij een door mensen samengestelde DSL. In die gevallen stegen de scores met tot wel 10 absolute F1-punten. Opvallend: die winst komt vooral van instructies met een hoog abstractieniveau. Precies daar waar AI het tot nu toe het slechtste deed, komt de prestatie nu dichter bij het menselijke niveau. De auteurs bevestigden deze patronen in een aanvullende test op de \textsc{Text2CAD} benchmark.
AI kan de tussenlaag nog niet zelf maken
Een kernvraag in het onderzoek: kunnen taalmodellen zo'n DSL ook zelf afleiden uit domeindata? Het antwoord is gedeeltelijk. Modellen weten wel een DSL te induceren, maar het resultaat blijft achter bij menselijke curatie.
De zelfgegenereerde DSL's realiseren slechts een deel van de prestatiewinst. Bovendien zijn de resultaten inconsistent tussen verschillende runs. De onderzoekers concluderen dat de juiste representatielaag de kloof door hoge abstractie grotendeels kan dichten — maar dat het automatisch induceren van die laag nog een zwak punt is.
Waarom dit telt
Het onderzoek onderstreept dat representatie cruciaal is voor AI-agenten die complexe taken moeten uitvoeren. De overstap van directe interpretatie naar een codelaag als tussenstap maakt abstracties hanteerbaar. Het onvermogen van modellen om zelfstandig optimale DSL's te creëren zien de auteurs juist als belangrijke kans voor toekomstig onderzoek.
Voor de volledige methodologie en de detailresultaten van de \textsc{Hexagons}- en \textsc{Text2CAD}-tests verwijzen de auteurs naar hun publicatie op arxiv.org.