De prestaties van kunstmatige intelligentie worden vaak toegeschreven aan de kracht van het onderliggende taalmodel. Echter, uit recent wetenschappelijk onderzoek blijkt dat de interface waarin een AI-agent opereert, de zogenaamde 'harness', een bepalende factor is voor het uiteindelijke succes van de uitvoering. De harness omvat de specifieke prompts, de beschikbare instrumenten en de logica die de interactie tussen het model en de taak reguleert.
In de publicatie arxiv.org analyseren onderzoekers Jian Mu, Ruibo Shen en Yao Shu de dynamiek tussen taalmodellen en hun operationele omgeving. De auteurs stellen dat er een wijdverbreide misvatting bestaat binnen de AI-ontwikkeling: de aanname dat de vaardigheden die een model onder één specifieke harness aanleert, moeiteloos kunnen worden overgedragen naar een andere setting. Volgens de onderzoekers neemt een getrainde 'policy' — het beslissingsproces van het model — in feite de specifieke voorkeuren van de harness over, wat de flexibiliteit van het model beperkt.
Om dit fenomeen te verklaren, introduceren de wetenschappers een theoretisch kader dat rust op twee pijlers: de 'ceiling' en de 'mismatch'. De ceiling definieert het maximale resultaat dat technisch mogelijk is binnen de beperkingen van de harness. De mismatch verwijst naar het prestatieverlies dat ontstaat wanneer het model suboptimale keuzes maakt. Een essentieel inzicht uit de studie is dat training enkel de mismatch kan verminderen, terwijl een aanpassing van de harness zowel de ceiling als de mismatch beïnvloedt. Dit betekent dat wanneer men verschillende interfaces test met hetzelfde model, het lastig is om te onderscheiden of de resultaten komen door de kwaliteit van de harness of door de effectiviteit van het model.
De theoretische claims werden getoetst met empirische data uit MiniWoB++. De resultaten laten zien dat post-training een model zeer specifiek maakt voor de omgeving waarin het is opgeleid. Een illustratief voorbeeld uit de is dat een minimale wijziging, zoals het omkeren van de volgorde van observatievelden, leidde tot een drastische daling in het succespercentage: van 85,0% naar 19,2%. Hoewel de optimale beslissing in theorie hetzelfde bleef, kon het model de verandering in de harness niet verwerken.
Daarnaast voerden de onderzoekers tests uit met coding-agent harnesses op Terminal-Bench Lite. Hierbij gebruikten zij een krachtiger model om het theoretische optimum te benaderen en zo de ceiling en mismatch in te schatten. De resultaten bevestigden dat enkel de combinatie van beide factoren de werkelijke nauwkeurigheidsranglijst kon reproduceren; geen van de twee variabelen was afzonderlijk in staat dit te doen.
Het onderzoek benadrukt dat een harness die initieel slechter lijkt te presteren met een vast model, toch superieur kan zijn als deze een hogere ceiling biedt. Na aanvullende training onder deze nieuwe harness presteerde de agent uiteindelijk beter dan in de oorspronkelijke configuratie. De volledige details en de bijbehorende code zijn beschikbaar gesteld via de om verdere validatie door de machine learning-gemeenschap mogelijk te maken.
Hoewel de term 'your' in algemene zin verwijst naar bezit, zoals beschreven in het merriam-webster.com, wordt het in de context van deze studie specifiek gebruikt om de directe koppeling tussen de policy van de gebruiker/ontwikkelaar en de harness te benadrukken.