Wetenschappers hebben aangetoond dat externe procedures, zogenaamde 'inference-time harnesses', de capaciteiten van AI-modellen aanzienlijk vergroten op een manier die niet eenvoudig via training in het model zelf kan worden geïntegreerd.
In een recent onderzoek, dat op 19 oktober 2026 werd gepubliceerd via arxiv.org, hebben onderzoekers Jingchu Gai, Adam Block en Andrej Risteski onderzocht hoe externe structuren — in het vakgebied 'scaffolds' of 'harnesses' genoemd — de prestaties van taalmodellen beïnvloeden. Deze harnesses zijn externe procedures die een model herhaaldelijk aanroepen en de status van het proces over verschillende aanroepen heen bijhouden.
De kloof tussen harnesses en distillatie
De kern van het onderzoek richt zich op de vraag of de voordelen van zo'n externe wrapper kunnen worden 'geïnternaliseerd'. De onderzoekers probeerden een zogenaamd 'student-model' te creëren door middel van distillatie, waarbij het student-model getraind werd op de sporen (traces) die het harness achterliet.
Uit de empirische resultaten blijkt dat zelfs bij het gebruik van eenvoudige scaffolds en kleine modellen, de inference-time harness significant beter presteert dan het gedistilleerde student-model. Volgens de publicatie op papers.cool kan de kracht van een harness dus niet simpelweg worden overgedragen naar de gewichten van een model van dezelfde klasse via training.
Theoretische beperkingen en computationele complexiteit
De onderzoekers verklaren dit prestatieverschil door te wijzen op een fundamentele representatieve beperking. In hun theoretische analyse stellen zij dat inference-time harnesses in staat zijn om berekeningen uit te voeren die $\text{NL}$-compleet zijn, zelfs wanneer de basisoperatie slechts een triviale $\text{AC}^0$-lookup is.
Volgens de analyse op arxivsignals.io bewijst het onderzoek dat er een fundamentele computationele scheiding bestaat tussen scaffold-harnesses en gedistilleerde modellen. De theorie suggereert dat een forward pass met een vaste diepte deze complexiteit niet kan representeren, uitgaande van de algemeen aanvaarde conjectuur dat $\text{NL} \not\subseteq \text{TC}^0$.
Voorwaarden voor verbetering
Om de kloof tussen het student-model en het harness te dichten, stellen de auteurs dat de representatieve capaciteit van het student-model moet worden uitgebreid ten opzichte van de taak. Dit kan op verschillende manieren worden bereikt:
* Het vergroten van het model zelf.
* Het vereenvoudigen van de taak.
* Het verlengen van de 'chain-of-thought' (de redeneringsketen) van het model.
De onderzoekers hebben deze theoretische aannames empirisch geverifieerd. Daarnaast is het onderzoek geschaald naar een 'agentic harness' toegepast op complexe wiskundige wedstrijdvragen, waarbij hetzelfde prestatieverschil opnieuw naar voren kwam.
Academische context
Het onderzoek is afkomstig van wetenschappers verbonden aan Carnegie Mellon University (CMU) en Columbia University, zoals vermeld in een bericht op x.com. De resultaten onderstrepen dat het gebruik van externe structuren een model een diepgaande winst in representatieve kracht geeft, die verder gaat dan wat mogelijk is door enkel de trainingsdata aan te passen.
De studie is gecategoriseerd onder de vakgebieden Machine Learning en Artificiële Intelligentie en is breed verspreid via diverse academische aggregators, waaronder observatorioblockchain.com, waar de nadruk ligt op de rol van deze harnesses als wrappers rondom basismodellen.