Machine learning-modellen bouwen is vooral veel vallen en opstaan. AI-agenten kunnen zelf code voorstellen en verbeteren, maar elk kandidaatprogramma moet normaal gesproken volledig getraind én geëvalueerd worden. Dat kost veel tijd en rekenkracht — en beperkt hoeveel opties een agent per stap kan uitproberen.
Brian Ko en collega-onderzoekers lossen dat op met MLE-World. Het model, gefinetuned vanuit Qwen3.5-4B, is volgens een publicatie op arxiv.org een wereldmodel dat de uiteindelijke output van een programma voorspelt: denk aan foutmeldingen, trainingslogs en validatiescores. En dat puur op basis van de code en de beschrijving van de data — zonder dat het programma ooit echt draait.
🧠 Even simpel uitgelegd
Stel dat je wilt weten of een recept lekker is. Normaal moet je het gerecht koken en proeven — dat duurt lang. MLE-World is als een chef die naar het recept kijkt en voorspelt hoe het gerecht zal smaken, zonder het te koken. Alleen als de chef twijfelt, wordt het gerecht écht gemaakt. Zo kun je tientallen recepten (of dus: programma's) snel vergelijken.
Eén voorspelling in plaats van een hele training
Het grootste voordeel: rekenkosten. Een echte trainingrun vraagt veel tijd en middelen; een voorspelling van MLE-World kost slechts één enkele inferentie-aanroep. Daardoor wordt 'test time scaling' (TTS) — het vergelijken van meerdere kandidaten per stap — plots betaalbaar voor AI-agenten.
De onderzoekers ontwikkelden vijf TTS-strategieën die door MLE-World worden gestuurd:
- Sequential revision: code stap voor stap herzien.
- Best-of-N: de beste kandidaat uit een groep kiezen.
- Pairwise judging: twee opties direct tegen elkaar afzetten.
- Fusion: verschillende benaderingen combineren.
- UCB-stijl regel: een exploratiebonus toevoegen op basis van een betrouwbaarheidsscore.
Foutieve voorspellingen vangt het systeem slim op: een kandidaatprogramma wordt alleen écht uitgevoerd wanneer de betrouwbaarheidsscore van de voorspelling laag is.
De cijfers
De onderzoekers testten MLE-World op 17 taken uit de 'MLE-bench Lite' dataset. De resultaten zijn opvallend:
- In 77,9% van de gevallen voorspelde MLE-World de werkelijke terminale output van onbekende programma's correct.
- Veel grotere modellen die via prompting werden aangestuurd, kwamen slechts tot 41,1%.
- AI-agenten mét MLE-World presteerden gemiddeld 22,1% beter dan agenten zonder wereldmodel — en dat met minder echte executies.
Groter dan alleen ML
De focus van het onderzoek ligt op de machine learning-gemeenschap, maar de ontwikkeling raakt aan een bredere discussie over AI die ook internationaal volop speelt, onder meer via apnews.com. Wereldmodellen zoals MLE-World markeren een verschuiving: AI-systemen die niet alleen acties uitvoeren, maar eerst de gevolgen daarvan simuleren.
Details over de architectuur en de gebruikte datasets staan op de projectpagina die bij de indiening wordt genoemd — beschikbaar voor andere wetenschappers die verder willen bouwen.