De ambitie om kunstmatige intelligentie in staat te stellen zichzelf recursief te verbeteren, ook wel Recursive Self-Improvement (RSI) genoemd, komt dichterbij door de groeiende capaciteit van grote taalmodellen om machine learning-experimenten te ontwerpen en uit te voeren. Een kritiek onderdeel van dit proces is het vermogen om vooraf te bepalen of een specifiek idee de kostbare trainingstijd waard is. Uit recent onderzoek blijkt echter dat zelfs de meest geavanceerde modellen hier nog grote moeite mee hebben.
In een studie die is gepubliceerd via arxiv.org hebben onderzoekers, waaronder Artem Lukoianov en Ayush Bansal, de voorspellende gaven van vijf topmodellen getest. De geteste modellen — GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1, Kimi K3 en GLM-5.3 — moesten de impact voorspellen van 288 door AI voorgestelde ideeën, verspreid over acht verschillende taken uit de MLE-bench. De resultaten van deze voorspellingen werden vervolgens getoetst aan de werkelijke uitkomsten na de training.
De bevindingen uit het laten zien dat de modellen weliswaar beter presteren dan een willekeurige gissing, maar dat de accuraatheid beperkt blijft. Het best presterende model, Claude Opus 5.5, slaagde er slechts in om ongeveer de helft van de variantie in de resultaten te verklaren, wat resulteerde in een R²-waarde van 0,49. Bovendien was er een systematische trend waarbij alle geteste modellen de uiteindelijke impact van de voorgestelde wijzigingen onderschatten.
Andere opvallende conclusies uit de studie zijn dat de voorspelbaarheid sterk varieerde per taak en dat de softwarematige implementatie, het zogenaamde 'coding harness', geen significante invloed had op de uitkomsten. Ook was er geen bewijs dat modellen een voorkeur hadden voor hun eigen ideeën. Wel werd opgemerkt dat het toevoegen van extra context en het gebruik van instellingen voor hogere redenering leidde tot een kleine verbetering in de prestaties.
Om te begrijpen waarom deze modellen moeite hebben met dergelijke technische voorspellingen, is het nuttig om naar hun basis te kijken. Zoals uitgelegd in een geeksforgeeks.org, zijn deze modellen gebouwd op de Transformer-architectuur. Deze technologie maakt gebruik van aandachtmechanismen om grote hoeveelheden data gelijktijdig te verwerken, wat hen in staat stelt om menselijke taal te begrijpen en te genereren.
Hoewel deze architectuur, die steunt op neurale netwerken en optimalisatiefuncties, zeer effectief is voor tekstgeneratie en sentimentanalyse, blijkt de vertaling naar technische intuïtie complexer. Volgens de is de training gericht op het herkennen van patronen in enorme hoeveelheden tekst. Het onderzoek suggereert dat dit patroonherkenningsvermogen nog onvoldoende is om met precisie te bepalen welke specifieke technische aanpassingen in een machine learning-model tot succes zullen leiden.
De onderzoekers hebben de gebruikte dataset openbaar gemaakt, zodat andere wetenschappers verder kunnen onderzoeken hoe de intuïtie van AI-modellen verbeterd kan worden om autonome zelfverbetering in de toekomst mogelijk te maken.