De ontwikkeling van grootschalige ranking- en aanbevelingsmodellen is traditioneel een tijdrovend proces dat sterk afhankelijk is van de ervaring van menselijke ontwikkelaars. In een nieuwe publicatie beschrijven onderzoekers echter hoe autonome systemen, genaamd 'Machine Learning Engineer' (MLE) agenten, dit proces kunnen overnemen door zelfstandig hypothesen te formuleren, code te implementeren en resultaten te evalueren.
Volgens een arxiv.org kunnen deze agenten de volledige cyclus van optimalisatie doorlopen voor zoekrankers op grote schaal. Hoewel de systemen een hoge mate van autonomie vertonen, wordt er gewerkt met een 'human-on-the-loop' model. Dit houdt in dat menselijke ingenieurs nog steeds de regie voeren over de algemene richting, het ontwerp van de doelstellingen en de uiteindelijke controle van de modellen.
Hindernissen in de praktijk
Het implementeren van AI-agenten in een industriële omgeving is complexer dan in kleine testomgevingen. De auteurs van de wijzen op drie specifieke uitdagingen: de lange duur van feedbackcycli waarbij experimenten uren kunnen lopen, de onvoorspelbaarheid van offline metrieken in vergelijking met live online-omgevingen, en het fenomeen van verzadiging, waarbij verdere winst steeds moeilijker te behalen is na de eerste successen. Om deze barrières te slechten, maakten de onderzoekers gebruik van parallelle trainingen en specifieke context-engineering.
Prestaties en onverwachte resultaten
Tijdens een uitgebreide testcampagne voerden de MLE-agenten 1.097 experimenten uit. Hiervan werden 325 goedgekeurd, wat neerkomt op een acceptatiegraad van 29,6%. Dit is een aanzienlijke verbetering ten opzichte van een eerdere campagne die een acceptatiepercentage van 15,6% kende, zoals vermeld in de .
De impact van deze autonomie bleek tastbaar tijdens een grootschalige A/B-test, waarbij een door de AI gegenereerd model zorgde voor een stijging van het zoekvolume met 0,23%. Opvallend was dat de agenten architecturale wijzigingen voorstelden die het menselijke team nooit had overwogen. Door gebruik te maken van wetenschappelijke literatuur en brede industriële kennis, verkenden de systemen ontwerpruimtes die buiten de menselijke intuïtie lagen.
De bredere context van AI-agenten
Deze ontwikkeling sluit aan bij de bredere evolutie van intelligente softwaresystemen. Zo definieert google.com AI-agenten als systemen die kunstmatige intelligentie inzetten om namens gebruikers specifieke doelen na te streven en taken uit te voeren. Dankzij vermogens op het gebied van planning, geheugen en redenering kunnen deze agenten zelfstandig beslissingen nemen en hun aanpak aanpassen.
Een cruciale conclusie uit het onderzoek, dat werd gepresenteerd tijdens de NeurIPS 2026 AutoMLR Workshop, is dat de kracht van het onderliggende model niet de enige succesfactor is. De onderzoekers benadrukken dat de 'harness' — de structuur en de lus waarin het model opereert — minstens zo belangrijk is als de capaciteit van het model zelf. Hiermee is aangetoond dat autonome agenten in staat zijn om volwaardige machine-learning engineering uit te voeren binnen systemen van industriële omvang.