Wetenschappers hebben een innovatieve methode ontwikkeld om de algoritmen achter video-aanbevelingen en zoekfuncties te optimaliseren. Het systeem, dat EvoPilot wordt genoemd, maakt gebruik van gespecialiseerde AI-agenten om modelwijzigingen voor te stellen, uit te voeren en te testen. In tegenstelling tot traditionele autonome onderzoekscycli, die vaak in kleine, afgesloten omgevingen opereren, is EvoPilot specifiek ontworpen voor online processen die over een langere periode verspreid zijn en direct invloed hebben op een live product.
Volgens een arxiv.org worden Large Language Model (LLM) agenten ingezet om het proces van modelontwikkeling te stroomlijnen. De onderzoekers, waaronder Baiting Zhu en Hao Fu, benadrukken dat volledig autonome systemen risico's met zich meebrengen. Een succesvol afgeronde computertaak kan namelijk toch leiden tot een onjuiste conclusie. Dit kan gebeuren wanneer een codeaanpassing in feite geen effect heeft, wanneer er sprake is van datalekken in specifieke tijdvensters of wanneer de criteria van de evaluator onbedoeld verschuiven.
Om deze onjuistheden tegen te gaan, hanteert EvoPilot een strikte filosofie van "Verify, Don't Trust". Het proces van cambridge.org is hierbij essentieel om de correctheid van de resultaten te bevestigen. Het systeem implementeert daarom een 'human-gated' benadering, waarbij menselijke controle is ingebouwd in de workflow. Rolspecifieke agenten werken via versiebeheerde domeinskills en getypeerde adapters, terwijl duurzame records worden bijgehouden om zowel successen als mislukkingen vast te leggen. Hierdoor kunnen deterministische controles voorkomen dat eerder gemaakte fouten opnieuw worden herhaald.
De praktische waarde van EvoPilot werd getest bij Video Deep Dive (VDD), een systeem dat gebruikers suggesties geeft voor vervolgvideo's. Tijdens een testcampagne van 37 dagen werd het systeem toegepast op een index met honderden miljoenen video's, die elk uur werd bijgewerkt. De focus lag hierbij op zeven verschillende optimalisatierichtingen.
Een concreet voorbeeld uit de illustreert het belang van menselijke tussenkomst. Bij een eerdere, primitieve poging tot autonoom onderzoek concludeerde de AI onterecht dat een specifieke 'interaction head' zorgde voor een daling van 22 procentpunten in de offline hit-rate. Dankzij de menselijke controle binnen EvoPilot kon echter worden vastgesteld dat deze daling niet door de code kwam, maar door een defect in de evaluatie waarbij de output-dieptes varieerden tussen 600 en 3.000. Na correctie van deze fout bleek er juist sprake te zijn van een verbetering van 3,20 procentpunten.
Naast de toename in nauwkeurigheid leverde het systeem ook operationele winst op. Door het hergebruik van digitale artefacten konden ongeveer vijf GPU-uren worden bespaard. Bovendien maakte de duurzame status van het systeem het mogelijk om onderbroken rondes zonder gegevensverlies te herstarten.
De uiteindelijke effectiviteit werd gemeten via een gerandomiseerde online evaluatie die zeven dagen duurde. De resultaten toonden een relatieve stijging van 0,66% in de 'Good Search Result Rate for Retention' (GSRR) voor het VDD-segment. Het onderzoek naar deze methode is, zoals vermeld in de , ingediend bij de Applied Data Science Track van de KDD 2027.