Onderzoekers hebben Dr. Zero ontwikkeld, een innovatief systeem waarmee grote taalmodellen (LLM's) zichzelf kunnen verbeteren in complexe zoekopdrachten. Door een autonome feedbackloop te creëren, kan de AI complexe problemen genereren en oplossen zonder dat er vooraf gecureerde datasets van mensen nodig zijn.
De ontwikkeling van geavanceerde AI-modellen stuit steeds vaker op een kritiek probleem: het tekort aan hoogwaardige, door mensen geannoteerde trainingsdata. Om dit te omzeilen, richt een team van onderzoekers zich op 'zelfevolutie'. In een recent gepubliceerd wetenschappelijk document op arxiv.org presenteren zij Dr. Zero, een framework dat specifiek is ontworpen voor zoekagenten die in meerdere stappen informatie moeten verzamelen en analyseren.
De uitdaging van multi-turn zoekagenten
Traditionele methoden om AI-agenten te trainen voor complexe zoekopdrachten vereisen vaak enorme hoeveelheden handmatig gelabelde data. Dit is niet alleen kostbaar, maar beperkt ook de diversiteit van de vragen die een model kan verwerken. Bovendien vergen multi-turn agenten — systemen die herhaaldelijk tools gebruiken en redeneren om tot een antwoord te komen — een aanzienlijke hoeveelheid rekenkracht.
Volgens de beschrijving in de worstelen bestaande systemen in een zelfevoluerende setting vaak met een gebrek aan variatie in de gegenereerde vragen en de hoge computationele kosten die gepaard gaan met meerstaps redeneringen.
De werking van Dr. Zero: Een autonome feedbackloop
Het hart van Dr. Zero is een dynamisch systeem bestaande uit twee rollen: een 'proposer' (voorsteller) en een 'solver' (oplosser). Beide rollen worden geïnitiealiseerd vanuit hetzelfde basismodel, maar ontwikkelen zich in verschillende richtingen door middel van een continue interactie.
De proposer heeft als taak om structureel diverse en uitdagende vragen te genereren. De solver probeert deze vragen vervolgens op te lossen door gebruik te maken van een externe zoekmachine als primaire kennisbron. Naarmate de solver beter wordt in het vinden van antwoorden, wordt de proposer gestimuleerd om steeds complexere, maar nog steeds oplosbare taken te bedenken. Dit creëert een geautomatiseerd curriculum waarbij beide agenten elkaar voortdurend naar een hoger niveau tillen.
Efficiëntie door Hop-Grouped Relative Policy Optimization
Om de enorme rekenkracht die normaal gesproken nodig is voor dit proces te verminderen, introduceert het team een nieuwe methode genaamd Hop-Grouped Relative Policy Optimization (HRPO).
In plaats van elke individuele query apart te evalueren op moeilijkheidsgraad, clustert HRPO vragen die structureel op elkaar lijken. Door groepsbaselines te creëren, kan het systeem de overhead bij het samplen van data aanzienlijk verlagen. Volgens de auteurs van het zorgt deze optimalisatie ervoor dat de training van de proposer en de schatting van beloningen efficiënter verloopt, zonder dat dit ten koste gaat van de stabiliteit of de uiteindelijke prestaties van het model.
Resultaten en implicaties
De resultaten van uitgebreide experimenten tonen aan dat Dr. Zero in staat is om volledig gesuperviseerde zoekagenten — modellen die wél met menselijke data zijn getraind — te 매tchen of zelfs te overtreffen op diverse benchmarks voor vraag-en-antwoordsystemen.
Dit bewijst dat krachtige, op bewijsmateriaal gebaseerde redenering en agentisch zoekgedrag kunnen ontstaan uit pure zelfevolutie. Het framework, dat is ingediend voor de , markeert een verschuiving naar AI-systemen die minder afhankelijk zijn van menselijke curatie en meer in staat zijn om autonoom hun eigen kennis en vaardigheden uit te breiden via interactie met de digitale buitenwereld.