Onderzoekers hebben TraceForge ontwikkeld, een techniek die het mogelijk maakt om trainingsdata voor AI-modellen te genereren door de redeneerprocessen van geavanceerde modellen na te bootsen, zonder dat deze expliciet worden verstrekt.
In de wereld van kunstmatige intelligentie is het gebruik van een groot taalmodel (LLM) om trainingsdata te genereren voor een ander model, ook wel 'distillatie' genoemd, een gangbare praktijk. Echter, volgens een recent onderzoekspapier van Yan Wang op arxiv.org hebben diverse teams achter toonaangevende modellen deze route beperkt. Deze aanbieders leveren vaak wel het uiteindelijke antwoord of een korte samenvatting, maar onthouden de gedetailleerde 'reasoning trace' — de stapsgewijze redenering die tot het antwoord leidde.
De beperking van redeneerpaden
De auteur van het onderzoek stelt dat deze beperking ironisch is, aangezien veel van deze modellen zelf zijn gebouwd op de distillatie van menselijke kennis. Terwijl het distilleren van open-source modellen nog steeds routine is, blokkeren commerciële partijen de toegang tot de interne redeneerstappen van hun eigen systemen.
Er bestaan wel methoden om deze verborgen redeneringen te herstellen door versleutelde blokken over verschillende modellen af te spelen. Echter, zoals beschreven in de publicatie op , schendt deze aanpak vaak de servicevoorwaarden van de providers, waardoor het ongeschikt is voor langetermijnproducten.
De werking van TraceForge
TraceForge biedt een alternatief door de redeneerpaden niet te stelen, maar zelf te genereren. Het systeem gebruikt de context en het antwoord van een 'leraarmodel' als input. Vervolgens genereert TraceForge een redeneerpad dat is geschreven in de stijl van de modelfamilie van de 'student' (het model dat getraind moet worden).
Het trainingsproces van TraceForge verloopt in twee fasen:
1. Supervised learning: Een generator leert redeneerpaden te reconstrueren op basis van de context en het antwoord, specifiek in de stijl van de eigen modelfamilie.
2. Adversarial training: Een criticus wordt getraind om te beoordelen hoe authentiek een redeneerpad oogt.
Om de kwaliteit te toetsen, is een onafhankelijke judge ingezet die de authenticiteit scoort op een schaal van 0 tot 1. Volgens de data in het behaalden de gegenereerde sporen een gemiddelde score van 0,68, terwijl echte sporen op 0,66 scoorden. Wanneer de criticus de beste optie uit vier kandidaten selecteerde, steeg de authenticiteitsscore naar 0,82.
Resultaten en prestaties
De effectiviteit van TraceForge is getest op vijf verschillende benchmarks. Hoewel de resultaten voor algemene taken vergelijkbaar waren met andere corpora, waren er significante verbeteringen zichtbaar bij programmeertaken. In deze categorie versloeg de gegenereerde redenering zelfs de eigen denkprocessen van Fable 5.
Concreet leidde het gebruik van TraceForge bij een dataset van 5.000 vragen en dezelfde antwoorden van de leraar tot de volgende verbeteringen bij het laatste checkpoint:
- Een stijging van 3,7 punten op HumanEval+.
- Een stijging van 7,1 punten op MBPP+.
De auteurs concluderen dat de voorsprong op MBPP+ gedurende elk checkpoint behouden bleef. De hypothese achter dit succes is dat redeneringen die zijn geschreven in de stijl van de eigen modelfamilie van de student eenvoudiger te leren zijn.
Hoewel externe platforms zoals Google en YouTube vaak dienen als distributiekanalen voor AI-informatie, blijft de technische basis van dit specifieke onderzoek stevig verankerd in de academische community via .