Waarom worden AI-modellen tijdens de training opeens saai en voorspelbaar? Onderzoekers van een studie, gepubliceerd via arxiv.org, vonden een verrassende boosdoener: het clipping-mechanisme in populaire trainingsalgoritmen. Dat mechanisme blijkt de variatie in de antwoorden van een model sterk te verminderen — en dat remt de ontwikkeling van redeneervaardigheden.
🧠 Even simpel uitgelegd
Stel je een student voor die wiskundepuzzels oplost. Als die student altijd dezelfde aanpak gebruikt, leert hij weinig nieuws. Variatie is dus nodig om beter te worden. Bij AI heet die variatie 'entropie'. Tijdens het trainen met beloningen (RLVR) gebruiken onderzoekers een 'clipping-mechanisme': een soort veiligheidsgordel die voorkomt dat het model te grote sprongen maakt. Maar die gordel zit blijkbaar zo strak dat het model stopt met experimenteren. Dat heet 'entropy collapse': het model wordt een eenoogdje en houdt op met nieuwe oplossingen te zoeken.
Het probleem: modellen worden te snel voorspelbaar
Binnen de AI-ontwikkeling wordt Reinforcement Learning with Verifiable Rewards (RLVR) veel gebruikt om het logisch denkvermogen van modellen te versterken. Maar er is een terugkerend probleem: modellen convergeren te snel naar een deterministische staat. De diversiteit in de output verdwijnt, en het model stopt met het verkennen van nieuwe oplossingsrichtingen tijdens lange trainingsfasen.
Jaesung R. Park en zijn medestanders onderzochten hoe algoritmen zoals Group Relative Policy Optimization (GRPO) en Proximal Policy Optimization (PPO) dit proces beïnvloeden. Hun focus lag op het clipping-mechanisme: een technische voorziening die extreme updates van het model beperkt om de training stabiel te houden. Die techniek is essentieel voor stabiliteit, maar heeft volgens de resultaten onbedoelde gevolgen voor de entropie.
Twee knoppen met een tegengesteld effect
Het onderzoek maakt een belangrijk onderscheid tussen twee typen clipping: 'clip-low' en 'clip-high'. Deze twee functies werken tegenovergesteld. 'Clip-low' zorgt voor een stijging van de entropie, terwijl 'clip-high' de entropie juist laat dalen.
Het kritieke punt: bij de standaardinstellingen overheerst het effect van 'clip-high'. Het gevolg is een algemene afname van de entropie — zelfs wanneer het model enkel willekeurige beloningen ontvangt. Daarmee bewijzen de onderzoekers dat de entropiedaling een inherent kenmerk is van het clipping-mechanisme zelf, en niet het gevolg van het leersignaal.
Dat is een flinke ontdekking voor de AI-training: clipping-instellingen sturen het redeneergedrag dus onafhankelijk van de beloningen. Zakt de entropie te snel, dan stopt het model met het zoeken naar alternatieve redeneringspaden — en dat schaadt de uiteindelijke prestaties. Overigens verwijst de naam CLIP bij openai.com naar een bekende techniek voor visuele en tekstuele representaties, maar dit onderzoek richt zich specifiek op de dynamiek binnen RLVR.
Van probleem naar oplossing
De onderzoekers zien ook een kans: het mechanisme kan juist als instrument dienen om de training te optimaliseren. Door bewust een agressievere waarde voor 'clip-low' te hanteren, verhoog je de entropie kunstmatig. Dat stimuleert de exploratie van het model en helpt de gevreesde 'entropy collapse' tegen te gaan.
In de studie, laatst herzien op 22 oktober 2026, wordt een concrete methode voorgesteld om de balans tussen clip-low en clip-high nauwkeuriger te beheren. Dat kan de stabiliteit en het leervermogen van complexe taalmodellen aanzienlijk verbeteren.