Hoe geef je een AI-model punten voor een taak waar geen cijfer aan hangt? Voor mensen is dat simpel: je ziet twee resultaten en zegt gewoon welke beter is. Een computerprogramma schrijven dat dat met een exacte formule doet, is veel lastiger. Onderzoeker Hao Yu lost dat op met een nieuwe methode die 'Ordinal Credit Assignment' heet. Het onderzoek is gepubliceerd op arxiv.org.
Vergelijkingen als kompas
De methode werkt met multi-step taken: taken die uit een reeks beslissingen bestaan. In plaats van een vaste beloningsfunctie gebruikt het systeem groepen trajecten die vanuit dezelfde begintoestand vertrekken. Elke actie krijgt een score op basis van hoe de toekomstige beloning (reward-to-go) zich verhoudt tot die van andere trajecten op hetzelfde tijdstip.
De update van het model werkt als een policy gradient, waarbij de traditionele beloning wordt vervangen door het winpercentage tegenover andere actieve trajecten. Dat heeft wel een nuance. In deterministische omgevingen — waar dezelfde actie altijd hetzelfde resultaat geeft — rangschikt het systeem acties op hun werkelijke waarde en blijft de optimale strategie stabiel. In omgevingen met onvoorspelbare (stochastische) uitkomsten kiest het systeem echter acties die vaker winnen, niet noodzakelijk acties met de hoogste gemiddelde waarde.
Robuust tegen ruis
Een groot voordeel: de methode is relatief ongevoelig voor bepaalde vormen van ruis. Labelruis die ontstaat bij bijna gelijke resultaten of door positiebias verandert de verwachte update van het model niet. Alleen als de ruis zo sterk is dat duidelijke vergelijkingen worden omgedraaid, wordt het signaal gehalveerd.
De effectiviteit is getest in een vooraf geregistreerde studie over zes verschillende omgevingen. De uitkomst: vergelijkingen leveren geen merkbaar prestatieverlies op ten opzichte van numerieke beloningen bij dezelfde granulariteit. Opvallend is dat slechts tien procent van de vergelijkingen voldoende was om resultaten te behalen — mits die strategisch werden ingezet op enkele tijdspunten met alle mogelijke paren.
LLM's als rechters
Het meest spraakmakende onderdeel: het gebruik van Large Language Models als beoordelaar. Wanneer een LLM uitkomsten moet vergelijken, is het volgens het onderzoek ongeveer 7 tot 10 punten nauwkeuriger dan wanneer het een absolute score (pointwise score) moet geven. En hoe sterker de LLM-rechter, hoe groter dat verschil.
In experimenten waarbij een LLM-rechter werd getraind op eisen die in handgeschreven beloningsfuncties ontbraken, slaagden de modellen er in alle vijf de seeds in om aan die eisen te voldoen. Toch bleven de prestaties achter bij het gebruik van 'oracle comparisons' — perfecte vergelijkingen. De reden: de LLM-rechter kon aan het begin van de training vaak geen onderscheid maken tussen resultaten die zeer dicht bij elkaar lagen.
Nog niet overal de winnaar
Er is ook een kanttekening. In een testcase kon de methode het gat met PPO (Proximal Policy Optimization) met scalaire beloningen nog niet dichten. De methode is dus veelbelovend, maar nog niet overal de beste keuze.
🧠 Even simpel uitgelegd
AI-modellen leren vaak door punten te krijgen, zoals een cijfer op een toets. Maar soms is er geen cijfer — dan weet je alleen of iets beter of slechter is dan iets anders, zoals bij een wedstrijd. Deze nieuwe methode laat de AI leren van die 'wedstrijden': het model ziet meerdere pogingen en leert welke acties vaker tot het beste resultaat leiden. Je hoeft dus geen ingewikkelde puntentelling te bedenken — je hoeft alleen maar aan te geven wat beter is.