Een nieuwe wetenschappelijke audit werpt een kritisch licht op het gebruik van extra rekenkracht tijdens de inferentiefase bij wereldactiemodellen. De resultaten suggereren dat de verwachte prestatiewinst door het selecteren van kandidaten en adaptieve allocatie in de praktijk tegenvalt.
In de ontwikkeling van kunstmatige intelligentie voor robotica en controle wordt steeds vaker ingezet op zogenaamde test-time scaling. Hierbij wordt tijdens de uitvoering van een taak extra rekenkracht besteed aan het evalueren van verschillende mogelijke acties (kandidaatselectie) om zo de precisie van de besturing te verbeteren. Echter, een recent onderzoek naar deze methodiek concludeert dat deze winst alleen geloofwaardig is als de kandidaten daadwerkelijk bruikbare signalen bevatten en de evaluatie betrouwbaar blijft.
Beperkte winst bij kandidaatselectie
Het onderzoek, dat is gepubliceerd via arxiv.org, richtte zich op de modellen Cosmos Policy en RoboCasa. De onderzoekers hanteerden een vooraf geregistreerde methodologie om te bepalen of het selecteren van de beste actie uit een reeks kandidaten daadwerkelijk tot betere resultaten leidt.
De bevindingen waren onthutsend voor voorstanders van test-time scaling. Uit de data bleek dat een geleerde waardeselector (learned value selector) zelfs 1,66 procentpunten slechter presteerde dan een volledig willekeurige selectie. Zelfs bij het gebruik van een 'hindsight oracle' — een theoretisch perfecte selector die achteraf de beste keuze aanwijst — was de winst slechts 1,40 procentpunt. Bovendien bleek dat in 82% van de situaties de uitkomsten van de verschillende kandidaten identiek waren, waardoor er nauwelijks ruimte was voor een effectieve selectie.
Efficiëntie en rekenkracht
Naast de effectiviteit van de selectie, onderzochten de auteurs de werkelijke snelheidswinst van optimalisatietechnieken. Er werd gekeken naar token pruning, een methode om het aantal berekeningen per voorwaartse pas (FLOPs) te verminderen. Hoewel deze techniek de FLOPs met maximaal 47% wist te verlagen, vertaalde dit zich in de praktijk naar een beperkte versnelling.
Volgens de was de gemeten end-to-end versnelling op het ingezette pad slechts 1,15 keer, wat ruim onder het gestelde doel van 1,5 keer lag. Experimenten met adaptieve allocatie bleken onder bepaalde omstandigheden, specifiek onder een 'power gate', niet concluderend.
Ontdekking van rendering-fouten
Een opvallend aspect van de audit was de ontdekking van een technische fout in de simulatieomgeving. De onderzoekers identificeerden een 'stille' corruptie in het renderen van beelden. Deze fout trad vaker op bij rekenintensieve planningspaden, terwijl de officiële resultaten van de directe policy (direct-policy) niet werden beïnvloed.
Om andere onderzoekers te helpen, hebben de auteurs een detector, een correctie en bijbehorende scripts vrijgegeven. Dit benadrukt dat de integriteit van de simulator cruciaal is voor het correct meten van de prestaties van AI-modellen.
Pleidooi voor een integrale audit
De auteurs van het onderzoek, waaronder Jun Liu en Dajie Sun, stellen dat de effectiviteit van test-time scaling niet enkel aan de hand van het succespercentage moet worden gemeten. In plaats daarvan pleiten zij voor een audit die kijkt naar de gehele keten van aannames: het beslissingssignaal, de gerealiseerde efficiëntie en de integriteit van de evaluatie.
De conclusies van dit onderzoek zijn specifiek toegespitst op de geteste configuraties van Cosmos Policy en RoboCasa. De volledige details van de audit en de technische correcties zijn beschikbaar via de . Voor algemene informatie over digitale diensten en zoekopdrachten kan men terecht bij google.be.