Een team van onderzoekers heeft een methode ontwikkeld om te diagnosticeren waarom visuele wereldmodellen, die worden gebruikt voor het plannen van acties in AI-systemen, mislukken. Het onderzoek maakt een cruciaal onderscheid tussen fouten in het zoekproces en fouten in de scoretoekenning van voorspelde uitkomsten.
In de ontwikkeling van autonome systemen worden visuele wereldmodellen zoals DINO-WM en JEPA-WM ingezet om acties te plannen. Deze systemen maken gebruik van een optimizer die zoekt naar acties waarvan de voorspelde uitkomst de laagste 'kosten' heeft, waarbij deze kosten worden bepaald door de afstand tot een gewenst doelbeeld. Wanneer een dergelijk plan faalt, is dat tot nu toe vaak onduidelijk. Volgens een recent onderzoek gepubliceerd op arxiv.org kan een plan op twee fundamenteel verschillende manieren mislukken: door een zoekfout of een scorefout.
Zoekfouten versus scorefouten
Een zoekfout treedt op wanneer de optimizer simpelweg nooit een goede actie probeert, terwijl die actie wel door de kostenfunctie zou zijn geprefereerd. Een scorefout vindt plaats wanneer de kostenfunctie, gebaseerd op de voorspellingen van het model, een slechte actie onterecht als de beste optie classificeert.
Het probleem voor ontwikkelaars is dat een standaard planner niet registreert welke van deze twee fouten is opgetreden. De onderzoekers, waaronder Haoxuan Jia en twaalf andere auteurs, stellen in hun publicatie op voor om dit onderscheid te maken door de kandidaten van de optimizer daadwerkelijk uit te voeren. Door een bekende oplossing te scoren met de kostenfunctie van de planner en de kosten van voorspelde uitkomsten te vergelijken met reële uitkomsten, kan de exacte aard van het falen worden vastgesteld.
Resultaten in diverse omgevingen
Het onderzoeksteam testte hun diagnosemethode over drie verschillende wereldmodellen en vier gesimuleerde omgevingen. De resultaten laten zien dat het type falen sterk afhankelijk is van de specifieke taak en omgeving:
- PushT en Wall: In deze omgevingen bleken plannen voornamelijk te falen door zoekfouten.
- Metaworld en RoboCasa: Hier was sprake van scorefouten. In het geval van Metaworld bleek de kostenfunctie zeer accuraat bij reële uitkomsten (met een AUROC van 0,94), maar was deze bij voorspellingen nagenoeg kansmatig (AUROC van 0,54), zoals beschreven in de .
De oplossing: DemoProp
Op basis van deze diagnose hebben de onderzoekers een methode genaamd 'DemoProp' ontwikkeld, die gebruikmaakt van opgehaalde demonstratievensters. De strategie hangt af van de foutmarge:
1. Bij kleine voorspellingsfouten: De zoektocht wordt gestart vanaf de demonstratievensters (een zogenaamde 'warm start').
2. Bij grote voorspellingsfouten: De demonstratievensters worden gemiddeld zonder tussenkomst van het model, omdat het model in dat geval geneigd is overgewaardeerde acties te kiezen.
De effectiviteit van deze benadering is aanzienlijk. In Metaworld wist men door het gemiddelde van de vensters te nemen zonder het model 127 van de 168 nieuwe taken op te lossen, tegenover maximaal 87 wanneer het model zelf de keuze maakte. Binnen de PushT-omgeving slaagde de regelgebaseerde methode erin om 678 van de 960 nieuwe episodes op te lossen, wat superieur was aan elke vaste methode.
Het volledige rapport, dat 43 pagina's beslaat en is voorzien van 10 figuren en 30 tabellen, is ingediend op 19 november 2026 via het platform . De bevindingen bieden een concreet kader voor het verbeteren van visuele planners door specifiek te kiezen tussen het uitbreiden van de zoekruimte of het verbeteren van het voorspellende model. Voor verdere informatie over de gebruikte technologieën kan men terecht bij algemene zoekmachines zoals google.com.