⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuwe AI-methode gebruikt videogeneratoren om onbekende acties in robotica te leren

Nieuwe AI-methode gebruikt videogeneratoren om onbekende acties in robotica te leren

Onderzoekers hebben een nieuwe methode ontwikkeld, genaamd O²LaF, die gebruikmaakt van vooraf getrainde videomodellen om acties in video's te begrijpen zonder dat daar expliciete labels voor nodig zijn. De techniek stelt robots in staat om effectiever te leren van visuele data door bestaande kennis over videodynamiek te hergebruiken.

Het begrijpen van de relatie tussen een actie en het uiteindelijke visuele resultaat is een fundamentele uitdaging binnen de robotica en kunstmatige intelligentie. Hoewel video's laten zien hoe een omgeving verandert, bevatten ze zelden informatie over de specifieke acties die deze veranderingen veroorzaken. Traditionele methoden voor 'latent action learning' proberen deze informatie te herstellen uit visuele overgangen, maar moeten de onderliggende dynamiek vaak vanaf nul leren.

Eén prior, twee dynamieken

In een recent onderzoek, gepubliceerd op 19 november 2026, stellen Yuxin Jiang en collega's een alternatieve benadering voor. In plaats van een model vanaf nul te trainen, maken zij gebruik van een reeds getrainde video-generator als basis. Volgens de publicatie op arxiv.org is het framework, genaamd O²LaF, gebaseerd op het principe van "één prior, twee dynamieken".

Het systeem maakt gebruik van een pretrained Video Diffusion Transformer (DiT). Deze basis wordt aangepast voor twee verschillende rollen:
1. Inverse dynamiek: Een feed-forward transition encoder met leerbare actie-queries die probeert te achterhalen welke actie een bepaalde visuele overgang heeft veroorzaakt.
2. Forward dynamiek: Een causale, actie-geconditioneerde videogenerator die voorspelt wat het visuele resultaat van een specifieke actie zal zijn.

Door beide dynamieken end-to-end te optimaliseren via een compacte bottleneck, kan het model overdraagbare acties leren uit ongelabelde video's.

Resultaten in navigatie en manipulatie

De resultaten van het onderzoek tonen aan dat O²LaF superieur is in specifieke scenario's. Volgens de auteurs van het artikel op zet de methode een nieuwe standaard in 'few-shot action probing'. Dit betekent dat het model met zeer weinig voorbeelden in staat is om acties correct te identificeren.

Daarnaast maakt de techniek een sterkere 'zero-shot action transfer' mogelijk. Dit houdt in dat acties die in één visuele context of met één type robotlichaam (embodiment) zijn geleerd, direct kunnen worden toegepast in een andere context zonder dat er extra training nodig is. De toepassing van deze methode is met name relevant voor navigatietaken en robotische manipulatie.

Bredere toepasbaarheid van representatie-priors

Hoewel de focus van het onderzoek lag op generatieve videomodellen, hebben de onderzoekers ook onderzocht of andere vormen van voorspellende representaties kunnen werken. In de documentatie op wordt vermeld dat het framework is uitgebreid naar predictive representation priors, zoals V-JEPA2. Ook hiermee werden competitieve prestaties behaald.

De bevindingen suggereren een nieuw paradigma voor het leren van latente acties. In plaats van het volledig opnieuw trainen van modellen, kunnen bestaande video-modellen worden hergebruikt om zowel overdraagbare acties te ontdekken als de gevolgen van die acties nauwkeurig te voorspellen.

Context van termen

Binnen de wetenschappelijke context van dit onderzoek wordt de term "prior" gebruikt om te verwijzen naar voorkennis of een bestaande staat voordat een nieuw proces begint. Zoals beschreven in de terminologie van cambridge.org, duidt een 'prior' in formele zin op iets dat voorafgaand is aan een bepaalde tijd of gebeurtenis. In de context van AI betekent dit dat het model niet start bij nul, maar voortbouwt op reeds geacquireerde visuele kennis uit enorme hoeveelheden videodata.

Het volledige onderzoek en de bijbehorende code zijn beschikbaar gesteld via de projectpagina en de repository die zijn gelinkt in de publicatie op .

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!