Onderzoekers hebben een nieuwe benadering ontwikkeld waarmee robots kunnen leren van egocentrische video's van mensen, zelfs wanneer er geen specifieke instructies over de uitgevoerde handelingen beschikbaar zijn.
In een recent wetenschappelijk onderzoek, dat op 10 november 2026 is gepubliceerd via arxiv.org, presenteren Lin Long en collega's een methode om robotbeleid (robot policy learning) te verbeteren door gebruik te maken van menselijke beelden. De kern van het onderzoek richt zich op het benutten van zogenaamde 'action-free' egocentrische video's. Dit zijn beelden die vanuit het perspectief van een mens zijn opgenomen, maar waarbij de exacte technische acties of commando's niet zijn vastgelegd.
De SPAR-architectuur
Om deze data effectief in te zetten, hebben de onderzoekers een nieuw systeem ontwikkeld genaamd Shared Prediction on Action and Representation, afgekort als SPAR. Deze architectuur is gebouwd op een reeds getraind Vision Language Model (VLM).
Binnen de SPAR-structuur wordt gebruikgemaakt van een specifieke MoT-architectuur. Volgens de stelt dit systeem de robot in staat om toekomstige visuele toestanden te voorspellen. Deze visuele voorspellingen fungeren als onafhankelijke en aanvullende signalen voor het leerproces, die naast de traditionele actievoorspellingen worden gebruikt. Hierdoor kan de robot patronen herkennen in menselijk gedrag zonder dat er expliciete supervisie van acties nodig is.
Resultaten en schaalbaarheid
De resultaten van het onderzoek wijzen op een significante verbetering in de prestaties van robots, vooral bij taken die buiten de oorspronkelijke trainingsset vallen (out-of-distribution robot tasks). De onderzoekers stellen vast dat de representaties die zijn geleerd uit egocentrische video's direct bijdragen aan een betere uitvoering van deze complexe taken.
Een belangrijk aspect van de studie is de schaalbaarheid. De auteurs merken op dat de prestaties van de robots verder toenemen naarmate de hoeveelheid beschikbare videodata wordt uitgebreid. Daarnaast is er in het onderzoek gekeken naar de invloed van datacuratie en de keuze van objectieven, wat volgens de waardevolle inzichten biedt in hoe actievrije video's kunnen worden ingezet voor schaalbaar robotisch leren.
Context van robotische begeleiding
Het concept van 'guidance' of begeleiding is essentieel in zowel menselijke als technische contexten. Terwijl het in menselijke termen vaak gaat over advies en hulp bij persoonlijke of professionele problemen, zoals beschreven in het cambridge.org, heeft het in de techniek een meer functionele betekenis. In de robotica en luchtvaart verwijst begeleiding vaak naar het proces van het sturen van een object, vergelijkbaar met een geleidingssysteem voor raketten.
De methode van Long en zijn team slaat een brug tussen deze concepten door menselijke visuele ervaringen te vertalen naar technische sturing voor robots. Door te leren van hoe mensen de wereld zien en interacties aangaan, kan de robot een vorm van digitale begeleiding krijgen die voorheen alleen mogelijk was met zeer kostbare, handmatig gelabelde datasets.
Toekomstige implicaties
De publicatie, die is ingediend onder de categorieën Robotica, Artificiële Intelligentie en Computer Vision, suggereert dat de afhankelijkheid van strikte actiesupervisie kan worden verminderd. Dit opent de deur naar een efficiëntere training van robots door simpelweg bestaande videodata van menselijke activiteiten te analyseren.
Voor meer details over de technische implementatie en de gebruikte datasets verwijzen de auteurs naar hun projectpagina, die is gelinkt in de .