Onderzoekers hebben RobotEQ-Video geïntroduceerd, een nieuwe benchmark die robots moet helpen om menselijke behoeften en sociale context beter te begrijpen door middel van dynamische videoanalyse in plaats van statische beelden.
In de ontwikkeling van robots is 'Social Proactive Intelligence' (SPI) een cruciaal concept. Dit gaat verder dan het simpelweg voltooien van een taak; het draait om het vermogen van een robot om proactieve hulp te bieden op een sociaal passende manier binnen diverse fysieke scenario's. Tot nu toe liep het onderzoek naar SPI echter tegen twee belangrijke beperkingen aan. Volgens een recent wetenschappelijk rapport op arxiv.org richtten eerdere studies zich hoofdzakelijk op statische afbeeldingen. Hierdoor ging waardevolle informatie verloren, aangezien dynamische video's veel rijkere aanwijzingen bieden om de staat en de behoeften van een mens correct af te leiden.
Daarnaast kampten eerdere methoden vaak met een gebrek aan structuur bij het verzamelen van data, waardoor niet alle mogelijke scenario's werden gedekt. Om deze tekortkomingen aan te pakken, hebben Xinyi Che en een team van vijftien andere auteurs ontwikkeld. Deze nieuwe benadering verschuift de focus van beeldgebaseerde analyse naar een video-centrische analyse, wat een accuratere weergave geeft van menselijke interacties in de echte wereld.
Een hiërarchische taxonomie voor wereldtoestanden
Om een volledige dekking van diverse scenario's te garanderen, hebben de onderzoekers een uitgebreide 'world-state taxonomy' opgesteld. Deze taxonomie is gestructureerd in vier niveaus, variërend van grof naar fijnmazig. De structuur is zeer gedetailleerd en bestaat uit zes verschillende domeinen en twintig dimensies. Op een dieper niveau bevat het systeem 142 attributen op niveau 1 en maar liefst 816 attributen op niveau 2, zoals beschreven in de publicatie op .
Deze rigoureuze categorisering stelt het systeem in staat om complexe sociale situaties systematisch in kaart te brengen. De resulterende benchmark is omvangrijk: deze bevat meer dan 2.000 video's, ondersteund door ruim 100.000 menselijke annotaties en meer dan 16.000 labels die specifiek zijn bedoeld om de gepastheid van bepaald gedrag te beoordelen.
Huidige prestaties en de rol van wereldmodellen
De evaluatie van de benchmark levert ontnuchterende resultaten op voor de huidige stand van de techniek. Uit de data van blijkt dat huidige AI-systemen nog steeds onbetrouwbaar zijn wanneer ze worden getest op sociale proactieve intelligentie. De prestaties van deze systemen blijven aanzienlijk achter bij die van mensen, wat aantoont dat het begrijpen van sociale nuances in video's een grote uitdaging blijft voor robotica.
Naast het vaststellen van deze tekortkomingen onderzoeken de auteurs ook hoe zogenaamde 'wereldmodellen' kunnen bijdragen aan het oplossen van deze problemen. Door wereldmodellen te integreren, hopen de onderzoekers de kloof tussen machineprestaties en menselijk begrip van sociale context te dichten.
Het onderzoek, dat is ingediend op 18 september 2026, valt onder de categorieën Computer Vision and Pattern Recognition en Human-Computer Interaction. Door de overstap van statische beelden naar dynamische videostromen en het implementeren van een strikte taxonomie, biedt een nieuw kader voor het trainen van robots die niet alleen functioneel, maar ook sociaal intelligent moeten opereren in menselijke omgevingen.