Tijdens de ICRA 2026 is de eerste editie van de Real-world Embodied AI Learning (REAL-I) Challenge georganiseerd. Het hoofddoel van deze competitie was om te onderzoeken hoe robotica-systemen op de meest optimale manier kunnen leren wanneer er slechts een vaste, beperkte hoeveelheid trainingsdata beschikbaar is. Voor de uitvoering van de challenge werd gebruikgemaakt van een gedeeld humanoid platform dat over twee armen beschikt. De competitie bestond uit een combinatie van simulaties, evaluaties op fysieke robots en een finale die ter plaatse plaatsvond.
De resultaten van deze challenge leveren essentiële inzichten op voor de verdere ontwikkeling van Vision-Language-Action (VLA) modellen. Verschillende gespecialiseerde teams, waaronder DeepTouch AI, RCL-Lab en NUS-CLEAR, namen deel aan de wedstrijd. Volgens een wetenschappelijk rapport op arxiv.org kozen deze teams voor een aanpak waarbij vooraf getrainde VLA-modellen werden gecombineerd met imitatiebeleid dat specifiek was afgestemd op de gestelde taken.
Om de prestaties van de robots te maximaliseren, pasten de deelnemende teams diverse strategieën toe. Er werd sterk ingezet op zorgvuldige datacuratie, waarbij de meest relevante trainingsvoorbeelden werden geselecteerd en gefilterd. Daarnaast werd er gewerkt met stapsgewijze adaptatie om de modellen geleidelijk aan de specifieke omgeving aan te passen. Ook het bepalen van het juiste moment om een model te bevriezen via de selectie van checkpoints en het nauwkeurig definiëren van de actieruimte speelden een cruciale rol in het succes van de systemen. Deze technische details en de specifieke resultaten van de competitie zijn uitgebreid gedocumenteerd in de publicatie .
Uit de rapportages van de teams komen enkele fundamentele lessen naar voren. Een centraal punt is de noodzaak om een model zodanig aan te passen aan de implementatieomgeving dat de algemene vaardigheden behouden blijven, terwijl de specifieke lokale context wordt geïntegreerd. Ook bleek dat de kwaliteit van demonstraties op een passende temporele schaal moet worden behandeld om effectief te zijn. Een ander technisch inzicht is het belang van het onderdrukken van fouten in robotcomponenten die op een bepaald moment niet actief zijn, om onbedoelde bewegingen te voorkomen.
Een van de meest opvallende conclusies uit de REAL-I Challenge is de kloof tussen theoretische voorspellingen en de feitelijke resultaten in de praktijk. De onderzoekers stellen in hun analyse op dat offline metrieken voor actievoorspelling onvoldoende zijn om succes te voorspellen in een gesloten lus (closed-loop) systeem. Dit houdt in dat een model op papier zeer accuraat kan lijken in het voorspellen van de volgende stap, maar in de realiteit faalt zodra het continu moet reageren op dynamische veranderingen in de omgeving.
Deze bevindingen pleiten voor een verschuiving in de visie op robotica-leren met vaste datasets. In plaats van de focus enkel op het model te leggen, wordt nu gepleit voor een geïntegreerde benadering. Hierbij worden data, adaptatie, evaluatie en de uiteindelijke implementatie gezien als één samenhangend proces. De volledige details over de gebruikte interfaces en de taken zijn terug te vinden in de herziene versie (v2) van het document op , gepubliceerd op 17 september 2026. De uitkomsten van de challenge onderstrepen de aanzienlijke complexiteit die komt kijken bij het vertalen van simulaties naar fysieke acties in een echte wereldscenario.