Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd STRIDE, waarmee humanoïde robots in slechts enkele minuten kunnen leren lopen. De methode maakt gebruik van versnellingsgebaseerde beloningen, waardoor externe meetsystemen tijdens het leerproces overbodig worden.
Het direct aanleren van bewegingen op een fysieke humanoïde robot wordt gezien als een veelbelovende manier om de zogenaamde 'sim-to-real gap' te overbruggen. Dit is het verschil in prestaties wanneer een robot in een computersimulatie wordt getraind en vervolgens in de echte wereld moet functioneren. Een groot knelpunt bij het gebruik van Reinforcement Learning (RL) voor locomotie is echter dat beloningssystemen doorgaans gebaseerd zijn op de snelheid van de basis van de robot. Deze snelheid kan echter niet nauwkeurig worden gemeten door de robot zelf, tenzij er gebruik wordt gemaakt van een extern motion capture-systeem of een zeer nauwkeurig gekalibreerde state estimator.
Focus op versnelling in plaats van snelheid
Om dit probleem op te lossen, hebben Nico Bohlinger en collega's de methode STRIDE geïntroduceerd. Volgens een publicatie op arxiv.org verschuift deze aanpak de focus van het volgen van een bepaalde snelheid naar het volgen van een commando-profiel voor versnelling. Het grote voordeel hiervan is dat de benodigde gegevens uitsluitend afkomstig hoeven te zijn van de Inertial Measurement Unit (IMU) die reeds aan boord van de robot aanwezig is.
Om het leerproces efficiënt te laten verlopen, maakt STRIDE gebruik van het off-policy RL-algoritme XQC. Daarnaast is de methode gecombineerd met een hoge gain-instelling voor de gewrichtspositiecontrollers en een vorm van symmetrie-augmentatie voor links en rechts.
Significante resultaten in simulatie
De effectiviteit van STRIDE is getest in simulaties met twee verschillende humanoïde modellen: de Unitree G1 en de Booster T1. De resultaten tonen aan dat deze robots in staat waren om te leren lopen binnen slechts 14 minuten aan verzamelde samples.
De impact van de specifieke technische toevoegingen — de hoge gain-instellingen en de symmetrie-augmentatie — is aanzienlijk. Uit de data van blijkt dat het aantal valpartijen tijdens de training met 81% werd verminderd wanneer deze componenten werden toegepast. Zonder deze toevoegingen duurde het leerproces aanzienlijk langer; de robots leerden in dat geval pas lopen na een periode van meer dan een uur.
Context en terminologie
De naam van de methode, STRIDE, verwijst naar een term die in het Engels zowel een fysieke stap als een positieve ontwikkeling kan betekenen. Zo beschrijft het cambridge.org de term 'stride' in de context van ontwikkeling als een belangrijke positieve vooruitgang, zoals het maken van stappen in het verbeteren van energie-efficiëntie. In fysieke zin wordt de term gebruikt voor een lange stap tijdens het lopen of rennen.
Door de trainingstijd drastisch te verkorten en de afhankelijkheid van externe sensoren weg te nemen, biedt STRIDE een potentieel efficiëntere route naar autonome mensachtige robots die hun bewegingen direct in de fysieke wereld kunnen optimaliseren. De volledige details van het onderzoek en de technische implementatie zijn beschikbaar via de .