Onderzoekers hebben DiffDreamer ontwikkeld, een framework voor reinforcement learning dat wereldmodellen koppelt aan differentieerbare simulaties om de controle over quadrotors bij complexe taken te verbeteren.
Het besturen van quadrotors bij uitdagende opdrachten, zoals races door bewegende poorten, vereist een hoge mate van precisie en het vermogen om externe bewegingen te anticiperen. Traditionele methoden voor reinforcement learning op basis van wereldmodellen proberen toekomstige scenario's te voorspellen door latente dynamiek te leren. Echter, deze systemen kampen vaak met het probleem dat de evolutie van de omgeving en de eigen dynamiek van de robot in één enkel proces worden samengevoegd, wat kan leiden tot modelbias en een minder efficiënte optimalisatie van het beleid.
De werking van DiffDreamer
Om deze beperkingen aan te pakken, stellen Fanxing Li en een team van negen andere onderzoekers een nieuw framework voor genaamd DiffDreamer. Volgens een publicatie op arxiv.org combineert dit systeem een geleerd wereldmodel met een differentieerbare simulator voor de optimalisatie van de 'actor'.
In dit proces worden twee verschillende stromen van informatie gebruikt tijdens een optimalisatiestap:
1. Het wereldmodel: Dit onderdeel is verantwoordelijk voor het propageren van latente toestanden. Hierdoor kan het systeem externe dynamiek en kenmerken die afhankelijk zijn van de geschiedenis vastleggen.
2. De differentieerbare simulator: Deze component houdt zich specifiek bezig met het propageren van de expliciete fysieke toestand van de robot.
Door deze scheiding kan het systeem nauwkeuriger reageren op zowel de fysieke wetten van de robot als de onvoorspelbare elementen van de omgeving.
Optimalisatie en beloningsstructuur
Een cruciaal aspect van DiffDreamer is de manier waarop de doelstellingen van de actor worden behandeld. Het framework splitst de objectieven op in twee verschillende paden. Enerzijds is er een door een 'critic' gestuurd pad, dat wordt gebruikt voor beloningen van taken die niet-differentieerbaar zijn. Anderzijds is er een pad dat direct door de simulator wordt aangestuurd voor beloningen die wel differentieerbaar zijn en betrekking hebben op de beweging.
In de wetenschappelijke beschrijving op wordt uitgelegd dat deze decompositie van beloningen bijdraagt aan een betere prestatie van het systeem. Daarnaast is er gebruikgemaakt van een relatieve toestandsrepresentatie die is geconditioneerd op odometrie, wat verder is getoetst via ablatie-experimenten.
Resultaten en validatie
De effectiviteit van DiffDreamer is getest in scenario's van agressieve tracking en races door dynamische poorten. De resultaten tonen aan dat DiffDreamer superieur is aan diverse baselines, waaronder:
- Model-free reinforcement learning;
- Model-based reinforcement learning;
- Differentiable-RL baselines;
- Klassieke methoden voor planning en controle.
Het onderzoek wijst uit dat DiffDreamer niet alleen de uiteindelijke prestaties verbetert, maar ook zorgt voor een snellere convergentie tijdens de training. Om de theoretische resultaten te staven, hebben de auteurs ook proof-of-concept experimenten uitgevoerd met echte vluchten, zoals vermeld in de documentatie op .
Het volledige onderzoek, ingediend op 22 oktober 2026, is beschikbaar via de onder de sectie Robotics (cs.RO). Hoewel er externe platforms zoals Google en YouTube beschikbaar zijn voor het ontsluiten van informatie, is de primaire technische onderbouwing van dit project vastgelegd in de academische paper.