Onderzoekers hebben een nieuwe methode ontwikkeld, genaamd Dynamics-Risk Adaptive Plasticity (DRAP), die voorkomt dat fysieke AI-systemen eerder geleerde vaardigheden vergeten wanneer ze nieuwe taken aanleren. De techniek richt zich specifiek op het beheersen van fouten die zich over een tijdlijn opstapelen, zonder dat hiervoor oude trainingsdata opnieuw gebruikt hoeven te worden.
In de wereld van fysieke AI, zoals robotica, verschilt continu leren fundamenteel van conventionele machine learning. Een klein foutje in een actie kan namelijk leiden tot een afwijking die zich gedurende een hele beweging opstapelt. Volgens een publicatie op arxiv.org kan zo'n afwijking de agent buiten de bekende trainingsdistributie brengen, wat vervolgens leidt tot grotere voorspellingsfouten en uiteindelijk tot het volledig mislukken van de taak.
De werking van DRAP
Om dit probleem aan te pakken, introduceerde onderzoeker Oswaldo Ludwig de DRAP-methode. Het is een zogenaamde 'replay-free' methode, wat betekent dat het systeem geen toegang nodig heeft tot data van eerdere taken om te voorkomen dat het deze kennis overschrijft. In plaats daarvan schat DRAP de historische belangrijkheid van specifieke modelcomponenten (tensors) in.
De techniek maakt gebruik van een ridge-regulariseerd lokaal lineair model dat wordt toegepast op overgangen tussen staten en acties van experts. Door te kijken naar de grootste singuliere waarde van de staat-transitie-matrix, kan het systeem een schatting maken van hoe sterk een kleine verstoring op één stap wordt versterkt. Deze benadering is geïnspireerd op de Lyapunov-stabiliteit en is onafhankelijk van de specifieke policy die wordt gebruikt, zoals beschreven in de analyse van arxivlens.com.
Zodra een taak is voltooid, worden de kwadratische gradiënten, gewogen naar het risico op trajectversterking, opgeslagen in een geheugen voor belangrijkheid op tensorniveau. Wanneer de AI vervolgens een nieuwe taak leert, gebruikt DRAP deze opgeslagen informatie om de effectieve leerfase (de AdamW learning rate) van elke tensor aan te passen. Componenten die cruciaal waren voor het gedrag op dynamisch gevoelige punten in eerdere trajecten, krijgen een lagere plasticiteit, waardoor ze minder snel worden aangepast en dus beter behouden blijven.
Testresultaten en implementatie
De effectiviteit van DRAP is getest door de methode te implementeren op een specifiek subnetwerk van OpenVLA, geselecteerd via KappaTune. De evaluatie vond plaats via sequentiële adaptatie over de LIBERO-suites voor Spatial, Object en Goal.
Uit de resultaten blijkt dat DRAP aanzienlijk beter presteert in het behouden van eerder geleerde gedragingen in vergelijking met standaard AdamW-fine-tuning en Elastic Weight Consolidation (EWC). Tegelijkertijd blijft het vermogen om nieuwe vaardigheden uit de verschillende suites te verwerven sterk behouden, meldt physicalainews.jp.
Context en beperkingen
De focus van DRAP ligt op de koppeling tussen welke gewichten in een model beschermd moeten worden en de kans dat fouten op een traject worden versterkt. Waar traditionele methoden zoals EWC zich richten op algemene parameterbelangrijkheid, integreert DRAP de gevoeligheid van het traject in de update-controle.
Hoewel de resultaten positief zijn, merkt de berichtgeving van op dat de evaluatie is beperkt tot een specifiek subnetwerk van OpenVLA en de LIBERO-benchmarks. Het is op basis van deze data nog niet vastgesteld in hoeverre de methode fouten in echte closed-loop operaties op fysieke hardware kan onderdrukken. Daarnaast is er in de abstracte verslaglegging op geen gedetailleerde numerieke uitsplitsing per suite gegeven, waardoor de exacte winst per taaktype onduidelijk blijft.