Onderzoekers hebben HIDRA ontwikkeld, een nieuw framework dat robotische agenten in staat stelt om continu te leren van multimodale demonstraties zonder dat zij oude data hoeven op te slaan of opnieuw te verwerken.
In de complexe omgeving van de echte wereld moeten robots zich voortdurend aanpassen aan nieuwe taken. Een groot struikelblok bij dit proces is dat sequentiële updates vaak de representatieruimte van het systeem vervormen. Dit leidt tot zogenaamde 'routing interference', waarbij de selectie van de juiste expert-module in de loop van de tijd verslechtert. Om dit probleem op te lossen, presenteren Fanqi Yu, Matteo Tiezzi en hun collega's het HIDRA-framework, zoals beschreven in een recent wetenschappelijk artikel op arxiv.org.
Hiërarchische dual-routing aandacht
De kern van HIDRA (Hierarchical Dual-Routing Attention) is een gestructureerd routing-mechanisme. Dit systeem maakt gebruik van een hiërarchisch dual-attention mechanisme dat twee cruciale stappen ontkoppelt: het ophalen van experts op instructieniveau en de daaropvolgende verfijning op basis van de specifieke context.
Om de stabiliteit van deze routing te waarborgen tijdens het leerproces, introduceert HIDRA een geometrische regularisatie op sleutelniveau. Deze techniek dwingt een sterke uitlijning binnen specifieke taken af, terwijl er tegelijkertijd een duidelijke scheiding tussen verschillende taken wordt gehandhaafd. Hierdoor kan het systeem betrouwbaar de juiste expert selecteren, zelfs wanneer de set van beschikbare experts wordt uitgebreid voor verdere adaptatie.
Prestaties en benchmarks
De effectiviteit van HIDRA is getest op diverse LIBERO-benchmark suites. De onderzoekers richtten zich hierbij specifiek op uitdagende varianten met heterogene taaksequenties en taalinstructies die in verschillende bewoordingen (parafraases) waren geformuleerd.
Volgens de resultaten in de presteert HIDRA consistent beter dan zowel replay-free als replay-based baselines. De verbeteringen zijn met name zichtbaar in de AUC (Area Under the Curve) en de zogenaamde 'forward transfer'. Bovendien slaagt het systeem erin om 'vergeten' (forgetting) tot een minimum te beperken, waarbij de grootste winst wordt behaald in scenario's met hoge interferentie en grote variatie in taalgebruik.
Academische context en erkenning
Het onderzoek is het resultaat van een samenwerking tussen verschillende prestigieuze instellingen, waaronder de AI for Good (AIGO) Research Unit en de Pattern Analysis and Computer Vision (PAVIS) unit van het in Genua, evenals de Universiteit van Genua en de Universiteit van Verona.
Het werk is officieel geaccepteerd voor de paperdigest.org, een van de meest vooraanstaande conferenties ter wereld op het gebied van machine learning.
Hoewel de robotica-sector vaak steunt op uitgebreide databases en rekenkracht, biedt HIDRA een uitweg voor systemen die onder strikte beperkingen werken waarbij het opslaan van eerdere data niet mogelijk is. De code voor het project is publiekelijk beschikbaar gesteld om verdere ontwikkeling binnen de gemeenschap te stimuleren.
Naast de specifieke resultaten van HIDRA, blijft de bredere academische wereld, zoals te zien is bij instellingen als de ac.uk, zoeken naar manieren om AI-systemen efficiënter en adaptiever te maken. Hoewel sommige technische platforms zoals ieee.org soms kampen met toegangsproblemen door ongebruikelijke verkeerspatronen, blijft de open-access beweging via platforms als arXiv essentieel voor de snelle verspreiding van dergelijke innovaties in de robotica.