Onderzoekers hebben Omni-IGN ontwikkeld, een navigatiesysteem voor drones dat gebruikmaakt van een quad-fisheye camera om onbekende omgevingen te verkennen en specifieke doellocaties te bereiken op basis van afbeeldingen.
In een recent gepubliceerd wetenschappelijk document is een nieuwe benadering gepresenteerd voor zogenaamde 'Image-goal navigation' (ImageNav). Bij deze methode moet een autonome agent, in dit geval een drone, een specifieke locatie vinden die enkel wordt gedefinieerd door een doelabeelding. Dit proces is complex omdat het vereist dat de drone tegelijkertijd verkent, navigeert naar het doel en obstakels vermijdt, terwijl de beschikbare rekenkracht aan boord van het toestel beperkt is.
Doorbraak in visuele waarneming
Traditionele methoden voor ImageNav bij drones steunen vaak op enkelvoudige visuele waarnemingen. Dit betekent dat een drone vaak moet draaien of uitgebreid moet zoeken om relevante visuele aanwijzingen te vinden die zich buiten het huidige gezichtsveld bevinden. Volgens de publicatie op arxiv.org lost Omni-IGN dit probleem op door de integratie van quad-fisheye perceptie.
Door gebruik te maken van vier fisheye-lenzen kan het systeem een omnidirectioneel beeld vormen. Dit stelt de drone in staat om informatie uit meerdere richtingen tegelijkertijd te verwerken. Het systeem maakt gebruik van een beleid gebaseerd op 'attention-based reinforcement learning' (RL), waarmee doelgerichte kenmerken over de verschillende visuele weergaven adaptief worden samengevoegd. Dit biedt de drone een continue directionele begeleiding tijdens de vlucht.
Veiligheid en efficiëntie zonder dieptesensoren
Een opvallend kenmerk van Omni-IGN is dat het systeem zowel de navigatie als het vermijden van obstakels afhandelt met behulp van RGB-beelden van de quad-fisheye camera's. Hierdoor is er geen aparte dieptesensor nodig. Om de veiligheid te waarborgen, is een specifieke 'collision-aware safety layer' toegevoegd.
De effectiviteit van deze aanpak is getest in verschillende omgevingen. In de Habitat-benchmarks behaalde Omni-IGN de beste prestaties onder de baselines met continue acties. Daarnaast zijn er vluchttesten uitgevoerd in IsaacSim, waarbij de combinatie van leergebaseerde diepteschatting en de veiligheidslaag hielp bij het voorkomen van botsingen, zoals beschreven in de .
Van simulatie naar realiteit
Een van de belangrijkste resultaten van het onderzoek is de succesvolle 'zero-shot sim-to-real transfer'. Dit houdt in dat het systeem, dat in een gesimuleerde omgeving is getraind, direct in de echte wereld kan functioneren zonder dat er sprake is van fijnafstelling (fine-tuning) of externe lokalisatiediensten.
Terwijl Omni-IGN zich richt op de fysieke navigatie van drones, ontwikkelt de bredere AI-sector gelijktijdig geavanceerde multimodale systemen. Zo introduceert Google via gemini.google tools voor het creëren en bewerken van video's via natuurlijke taal, waarbij AI-modellen de wereld begrijpen om content te genereren. Deze trend naar omnidirectionele en multimodale intelligentie is ook zichtbaar in de bredere strategie van deepmind.google, waar wordt gewerkt aan systemen die kunnen waarnemen, redeneren en interactie hebben met de fysieke wereld via Gemini Robotics.
Het team achter Omni-IGN, bestaande uit onderzoekers zoals Zichen Yan en Rui Huang, heeft aangegeven dat de code en de model-checkpoints zullen worden vrijgegeven zodra het werk officieel is geaccepteerd. De volledige details over de implementatie zijn momenteel terug te vinden via de .