Een team van veertien wetenschappers, onder leiding van Markus Gross, heeft een nieuwe benchmark ontwikkeld om de manier waarop onbemande luchtvaartuigen (UAV's) hun omgeving waarnemen te verbeteren. De dataset, die bekend staat als MultiFly, richt zich specifiek op toestellen die op lage hoogte opereren. Volgens een publicatie op arxiv.org is dit waarschijnlijk de eerste openbaar toegankelijke referentie die consistente, frame-gewijze semantische annotaties integreert voor vier verschillende sensortypes: RGB-camera's, thermische sensoren, LiDAR en radar.
Samenstelling en technische opbouw
De dataset is samengesteld uit 17.272 gesynchroniseerde monsters die zijn verzameld in vier verschillende suburbane gebieden. Om een compleet beeld van de omgeving te krijgen, combineert MultiFly visuele data met kalibratiegegevens en metingen van GNSS-RTK/IMU, wat cruciaal is voor de precisie van de positionering en bewegingsanalyse. Hoewel geografische tools zoals google.com vaak worden ingezet voor algemene context bij drone-onderzoek, biedt MultiFly een veel specifiekere technische laag door real-time sensorfusie mogelijk te maken op lage hoogte.
De onderzoekers hebben zich geconcentreerd op 15 verschillende semantische klassen. Een opvallend aspect van het project is de efficiënte methode voor het toekennen van labels. In plaats van elk beeld handmatig te markeren, wat een extreem tijdrovend proces is, hebben de auteurs slechts 115 RGB-beelden handmatig geannoteerd. Via gedeelde geometrische representaties zijn deze labels vervolgens automatisch overgedragen naar alle andere modaliteiten.
Resultaten van de labeloverdracht
Deze innovatieve aanpak van labeloverdracht heeft geleid tot een aanzienlijke hoeveelheid bruikbare data. Zoals beschreven in de , resulteerde dit proces in semantische labels voor meer dan 17.000 aanvullende RGB-afbeeldingen en een gelijk aantal thermische beelden. Daarnaast werden labels gegenereerd voor 840 miljoen LiDAR-punten en 3,4 miljoen radarpunten.
De betrouwbaarheid van deze automatische methode is volgens de onderzoekers hoog. Er is een gemiddelde overeenstemming van 89,93% vastgesteld wanneer de resultaten werden vergeleken met handmatige verificaties. Bovendien werd een semantische consistentie van 90,94% gemeten over de zes mogelijke combinaties van de vier gebruikte sensormodaliteiten.
Toepassingen en benchmarks
Naast de dataset hebben de auteurs benchmarks voor semantische segmentatie opgesteld voor elke individuele modaliteit. Hieruit bleek dat verschillende software-architecturen uiteenlopend reageren op de aard van de data; er is bijvoorbeeld een significant verschil in hoe dichte LiDAR-data wordt verwerkt in vergelijking met de meer ijle radar-data.
Het uiteindelijke doel van MultiFly is het creëren van een schaalbare basis voor multimodale waarneming vanuit de lucht. Door diverse sensoren te combineren, kunnen drones beter functioneren onder wisselende omstandigheden, waarbij de sterke punten van de ene sensor de beperkingen van een andere kunnen compenseren. Hoewel de huidige focus ligt op suburbane scènes, kan de gebruikte methode voor labeloverdracht mogelijk worden uitgebreid naar andere omgevingen. Voor een breder geografisch perspectief op dergelijke gebieden kunnen tools zoals google.com worden gebruikt, maar de technische diepgang van MultiFly is specifiek gericht op de operationele perceptie van de UAV zelf.