Onderzoekers hebben HERMES ontwikkeld, een geavanceerd end-to-end systeem voor autonoom rijden dat specifiek is ontworpen om risico's in onvoorspelbare en zeldzame verkeersscenario's beter te beheersen.
Het veilig navigeren van autonome voertuigen in complexe omgevingen blijft een van de grootste uitdagingen binnen de robotica en kunstmatige intelligentie. Hoewel moderne modellen steeds vaker gebruikmaken van grote vision-language modellen (VLM's) voor semantisch begrip, blijft betrouwbare planning onder zogenaamde 'long-tail' condities problematisch. Dit betreft situaties die zelden voorkomen, maar wel kritiek zijn voor de veiligheid, zoals interacties met diverse weggebruikers in gemengd verkeer.
Een holistische aanpak voor risicobeheersing
Om deze tekortkomingen aan te pakken, stellen Weizhe Tang en collega-onderzoekers een nieuw framework voor genaamd HERMES. Volgens de publicatie op arxiv.org is HERMES een holistisch, risicobewust en multimodaal systeem dat semantische kennis over zeldzame scenario's direct integreert in de trajectplanning van het voertuig.
Het systeem maakt gebruik van een innovatieve annotatiepijplijn die wordt ondersteund door foundation-modellen. Hiermee worden gestructureerde contexten gecreëerd voor zowel de scène als de planning. Deze contexten richten zich specifiek op informatie over gevaren, de intenties van manoeuvres en richtlijnen voor risicobewuste planning. Door deze informatie expliciet mee te nemen, kan het voertuig beter anticiperen op ongebruikelijke situaties die in standaard trainingsdatasets vaak ondervertegenwoordigd zijn.
De werking van de Tri-Modale Driving Module
De kern van HERMES is de zogenaamde Tri-Modal Driving Module. Deze module combineert drie verschillende informatiestromen om tot een veilige rijroute te komen:
1. Visuele observaties vanuit meerdere perspectieven (multi-view).
2. Historische gegevens over de eigen bewegingen van het voertuig (ego-motion).
3. Semantische instructies die specifiek gericht zijn op de 'long-tail' scenario's.
Door deze gegevens te integreren via conditionering op basis van intentie en risico, kan het systeem trajecten genereren die niet alleen efficiënt zijn, maar ook rekening houden met potentiële gevaren. In de wetenschappelijke beschrijving op wordt benadrukt dat deze aanpak helpt bij het overbruggen van de kloof tussen algemeen semantisch begrip en concrete, veilige acties op de weg.
Resultaten en validatie
De effectiviteit van HERMES is getest op een grootschalige benchmark voor autonoom rijden in de echte wereld, specifiek gericht op zeldzame en kritieke situaties. De resultaten tonen een consistente verbetering in de algemene prestaties van de planning vergeleken met recente referentiemodellen. Vooral in scenario's waar de veiligheid in het geding was, presteerde het systeem superieur.
Aanvullende ablatiestudies, zoals beschreven in de , bevestigen dat de verschillende componenten van HERMES elkaar aanvullen en elk een essentiële rol spelen in het verhogen van de betrouwbaarheid van het systeem.
Context binnen de AI-gemeenschap
Hoewel HERMES zich specifiek richt op de fysieke toepassing in autonome voertuigen, past het in een bredere trend van 'embodied AI', waarbij taalmodellen worden gekoppeld aan fysieke actoren in de echte wereld. Terwijl academische projecten zoals HERMES zich richten op veiligheid in het verkeer, zijn er in de open-source gemeenschap andere projecten die de veelzijdigheid van AI-agenten verkennen, zoals het github.com, dat zich richt op agenten die kunnen meegroeien met de gebruiker.
De ontwikkeling van HERMES markeert een belangrijke stap richting een toekomst waarin zelfrijdende auto's niet alleen routineverkeer kunnen afhandelen, maar ook in staat zijn om rationele en veilige beslissingen te nemen wanneer ze geconfronteerd worden met situaties die ze nog nooit eerder hebben gezien. De volledige technische details en de methodologie achter het systeem zijn beschikbaar via de digitale object-identificatie (DOI) van het onderzoek.