Het testen van autonome rijsystemen (ADS) stuit in de praktijk vaak op een fundamenteel dilemma: om de veiligheid van deze systemen te garanderen, moeten ze worden blootgesteld aan gevaarlijke situaties, maar het is onverantwoord en kostbaar om dergelijke risico's in de echte wereld op te zoeken. Een team onderzoekers, bestaande uit Noura Fady, Farah Khaled en Catherine M. Elias, heeft een innovatieve oplossing ontwikkeld om dit probleem aan te pakken via een geautomatiseerde transformatie-pijplijn.
De kern van deze nieuwe technologie is het vermogen om bestaande beelden van veilige verkeerssituaties om te vormen tot scenario's waarin de veiligheid in het geding is. Dit gebeurt door een combinatie van computer vision, Large Language Models (LLM's) en Augmented Reality (AR). Het proces begint bij de analyse van rijscènes, waarbij computer vision wordt ingezet om weggebruikers te detecteren en te volgen. Hierbij worden cruciale parameters zoals rijrichting, snelheid, de onderlinge afstand tussen voertuigen en de 'Time-to-Collision' (TTC) geëxtraheerd om te bepalen of een situatie als veilig of kritiek moet worden geclassificeerd.
Zodra een scène als veilig is geïdentificeerd, treedt het taalmodel in werking. Volgens de wetenschappelijke publicatie op arxiv.org wordt het LLM gebruikt om realistische objecten en gedragingen te genereren die potentieel tot een botsing kunnen leiden. Deze door AI bedachte elementen worden vervolgens via Augmented Reality in de oorspronkelijke beelden geïntegreerd. Op deze manier ontstaat een synthetisch scenario dat realistisch genoeg is om de reactie van een autonoom systeem op een gevaarlijke situatie te testen, zonder dat er fysieke risico's aan verbonden zijn.
De onderzoekers hebben de effectiviteit van hun methode gevalideerd met de nuScenes-dataset. Uit de resultaten blijkt dat de pijplijn een nauwkeurigheid van 97,52% behaalt bij het classificeren van de veiligheid van de scènes. De technologie is in staat om diverse complexe 'edge cases' te simuleren, waaronder voertuigen die onverwacht vanuit de achterzijde inhalen, voetgangers die plotseling de weg oversteken of voertuigen die abrupt tot stilstand komen. Deze resultaten wijzen erop dat de aanpak een flexibel instrument is voor de validatie van zelfrijdende technologie.
Een essentieel onderdeel van deze innovatie is de zogenaamde "guided" aanpak. In deze context fungeert het taalmodel als de sturende kracht die bepaalt welke visuele aanpassingen nodig zijn om een veilige situatie om te zetten in een testcase. De term cambridge.org verwijst in algemene zin naar het proces waarbij iemand door een complexe taak wordt geleid of instructies krijgt om een specifiek resultaat te bereiken.
De volledige technische details van het onderzoek, waaronder de implementatie van de AR-integratie en de specifieke prompts voor het taalmodel, zijn terug te vinden in het document op . De studie, die is ingediend op 31 juli 2026, positioneert zich op het snijvlak van robotica, computer vision en kunstmatige intelligentie. Door veilige data om te vormen tot risicovolle scenario's, kunnen ontwikkelaars hun systemen trainen op zeldzame maar kritieke gebeurtenissen zonder mensen of voertuigen in gevaar te brengen, zoals verder uitgelicht in de publicatie .