AI-agenten die mobiele apps bedienen, kunnen schermen 'zien' en lokale acties uitvoeren. Maar zodra ze door een complexe app moeten navigeren, lopen ze vast. Ze missen kennis over de structuur van de app: waar zit die functie, welke pagina's horen erbij, en is dit scherm niet gewoon hetzelfde als een paar stappen geleden?
Dat probleem pakken Adamo Orsini en collega-onderzoekers aan met TAG-Nav, een nieuw 'Task-Agnostic Graph Navigation'-framework. Het onderzoek is gepubliceerd op arxiv.org.
Eerst de kaart, dan de taak
TAG-Nav werkt met een offline exploratiefase. De app wordt verkend en die kennis wordt samengevat in compacte records: welke functies de app heeft, welke doelpagina's er zijn en via welke waypoints je daar komt. Cruciaal is dat dit gebeurt vóórdat de agent een opdracht van een gebruiker krijgt. Komt later een taak binnen waarvan de bestemming al op de kaart staat, dan levert TAG-Nav direct de juiste route — zonder taakspecifieke demonstraties.
Het framework is een aanvulling op bestaande AI-backbones, geen vervanging ervan.
Navigeren is niet hetzelfde als uitvoeren
De onderzoekers maken bewust onderscheid tussen twee dingen: de bestemming bereiken en de taak afmaken. Veel taken beginnen met dezelfde stap — de juiste pagina vinden — maar de uiteindelijke actie verschilt sterk. Denk aan content invoeren, data versturen, gevoelige instellingen aanpassen of een aankoop doen.
Om routevinden los te testen van die uitvoering, ontwikkelden de onderzoekers DestBench. Dit protocol meet uitsluitend of een agent het juiste scherm bereikt: het scherm dat voorafgaat aan de actie.
Meetbare winst
Met DestBench vergeleken de onderzoekers drie soorten agenten: zonder geheugen, met geautomatiseerd 'Breadth-First Search'-geheugen (BFS) en met een schoon grafiekgeheugen. De resultaten:
- UI-TARS-1.5-7B: het succespercentage steeg van 52,4% (zonder geheugen) naar 58,3% met geautomatiseerd BFS-geheugen.
- Qwen-VL-Max: het succespercentage steeg van 59,5% naar 71,4% onder dezelfde condities.
De auteurs benadrukken dat de kwaliteit van de grafiek en de dekking van de bestemmingen bepalen hoeveel het geheugen oplevert. Daarmee wordt grafiekkwaliteit een meetbare variabele — geen vanzelfsprekend voordeel van exploratie.
Erkenning en vervolg
Het onderzoek is geaccepteerd voor de 'Findings of AACL-IJCNLP 2026' en valt binnen het vakgebied Kunstmatige Intelligentie. Het volledige document met methodologie en resultaten is te raadplegen via arxiv.org.
Er bestaan allerlei tools om data te visualiseren en grafieken te maken, zoals de diensten van visme.co. TAG-Nav richt zich echter specifiek op de functionele navigatiestructuur van software-interfaces — met als doel AI-agenten autonomer te maken.