Onderzoekers hebben een nieuwe methode ontwikkeld om de prestaties van real-time communicatie te verbeteren wanneer AI-agenten direct op een apparaat actief zijn. Het systeem voorkomt dat datastromen van AI-ondersteuning de kwaliteit van live videoverbindingen negatief beïnvloeden.
In een recent wetenschappelijk artikel, dat is gepubliceerd via arxiv.org, wordt een nieuw paradigma beschreven voor zogenaamde 'agent-augmented real-time communication' (RTC). In dit model richten mensen zich op samenwerking op hoog niveau, terwijl AI-agenten op de achtergrond autonoom informatie ophalen, analyseren en genereren om deze interacties te ondersteunen. Een concreet voorbeeld hiervan is het gezamenlijk opstellen van juridische documenten door werknemers, waarbij agenten namens hen concepten schrijven en bespreken, waardoor de noodzaak voor handmatige controle van elkaars werk vermindert.
De verschuiving naar on-device AI
Hoewel cloudgebaseerde AI-agenten momenteel veelvuldig worden ingezet, wijzen de auteurs van het onderzoek op aanzienlijke nadelen van deze aanpak. Volgens de publicatie op brengen cloud-oplossingen risico's met zich mee op het gebied van privacy en leiden ze tot serverkosten die moeilijk schaalbaar zijn. Hierdoor is er een groeiende interesse in 'on-device' agenten, waarbij de AI direct op het toestel van de gebruiker draait.
Deze verschuiving naar lokale verwerking introduceert echter een technische uitdaging op het gebied van netwerkbeheer. Er ontstaat namelijk concurrentie tussen verschillende datastromen. Enerzijds is er het verkeer dat gegenereerd wordt door mensen, zoals live videostreaming, en anderzijds het verkeer van de AI-agenten, die contextbestanden moeten verzenden voor analyse. Wanneer deze stromen niet gecoördineerd worden, kan dit leiden tot haperingen in het beeld of vertragingen in de reactietijd van de AI.
Introductie van het HFS-framework
Om dit probleem op te lossen, hebben onderzoekers onder wie Goodsol Lee en Juheon Yi het HFS-framework ontworpen. Dit systeem is specifiek ontwikkeld om zowel een hoge videokwaliteit te garanderen als de latentie (vertraging) van de AI-agenten te minimaliseren.
De kern van de oplossing is een 'app-guided multi-flow transport approach'. Hierbij wordt gebruikgemaakt van een centrale orchestrator op applicatieniveau die de verzendsnelheden van zowel de live video als de contextstromen van de agenten gezamenlijk aanstuurt. Deze aansturing gebeurt op basis van de specifieke en uiteenlopende vereisten van de applicatie. In de context van netwerkbeheer betekent dit dat de stromen op elkaar worden afgestemd, wat in het dagelijks taalgebruik wordt omschreven als een gecoördineerde aanpak, zoals uitgelegd door het lingolandedu.com.
Resultaten en implementatie
Het ontwikkelde prototype is gebouwd op basis van WebRTC. Uit de tests blijkt dat de nieuwe methode, aangeduid als HAFS, aanzienlijk beter presteert dan bestaande referentiemodellen. Volgens de data in het resulteert dit in een videokwaliteit die 1,5 keer hoger ligt, terwijl de responstijd van de AI-agenten met 31% is verminderd.
Het wetenschappelijke werk is inmiddels geaccepteerd voor presentatie op de USENIX NSDI 2027. De resultaten suggereren dat een gecoördineerde aanpak van netwerkverkeer essentieel is om de volgende generatie van AI-ondersteunde communicatietools op mobiele apparaten en computers mogelijk te maken zonder in te leveren op de gebruikerservaring.