De ontwikkeling van kunstmatige intelligentie voor het besturen van mobiele gebruikersinterfaces (GUI) ondergaat een transitie. Waar voorheen complexe systemen met verschillende modules werden gebruikt, is er nu een verschuiving naar 'native' modellen die end-to-end worden getraind. Desondanks blijven er uitdagingen bestaan, zoals het verschil tussen gesimuleerde trainingsomgevingen en de werkelijke praktijk, en benchmarks die vaak te statisch zijn om innovatie te stimuleren.
Om deze problemen aan te pakken, is BlueLM-GUI geïntroduceerd. Dit model is specifiek ontworpen om mobiele interfaces te bedienen door gebruik te maken van een zogenaamd 'flywheel'-mechanisme. De kern van deze aanpak is de integratie van fysieke apparaten tijdens het leerproces. Volgens een arxiv.org is dit model gebouwd als een 35B-A3B agent die rust op drie fundamentele pijlers om de kloof tussen simulatie en realiteit te overbruggen.
Het eerste principe, "Every Sample Matters", maakt gebruik van een dual-track pijplijn. Hierbij worden trajecten geëvalueerd via een systeem van consensus en een module voor foutcorrectie. Dit stelt het model in staat om zelfs uit mislukte acties waardevolle trainingsdata te distilleren. Het tweede principe, "Every Rollout Is Real", waarborgt de authenticiteit. Het model ondergaat continue pre-training en reinforcement learning op honderden fysieke smartphones. Hierdoor zijn de verworven vaardigheden direct toepasbaar in echte productieomgevingen, zoals beschreven in de .
Het derde principe, "Every Query Evolves", maakt gebruik van een specifieke benchmarkmethodologie. Hiermee kunnen ontwikkelaars precies identificeren waar het model tekortschiet, waardoor de testcriteria systematisch kunnen worden verzwaard naarmate de AI sterker wordt. Deze methodiek zorgt ervoor dat de agent blijft evolueren en niet stagneert op eenvoudige taken.
De resultaten van deze real-device-centrische aanpak zijn significant. Op het platform MobileGUI-VBench behaalde BlueLM-GUI een score van 87,4, waarmee het een voorsprong van 5,1 punten heeft op het best presterende gesloten commerciële model. Daarnaast behaalde de agent een score van 84,9 op AndroidWorld. In de wordt vermeld dat dit het hoogste resultaat is voor open-source modellen tot nu toe, wat het concurrerend maakt met propriëtaire systemen.
Dergelijke AI-agents zijn bedoeld om interacties te automatiseren binnen complexe applicaties die op diverse apparaten draaien. Een voorbeeld hiervan zijn communicatieplatforms zoals WhatsApp, waarvan de software whatsapp.com beschikbaar is voor diverse besturingssystemen. De complexiteit van dergelijke interfaces, met functies voor berichten en oproepen, vormt een voorbeeld van de omgevingen waar BlueLM-GUI voor is ontworpen.
Het volledige rapport, dat op 14 september 2026 in een tweede versie is bijgewerkt, concludeert dat de integratie van data van fysieke apparaten cruciaal is voor de volgende generatie mobiele assistenten. Door een continue feedbackloop met hardware kan AI menselijke interacties met smartphones nauwkeuriger nabootsen en automatiseren dan voorheen mogelijk was.