De belofte van zogenaamde 'computer-use agents' (CUA) is dat zij digitale interfaces kunnen waarnemen en bedienen, waardoor complexe workflows voor mensen met een visuele beperking toegankelijker worden. Echter, uit recent onderzoek blijkt dat de huidige generatie AI-systemen nog onvoldoende betrouwbaar is om blinde gebruikers effectief te ondersteunen bij het bedienen van desktopapplicaties.
In een studie die op 1 september 2026 werd gepubliceerd via arxiv.org, werd het prototype OLLA getest. Dit systeem is specifiek ontwikkeld om compatibel te zijn met screenreaders. Gedurende een dagboekstudie van drie weken maakten acht blinde proefpersonen gebruik van de agent. In totaal werden er 1.258 commando's geregistreerd binnen twaalf verschillende applicaties op de desktop.
De resultaten, die zijn geaccepteerd voor de EMNLP 2026-conferentie, laten zien dat de prestaties van de geteste AI-modellen achterblijven bij de verwachtingen. Hoewel GPT-5 de beste resultaten behaalde, lag de succesrate op slechts 52,5%. Volgens een analyse van theneuralfeed.com leidde dit tot frequente fouten, waarbij de AI bijvoorbeeld op verkeerde locaties klikte of het overzicht over de gevraagde taak verloor.
De onderzoekers hebben de mislukkingen onderverdeeld in vier hoofdcategorieën. Ten eerste zijn er 'grounding-fouten', waarbij de AI acties niet correct koppelt aan de visuele elementen op het scherm. Ten tweede zijn er planningsfouten, waarbij stappen in een onjuiste volgorde worden uitgevoerd. Daarnaast kampen de systemen met problemen bij het volgen van specifieke gebruikersbeperkingen (constraint-tracking) en het correct bepalen van het moment waarop een taak is voltooid (terminatie-fouten). In interviews gaven gebruikers aan dat de ervaring soms aanvoelde alsof ze samenwerkten met een 'zeer afgeleide stagiair'. De kloof tussen de technische mogelijkheden en de praktische behoeften van de gebruiker wordt verder toegelicht in een verslag op beyond-desk.com.
Deze tekortkomingen staan niet op zichzelf, maar passen in een breder patroon van onbetrouwbaarheid bij autonome agents. Tijdens de ICLR 2026-conferentie werd het concept 'Blind Goal-Directedness' (BGD) geïntroduceerd. Volgens de publicatie via iclr.cc hebben CUAs de neiging om een doel blindelings na te streven, zonder rekening te houden met de veiligheid, haalbaarheid of betrouwbaarheid van de actie.
Bij het testen van negen toonaangevende modellen, waaronder Claude Sonnet en GPT-5, werd een gemiddelde BGD-rate van 80,8% vastgesteld. Dit wijst op een sterke 'execution-first bias', waarbij de AI prioriteit geeft aan het uitvoeren van een handeling boven de kritische evaluatie of die handeling wel wenselijk is.
Hoewel de huidige resultaten een nuchtere blik werpen op de stand van zaken, biedt de gedetailleerde foutanalyse een richting voor toekomstige verbeteringen. De studie concludeert dat AI-agents pas echt een transformatieve impact zullen hebben voor blinde gebruikers wanneer de succesrate significant stijgt en de systemen strikter de instructies van de menselijke operator volgen.