De toegang tot wetenschappelijke kennis is voor onderzoekers met een visuele beperking vaak beperkt door de sterke afhankelijkheid van visuele data. Diagrammen, grafieken en tabellen bevatten vaak essentiële informatie die niet volledig wordt gereproduceerd in de begeleidende tekst. Traditionele oplossingen, zoals statische alternatieve teksten (alt-teksten), blijken in de praktijk vaak onvoldoende om de complexiteit van deze data over te brengen.
Een recente studie werpt een nieuw licht op dit probleem door te onderzoeken hoe multimodale kunstmatige intelligentie (AI) deze barrières kan slechten. In plaats van een passieve beschrijving te lezen, kunnen wetenschappers nu via interactieve vraag-en-antwoordprocedures (QA) direct communiceren met de visuele inhoud van een document. Volgens het onderzoek arxiv.org biedt deze aanpak een dynamisch alternatief voor de traditionele toegankelijkheidstools.
Vergelijking in gebruikerservaring
Om de effectiviteit van deze technologie te toetsen, heeft een onderzoeksteam onder leiding van Arnavi Chheda-Kothary een vergelijkende analyse uitgevoerd. Hierbij werden tien wetenschappers uit diverse STEM-disciplines (Science, Technology, Engineering, Mathematics) geïnterviewd. De groep was gelijk verdeeld tussen vijf ziende wetenschappers en vijf wetenschappers die blind of slechtziend zijn.
De resultaten tonen aan dat AI-gestuurde visuele exploratie een levensvatbaar model is voor onderzoekers met een visuele beperking. Door gebruik te maken van tools zoals Gemini en ChatGPT kunnen zij actiever interageren met figuren en tabellen. Dit vermindert hun afhankelijkheid van de vaak gebrekkige kwaliteit van alt-teksten die door derden zijn opgesteld, zoals beschreven in de publicatie op .
De uitdaging van AI-hallucinaties
Ondanks de veelbelovende resultaten stuit de implementatie van AI in de wetenschappelijke praktijk op aanzienlijke hindernissen. Een van de grootste problemen is de onbetrouwbaarheid van sommige AI-outputs, beter bekend als hallucinaties. Wanneer een AI-systeem onjuiste conclusies trekt uit een grafiek of een tabel verkeerd interpreteert, kan dit de integriteit van het wetenschappelijke proces ondermijnen.
Uit de data blijkt dat zowel ziende als slechtziende gebruikers geneigd zijn het volledige AI-workflowproces te verlaten zodra ze geconfronteerd worden met vage of foutieve beschrijvingen. De precisie van informatie is in de wetenschap immers cruciaal. De studie, die is gecategoriseerd onder Human-Computer Interaction en Artificial Intelligence volgens de , benadrukt dat de betrouwbaarheid van deze systemen nog aanzienlijk moet toenemen voordat ze volledig geïntegreerd kunnen worden in academische workflows.
Richting een inclusievere wetenschap
Om de ontwikkeling van nauwkeurigere systemen te versnellen, hebben de auteurs, waaronder Jonathan Bragg en Joseph Chee Chang, een specifieke dataset openbaar gemaakt. Deze dataset bevat 115 queries en de bijbehorende antwoorden die tijdens de interacties van de deelnemers zijn gegenereerd. Ontwikkelaars kunnen deze data gebruiken om de precisie van multimodale QA-systemen te verbeteren, specifiek voor complexe wetenschappelijke domeinen.
De conclusie van het onderzoek is dat de focus van AI-ontwikkeling moet verschuiven. In plaats van enkel te focussen op eenvoudige beschrijvingen, is er behoefte aan robuuste en verifieerbare interactieve systemen die rekening houden met de diverse behoeften van gebruikers met verschillende vermogensniveaus. Zoals uiteengezet in de volledige tekst op , vormt dit een essentiële stap naar een inclusievere wetenschappelijke omgeving waarin visuele informatie voor iedereen toegankelijk is.