De inzet van kunstmatige intelligentie in de financiële sector belooft efficiëntie, maar een recente wetenschappelijke analyse waarschuwt voor diepgewortelde ongelijkheden. Uit onderzoek blijkt dat grote taalmodellen (LLM's) geen objectieve adviezen geven, maar reageren op basis van sociaaleconomische en demografische kenmerken van de gebruiker. Dit fenomeen is vastgelegd in de Indian Financial Automated Advice Bias (IFAAB) dataset, een benchmark die specifiek is ontwikkeld om de impact van identiteit op AI-output in het mondiale Zuiden te meten, zoals beschreven in een publicatie via arxiv.org.
Systematische verschillen in kapitaalallocatie
Om de vooroordelen van AI te testen, analyseerden onderzoekers, waaronder Kriti Mahajan, ruim 31.000 reacties van het model GPT-4o. Hierbij werden synthetische Indiase persona's gebruikt die varieerden in leeftijd, opleiding, werkgelegenheid, geslacht en kaste. Hoewel de financiële vragen in alle scenario's identiek waren, verschilden de antwoorden drastisch naargelang het profiel van de gebruiker.
De meest opvallende verschillen deden zich voor bij de genderanalyse. Profielen die als mannelijk waren aangemerkt, kregen een aanzienlijk hogere initiële toewijzing van middelen, namelijk 60,1% meer dan vrouwelijke profielen. Zelfs na het ontvangen van het AI-advies bleef deze kloof hardnekkig; de totale middelen voor mannen lagen nog steeds 46,8% hoger dan die voor vrouwen, volgens de data op .
Impact van sociale stratificatie en locatie
Naast geslacht speelt de sociale hiërarchie in India een grote rol in hoe de AI adviseert. De audit naar kaste-gebonden vooroordelen toonde aan dat personen uit de categorieën Scheduled Castes (SC), Scheduled Tribes (ST) en Other Backward Classes (OBC) significant minder middelen toegewezen kregen dan personen uit de 'General'-categorie. Het verschil in totale middelen na het advies bleef in deze groep steken op 49,4%, aldus de rapportage van .
Opvallend is dat geografische details de resultaten kunnen beïnvloeden. Wanneer de AI specifieke informatie over een district kreeg, kromp het genderverschil in de middelenallocatie naar 7,9%. Dit suggereert dat de modellen sterk geconditioneerd zijn door geografische data bij het formuleren van hun antwoorden.
Groei versus voorzichtigheid
De ongelijkheid beperkt zich niet enkel tot cijfers, maar is ook zichtbaar in de aard van het advies. Een tekstuele analyse wees op een lage semantische gelijkenis tussen de antwoorden voor mannen en vrouwen. Er is een duidelijk kwalitatief patroon zichtbaar: vrouwen worden door de AI vaker gestuurd richting basiscursussen over financiële geletterdheid, voorzichtig sparen en het zoeken van steun binnen hun gemeenschap. Mannen daarentegen ontvangen vaker adviezen die gericht zijn op actieve vermogensopbouw, zoals ondernemerschap en investeringen.
Risico's voor de consument
De introductie van de IFAAB-benchmark onderstreept de noodzaak voor lokale evaluaties van AI-systemen, waarbij rekening wordt gehouden met intersectionaliteit. De auteurs waarschuwen dat AI-systemen zonder correctie bestaande maatschappelijke ongelijkheden in India kunnen versterken in plaats van wegnemen.
Hoewel deze problematiek zich afspeelt in de digitale en financiële sfeer, is de bredere context van de Indiase samenleving en haar internationale betrekkingen relevant. Voor officiële zaken en consulaire ondersteuning blijft de gov.in het centrale aanspreekpunt, maar dit wetenschappelijke onderzoek legt een kritiek lek bloot in de digitale transformatie van de Indiase economie.