⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Onderzoek toont onnauwkeurigheden aan in 'exacte' vectorzoekopdrachten

Onderzoek toont onnauwkeurigheden aan in 'exacte' vectorzoekopdrachten

Een nieuw wetenschappelijk onderzoek onthult dat veel populaire vectorbibliotheken en databases foutieve resultaten teruggeven bij zogenaamde 'exacte' k-nearest-neighbor (k-NN) zoekopdrachten. De onderzoekers hebben hiervoor een gespecialiseerde dataset genaamd Errpedia ontwikkeld om de numerieke correctheid van deze systemen te testen.

In de wereld van AI-databases en vectorzoekopdrachten wordt een essentieel onderscheid gemaakt tussen benaderende zoekopdrachten (Approximate Nearest Neighbor of ANN) en exacte zoekopdrachten. Terwijl ANN-systemen een deel van de nauwkeurigheid opofferen voor snelheid en schaalbaarheid, worden exacte zoekopdrachten gebruikt wanneer absolute precisie vereist is of wanneer er een referentiepunt (ground truth) nodig is om de kwaliteit van benaderende zoekopdrachten te evalueren. Volgens uitleg op theaidatabaseblog.com vindt een exacte zoekopdracht de werkelijk dichtstbijzijnde vectoren door een query-vector met elke opgeslagen vector in de database te vergelijken.

Numerieke fouten in de praktijk

Ondanks de belofte van absolute precisie, stelt een recent onderzoek gepubliceerd via arxiv.org dat "exacte" zoekopdrachten in de praktijk vaak wiskundig incorrecte resultaten opleveren. De oorzaak hiervan ligt in technische beperkingen van computers, zoals afrondingsfouten bij floating-point berekeningen en overflow-problemen. Deze fouten blijven vaak onopgemerkt, maar kunnen negatieve gevolgen hebben voor downstream-taken die volledig afhankelijk zijn van exacte resultaten.

Om dit probleem in kaart te brengen, hebben onderzoekers van onder meer de University of New South Wales en de University of Technology Sydney de dataset Errpedia ontwikkeld. Deze dataset bevat 1.616 queries verdeeld over 21 verschillende categorieën van fouten. De correcte antwoorden in Errpedia zijn onafhankelijk geverifieerd met behulp van exacte rationele rekenkunde.

Alarmerende resultaten

De resultaten van de evaluatie zijn volgens de onderzoekers zorgwekkend. Er werden 20 veelgebruikte configuraties van bibliotheken en databases getest. Uit de data blijkt dat elke geteste configuratie bij ten minste één toepasbare query een wiskundig incorrecte top-10 resultatenlijst teruggaf.

De geconstateerde fouten variëren in ernst:
* Verkeerde rangschikking: Systemen maakten fouten bij het rangschikken van vectoren die bijna exact dezelfde afstand hadden.
* Onvolledige resultaten: Meerdere systemen gaven minder dan het gevraagde aantal $k$ buren terug.
* Volledige missers: In één specifiek geval sloeg een bibliotheek alle tien de exacte matches voor een query over.

Technische context en implementatie

Het probleem van exacte zoekopdrachten is een bekend thema binnen de database-engineering. Zo beschrijft technetexperts.com dat in systemen zoals Apache Solr de standaard k-NN query-parser vaak afhankelijk is van indexstructuren zoals HNSW, die inherent benaderend zijn. Om een werkelijk exacte zoekopdracht uit te voeren, moeten ingenieurs de indexstructuur omzeilen en een lineaire scan (brute-force) over de gehele corpus forceren.

Andere platforms, zoals opensearch.org, bieden specifieke functionaliteiten voor exacte k-NN zoekopdrachten, vaak via scoring scripts. De complexiteit hiervan wordt verder toegelicht op aboutvectordatabase.com, waar het verschil tussen vectorbibliotheken (zoals Faiss) en volledige vectordatabases wordt besproken in de context van de levenscyclus van een query.

De makers van Errpedia hebben de dataset publiekelijk beschikbaar gesteld. Hiermee kunnen ontwikkelaars en onderzoekers hun eigen implementaties testen en de numerieke correctheid van hun systemen verbeteren om toekomstige fouten in AI-applicaties te voorkomen.

Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!