Onderzoekers hebben een nieuwe techniek ontwikkeld om de nauwkeurigheid van zoekopdrachten in grote vectordatabases te garanderen. De methode, genaamd Certify-then-Rectify (CTR), voorkomt dat individuele zoekopdrachten onder een minimale kwaliteitsnorm zakken, ondanks een hoog gemiddelde in de algehele recall.
Het probleem met grafiekgebaseerde indexen
In moderne databases wordt vaak gebruikgemaakt van grafiekgebaseerde indexen, zoals de bekende Hierarchical Navigable Small World (HNSW) grafieken, om nearest-neighbor retrieval efficiënt te maken. Hoewel deze systemen over het algemeen een hoge gemiddelde recall vertonen, waarschuwen onderzoekers in een recent artikel op arxiv.org dat dit gemiddelde misleidend kan zijn. Een hoge gemiddelde score kan namelijk maskeren dat specifieke queries resultaten opleveren die niet voldoen aan de kwaliteitsvereisten van een specifieke applicatie.
De werking van Certify-then-Rectify (CTR)
Om dit probleem op te lossen, introduceren Minghao Li en zijn collega's de Certify-then-Rectify (CTR) benadering. Het proces werkt in twee fasen. Eerst wordt een initieel resultaat uit de grafiekzoekopdracht gegenereerd. Wanneer een gekalibreerde regel bevestigt dat dit resultaat acceptabel is, wordt het direct teruggegeven. Indien het resultaat echter niet wordt geaccepteerd, start het systeem een herstelzoekopdracht om ontbrekende buren te vinden.
Een belangrijk kenmerk van deze herstelzoekopdracht is de efficiëntie: het systeem hergebruikt de bestaande grafiek en de afstanden die tijdens de eerste zoekpoging al zijn berekend. Volgens de publicatie op wordt de reikwijdte van deze zoektocht bepaald door de relatie tussen metrische afstanden en de lengte van paden in de grafiek, een concept dat bekendstaat als 'graph stretch'.
Technische innovaties en verificatie
Binnen het CTR-raamwerk zijn twee specifieke mechanismen ontwikkeld:
1. Stretch-Bounded Expansion from Query (SBE-Q): Dit systeem bepaalt hoe ver de zoekopdracht moet worden uitgebreid.
2. Metric Bound Verification (MBV): Deze techniek wordt ingezet om onnodig rekenwerk weg te filteren (pruning).
Het budget voor deze operaties wordt geschat op basis van de paden naar het fractie van de werkelijke buren die nodig zijn voor de gewenste recall. Om de betrouwbaarheid te waarborgen, maken de onderzoekers gebruik van finite-sample tolerance bounds. Indien een herstelzoekopdracht niet gecertificeerd kan worden, schakelt het systeem over naar een exacte scan van de data om de correcte resultaten te garanderen.
Experimentele resultaten en toepasbaarheid
De effectiviteit van CTR is getest op databases met maximaal 100 miljoen vectoren. Tijdens deze experimenten zijn vijf verschillende stretch-estimators vergeleken en is de efficiëntie van het herstelproces geëvalueerd. De resultaten tonen aan dat de methode niet beperkt is tot HNSW-grafieken; de onderzoekers hebben de techniek ook succesvol getest op andere grafiekindexen, zoals beschreven in de documentatie op .
Hoewel de focus van het onderzoek ligt op complexe database-algoritmen, kunnen visuele hulpmiddelen zoals de grafiekcalculator van desmos.com of de tool voor het plotten van punten op desmos.com in algemene zin helpen bij het visualiseren van hoe punten in een meerdimensionale ruimte zich tot elkaar verhouden, wat de basis vormt voor nearest-neighbor zoekopdrachten.
De volledige details van het onderzoek, inclusief de 21 pagina's aan analyse en acht figuren, zijn beschikbaar via de officiële publicatie van . De laatste revisie van het werk werd op 11 november 2026 gepubliceerd.