Een team van wetenschappers heeft een nieuwe technologische oplossing ontwikkeld om de efficiëntie van grootschalige zoekopdrachten in enorme datasets te verbeteren. Het systeem, dat PrairieFire is gedoopt, richt zich op het versnellen van updates binnen zogenaamde 'approximate nearest neighbor search' (ANNS). Deze techniek is cruciaal voor moderne toepassingen zoals aanbevelingsalgoritmen en retrieval-augmented generation (RAG), waarbij razendsnel relevante informatie moet worden gevonden tussen miljarden vectoren.
De verschuiving naar SSD-gebaseerde infrastructuren is ingezet omdat moderne NVMe SSD's een bandbreedte bieden die dicht bij het werkgeheugen ligt, terwijl ze aanzienlijk goedkoper zijn per gigabyte. Desondanks bleek uit onderzoek dat bestaande SSD-oplossingen een aanzienlijke bottleneck vertoonden bij het verwerken van updates. Volgens een wetenschappelijke publicatie op arxiv.org konden indexen niet snel genoeg worden aangepast wanneer data continu veranderde of wanneer embedding-modellen werden bijgewerkt.
Het fundamentele probleem bij traditionele systemen is de zware belasting van de CPU. Invoegingen in de voorgrond leiden tot frequente en vertragende toegang tot de SSD, terwijl processen op de achtergrond vectoren herhaaldelijk moeten verplaatsen voor herindeling. Hierdoor wordt de hardwarecapaciteit niet optimaal benut, wat de schaalbaarheid van dergelijke systemen beperkt.
Om dit op te lossen hebben Yuchen Huang en elf medeauteurs een architectuur ontworpen die rust op een nauwe samenwerking tussen de CPU, GPU en SSD. PrairieFire maakt gebruik van lokale herbouwacties in batches en gebufferde updates. Door deze specifieke co-designs te implementeren, worden frequente SSD-toegangen tijdens actieve updates vermeden en worden zware herindelingen op de achtergrond tot een minimum beperkt. Deze innovatie sluit aan bij de bredere trend van geavanceerde zoektechnologieën, zoals de integratie van real-time webinformatie in AI-modellen, een ontwikkeling die ook zichtbaar is in de introductie van openai.com door OpenAI.
De prestatiewinst van PrairieFire is volgens de onderzoekers substantieel. Uit de data op blijkt dat de update-doorvoer van dit systeem tussen de 3 en 35 keer hoger ligt dan bij concurrerende methoden. Daarnaast blijft de zoekdoorvoer ongeveer 3 tot 5 keer hoger. Naast de technische snelheid levert het systeem ook een economisch voordeel op; de kostenefficiëntie zou 1,5 tot 8,7 keer hoger liggen dan bij bestaande oplossingen.
De praktische haalbaarheid van het systeem is reeds aangetoond in een commerciële omgeving. PrairieFire is gedurende een periode van twee maanden ingezet binnen de productieomgevingen van RedNote. In deze setting zorgde de implementatie voor betere bedrijfsmetrieken. Dit resultaat is voornamelijk toe te schrijven aan een hogere 'freshness' van de data, aangezien tijdrovende volledige herbouwacties van de index niet langer noodzakelijk zijn, zoals verder toegelicht in de publicatie via .
Door de combinatie van hardware-optimalisaties en slimme softwarematige buffering biedt PrairieFire een schaalbare uitweg voor organisaties die werken met miljarden vectoren en behoefte hebben aan real-time updates zonder in te boeten op zoekprestaties.