Onderzoekers van Cornell University hebben GenDB ontwikkeld, een innovatieve query-engine die gebruikmaakt van Large Language Models (LLM's) om database-code te genereren die specifiek is geoptimaliseerd voor de beschikbare hardware en de aard van de data.
Traditionele database-engines worden gekenmerkt door een hoge mate van interne complexiteit. Ze vereisen voortdurende handmatige ontwikkeling en uitbreidingen door experts om nieuwe technieken te ondersteunen of te voldoen aan veranderende gebruikersbehoeften. Volgens een publicatie op arxiv.org is het bouwen van volledig nieuwe systemen vanuit het niets vaak verbonden met aanzienlijke engineeringkosten en inspanningen, terwijl bestaande systemen moeilijk uit te breiden zijn.
Van engineering naar synthese
GenDB stelt een fundamentele verschuiving voor in de manier waarop query-processing wordt aangepakt. In plaats van te vertrouwen op een statische, door mensen gebouwde engine, gebruikt GenDB LLM-agents om per query specifieke uitvoeringscode te synthetiseren. Deze benadering zorgt ervoor dat de gegenereerde code optimaal is afgestemd op de specifieke dataset, de workload en de beschikbare hardwarebronnen.
Een vroege prototypeversie van het systeem maakt gebruik van de Claude Code Agent als kerncomponent binnen een multi-agent systeem. Volgens de onderzoekers is dit model bijzonder effectief voor repetitieve, sjabloonmatige queries. Omdat de initiële kosten voor het genereren van de code worden gespreid over vele uitvoeringen, is de efficiëntie hoog. Bovendien kan de correctheid van de gegenereerde code worden gewaarborgd via uitgebreide fuzz-testing en handmatige inspectie, zoals beschreven in de arxiv.org.
Hybride architectuur en prestaties
Voor ad-hoc queries, die slechts eenmalig worden uitgevoerd, stelt GenDB een hybride architectuur voor. In dit scenario handelt een traditioneel databasebeheersysteem (DBMS) de eenmalige queries af, terwijl GenDB wordt ingezet om veelvoorkomende SQL-templates te versnellen.
De prestaties van GenDB zijn getest tegenover diverse state-of-the-art query-engines, waaronder PostgreSQL, ClickHouse, MonetDB, Umbra en DuckDB. De resultaten tonen aan dat GenDB significant betere prestaties levert op OLAP-workloads. Voor de evaluatie is gebruikgemaakt van de bekende TPC-H benchmark en een nieuw ontwikkelde benchmark die specifiek is ontworpen om datalekken uit de trainingsdata van LLM's te minimaliseren.
Academische erkenning en toegankelijkheid
Het project is geleid door Jiale Lao, een PhD-kandidaat aan de Cornell University, onder begeleiding van professor Immanuel Trummer. Lao heeft zijn expertise in het gebruik van LLM's voor database-efficiëntie eerder bewezen met projecten zoals GPTuner, waarvoor hij in 2024 de SIGMOD Research Highlight Award ontving, zoals vermeld op zijn persoonlijke website.
De innovatie achter GenDB heeft inmiddels brede academische erkenning gekregen. De demonstratie van het systeem is officieel geaccepteerd voor de vldb.org, die plaatsvindt in Boston. Bezoekers van de conferentie zullen interactief kunnen ontdekken hoe GenDB workloads analyseert, hardware profileert en iteratief een efficiënte implementatie van query-plannen genereert.
Voor ontwikkelaars en onderzoekers is de broncode van het project beschikbaar gesteld via github.com, waardoor de gemeenschap kan experimenteren met verschillende LLM's en query-patronen om de grenzen van generatieve query-processing verder te verkennen.