Een nieuw onderzoeksmodel genaamd KORA introduceert een controlelaag die probeert AI-aanvragen eerst via deterministische routes op te lossen voordat een complex taalmodel wordt ingezet.
In de huidige praktijk van kunstmatige intelligentie worden modellen vaak direct aangeroepen, nog voordat is vastgesteld of een complexe inferentie daadwerkelijk noodzakelijk is. Hoewel deze aanpak effectief is voor creatieve of ambigue taken, is deze minder efficiënt voor gestructureerd werk dat gebaseerd is op vaste regels, beleidslijnen of eenvoudige opzoeken in databases. Om dit aan te pakken, heeft onderzoeker Albert Heekwan Kim de KORA-architectuur ontwikkeld, een systeem dat focust op 'deterministic-first execution control'.
Werking van de controlelaag
KORA fungeert als een pre-inferentie controlelaag die inkomende verzoeken vertaalt naar zogenaamde 'task paths'. In plaats van direct een AI-model te raadplegen, probeert het systeem eerst deterministische of gestructureerde routes te bewandelen. Pas wanneer deze methoden onvoldoende resultaat bieden, wordt het verzoek geëscaleerd naar een model-candidate path.
Volgens de publicatie op arxiv.org omvat dit proces het valideren van de uitkomsten van de gekozen route en het vastleggen van telemetrie. Dit mechanisme is specifiek ontworpen voor taken die direct verifieerbaar zijn of vallen onder categorieën zoals FAQ-lookups, het controleren van regels en schema-validaties.
Resultaten uit benchmarks
Om de effectiviteit van de architectuur te testen, is er gebruikgemaakt van een reproduceerbare benchmark bestaande uit 100 taken met een sterke nadruk op deterministische processen. Uit de resultaten van dit onderzoek blijkt dat KORA-gestuurde executie in staat was om 80 van de 100 gesimuleerde modelaanroepen te vermijden in vergelijking met een naïeve baseline. Belangrijk hierbij is dat er in de deterministische subset geen enkele mismatch werd vastgesteld, wat duidt op een accurate afhandeling zonder tussenkomst van het AI-model.
Daarnaast is er een synthetische workload voor klantenservice getest in een lokale omgeving zonder netwerkverbinding. Deze test diende om de route-meting en de boekhouding van vermeden modelaanroepen in een praktijkgerichte setting te demonstreren.
Beperkingen en reikwijdte
Ondanks de positieve resultaten in de benchmarks, plaatst de auteur belangrijke kanttekeningen bij de conclusies. In de documentatie op wordt expliciet vermeld dat de huidige resultaten geen bewijs leveren voor het gedrag in een productieomgeving. Ook zijn er nog geen conclusies getrokken over de uitkomsten bij echte providers, de impact op energieverbruik of de daadwerkelijke reductie van API-kosten. De resultaten ondersteunen weliswaar de reductie van modelaanroepen binnen de gedocumenteerde workloads, maar claimen geen brede superioriteit over andere systemen.
Naamverwarring met audio-technologie
Het is opvallend dat de naam 'Kora' ook wordt gebruikt in een geheel andere sector. Zo is er een Frans bedrijf, kora.fr, dat gespecialiseerd is in high-fidelity audioapparatuur. Dit bedrijf promoot onder andere de 'Square Tube'-technologie voor buizenversterkers, waarbij precisie en natuurlijke klank centraal staan. Hoewel beide entiteiten de naam Kora delen, is er geen enkel verband tussen de AI-architectuur van Albert Heekwan Kim en de audio-innovaties van de Franse firma, die onder andere aanwezig is op de Haute Fidélité show in Parijs volgens hun eigen .
De wetenschappelijke bijdrage van KORA op het gebied van machine learning en software engineering is inmiddels beschikbaar voor verdere bestudering via de , inclusief de bijbehorende code en benchmarks.