Wetenschappers hebben een innovatieve techniek ontwikkeld om de nauwkeurigheid van tijdreeksvoorspellingen met behulp van Large Language Models (LLM's) te verhogen. De nieuwe methode richt zich op het oplossen van een hardnekkig probleem waarbij kleine onnauwkeurigheden aan het begin van een voorspelling leiden tot grote afwijkingen op de lange termijn.
In een publicatie op arxiv.org leggen Xingyu Zhang en zijn medewerkers uit dat huidige modellen vaak gebruikmaken van een autoregressieve strategie. Hierbij werkt het systeem in een zogenaamde 'open-loop' modus, wat betekent dat de output van de vorige stap direct als input voor de volgende stap dient. Dit proces veroorzaakt een cascade-effect van fouten, een fenomeen dat in de wetenschappelijke literatuur wordt aangeduid als 'rollout drift'. Hierdoor worden voorspellingen over een langere periode onbetrouwbaar.
Om deze instabiliteit tegen te gaan, hebben de onderzoekers het Feedback-driven LLM (F-LLM) framework geïntroduceerd. In tegenstelling tot traditionele methoden hanteert dit systeem een 'closed-loop' benadering, waarbij principes uit de regeltechniek worden toegepast. Volgens de beschrijving in het maakt F-LLM gebruik van een leerbare 'residual estimator'. Deze component fungeert als een observator die de voorspelde trajectorie actief stabiliseert en corrigeert, waardoor de drift wordt geminimaliseerd.
De theoretische basis van dit systeem is stevig onderbouwd. De auteurs tonen in hun aan dat dit mechanisme, mits er voldaan wordt aan specifieke contractie-aannames, een uniform begrensde foutenserie per stap garandeert. Dit betekent dat de fouten niet langer ongecontroleerd kunnen groeien, wat de betrouwbaarheid van de resultaten aanzienlijk vergroot.
De effectiviteit van F-LLM is aangetoond via diverse benchmarks voor tijdreeksen, waarbij de verspreiding van fouten sterk werd verminderd. Het werk is inmiddels geaccepteerd voor presentatie op de ACM MM26, zoals vermeld in de . Om de validatie door andere wetenschappers te vergemakkelijken, is de bijbehorende code publiekelijk vrijgegeven.
Het is overigens belangrijk om dit technische framework te onderscheiden van commerciële entertainmentproducten. Hoewel termen als 'control' in beide contexten voorkomen, is er geen enkele link tussen dit wetenschappelijke onderzoek en commerciële software zoals de steampowered.com op het Steam-platform.
De verschuiving van puur generatieve modellen naar zelfcorrigerende systemen biedt nieuwe mogelijkheden voor sectoren die afhankelijk zijn van precieze voorspellingen. Door de integratie van regeltechniek in LLM's wordt de weg geëffend voor AI-systemen die niet alleen patronen herkennen, maar hun eigen output ook constant kunnen bijsturen.