De vraag of kunstmatige intelligentie daadwerkelijk winstgevend kan zijn op de cryptomarkten is het onderwerp van een recent wetenschappelijk onderzoek. De studie richt zich specifiek op het verschil tussen de resultaten van historische tests en de prestaties tijdens live handel. Hoewel veel ontwikkelaars vertrouwen op 'backtesting' om de effectiviteit van hun algoritmen aan te tonen, stelt de publicatie arxiv.org dat deze methode onvoldoende bewijs levert voor toekomstig succes.
Volgens de auteurs van het onderzoek bieden evaluaties op basis van historische data slechts beperkte inzichten. Het grootste probleem is dat simulaties vaak geen rekening houden met realistische handelsfricties. In een theoretische omgeving ontbreken variabelen die in de praktijk een grote impact hebben op de uiteindelijke winstgevendheid. Hierbij gaat het onder andere om latentie, oftewel de vertraging in de uitvoering van orders, en slippage, waarbij de werkelijke transactieprijs afwijkt van de verwachte prijs. Daarnaast spelen liquiditeitsbeperkingen en de invloed van de eigen handel op de markt een cruciale rol, zaken die in standaard backtests vaak over het hoofd worden gezien.
Om deze discrepantie objectief te meten, hebben de onderzoekers een uniform benchmark-systeem ontwikkeld. Dit systeem is ontworpen om diverse AI-methoden te evalueren, variërend van traditionele machine learning en reinforcement learning tot de inzet van Large Language Models (LLM's) en autonome trading agents. De validatie van deze strategieën verloopt via een strikt protocol in drie fasen: eerst volgt de historische backtesting, daarna prospectieve 'paper trading' met live data zonder kapitaal, en tot slot de live handel met werkelijk geld.
Door deze stappen te volgen, kunnen de onderzoekers de zogenaamde 'backtest-to-realization gap' exact kwantificeren. Dit maakt het mogelijk om vast te stellen op welk moment de prestaties van een AI-model beginnen te dalen wanneer de simulatie plaatsmaakt voor de complexe realiteit van de markt. In een streven naar transparantie hebben Xingtong Yu en veertien andere auteurs een open-source systeem en een publiek platform gelanceerd om benchmarkresultaten continu bij te werken, zoals vermeld in de documentatie op .
Deze focus op de overgang van theorie naar praktijk is niet uniek voor de financiële sector. Het weerspiegelt een bredere trend in de technologiewereld waarbij de nadruk verschuift naar risicoreductie en praktische toepasbaarheid. Een vergelijkbare filosofie is terug te vinden bij organisaties die industriële innovatie stimuleren, zoals flandersmake.be, waar de nadruk ligt op het overbruggen van de kloof tussen een conceptueel idee en de uiteindelijke implementatie in de praktijk. Ook binnen de industriële sector is de stap van een gecontroleerde testomgeving naar een operationele setting vaak de grootste uitdaging.
De conclusie van het onderzoek is dat technische superioriteit in een gesimuleerde omgeving niet automatisch vertaald kan worden naar financieel succes in een live markt. De resultaten dwingen ontwikkelaars van trading-algoritmen om kritischer te kijken naar hun validatiemethoden. Het blind vertrouwen op historische data kan leiden tot een overschatting van de winstgevendheid, wat riskant is wanneer er werkelijk kapitaal wordt ingezet. De publicatie op dient daarmee als een waarschuwing voor de sector om strengere standaarden te hanteren bij het testen van autonome handelssystemen.