In de ontwikkeling van kunstmatige intelligentie is het tot nu toe vaak de norm geweest dat grotere modellen superieure resultaten boeken. Deze trend, gedreven door zogenaamde 'scaling laws', waarbij enorme hoeveelheden parameters worden ingezet om complexe data te verwerken, vormt echter een praktisch obstakel. Voor veel toepassingen in de fysieke wereld zijn dergelijke modellen simpelweg te zwaar. Zo maken strikte limieten op het gebied van latentie, energieverbruik en beschikbaar geheugen de implementatie van omvangrijke modellen op kleine hardware onmogelijk, aldus een wetenschappelijke publicatie via arxiv.org.
Efficiëntie door gespecialiseerde architectuur
Om deze kloof te overbruggen hebben onderzoekers Özgün Turgut, Philip Müller, Martin J. Menten en Daniel Rueckert een nieuw systeem ontwikkeld genaamd OTIS. Door de standaardmethode van 'masked modelling pre-training' specifiek af te stemmen op de unieke kenmerken van tijdreeksen, is het gelukt om een encoder te bouwen met slechts 7,1 miljoen parameters.
De impact van deze compacte omvang is aanzienlijk. Volgens de resultaten in het onderzoek kan dit kleine model qua prestaties wedijveren met encoders die maar liefst 54 keer groter zijn. Deze claim is onderbouwd door tests over 162 verschillende taken. De technische winst vertaalt zich in een drastische vermindering van de benodigde middelen: OTIS verbruikt 43 keer minder energie, vereist tien keer minder geheugen en heeft een latentie die 37 keer lager ligt dan bij de grotere tegenhangers.
Innovaties in dataverwerking
Het behoud van hoge prestaties bij een minimale omvang is mogelijk gemaakt door drie specifieke technologische innovaties. De eerste is een 'domain-aware tokeniser', die helpt bij het oplossen van tegenstrijdige semantiek wanneer trainingsdata uit uiteenlopende domeinen wordt gebruikt.
Daarnaast hanteert het systeem een dubbele maskeringsstrategie. Deze methode is cruciaal om zowel de temporele causaliteit als de spatiotemporele structuren binnen de data correct vast te leggen. Tot slot is er een 'structure-aware objective' toegevoegd, waardoor het model in staat is om het leren van relevante kenmerken te scheiden van het modelleren van ruis. Deze gecombineerde aanpak zorgt ervoor dat OTIS hoogwaardige kenmerken produceert voor tijdreeksen, wat leidt tot state-of-the-art resultaten bij discriminatieve taken. Bovendien kan de technologie met minimale extra inspanning worden uitgebreid naar generatieve toepassingen.
Toepassingsgebied en openbaarheid
De praktische waarde van OTIS ligt vooral in de mogelijkheid om geavanceerde analyse direct op de bron van de data uit te voeren. Waar voorheen zware hardware nodig was, kan deze encoder nu worden geïnstalleerd op apparaten met beperkte rekenkracht, zoals industriële sensoren of wearables in de gezondheidszorg. Hoewel bedrijven zoals otis.com zich primair richten op verticale transportoplossingen, illustreert de bredere trend in industriële automatisering de groeiende behoefte aan dergelijke efficiënte AI-oplossingen op locatie.
Om de adoptie van deze technologie te stimuleren en de toegang tot krachtige tijdreekskenmerken te democratiseren, hebben de auteurs besloten om de vooraf getrainde gewichten en de broncode openbaar te maken. De meest recente update van dit onderzoek, versie v3, werd op 14 augustus 2026 gepubliceerd op het platform . Hierdoor kunnen ontwikkelaars wereldwijd experimenteren met de implementatie van deze compacte encoder op diverse hardware-systemen.