Onderzoekers hebben een nieuw systeem ontwikkeld dat kunstmatige intelligentie in staat stelt om tijdens het gebruik selectief informatie te verzamelen, waardoor kosten en redundantie bij het verwerken van complexe data worden verminderd.
In de wereld van hoogdimensionaal leren en multimodale systemen kunnen foundation-modellen tegenwoordig enorme hoeveelheden heterogene data verwerken. Een hardnekkig probleem blijft echter de efficiëntie tijdens de zogenaamde 'test time'. Het verzamelen van alle beschikbare kenmerken of modaliteiten is vaak onnodig en kan bovendien extreem kostbaar zijn. Om dit aan te pakken, presenteren Eeshaan Jain, Linus Bleistein, Bart Deplancke en Charlotte Bunne een nieuwe benadering genaamd ECHO-$k$.
De uitdaging van modaliteitsselectie
Bij multimodale AI worden verschillende soorten input gecombineerd, zoals tekst, beeld of sensordata. Het is voor een systeem vaak cruciaal om sequentieel de meest informatieve modaliteiten te selecteren. Dit is echter een complexe opgave wanneer het uiteindelijke doel van de voorspelling of de specifieke taak vooraf niet bekend is.
Volgens de publicatie op arxiv.org introduceert de nieuwe methode ECHO-$k$ een taak-agnostisch en zelfgesuperviseerd principe voor de acquisitie van modaliteiten. In plaats van te vertrouwen op een vooraf gedefinieerde taak, maakt het systeem gebruik van de interne, vooraf getrainde representaties van een deep model (zoals een foundation-model). Deze representaties dienen als proxy-doelen die de cross-modale informatie samenvatten.
Theoretische basis en Reinforcement Learning
De onderzoekers hebben theoretische garanties geformuleerd binnen een gestileerde lineaire setting. Deze theoretische onderbouwing vormt de basis voor een beleid gebaseerd op reinforcement learning (RL), dat wordt ingezet voor de sequentiële selectie van modaliteiten. Door RL te gebruiken, kan het model leren welke informatie het meest waardevol is om als eerste te verzamelen, zonder dat het label van de uiteindelijke taak bekend hoeft te zijn.
Uit de resultaten blijkt dat ECHO-$k$ consistent beter presteert dan bestaande baselines voor label-vrije acquisitie. De methode verbetert de prestaties van downstream-taken binnen een vastgesteld budget, ongeacht welke foundation-model backend wordt gebruikt. Dit biedt een systematische route naar een kostenefficiënte implementatie van AI-systemen, vooral in scenario's waar metingen duur zijn of waar strikte tijdslimieten gelden.
Wetenschappelijke erkenning en context
Het onderzoek naar ECHO-$k$ is officieel geaccepteerd voor de conferentie , een van de meest prestigieuze bijeenkomsten op het gebied van neurale informatieverwerking. Het werk is opgenomen in de 40ste editie van de Advances in Neural Information Processing Systems.
De relevantie van dit onderzoek ligt in de praktische toepassing van 'meten'. Waar het concept van cambridge.org draait om het vaststellen van de exacte grootte of hoeveelheid van iets, past dit AI-onderzoek dat principe toe op digitale informatiebronnen. Door minder te meten maar effectiever te selecteren, kan de efficiëntie van AI-systemen aanzienlijk worden verhoogd.
De publicatie, die op 2 oktober 2026 werd ingediend bij , markeert een stap richting systemen die zelfstandig kunnen bepalen welke data essentieel is en welke overbodig, wat essentieel is voor de volgende generatie autonome en multimodale AI-toepassingen.