Stel je een robot voor die een kamer inloopt en een object ziet — maar zodra het object uit beeld verdwijnt, is het voor de robot alsof het nooit heeft bestaan. Precies dat probleem lossen onderzoekers nu op met een nieuw framework: Executable Perceptual Memory (EPM).
Xianyao Li en collega's presenteerden de aanpak op 17 november 2026 in het wetenschappelijke artikel "Perception into Imagination: Executable Memory for World Models". Hun doel: AI-agenten in fysieke omgevingen laten handelen op basis van informatie die ze eerder zagen of aanraakten, ook als die niet langer direct waarneembaar is.
Hoe EPM werkt
Het kernprobleem is subtiel maar belangrijk: elke actie van een agent verandert wat een herinnerd feit nog betekent. Een deur die je net zag, is na twee stappen misschien al niet meer relevant — of juist kritiek.
Daarom laat EPM een expliciete perceptuele toestand meevolgen met de neurale dynamiek tijdens het 'verbeelden' van toekomstige situaties. Die evoluerende read-out stuurt vervolgens drie onderdelen van het leerproces aan: de voorspelling van beloningen, de schatting van waarde en het leren van beleid. De beloningsinputs zijn afgestemd op de transities die ze produceerden, en de reward head is getraind op open-loop rollouts van geregistreerde acties.
🧠 Even simpel uitgelegd
Een AI-robot heeft een soort 'innerlijke simulatie' waarmee hij voorstelt wat er gaat gebeuren. Tot nu toe vergat die simulatie dingen die de robot even niet meer kon zien of voelen. EPM voegt een soort notitieblokje toe: wat de robot ooit waarnam, blijft in de simulatie meebewegen en meedenken. Zo kan de robot nog steeds slimme beslissingen nemen over dingen die hij momenteel niet ziet — zoals jij nog weet waar je sleutels liggen, ook als je er niet naar kijkt.
De cijfers
De onderzoekers testten EPM in gesimuleerde omgevingen. In de Memory Maze van 13x13 behaalde het systeem een return van 30,37 na één miljoen interacties. De vergelijkingsmethode — waarbij de read-out alleen het beleid en de waarde informeerde via een gedeelde perceptuele front-end — bleef steken op 23,37. Dat is een absolute winst van 7,00 punten, met een bereik tussen 3,80 en 10,21.
Ook in een 9x9-omgeving en binnen de MiniWorld-simulatie leverde de complete methode betere controle op. Met 'probes' naar doelen buiten het gezichtsveld toonden de onderzoekers bovendien aan dat het systeem beloningen sterker anticipeert in beide visuele implementaties.
Wat dit betekent voor Physical AI
EPM blijkt effectief op drie punten:
- Het behouden van sensorische inhoud (sensory-content retention).
- Het nemen van beslissingen die afhankelijk zijn van beweging.
- Tactiel herstel (tactile recovery).
De kracht van de aanpak zit in de koppeling tussen persistente perceptie en de leersignalen van een wereldmodel. Agenten reageren daardoor niet alleen op directe input, maar houden een intern wereldbeeld bij dat consistent blijft — zelfs als externe prikkels wegvallen.
Het volledige artikel telt 18 pagina's, met 6 figuren en 15 tabellen, en is arxiv.org te vinden onder de categorieën Machine Learning, Artificial Intelligence, Computer Vision en Robotics.