Onderzoekers hebben Touch-JEPA ontwikkeld, een nieuw framework dat in staat is om tactiele representaties te leren uit video's van handen die objecten manipuleren, zelfs wanneer er slechts beperkte tactiele data beschikbaar is.
Het begrijpen van fysiek contact en de kracht van aanraking bij interacties tussen een hand en een object is een cruciale stap in de ontwikkeling van fysiek intelligente systemen. Tot nu toe vormde de hoge kostprijs en de beperkte dekking van tactiele metingen echter een grote hindernis voor het trainen van dergelijke systemen. In een recent onderzoek, gepubliceerd op 20 oktober 2026, presenteren Minseong Kweon en collega-onderzoekers een oplossing in de vorm van Touch-JEPA.
Zelfgesuperviseerd leren via video
Het kernconcept van Touch-JEPA is het gebruik van video als primaire bron voor leren, waardoor de afhankelijkheid van dure tactiele sensoren wordt verminderd. Het framework maakt gebruik van een zelfgesuperviseerd pretraining-doel. Hierbij leert het systeem uitsluitend van videobeelden, zonder dat er direct tactiele supervisie nodig is.
Volgens de publicatie op arxiv.org maakt Touch-JEPA gebruik van de geometrie van de hand die uit de video wordt afgeleid. Het systeem voorspelt gemaskeerde visuele kenmerken op specifieke locaties waar de hand het oppervlak van een object raakt. Door deze voorspellingen te doen op basis van ruimtelijke en temporele context, wordt het model gestimuleerd om latente contactdynamieken vast te leggen.
Combinatie van visuele en tactiele data
Om de representaties verder te verfijnen, hebben de onderzoekers het framework uitgebreid naar zogenaamd 'joint representation learning'. In deze fase wordt de voorspelling van gemaskeerde data toegepast op alle beschikbare video's, terwijl tactiele supervisie slechts wordt toegepast op een kleine, gelabelde subset van de data. Dit zorgt ervoor dat de gedeelde representatie van het model wordt gefundeerd in daadwerkelijke gemeten contacten en magnitudes.
De resultaten van dit onderzoek tonen aan dat alleen al de zelfgesuperviseerde pretraining effectief is. Eenvoudige supervised readouts op de bevroren kenmerken van Touch-JEPA presteerden beter dan supervised baselines bij het onderscheiden van contact en het schatten van de tactiele magnitude. Dit werd getest over drie benchmarks voor menselijke handen.
Toepasbaarheid en transfer naar robotica
Een opvallend resultaat van het onderzoek is de overdraagbaarheid van het model. De onderzoekers stellen in hun dat de geleerde representaties kunnen worden overgedragen naar robotische handen, zonder dat er specifieke tactiele trainingsdata van robots nodig waren. Wanneer joint learning met beperkte tactiele supervisie wordt toegepast, verbeteren de schattingen van contact en magnitude op de menselijke benchmarks verder.
De conclusie van de auteurs is dat video's van hand-objectinteracties een schaalbare vorm van zelfsupervisie bieden voor het leren van tactiele representaties, waarbij beperkte fysieke metingen dienen als complementaire gronding.
Context van aanraking en technologie
De term 'touch' wordt in algemene zin gedefinieerd als het lichtjes plaatsen van een hand of een ander lichaamsdeel op iets of iemand, zoals beschreven in het cambridge.org. In de context van AI en robotica gaat het echter om het vertalen van deze fysieke handeling naar digitale data. Terwijl commerciële diensten zoals de telecomprovider touch.colb zich richten op digitale connectiviteit en mobiele internetplannen, richt Touch-JEPA zich op de fysieke connectiviteit tussen machine en materie.
Hoewel sommige online bronnen, zoals merriam-webster.com, zich richten op de taalkundige betekenis van aanraking, laat dit nieuwe AI-onderzoek zien dat de grens tussen visuele waarneming en fysieke tastzin steeds verder vervaagt door geavanceerde machine learning technieken.