Een team van onderzoekers heeft onderzocht in hoeverre vooraf getrainde beeldmodellen in staat zijn om essentiële informatie over materialen te behouden wanneer deze worden omgezet in latente ruimtes. De resultaten suggereren dat bepaalde modellen, zoals de Stable Diffusion VAE, superieur zijn in het behouden van tactiele kenmerken, wat nieuwe mogelijkheden opent voor het trainen van robots.
Het vermogen van robots om objecten aan te raken en materialen te herkennen is cruciaal voor complexe interacties. Volgens een recent wetenschappelijk artikel gepubliceerd op arxiv.org kan het genereren van tactiele data het leerproces van robots uitbreiden voorbij de fysiek geregistreerde contactmomenten. Om dit te bereiken is een effectieve 'latente ruimte' nodig: een gecomprimeerde digitale representatie van data die de essentie van een aanraking bewaart.
Vergelijking van latentie-modellen
De onderzoekers testten of een materiaalclassificator, die getraind was op echte GelSight-drukkingsmetingen, nog steeds accuraat functioneerde wanneer deze werd toegepast op reconstructies uit verschillende vooraf getrainde beeldmodellen. Hierbij werden drie verschillende 16x discrete tokenizers vergeleken met de Variational Autoencoder van Stable Diffusion (SD-VAE).
De resultaten uit het onderzoek op tonen een significant verschil in prestaties. Bij het gebruik van de dataset 'ObjectFolder Real' verloren de discrete tokenizers tussen de 6,5 en 9,7 punten in nauwkeurigheid bij de materiaalherkenning. De SD-VAE daarentegen vertoonde een minimale afname van slechts 0,3 punten. Deze trend zette zich voort in andere tests, waaronder 'Touch and Go' en de herkenning van objecten via DIGIT (YCB-Slide), waarbij de discrete tokenizers opnieuw aanzienlijk slechter presteerden.
Behoud van objectidentiteit
Naast de herkenning van materialen keken de onderzoekers naar het behoud van de identiteit van objecten. De SD-VAE bleek hier zeer effectief: de nauwkeurigheid bij het matchen van objecten lag op 76,7%. Ter vergelijking lag dit bij echte tactiele data op 78,9%, terwijl een model als MAGVIT-v2 slechts een score van 67,0% behaalde.
Hoewel het hertrainen van de classificator op de reconstructies — zonder toevoeging van nieuwe labels — het gat bij de discrete tokenizers verkleinde, bleef de SD-VAE de meest betrouwbare keuze voor het behoud van tactiele eigenschappen. Op basis van deze bevindingen hebben de auteurs een 'photo-to-touch' generator ontwikkeld die gebruikmaakt van SD-VAE latents.
Context van AI-beeldgeneratie
De bredere context van dit onderzoek bevindt zich in de snel evoluerende wereld van generatieve AI. Terwijl wetenschappelijke modellen zich richten op tactiele precisie, richten commerciële tools zich op visuele output. Zo biedt meta.ai gebruikers de mogelijkheid om via tekstprompts snel beelden te genereren, waarbij de focus ligt op creativiteit en visuele interpretatie.
Andere platforms, zoals deepai.org, experimenteren met verschillende kwaliteitsniveaus, variërend van standaard HD tot 'Super Genius' modi voor ultra-hoge resoluties. Deze commerciële systemen benadrukken de kracht van latente ruimtes om complexe visuele concepten te vertalen naar beelden, een principe dat in de kern ook centraal staat in het robotica-onderzoek naar tactiele generatie.
Ook tools zoals fotor.com maken gebruik van AI voor specifieke beeldmanipulaties, zoals het verscherpen van details of het verwijderen van objecten. Hoewel deze toepassingen primair esthetisch zijn, illustreren ze de breedte van de huidige AI-mogelijkheden in beeldverwerking, van eenvoudige filters tot de complexe materiaalherkenning die nodig is voor geavanceerde robotica.
De onderzoekers hebben aangegeven dat de code van hun project zal worden vrijgegeven zodra het werk officieel is geaccepteerd.