In de voortdurende evolutie van computer vision zoeken onderzoekers naar efficiëntere alternatieven voor de rekenintensieve 'self-attention'-mechanismen. Twee prominente kandidaten in deze zoektocht zijn Vision Mamba-modellen, die gebruikmaken van selective state space models (SSMs), en Gated CNN-architecturen. Hoewel beide benaderingen streven naar een lineaire complexiteit, blijkt uit recent onderzoek dat ze visuele data op een fundamenteel verschillende manier organiseren.
De kern van deze analyse ligt in de vraag waarom bepaalde modellen beter presteren bij specifieke visuele taken. Eerdere observaties, zoals die rondom MambaOut, suggereerden dat eenvoudige Gated CNN-blokken concurrerend waren met SSM's bij het classificeren van beelden. Om dit mysterie te ontrafelen, hebben onderzoekers Jin Yu en Juyoun Park een diepgaande studie uitgevoerd naar de interne representaties van deze modellen. Volgens de technische analyse in de publicatie arxiv.org wijken de representaties in de laatste fasen van VMamba aanzienlijk af van zowel de eerdere lagen in hetzelfde model als van de structuren in MambaOut.
Om deze verschillen in kaart te brengen, maakten de wetenschappers gebruik van cross model centered kernel alignment (CKA). Hierbij werd gekeken naar hoe ruimtelijke tokens worden opgebouwd, waarbij een onderscheid werd gemaakt tussen de magnitude (de norm) en de richting van de tokens. De resultaten tonen een scherp contrast in hoe informatie wordt opgeslagen. In het geval van MambaOut wordt cruciale, klasse-onderscheidende informatie geconcentreerd in tokens met een hoge norm, die zich hoofdzakelijk in de voorgrond van een afbeelding bevinden. Dit komt overeen met wat men ziet bij Grad-CAM-attributies.
VMamba hanteert echter een geheel andere strategie. In dit model bevinden tokens met een hoge norm zich juist vaker in de achtergrondgebieden. De werkelijke signalen die bepalen tot welke klasse een object behoort, worden in VMamba niet bewaard in de magnitude, maar in de richting van de tokens. Deze ontdekking over de organisatie van semantische bewijslast is gedetailleerd beschreven in het onderzoek via .
Dit verschil in coderingsstrategie heeft directe gevolgen voor de stabiliteit van de modellen, zeker wanneer de resolutie van de beelden toeneemt. Bij het analyseren van de logit-ondersteuning werd vastgesteld dat VMamba informatie breed verspreidt over de objectregio's. MambaOut daarentegen leunt zwaar op een beperkt aantal dominante tokens. Deze afhankelijkheid maakt MambaOut minder stabiel naarmate het aantal tokens groeit, wat problematisch is bij beelden met een hoge resolutie. Voor taken zoals semantische segmentatie, waarbij pixels zeer nauwkeurig aan klassen moeten worden toegewezen, blijkt VMamba na volledige fine-tuning consistent superieur. Deze bevindingen zijn terug te vinden in de dataset van .
De conclusie van de onderzoekers is dat het voordeel van VMamba bij dichte voorspellingen (dense prediction) niet simpelweg voortkomt uit het gebruik van SSM's of de lengte van de sequenties. De kracht ligt in de specifieke manier waarop semantische informatie is verdeeld over de magnitude en richting van de tokens. Dit inzicht biedt nieuwe perspectieven voor het ontwikkelen van visuele backbones die efficiënter en nauwkeuriger moeten opereren in kritieke omgevingen, zoals bij autonome navigatie of medische beeldvorming. De volledige methodologie en de resultaten van de CKA-analyse zijn raadpleegbaar via de bron op .