Een team van onderzoekers heeft een nieuw wetenschappelijk raamwerk voorgesteld dat probeert bijna alle visuele taken binnen de computer vision te verenigen onder één enkele methodologie. De zogenaamde 'Unified Law for Visual Tasks' beoogt een universeel trainingsmodel te creëren dat vergelijkbaar is met de impact van grote taalmodellen op de natuurlijke taalverwerking.
In een recent gepubliceerd wetenschappelijk artikel op het platform arxiv.org presenteren Sen Fang en negen andere auteurs een ambitieuze hypothese over de toekomst van beeldverwerking. Het centrale doel van hun onderzoek is het mogelijk maken van een enkel framework dat uniform getraind kan worden om vrijwel alle visuele taken uit te voeren. Dit raamwerk wordt onderverdeeld in wat de auteurs de 'Four Laws of Computer Vision' noemen.
De visie van World Snapshot Models
De kern van de voorgestelde theorie rust op de aanname dat informatie uit de fysieke wereld wordt gecodeerd in beelden, die de onderzoekers 'World Snapshots' noemen. Volgens de auteurs van het betekent dit dat het verwerken van beelden in feite neerkomt tot het verwerken van de wereld zelf, en dat het genereren van beelden gelijkstaat aan het genereren van deze wereldsnapshots.
De onderzoekers stellen voor om alle visuele en visualisatietaken te herformuleren als generatieve taken. Door deze benadering kan een uniform systeem, genaamd de World Snapshot Models (WSMs), de overgrote meerderheid van de visuele taken overnemen. De auteurs trekken hierbij een parallel met de manier waarop grote taalmodellen (LLM's) de natuurlijke taalverwerking grotendeels hebben geünificeerd.
Empirische validatie en reikwijdte
Om hun theorie te onderbouwen, hebben de wetenschappers hun wetten getest over een breed scala aan toepassingen. In de wordt vermeld dat het model is gevalideerd over meer dan 1.000 getrainde en geëvalueerde visuele taken. Deze taken zijn gedefinieerd door verschillende input-output koppelingen, wat de breedte van het voorgestelde framework onderstreept.
Het project is geen recent incidenteel resultaat, maar een langdurig proces. Uit de blijkt dat het werk aan dit project reeds in december 2024 is gestart. De auteurs presenteren hun resultaten als een empirisch artikel dat een nieuwe standaard wil zetten voor toekomstig onderzoek en praktische toepassingen binnen de computer vision.
Intellectueel eigendom en toegankelijkheid
Naast de theoretische bijdrage is er ook aandacht besteed aan de juridische en praktische implementatie van de technologie. In de wordt aangegeven dat er een octrooi in aanvraag is, met Sen Fang en Dimitris N. Metaxas als uitvinders.
Om de wetenschappelijke gemeenschap in staat te stellen de resultaten te verifiëren en verder te ontwikkelen, hebben de onderzoekers diverse digitale kanalen ontsloten. Zo is er een projectpagina beschikbaar, evenals repositories op GitHub en Hugging Face, zoals vermeld in de .
Context van unificatie
Het streven naar een 'unified' of geünificeerde aanpak is een terugkerend thema in de wetenschap. In algemene zin verwijst de term 'unified' naar zaken die zijn samengebracht, gecombineerd of verenigd, zoals beschreven in het cambridge.org. In de context van dit onderzoek betekent dit dat versnipperde methoden voor verschillende visuele taken worden vervangen door één samenhangend geheel.
Door visuele taken te reduceren tot generatieve processen, hopen de onderzoekers de complexiteit van computer vision te verminderen en een schaalbaar model te bieden dat in staat is om diverse visuele problemen binnen één architectuur op te lossen.