Onderzoekers hebben GESTALT ontwikkeld, een innovatieve methode die genetische data transformeert naar visuele weergaven van weefsels. De techniek maakt gebruik van bestaande fundatiemodellen voor pathologie om sneller en nauwkeuriger beelden te genereren dan voorgaande systemen.
In de medische wetenschap stelt ruimtelijke transcriptomica onderzoekers in staat om genexpressie te meten terwijl de exacte locatie van elke cel in het weefsel behouden blijft. Hoewel deze techniek waardevol is, bleef de omgekeerde vraag — hoe een specifieke transcriptomische staat er visueel uitziet — minder onderzocht. Volgens een publicatie op arxiv.org biedt de nieuwe methode GESTALT een oplossing om de morfologische gevolgen van een moleculaire staat te visualiseren en moleculaire data te interpreteren aan de hand van de werkelijke weefselstructuur.
Efficiëntere synthese via fundatiemodellen
Voorafgaand aan GESTALT werd GeneFlow beschouwd als de standaard op de Xenium-benchmark voor het omzetten van genexpressie naar beelden. Een nadeel van dit systeem was dat het model vanaf nul moest worden getraind, wat leidde tot hoge kosten bij elke nieuwe dataset. GESTALT pakt dit anders aan door de synthese te herformuleren als het voorspellen van een beeld-embedding van een fundatiemodel voor pathologie.
Het systeem maakt gebruik van een lichtgewicht 'gene-token transformer' die de embedding voorspelt op basis van genexpressie van meerdere cellen. Vervolgens rendert een diffusie-decoder, genaamd PixCell, deze informatie als een beeld. Omdat GESTALT gebruikmaakt van reeds bestaande visuele kennis in plaats van deze opnieuw aan te leren, kan het model in een fractie van de tijd worden getraind, zoals beschreven in de .
Prestaties en generalisatie
De resultaten van GESTALT overtreffen de huidige stand van de techniek op basis van perceptuele metrieken over drie verschillende Xenium-datasets, zowel in multi-cel als in single-cel scenario's. Een belangrijk technisch voordeel is dat het systeem standaard beelden synthetiseert op een resolutie van 1024 x 1024 pixels.
De onderzoekers, waaronder Felix Ho, Alexandros Graikos en Dimitris Samaras, hebben de methode geëvalueerd in drie specifieke generalisatie-instellingen:
1. Zero-shot transfer over verschillende datasets en genpanelen.
2. Toepassing op patiënten en ziektestaten die niet in de trainingsset voorkwamen.
3. Transfer tussen verschillende studies en weefselbronnen.
Bovendien stelt GESTALT, in combinatie met een statistisch model van ruimtelijke expressie, onderzoekers in staat om voor het eerst gepaarde synthese te creëren van cel-opgeloste transcriptomische velden en weefselbeelden. Hierbij is er expliciete controle mogelijk over de compositie, dichtheid en het type cel.
Context en erkenning
Het project is officieel geaccepteerd voor presentatie op de WACV 2027. De volledige documentatie, bestaande uit een hoofdartikel van acht pagina's en aanvullend materiaal, is beschikbaar gesteld via .
Hoewel de naam GESTALT in deze context verwijst naar een technisch AI-model, is de term historisch geworteld in de psychologie. De Gestaltpsychologie, zoals uitgelegd door simplypsychology.org, is een stroming die stelt dat de menselijke geest structuren als een geheel waarneemt, waarbij het geheel andere eigenschappen heeft dan de som van de individuele delen. Deze holistische benadering van perceptie, gestart in het begin van de 20e eeuw door denkers als Max Wertheimer, vormt de theoretische basis voor hoe we patronen en configuraties interpreteren.
Voor verdere informatie over terminologie of definities kunnen bronnen zoals merriam-webster.com geraadpleegd worden, hoewel de specifieke toepassing van GESTALT in dit geval strikt binnen het domein van de computer vision en pathologie valt.