Onderzoekers hebben CityPaint ontwikkeld, een innovatief framework dat gebruikmaakt van 2D-diffusiemodellen om hoogwaardige 3D-texturen voor volledige steden te genereren zonder dat daarvoor specifieke 3D-trainingsdata nodig zijn.
Het creëren van gedetailleerde 3D-omgevingen op schaal van een stad is een essentiële component voor diverse moderne technologieën. Toepassingen variëren van virtual reality en gaming tot de ontwikkeling van stedelijke 'digital twins'. Een groot struikelblok binnen dit vakgebied is echter het tekort aan beschikbare 3D-trainingsdata van echte steden. Volgens een wetenschappelijke publicatie op arxiv.org dwingt dit tekort bestaande methoden vaak tot het samenvoegen van losse objecten of het gebruik van synthetische data, wat ten koste gaat van het realisme en de globale consistentie van het eindresultaat.
De werking van CityPaint
Om dit probleem op te lossen, stellen Yuchen Zou en collega-onderzoekers het framework CityPaint voor. In plaats van te vertrouwen op schaarse 3D-datasets, maakt CityPaint gebruik van de overvloed aan 2D-afbeeldingen en de bijbehorende generatieve modellen. Deze 2D-modellen bevatten rijke visuele informatie die door CityPaint wordt vertaald naar een driedimensionale context.
Het systeem integreert geometrische voorkeuren met de kracht van 2D-diffusiemodellen. Een kernonderdeel van deze aanpak is de introductie van een zogenaamde 'top-K camera baking strategy'. Deze strategie maakt een iteratieve projectie van texturen mogelijk, waardoor de visuele samenhang over het gehele stadsmodel behouden blijft.
Optimalisatie en verfijning
Een terugkerend probleem bij het projecteren van 2D-beelden naar 3D-modellen is het ontstaan van visuele fouten of artefacten. Om dit tegen te gaan, hebben de makers van CityPaint een 'decoupled refinement mechanism' ontwikkeld. Dit mechanisme zorgt ervoor dat de texturen van het terrein en die van de gebouwen afzonderlijk van elkaar worden geoptimaliseerd.
Uit uitgebreide experimenten blijkt dat CityPaint in staat is om texturen te produceren die zowel globaal coherent zijn als voorzien zijn van fijne lokale details. In vergelijking met sterke baselines presteert het framework gunstig op het gebied van visuele kwaliteit en consistentie tussen verschillende aanzichten, zoals beschreven in de .
Academische erkenning
Het onderzoek naar CityPaint is niet alleen gepubliceerd op de preprint-server arXiv, maar is ook officieel geaccepteerd voor presentatie op de ACM Multimedia 2026. De auteurs van het werk, waaronder Lihuang Fang, Siyu Zhu en Xiao Hu, positioneren hun werk binnen de vakgebieden van computer vision, patroonherkenning en kunstmatige intelligentie.
Door de afhankelijkheid van specifieke 3D-trainingsdata weg te nemen, biedt CityPaint een efficiëntere route naar het genereren van geloofwaardige digitale steden. De methode wordt in de publicatie op omschreven als een "free lunch", verwijzend naar het feit dat men nu kan profiteren van bestaande 2D-generatieve modellen om complexe 3D-problemen op te lossen.
De volledige details over de implementatie en de resultaten van de experimenten zijn terug te vinden in de . De publicatie verscheen op 20 oktober 2026 en markeert een stap voorwaarts in hoe AI kan worden ingezet voor grootschalige architecturale visualisaties.