Wetenschappers hebben een innovatieve neurale operator ontwikkeld die de prestaties van grootschalige pre-training voor partiële differentiaalvergelijkingen (PDE's) aanzienlijk kan verbeteren. De nieuwe methode, die de naam SPEAR draagt, maakt gebruik van een specifieke architectuur genaamd Mixture-of-Experts (MoE) om complexere natuurkundige processen nauwkeuriger te modelleren.
In een wetenschappelijke publicatie op arxiv.org leggen Dengdi Sun en zijn medewerkers uit hoe SPEAR de generalisatie van modellen over diverse PDE's optimaliseert. Deze wiskundige vergelijkingen vormen de basis voor het begrijpen van talloze fysische fenomenen, maar het trainen van AI-systemen die deze processen consistent kunnen voorspellen, is technisch zeer uitdagend.
Aanpak van kennisinterferentie
Volgens de auteurs van het onderzoek kampen huidige fundatiemodellen voor PDE's vaak met problemen bij het verwerken van heterogene dynamiek. Een belangrijk knelpunt is 'kennisinterferentie', waarbij verschillende patronen binnen gedeelde representaties elkaar tegenwerken. Daarnaast stellen de onderzoekers in hun vast dat Mixture-of-Experts-architecturen vaak last hebben van een toenemende redundantie van experts, wat de algehele efficiëntie van het systeem ondermijnt.
Om deze problemen op te lossen, implementeert SPEAR een techniek voor spectrale ontkoppeling. Hierbij worden latente kenmerken gesplitst in componenten met een lage en een hoge frequentie. Deze methodiek stelt het model in staat om enerzijds overdraagbare dynamiek gezamenlijk te verwerken en anderzijds zeer specifieke patronen te leren die uniek zijn voor bepaalde PDE's.
Efficiëntere aggregatie van experts
Een kernpunt van de SPEAR-architectuur is de kennisgestuurde strategie voor het aggregeren van experts. In plaats van een overschot aan redundante componenten te accepteren, analyseert het systeem de gelijkenis tussen experts. Dit gebeurt op basis van de routeringsvoorkeuren en de kennis die is opgedaan uit specifieke datasets. Door vergelijkbare experts te identificeren en samen te voegen, wordt het model gestroomlijnd.
De resultaten van deze aanpak zijn opvallend. Uit de experimenten blijkt dat de aggregatiestrategie het aantal experts met 50% kan reduceren. Ondanks deze aanzienlijke vermindering in omvang blijft de nauwkeurigheid van de voorspellingen behouden of wordt deze zelfs verbeterd. De onderzoekers claimen hiermee een optimaal evenwicht te hebben bereikt tussen de rekenkracht van het model en het vermogen om te generaliseren.
Validatie en resultaten
De effectiviteit van de nieuwe operator is getest met twaalf verschillende PDE-datasets en diverse benchmarks. De resultaten, zoals beschreven in de , tonen superieure prestaties aan op drie cruciale vlakken: het initiële leerproces tijdens de pre-training, de snelheid en precisie bij fine-tuning voor specifieke taken, en het vermogen tot transfer learning, waarbij kennis wordt toegepast op nieuwe scenario's.
Hoewel de term "spear" in een algemene context, zoals gedefinieerd door het cambridge.org, verwijst naar een scherp wapen of een plantenstengel, fungeert het in dit geval als een acroniem voor de neurale operator. De focus van het project ligt volledig op de computationele vooruitgang binnen de computerwetenschappen en de wiskundige modellering van fysische systemen.