Wetenschappers hebben een nieuw AI-model genaamd BEAST ontwikkeld dat een significante sprong voorwaarts betekent voor de nauwkeurigheid van atmosferische voorspellingen. Het model, een zogenaamde Bayesian Swin Transformer, is in staat om zowel aleatorische als epistemische onzekerheden nauwkeurig te kwantificeren bij een wereldwijde resolutie van 0,25 graad. Deze ontwikkeling kan leiden tot een betere voorspelling van extreme weersomstandigheden en een efficiëntere inzet van rekenkracht in de klimaatwetenschappen.
Technologische innovatie en 4D-parallellisme
De implementatie van Bayesiaanse neurale netwerken op exascale-niveau brengt complexe computationele uitdagingen met zich mee. Om deze knelpunten te overwinnen, hebben de onderzoekers een orthogonaal 4D-parallellisatieschema ontwikkeld. Volgens een publicatie op arxiv.org introduceert deze methode een unieke strategie voor domein-tensor-parallellisme en een nieuwe methode voor onzekerheidsparallellisme. Hierdoor kan de volledige capaciteit van GPU's worden benut, wat essentieel is voor het opschalen van de training van dergelijke omvangrijke modellen.
De schaal van de operatie is aanzienlijk. Voor een model met 2,4 miljard parameters werd een piekprestatie van 3,96 EFLOP/s bereikt. Dit werd gerealiseerd door het gebruik van 20.480 NVIDIA GH200 GPU's op de JUPITER-supercomputer. In de praktijk werd BEAST getraind als een model met 700 miljoen parameters, waarbij gebruik werd gemaakt van 96 willekeurige gewichtssamples op 384 nodes. De training besloeg data over een periode van 40 jaar en omvatte bijna één miljoen gradiënt-updates, zoals beschreven in de documentatie op papers.cool.
Prestaties en voorspellende kracht
De resultaten van BEAST zijn concurrerend met de huidige state-of-the-art probabilistische AI-modellen en traditionele numerieke modellen. Een van de meest opvallende voordelen is de snelheid waarmee het model grote ensembles kan genereren; dit gebeurt drie tot vier keer sneller dan bij het huidige beste AI-model. Bovendien vertoont het model een uitzonderlijk vermogen om extreme weerevenementen te voorspellen.
Deze vooruitgang past in een bredere trend binnen de meteorologie. Zo stelt een artikel in het springer.com dat moderne weersvoorspellingen steeds vaker steunen op een integratie van observationele systemen, numerieke modellering en kunstmatige intelligentie. De wiskundige fundamenten van de atmosferische dynamiek worden hierbij steeds vaker aangevuld met machine learning-benaderingen om de nauwkeurigheid van voorspellingen te verhogen.
Samenwerking en wetenschappelijke impact
Aan de ontwikkeling van BEAST was een internationaal consortium van experts betrokken. De auteurslijst bevat onderzoekers van het Karlsruhe Institute for Technology in Duitsland, het Forschungszentrum Jülich, het Finse IT-centrum voor wetenschap (CSC) en NVIDIA in Zwitserland, zoals vermeld in de details op .
De bijdrage van dit team ontsluit het potentieel voor hoogwaardige onzekerheidskwantificering in atmosferische AI-modellen. Dit wordt gezien als het begin van een nieuw tijdperk voor AI-gebaseerde modellen binnen de klimaat- en aardwetenschappen. Hoewel andere platforms zoals copernicus.org zich richten op diverse statistische emulatoren voor regionale klimaatindicatoren, biedt de 4D-parallelle aanpak van BEAST een specifieke oplossing voor de rekenintensieve aard van Bayesiaanse netwerken op globale schaal.