Nieuwe software laat AI-modellen trainen op clusters met zowel NVIDIA- als AMD-GPU's — zonder noemenswaardig prestatieverlies. Dat is de belofte van HetCCL, een communicatiebibliotheek die onderzoekers nu hebben ontwikkeld.
Grote taalmodellen groeien razendsnel. Organisaties moeten hun rekenkracht daarom steeds verder uitbreiden. In de praktijk leidt dat vaak tot GPU-clusters met hardware van meerdere leveranciers. Maar bestaande deep learning-frameworks ondersteunen collectieve communicatie tussen die verschillende GPU's slecht. Het gevolg: hogere kosten en inefficiënte bedrijfsvoering.
🧠 Even simpel uitgelegd
Stel je een trainingscluster voor als een team dat samen een reusachtige puzzel maakt. Elke GPU is een teamlid. Tot nu toe konden alleen teamleden van hetzelfde 'merk' goed met elkaar praten. Een NVIDIA-GPU en een AMD-GPU spraken elkaars taal niet. HetCCL is als een tolk die tussen alle merken vertaalt — en dat zo snel dat het team gewoon in hetzelfde tempo doorwerkt.
Brug tussen NVIDIA en AMD
Onderzoekers ontwikkelden HetCCL als oplossing. Volgens een publicatie op arxiv.org is het een collectieve communicatiebibliotheek die vendor-specifieke back-ends verenigt. GPU's van verschillende fabrikanten wisselen zo data uit via RDMA-gebaseerde communicatie (Remote Direct Memory Access) — zonder aanpassingen aan de device-drivers.
De kracht zit in het hergebruik van bestaande, geoptimaliseerde bibliotheken: NVIDIA NCCL en AMD RCCL. Twee nieuwe mechanismen zorgen ervoor dat de software cross-vendor communicatie mogelijk maakt, terwijl de native optimalisaties van beide fabrikanten behouden blijven.
Slimme techniek, minimale impact
Het ontwerp richt zich op het minimaliseren van de impact op bestaande software. Zoals beschreven door emergentmind.com, is de bibliotheek te implementeren zonder wijzigingen in huidige deep learning-applicaties.
Volgens analyse van deeppaper.ai introduceert HetCCL verschillende mechanismen voor vendor-onafhankelijkheid. Die zorgen voor optimale datatransfer binnen heterogene clusters. Daarnaast bevat het systeem GPU-bewuste workload-balancering. Dat voorkomt dat tragere componenten in het cluster — zogenaamde 'stragglers' — het hele trainingsproces vertragen.
Prestaties en validatie
Uit evaluaties op multi-vendor GPU-clusters blijkt dat HetCCL in homogene omgevingen (alle GPU's van dezelfde fabrikant) presteert op het niveau van NCCL en RCCL. Het unieke voordeel komt pas in heterogene omgevingen naar boven: daar schaalt de bibliotheek effectief en maakt hoogwaardige training mogelijk met een combinatie van NVIDIA- en AMD-GPU's.
De resultaten zijn geaccepteerd voor presentatie op de NeurIPS 2026 conferentie. De auteurs, onder wie onderzoekers van Samsung Research en de Seoul National University (SNU), benadrukken dat deze aanpak een praktisch en kosteneffectief alternatief biedt voor organisaties die niet aan één hardwareleverancier gebonden willen zijn.
Breder plaatje: hardware-optimalisatie
HetCCL past in een bredere trend van software-optimalisaties voor diverse versnellers. Zo biedt moreh.io producten aan die de potentie van heterogene accelerators ontsluiten, waaronder frameworks voor inferentie en software-gedefinieerde geheugenstructuren voor cross-vendor GPU-transfers.
Door de barrières tussen GPU-architecturen weg te nemen, opent HetCCL de weg naar flexibelere infrastructuurkeuzes bij het trainen van de volgende generatie AI-modellen. De focus: maximale rekenkracht per dollar, door hardware-onafhankelijkheid te combineren met native prestaties.