Onderzoekers hebben aangetoond dat het mogelijk is om moderne grote taalmodellen (LLM's) efficiënt te draaien op verouderde hardware. Door een cluster van 128 tweedehands V100-GPU's te bouwen, konden zij het LLaMA-70B model bedienen tegen een fractie van de kosten van nieuwe systemen, al kleven er aanzienlijke ecologische nadelen aan.
In een recent onderzoek, gepubliceerd op arxiv.org, hebben wetenschappers onderzocht of functionele GPU's die door datacenters worden afgedankt, een productief 'tweede leven' kunnen leiden. De onderzoekers, waaronder Zeyu Cao en Ilia Shumailov, bouwden hiervoor de zogenaamde 'DumpsterCluster'. Dit systeem bestaat volledig uit tweedehands componenten en werd gedurende een jaar operationeel gehouden om de haalbaarheid van LLM-inferentie op oudere hardware te testen.
Economische voordelen en prestaties
De financiële resultaten van het project zijn opvallend. Volgens berichtgeving van uncensoredhub.ai kostte de constructie van de DumpsterCluster ongeveer 22.000 dollar. Ter vergelijking: een modern systeem met acht B200-GPU's kost op de huidige markt circa 600.000 dollar. Hiermee bedroegen de kosten van het tweedehands cluster slechts 3,6% van die van de nieuwste hardware.
Ondanks de verouderde architectuur van de gebruikte V100-acceleratoren, slaagde het team erin om een competitieve doorvoer (throughput) voor het LLaMA-70B model te realiseren. Dit werd bereikt door het toepassen van specifieke optimalisaties in de zogenaamde 'pipeline-parallel' verwerking. Volgens de details op learnijoy.com bewijst dit dat dergelijke systemen technisch gezien levensvatbaar zijn voor productieomgevingen, mits de juiste softwarematige aanpassingen worden gedaan.
De keerzijde: Energie en milieu
Hoewel de aanschafkosten laag zijn, wijst het onderzoek op kritieke afhankelijkheden wat betreft energieverbruik en duurzaamheid. Oudere GPU's verbruiken aanzienlijk meer energie per gegenereerd token dan moderne generaties hardware. Dit betekent dat de totale eigendomskosten (Total Cost of Ownership) alleen gunstig uitvallen in regio's waar elektriciteit zeer goedkoop is.
De ecologische impact is volgens de publicatie op papers.cool zorgwekkend wanneer er gebruik wordt gemaakt van een gemiddeld elektriciteitsnet. De totale CO2-uitstoot per token ligt bij tweedehands systemen ongeveer vier keer hoger voor 8B-modellen en zelfs meer dan 40 keer hoger voor 70B-modellen in vergelijking met actuele hardware.
Strategische inzet van hardware
De conclusie van de onderzoekers is dat het hergebruiken van GPU's niet universeel duurzaam is. Hardware-repurposing moet strategisch worden gekoppeld aan energiebronnen met een lage koolstofintensiteit. Wanneer deze systemen echter worden ingezet in regio's met een gunstige energie-economie en schone elektriciteit, bieden tweedehands GPU's een toegankelijk pad om de AI-capaciteit uit te breiden.
Op platforms zoals huggingface.co wordt opgemerkt dat het gebruik van zeer oude hardware weliswaar mogelijk is voor relatief grote modellen, maar dat dit gepaard gaat met een aanzienlijke vermindering van de doorvoersnelheid in vergelijking met moderne standaarden. Het onderzoek benadrukt hiermee de noodzaak van een balans tussen betaalbaarheid, energiezekerheid en milieuverantwoordelijkheid bij het opschalen van AI-infrastructuur.