Een groep onderzoekers van Poor Lab heeft aangetoond dat het pretrainen van een krachtig taalmodel mogelijk is tegen een fractie van de gebruikelijke kosten. Met het Puro-2B-project is een model ontwikkeld dat prestaties behaalt die vergelijkbaar zijn met gevestigde baselines, terwijl de kosten beperkt bleven tot een budget dat toegankelijk is voor kleinere labs en academische instellingen.
Het pretrainen van grote taalmodellen (LLM's) wordt vaak gezien als een proces dat onbetaalbaar is voor iedereen buiten de grootste techbedrijven. Volgens een recent rapport van arxiv.org kost het trainen van een model zoals Llama-3.2-3B meer dan 1,5 miljoen dollar, terwijl de reproductie van SmolLM3-3B een budget van ruim 700.000 dollar vereist. Om deze barrière te doorbreken, heeft Poor Lab een open pretraining-recept ontwikkeld waarmee modellen van grond af aan kunnen worden getraind op consumentenhardware.
Efficiëntie door hardware en techniek
De onderzoekers maakten gebruik van consumenten-GPU's van het type RTX 5090 om een collectie Puro-2B-modellen te trainen. Door gebruik te maken van FP8-precisie konden zij modellen trainen op hoeveelheden data tot 1,4 biljoen tokens. De meest succesvolle variant uit deze collectie werd getraind tegen compute-kosten van minder dan 6.900 dollar.
Deze kostenefficiëntie is volgens de auteurs van het rapport het resultaat van een specifieke combinatie van methoden. Naast de keuze voor consumentenhardware werden technieken ingezet zoals hyperball-optimalisatie, curriculum model averaging en een specifiek datarecept. In een analyse op kenashe.ai wordt benadrukt dat Puro-2B geen poging is om de absolute top van de 'frontier-modellen' te verslaan, maar eerder een bewijs dat een zorgvuldig ontworpen pijplijn prestaties kan leveren die dicht in de buurt komen van gerespecteerde baselines, zoals de Qwen2.5-1.5B, tegen kosten die vergelijkbaar zijn met het budget voor een high-end workstation.
De 'Puro Cost Scaling Law'
Een van de belangrijkste wetenschappelijke bijdragen van het project is de afleiding van de zogenaamde 'Puro Cost Scaling Law'. Deze wet legt een direct verband tussen de trainingskosten en de gemiddelde prestaties van het model. Uit de data blijkt dat een investering van ongeveer 4.400 dollar — en in ieder geval minder dan 5.090 dollar — voldoende is om de prestaties van Qwen2-1.5B te bereiken.
Daarnaast heeft het team een casestudy uitgevoerd naar de invloed van pretraining-dat curricula op de uiteindelijke prestaties na post-training. Omdat de onderzoekers toegang hadden tot de volledige pretraining-pijplijn en niet enkel tot de modelgewichten, konden zij gecontroleerde studies uitvoeren naar hoe de volgorde en selectie van data de output beïnvloeden.
Open source en toegankelijkheid
Om de drempel voor academisch onderzoek en open-source gemeenschappen verder te verlagen, heeft Poor Lab het volledige recept voor Puro-2B publiekelijk beschikbaar gesteld. Dit omvat de gebruikte data, de code en de modelgewichten. Zoals vermeld op huggingface.co, zijn deze materialen vrijgegeven onder de Apache 2.0-licentie.
Door het proces transparant en reproduceerbaar te maken, transformeert Puro-2B het pretrainen van kleine modellen van een prestigeproject voor kapitaalkrachtige labs naar een haalbare opdracht voor universiteiten en onafhankelijke onderzoekers. De resultaten, die op 3 september 2026 in een herziene versie op alphaxiv.org verschenen, onderstrepen de verschuiving naar hardware-toegankelijke AI-ontwikkeling.