⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
NVIDIA Nemotron 3.5 Super presteert beter door reinforcement learning op expert-datasets

NVIDIA Nemotron 3.5 Super presteert beter door reinforcement learning op expert-datasets

Onderzoekers hebben aangetoond dat het post-trainen van het AI-model Nemotron 3.5 Super met behulp van reinforcement learning (RL) op gespecialiseerde datasets leidt tot significante prestatieverbeteringen in complexe taken zoals software engineering en documentanalyse.

In een recent gepubliceerd wetenschappelijk rapport is onderzocht hoe NVIDIA's Nemotron 3.5 Super reageert op specifieke trainingstrajecten. Het model, dat in totaal 120 miljard parameters heeft waarvan er 12 miljard actief zijn, is onderworpen aan post-training via reinforcement learning. Hierbij is gebruikgemaakt van vijf verschillende datasets die door experts zijn samengesteld, waarbij elke dataset afzonderlijk is getraind.

Focus op gespecialiseerde vaardigheden

De training richtte zich op vijf specifieke domeinen: software engineering in echte scenario's, het hanteren van complexe restricties, tool-gebruik over een langere periode, het begrijpen van professionele grafieken en redeneren over bedrijfsdocumenten. Volgens de publicatie op arxiv.org werd voor elke run een nieuwe rank-32 LoRA-adapter getraind met CISPO op Tinker. Opvallend is dat er in dit proces geen gebruik is gemaakt van een supervised stage.

De resultaten van deze adapters werden vervolgens vergeleken met het basismodel onder identieke instellingen en benchmarks. De data tonen aan dat de RL-benadering op expert-datasets effectief is in het dichten van specifieke kennis- en vaardigheidskloven die het basismodel vertoonde.

Kwantitatieve resultaten en benchmarks

De verbeteringen werden gemeten over twaalf verschillende benchmarks, waarvan er vier door Surge AI zijn ontwikkeld en acht door externe groepen. De winst in prestaties varieerde van een stijging van 4,5 punten op IFBench tot een aanzienlijke sprong op GDP_pdf, waar de score steeg van 10,4% naar 24,2%.

Andere significante resultaten die in het worden genoemd, zijn:
- SWE-bench Pro V2: Een stijging van 86,9% naar 92,1%.
- Terminal-Bench 2.1: Een toename van 63,9% naar 70,3%.
- MultiChallenge: Een stijging van 58,3% naar 66,6%.
- AutomationBench: Een groei van 14,8% naar 27,5%.
- Chartography: Een verbetering van 39,4% naar 50,6%.

Interessant is dat de adapter voor documenten, die zonder API-tools is getraind, nog steeds een winst van 8,0 punten behaalde op AutomationBench.

Analyse van modelgedrag

Naast de cijfers hebben de onderzoekers gekeken naar de kwalitatieve verschillen tussen het basismodel en de getrainde adapters. Hierbij werd vastgesteld dat de adapters vaker oplossingen vonden voor problemen waar het basismodel herhaaldelijk faalde.

Specifieke gedragsveranderingen per adapter zijn gedocumenteerd in de . De tool-use adapter is bijvoorbeeld beter in het identificeren van regels en data voordat er actie wordt ondernomen. De coding adapter begon zelfstandig testbestanden of scratch-files aan te maken binnen SWE-bench Pro V2. Daarnaast bleek de constraints-adapter beter in staat om informatie uit eerdere interacties te behouden in de antwoorden.

Voor visuele en tekstuele data bleek de chart-adapter markeringen in code te kunnen meten, terwijl de document-adapter effectiever werd in het lezen van spreadsheets binnen AutomationBench.

Context van expertise

Het gebruik van "expert-built tasks" is cruciaal in dit onderzoek. Hoewel de technische details in de centraal staan, onderstreept de methodiek de waarde van hoogwaardige data. In algemene termen wordt een expert, zoals gedefinieerd door het cambridge.org, beschouwd als een persoon met een hoog niveau van kennis of vaardigheid op een specifiek gebied. Door RL toe te passen op data die dit niveau van expertise weerspiegelt, kon het model Nemotron 3.5 Super specifieke professionele vaardigheden aanleren die in de standaard training ontbraken.

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!