De prestaties van grote taalmodellen (LLM's) zijn momenteel sterk afhankelijk van de exacte bewoording van een opdracht, een fenomeen dat bekendstaat als de invloed van de promptformulering. Kleine wijzigingen in hoe een vraag wordt gesteld, kunnen leiden tot aanzienlijk verschillende resultaten. Hoewel gebruikers dit vaak proberen op te lossen door handmatig prompts te optimaliseren, stelt onderzoeker Frederic Sadrieh dat deze aanpak inefficiënt is en een grote overhead veroorzaakt. In een publicatie via arxiv.org pleit hij voor een oplossing die direct in de trainingsfase van het model wordt geïntegreerd.
De beperkingen van traditionele tuning
Veel ontwikkelaars proberen de robuustheid van modellen te verhogen door tijdens de instructie-tuning meerdere parafrases van dezelfde opdracht toe te voegen. Sadrieh stelt echter vast dat deze methode niet optimaal werkt. Uit zijn analyse blijkt dat de gradiënten van verschillende parafrases elkaar vaak tegenwerken, wat leidt tot zogenaamde 'sign conflicts' bij 57% van de trainbare parameters. Wanneer men simpelweg het gemiddelde van deze gradiënten berekent, gaat ongeveer twintig procent van de magnitude verloren. Dit verklaart waarom bestaande methoden voor contrastieve alignment en dataconstructie niet consistent in staat zijn om de variantie per voorbeeld te verlagen.
Innovaties: Prompt-TIES en Prompt-DARE
Om deze interferentie tegen te gaan, zijn twee nieuwe technieken voor gradiënt-merging ontwikkeld: Prompt-TIES en Prompt-DARE. Deze methoden maken gebruik van specifieke operators die conflicten in gradiënten oplossen, vergelijkbaar met technieken die worden ingezet bij het samenvoegen van volledige modellen. Volgens de details in de is deze aanpak effectief in het verminderen van de lokale variantie.
Het onderzoek is uitgevoerd op vier verschillende modellen uit twee families en op twee schalen. Hieruit bleek dat de interactie tussen de promptformulering en specifieke voorbeelden gemiddeld verantwoordelijk is voor 54% van de variabiliteit per voorbeeld. Bij bepaalde taken, zoals WiC en ANLI, lag dit percentage zelfs boven de 70%. De nieuwe methoden slaagden erin deze variantie bij volledig gefinetunede modellen bijna te halveren, zonder dat de algemene nauwkeurigheid van het model in gevaar kwam.
De rol van prompt engineering
Terwijl wetenschappers werken aan architecturale oplossingen, vertrouwt de markt momenteel nog sterk op externe hulpmiddelen om de output van LLM's te stabiliseren. Er is een groeiende vraag naar systemen die ruwe ideeën kunnen transformeren tot precieze instructies. Zo biedt generateprompt.ai gratis instrumenten aan om professionele prompts te creëren voor modellen zoals Claude, Gemini en ChatGPT. Deze generatoren voegen context, rollen en beperkingen toe om de kwaliteit te verhogen, wat in feite een praktische workaround is voor het fundamentele probleem dat Sadrieh probeert op te lossen.
Academische context
Het project is voortgekomen uit een masterthesis aan het Hasso Plattner Institute en de Universiteit van Potsdam in 2026. De bevindingen werden gepresenteerd op de EMNLP 2026 conferentie in een paper getiteld "Prompt-Robust Language Models: Which Training Strategies Work?". Om de ontwikkeling van modellen die minder afhankelijk zijn van specifieke prompts te stimuleren, zijn zowel de volledige details als de bijbehorende code beschikbaar gesteld via .