Wetenschappers waarschuwen voor een groeiend probleem bij het gebruik van grote taalmodellen (LLM's) in het onderwijs: het fenomeen van 'overassistentie'. Hoewel kunstmatige intelligentie vaak wordt ingezet als digitale tutor om studenten te begeleiden bij complexe vraagstukken, blijkt uit recent onderzoek dat deze systemen te vaak en te vroeg interveniëren. Dit gedrag staat het diepere leerproces en de noodzakelijke cognitieve inspanning van de leerling in de weg.
Om dit gedrag objectief te kunnen meten, hebben onderzoekers een specifiek evaluatiekader ontwikkeld genaamd Int-Bench. Volgens de publicatie arxiv.org gaat het hier om een simulatie-gebaseerde benchmark die is ontworpen om de interventiestrategieën van AI-modellen te analyseren. In deze simulaties wordt een scenario gecreëerd waarbij een AI-model de rol van leraar aanneemt en het redeneerproces van een virtuele student monitort. De onderzoekers testen hierbij wanneer en hoe het model besluit in te grijpen om hulp te bieden.
Het onderzoek richtte zich op drie specifieke domeinen: het oplossen van wiskundige problemen, het debuggen van computercode en het beantwoorden van raadsels. Hierbij werd gekeken naar de balans tussen het onmiddellijke succes van de taak en het vermogen van de student om de opgedane kennis later toe te passen op nieuwe situaties. Uit de data blijkt dat AI-systemen een fundamenteel andere aanpak hanteren dan menselijke instructeurs.
In een analyse van het stanford.edu wordt gesteld dat LLM's aanzienlijk vaker en vroeger ingrijpen dan mensen. Waar een menselijke tutor vaak kiest voor indirecte begeleiding of subtiele hints om de student zelf tot een oplossing te laten komen, neigen AI-assistenten ertoe om direct de volledige oplossing te verstrekken. Dit betekent dat de AI vaak hulp biedt op momenten dat de student waarschijnlijk zelfstandig het juiste antwoord had kunnen vinden, waardoor de intellectuele uitdaging wegvalt.
De conclusie van de onderzoekers is dat huidige AI-modellen primair zijn geoptimaliseerd voor succes op de korte termijn. Het doel van het systeem lijkt het zo snel mogelijk correct oplossen van de taak te zijn, in plaats van het maximaliseren van het leerrendement. Zoals beschreven in de arxiv.org van het project, leidt deze overmatige hulp niet tot een consistente verbetering in het vermogen van studenten om soortgelijke problemen in de toekomst zelfstandig op te lossen.
De studie, die is geschreven door auteurs waaronder Verona Teo, Raghav Jain, Tobias Gerstenberg en Max Kleiman-Weiner, benadrukt dat de huidige generatie AI-tutors de subtiele balans tussen ondersteuning en uitdaging mist. Volgens de details in de stanford.edu is dit een cruciaal punt voor de ontwikkeling van effectieve educatieve software. De auteurs pleiten voor de ontwikkeling van systemen die het menselijke redeneerproces actief ondersteunen zonder het volledig over te nemen, zodat de cognitieve betrokkenheid van de leerling gewaarborgd blijft.