Je telefoon gaat over. Je neemt niet op. Een AI-secretaris doet het voor je — maar praat die agent wel zoals jij zou willen? Wetenschappers hebben daarvoor een nieuwe test ontwikkeld: CallScreenBench. Het evaluatiekader meet hoe goed kleine taalmodellen (SLM's) functioneren als digitale telefoonsecretarissen die direct op een smartphone draaien en onbekende oproepen afhandelen namens de gebruiker.
In een publicatie via arxiv.org leggen de onderzoekers uit waarom deze benchmark anders werkt dan traditionele AI-tests. Waar veel systemen worden beoordeeld op het simpelweg voltooien van een taak, kijkt CallScreenBench naar de acceptatie door de eigenaar van het toestel. Een digitale secretaris moet immers omgaan met bellers die eigen, soms zelfs kwaadaardige, intenties hebben. De kernvraag: gaat de gebruiker akkoord met de manier waarop de AI het gesprek leidde?
Het onderzoek richt zich puur op de tekstuele beslissingslaag van het gesprek. Factoren zoals de snelheid van de hardware, audio-interacties en spraakherkenning zijn bewust buiten de scope gelaten. Voor de tests werden drie verschillende modelfamilies ingezet, met checkpoints die variëren van 0,6 tot 4 miljard parameters.
Uit de resultaten blijkt dat grotere modellen over het algemeen beter presteren op plausibiliteit, recall en service. Een complex punt blijft de detectie van scam-oproepen. De auteurs merken op dat een model dat simpelweg elke beller wantrouwt, een hoge score kan behalen bij het detecteren van fraude. Om dat te voorkomen, scheidt CallScreenBench de kwaliteitsmetingen van de beveiligingsdiagnostiek. Zo blijft de balans tussen behulpzaamheid en waakzaamheid transparant.
Terwijl de technologie voor on-device AI versnelt, is er in de consumentenmarkt een opvallende tegenbeweging gaande. Volgens berichtgeving van techadvisor.com kiezen in 2026 steeds meer mensen voor klassieke telefoons met fysieke toetsenborden. Deze voorkeur voor modellen zoals de BlackBerry past in een bredere beweging van 'digitale detox'. Er zijn zelfs nieuwe toestellen op de markt, zoals de Q20 Classic, die een nostalgisch ontwerp combineren met Android 13.
Deze tegenstrijdige ontwikkeling laat zien dat de mobiele sector in twee richtingen beweegt: enerzijds naar maximale automatisering via intelligente agenten, anderzijds naar een bewuste terugkeer naar eenvoudige hardware. De heropleving van klassieke modellen is volgens techadvisor.com een reactie op de digitale overprikkeling.
Om de prestaties van de AI-secretarissen nauwkeurig in kaart te brengen, maakt CallScreenBench gebruik van vijf geautomatiseerde meetgroepen. De onderzoekers hebben bewust afgezien van een algemene totaalscore of een leaderboard. Daarmee willen ze voorkomen dat de cruciale afweging tussen veiligheid en functionaliteit wordt gereduceerd tot één enkel cijfer. Daarnaast zijn er specifieke tests ontwikkeld voor 'guardedness': hoe agenten reageren zonder toegang tot externe tools of persoonlijke gegevens.