AI kan prachtige teksten schrijven. Maar kan het ook een rapport exact in dezelfde vorm gieten als een vorige editie — met alleen nieuwe cijfers en feiten? Dat is precies wat een nieuwe benchmark met de naam FRAME gaat testen.
In veel sectoren is dat een vaste gewoonte: elke nieuwe versie van een rapport volgt exact dezelfde structuur als de vorige. Alleen de feitelijke inhoud verandert. Onderzoekers noemen dit 'form-restricted report generation'. Zij onderzochten of AI dit kan namaken en publiceerden hun studie op 6 november 2026 via arxiv.org. De opdracht voor de modellen: neem een voorbeeldrapport en herschrijf het op basis van nieuwe brondocumenten — zonder ook maar iets aan de vorm te veranderen.
Hoe de FRAME-benchmark is opgebouwd
Nan Jiang en zes andere auteurs ontwikkelden de benchmark. De dataset bestaat uit 120 instanties, afgeleid van arXiv en EDGAR. Die zijn verdeeld over vier categorieën:
- Financiële kwartaalrapporten
- Financiële jaarverslagen
- Eenvoudige academische rapporten
- Complexe academische rapporten
De benchmark is gebouwd met een 'temporal three-snapshot pipeline'. Daarmee simuleren de onderzoekers hoe rapporten in de loop van de tijd evolueren — en kunnen ze exact toetsen of een model die evolutie correct doorvoert.
Hoe werd er gemeten?
De prestaties van de taalmodellen werden gemeten met drie door mensen gevalideerde statistieken:
- Structurele gelijkenis — via een 'semantic tree-edit distance'
- Dekking — via 'information unit recall'
- Getrouwheid aan de bronnen — via verificatie van claims op claimniveau
De resultaten: structuur lukt, feiten blijven lastig
De grootste kloof zit tussen open-source en betaalde (propriëtaire) modellen. Open-source modellen behouden de structuur vrijwel even goed als de betaalde varianten. Maar op het gebied van dekking en feitelijke getrouwheid blijven ze duidelijk achter.
Nog twee opvallende trends. Alle geteste modellen presteerden aanzienlijk beter bij financiële rapporten dan bij academische rapporten. En naarmate de gewenste output langer wordt, of de brondocumenten complexer zijn, verslechteren de prestaties.
Wat betekent dit voor de praktijk?
De relevantie voor de zakelijke wereld is groot. Consistente rapportages zijn cruciaal voor compliance en transparantie, zeker in de financiële sector.
De volledige methodologie en de scores van de vijf geteste LLM's staan in de PDF van de studie. Met FRAME willen de onderzoekers een standaard zetten voor toekomstige evaluaties van AI-gestuurde rapportage.