In een tijdperk waarin kunstmatige intelligentie op grote schaal code genereert voor datapipe-lijnen, verschuift de prioriteit van het schrijven van code naar de verificatie ervan. Traditionele methoden zoals type-checks en steekproefsgewijze tests blijken volgens recent onderzoek vaak onvoldoende. Vooral inconsistenties in de granulariteit van data, ook wel de 'grain' genoemd, kunnen leiden tot foutieve aggregaties die onopgemerkt in systemen sluipen.
Om dit probleem aan te pakken, introduceert onderzoeker Nikos Karayannidis de methodologie Pipeline Denotational Design (PDD). Volgens een publicatie op arxiv.org hanteert deze benadering een 'design-first' filosofie. In plaats van direct te programmeren, worden pipelines ontwikkeld binnen een semantisch domein via een Pipeline Design Algebra. Dit systeem maakt gebruik van getypeerde operaties, waardoor een correct getypeerde compositie automatisch als 'grain-correct' wordt beschouwd.
Een essentieel kenmerk van PDD is dat de correctheid van het ontwerp kan worden vastgesteld zonder dat er daadwerkelijke data aan te pas komt. Dit proces verloopt via drie specifieke lagen: de vaststelling van de grain via een data-onafhankelijke berekening (CalcG), de controle van de behavioral class door een type-checker, en de verificatie van domeinregels via operatiecontracten. Hierdoor wordt de noodzaak voor uitgebreide tests die afhankelijk zijn van data sterk verminderd. De enige resterende controle is of de input voldoet aan de gestelde voorwaarden, waarvoor PDD automatisch verificatievragen in SQL of PySpark genereert.
Deze verschuiving heeft aanzienlijke gevolgen voor de rol van de data-engineer. Wanneer AI-agenten pre-geverifieerde patronen implementeren en machine-controleerbare certificaten aanleveren, hoeft de menselijke expert niet langer elke regel code te inspecteren. De focus verschuift naar het valideren van een compacte specificatie en het controleren van het bijbehorende certificaat. De methodiek is breed inzetbaar over diverse engines en kan variëren van runtime-checks tot formele bewijzen in talen zoals Agda of Lean 4.
Hoewel PDD zich richt op de digitale verwerking van informatie, is het concept van een pipeline fundamenteel in diverse sectoren. In de fysieke wereld wordt een pipeline gedefinieerd als een systeem voor het transport van vloeistoffen, zoals olie en gas, over grote afstanden, zoals beschreven door de nwegroup.no. Waar digitale pipelines draaien om de transformatie van data, draaien fysieke systemen om structurele integriteit en lekpreventie. Volgens britannica.com is pipeline-technologie essentieel voor de efficiënte distributie van grondstoffen.
Beide domeinen delen de noodzaak voor strikte validatie om catastrofale fouten te voorkomen. Terwijl fysieke ingenieurs vertrouwen op risico-analyses en inspecties, streeft PDD ernaar om digitale fouten wiskundig onmogelijk te maken door het ontwerp zelf als bewijs van correctheid te gebruiken. Het onderzoek naar PDD is nog gaande; de huidige versie op is een uitgebreide weergave van een project waarbij de experimentele evaluatie over verschillende datamodelleringsparadigma's nog wordt uitgevoerd.