Binnen de wereld van machine learning vormen Graph Neural Networks (GNN's) een cruciale technologie voor het analyseren van complexe netwerken. Een hardnekkige uitdaging bij conventionele GNN's is echter de vaste diepte van het model. Wanneer een systeem is getraind op kleine grafieken, stuit het vaak op problemen bij de verwerking van grotere datasets, omdat de reikwijdte van de informatievoorziening en de benodigde berekeningen de tijdens de training vastgelegde limieten overschrijden.
Looped GNN's voor schaalbare generalisatie
Om dit probleem van vaste diepte aan te pakken, hebben onderzoekers onder leiding van Zhiyang Wang een nieuwe benadering ontwikkeld. In de publicatie arxiv.org wordt de 'looped GNN' geïntroduceerd. In tegenstelling tot traditionele modellen die werken met een vaste reeks lagen, maakt dit systeem gebruik van een lokale update-regel die via pretraining wordt aangeleerd.
Deze geleerde processor kan herhaaldelijk worden toegepast, zelfs wanneer de diepte de oorspronkelijke trainingslimieten overschrijdt. Hierdoor kan informatie over grotere afstanden binnen een grafiek worden verspreid zonder dat het volledige model opnieuw getraind moet worden. Om de efficiëntie te verhogen, introduceerden de auteurs de Loop-Freeze-Steer (LFS) methode. Hierbij blijft de pretrained processor bevroren, terwijl een compacte controller wordt getraind om de herhaalde toepassingen te sturen. Volgens de auteurs van het arxiv.org minimaliseert deze aanpak het aantal trainbare parameters, terwijl de nauwkeurigheid bij het opschalen naar grotere grafieken behouden blijft. De effectiviteit van deze methode is aangetoond via experimenten met chip-plaatsing en synthetische taken.
Adaptieve diepte bij node-classificatie
Naast de totale omvang van grafieken is er ook aandacht voor de variatie in lokale structuren. In een studie gepresenteerd tijdens de AAAI-conferentie hebben Asela Hevapathige, Asiri Wijesinghe en Ahad N. Zehmakan een methode ontwikkeld voor adaptieve diepte bij node-classificatie. Traditionele GNN's presteren vaak minder goed op heterofiele grafieken, waarbij verbonden knooppunten vaak uiteenlopende eigenschappen hebben.
De onderzoekers stellen dat een uniforme aggregatiediepte voor alle knooppunten suboptimaal is. In plaats daarvan stelt hun architectuur het model in staat om dynamisch de aggregatiediepte per knooppunt te selecteren op basis van theoretische metrieken. Deze aanpak maakt het mogelijk om binnen één enkel model effectief te schakelen tussen homofiele en heterofiele patronen. De details van deze innovatie zijn beschreven in de dl.acorg, waar wordt uitgelegd hoe de dynamische dieptebepaling leidt tot een consistente verbetering van standaard GNN-backbones over diverse benchmarks.
Validatie en open source implementatie
De resultaten van het onderzoek naar adaptieve diepte zijn breed gevalideerd. De belangrijkste bijdrage is de ontwikkeling van een architectuur die de diepte per knooppunt bepaalt, wat de prestaties van bestaande modellen verhoogt. Om de wetenschappelijke vooruitgang te stimuleren, is de implementatie van deze AD-GNN architectuur beschikbaar gesteld in een github.com.
Deze collectieve ontwikkelingen markeren een belangrijke verschuiving in de AI-sector. Er wordt bewogen naar flexibelere neurale netwerken die niet langer gebonden zijn aan rigide, vooraf gedefinieerde structuren, maar die zich in realtime kunnen aanpassen aan de specifieke omvang en aard van de data die zij verwerken.