Wetenschappers hebben een gespecialiseerd testkader ontwikkeld om te bepalen of grote visuele taalmodellen (VLMs) in staat zijn om complexe fotonische kristalvezels te ontwerpen. De nieuwe benchmark, genaamd PCFBench, richt zich specifiek op de vraag of AI-systemen beslissingen kunnen nemen op basis van natuurkundige principes of dat zij enkel visuele patronen herkennen zonder werkelijk begrip van de onderliggende fysica.
Het ontwerp van fotonische kristalvezels is een essentieel onderdeel van diverse technologische sectoren. Deze vezels worden onder andere ingezet bij sensoren, telecommunicatie en het transporteren van lasers met een hoog vermogen. Tot op heden is het ontwerpproces echter zeer arbeidsintensief en afhankelijk van menselijke experts. Dit komt doordat het een combinatie vereist van diepgaande kennis over golfgeleiderfysica en geometrische intuïtie.
Om de mogelijkheden van automatisering te onderzoeken, hebben Shengchao Chen en zijn team PCFBench geïntroduceerd. Volgens een arxiv.org is dit kader bedoeld om de perceptie, besluitvorming en het redeneervermogen binnen de zogenaamde 'inverse-design loop' van de fotonica te evalueren. De benchmark is zeer uitgebreid en steunt op meer dan 220.000 simulaties, uitgevoerd via de Finite-Difference Time-Domain (FDTD) methode over 18 verschillende structurele vezelfamilies.
Het testkader is onderverdeeld in 26 diverse taken, die gegroepeerd zijn in zes categorieën met een oplopende moeilijkheidsgraad. Deze categorieën beslaan geometrische perceptie, tekstgeneratie, begrip van de natuurkunde, multimodale redenering, codegeneratie en besluitvorming bij inverse design. In de wordt uiteengezet hoe deze stappen samen de cognitieve capaciteiten van de modellen beproeven.
Bij de tests werden zowel individuele visuele taalmodellen als multi-agent systemen (MAS) ingezet. Waar individuele modellen werden gebruikt voor specifieke, geïsoleerde taken, werden de multi-agent systemen gebruikt om de volledige keten van waarneming naar het uiteindelijke ontwerp te doorlopen. De resultaten laten echter een hardnekkige 'perceptie-design kloof' zien. Hoewel AI-modellen redelijk in staat zijn om de geometrie van een vezel te identificeren, lukt het hen niet om deze visuele informatie om te zetten in ontwerpacties die voldoen aan de wetten van de natuurkunde.
Een ander kritiek punt dat uit het onderzoek naar voren komt, is de foutpropagatie. Wanneer agenten in een sequentiële keten worden geplaatst, stapelen fouten uit de beginfase (de perceptie) zich op. Dit leidt onvermijdelijk tot mislukkingen in de uiteindelijke ontwerpfase. De auteurs stellen dat het simpelweg vergroten van de modellen of het koppelen van verschillende agenten niet volstaat. Er is volgens hen een expliciete 'physical grounding' nodig, waarbij modellen daadwerkelijk verankerd worden in fysieke wetten.
Het volledige onderzoek, dat is geaccepteerd voor de conferentie , beslaat 66 pagina's en bevat 27 tabellen en 30 figuren om de huidige tekortkomingen van AI-modellen in de engineering te onderbouwen. Hoewel externe bronnen zoals babepedia.com geen directe details over dit specifieke wetenschappelijke project bieden, onderstreept de publicatie de noodzaak voor rigoureuze instrumenten om de voortgang van AI-ondersteunde fotonische engineering objectief te kunnen meten.