Reti neurali e scoperta di nuovi materiali: GNN, modelli generativi e limiti

Le reti neurali sono lo strumento più versatile del machine learning: da semplici reti con pochi strati nascosti, usate già negli anni ’90 per predire proprietà di polimeri, alle graph neural network (GNN) che “leggono” la struttura cristallina come grafo di atomi e legami, fino ai modelli generativi che propongono strutture completamente nuove. Questo articolo descrive l’architettura, le applicazioni concrete e i limiti reali di questi approcci per la scoperta di materiali.

Una chiarezza preliminare: una rete neurale non “capisce” la chimica. Impara da un insieme di esempi una funzione matematica che mappa input numerici in output numerici. La forza sta nella capacità di catturare relazioni non lineari complesse che descrittori semplici non riuscirebbero a codificare.

Dalla rete densa alla graph neural network

Una rete neurale classica (MLP, multilayer perceptron) prende in input un vettore fisso di features e produce un output scalare o vettoriale. Per i materiali, il vettore di input è il descrittore composizionale o strutturale discusso nell’articolo sui descrittori. Il problema è che la lunghezza del vettore è fissa, mentre le strutture cristalline hanno un numero variabile di atomi.

Le graph neural network (GNN) risolvono questo problema rappresentando la struttura come un grafo: ogni atomo è un nodo con attributi (numero atomico, posizione), ogni legame chimico è un arco con attributi (distanza, tipo di legame). L’algoritmo di message passing propaga informazioni da ogni nodo ai suoi vicini, aggiornando iterativamente le rappresentazioni (embedding) nodali. Dopo K iterazioni, l’embedding di ogni nodo codifica informazioni sull’intorno chimico entro K “salti” nel grafo. Aggregando gli embedding di tutti i nodi si ottiene una rappresentazione globale del cristallo, usata per predire la proprietà target.

CGCNN e MEGNet: predizione di proprietà cristalline

Il Crystal Graph Convolutional Neural Network (CGCNN, Xie e Grossman 2018) è stato il primo modello GNN applicato sistematicamente ai materiali cristallini, addestrato su Materials Project. Su un test set di oltre 28 000 materiali ha raggiunto errori medi assoluti di 0.039 eV/atomo sull’energia di formazione, 0.388 eV sul band gap, con errori circa metà rispetto a un MLP classico con gli stessi dati. MEGNet estende CGCNN aggiungendo attributi di stato globale (temperatura, pressione) e ha mostrato prestazioni superiori su alcuni target come l’energia di formazione molecolare e cristallina in contemporanea.

Per i perovskiti, reti neurali profonde addestrate su due soli descrittori (elettronegatività e raggio ionico) hanno raggiunto un MAE di 20–34 meV/atomo sull’energia di formazione, prestazioni comparabili a calcoli DFT di bassa qualità ma 10⁴× più veloci.

La funzione di perdita e la regolarizzazione

L(w) = 1N ∑_i=1^N (ŷ_i(w) − y_i)² + λ⋅∑_j w_j²   (MSE + regolarizzazione L2)

La funzione di perdita tipica è MSE più un termine di regolarizzazione L2 con coefficiente λ. La regolarizzazione penalizza pesi w_j troppo grandi, riducendo l’overfitting. L’ottimizzazione avviene con metodi basati sul gradiente (tipicamente Adam). Il backpropagation calcola il gradiente della perdita rispetto a tutti i pesi della rete in un singolo passaggio all’indietro, con complessità lineare nel numero di pesi.

Modelli generativi: proporre strutture nuove

I modelli discriminativi (CGCNN, MEGNet) preddicono proprietà di strutture esistenti. I modelli generativi fanno qualcosa di diverso: imparano la distribuzione delle strutture nel training set e ne campionano di nuove. Le architetture principali sono due. I variational autoencoders (VAE) comprimono ogni struttura in un vettore latente a bassa dimensione e imparano a ricostruire la struttura originale; campionando il latent space si generano strutture nuove. Le generative adversarial networks (GAN) addestrano simultaneamente un generatore (propone strutture) e un discriminatore (distingue strutture reali da generate), in competizione. Entrambi gli approcci sono stati usati per proporre nuove molecole organiche con proprietà ottiche desiderate e nuovi cristalli inorganici con bassa κ_l.

Limiti reali: overfitting, dati scarsi, estrapolazione

Le reti neurali profonde soffrono in modo acuto di tre problemi nel contesto dei materiali. Overfitting: con dataset di 500–2 000 strutture e reti con milioni di parametri, il rischio di memorizzare il training set è alto. Le soluzioni classiche (dropout, early stopping, augmentation dei dati, riduzione della complessità) si applicano, ma i dataset dei materiali sono raramente abbastanza grandi da sfruttare tutta la capacità delle reti profonde. Dati scarsi: per molte classi di materiali esotici (es. leghe ad alta entropia refrattarie, ossidi multielementari) esistono poche centinaia di misure sperimentali. Il transfer learning — pretraining su un dataset grande (es. proprietà elementari) e fine-tuning sul target specifico — è la strategia più promettente: si ricicla la rappresentazione appresa, aggiornando solo gli ultimi strati. Estrapolazione: le reti neurali non sanno quando stanno estrapolando. Un modello addestrato su ossidi ternari produrrà un valore per un nitruro quaternario, ma quell’output non ha alcuna garanzia di accuratezza. Stimare l’incertezza predittiva (ad esempio con ensemble di reti o dropout bayesiano) è fondamentale per decidere quali proposte meritano una verifica sperimentale.

Transfer learning e dati limitati

Il “shotgun transfer learning” descritto in letteratura usa una rete pre-addestrata su una proprietà proxy abbondante (es. energia di atomizzazione calcolata) come estrattore di feature, congela i pesi degli strati iniziali (frozen featurizer) e riaddestra solo l’ultimo strato su pochi esempi del target scarso (es. conduttività termica misurata sperimentalmente). Questo approccio ha dimostrato di competere con modelli ad hoc anche con meno di 100 esempi di training per il target.

Riepilogo: architetture per i materiali

Domande frequenti

Che cos’è una graph neural network per i materiali?

Una GNN rappresenta la struttura cristallina come un grafo: atomi = nodi (con attributi come numero atomico, raggio), legami = archi (con attributi come distanza). Un algoritmo di message passing propaga informazioni tra nodi vicini per K iterazioni, costruendo embedding locali sempre più ricchi. Aggregando tutti gli embedding si ottiene una rappresentazione globale usata per predire la proprietà target. Il vantaggio rispetto al MLP è che la GNN è automaticamente invariante per traslazione, rotazione e permutazione degli atomi.

Cos’è il CGCNN e com’è stato validato?

Crystal Graph Convolutional Neural Network (Xie e Grossman, 2018): la prima GNN sistematica per cristalli, addestrata su Materials Project. Su oltre 28 000 materiali ha raggiunto MAE di 0.039 eV/atomo sull’energia di formazione e 0.388 eV sul band gap, dimezzando gli errori di un MLP classico con gli stessi dati. È diventato il benchmark standard per le GNN sui materiali.

I modelli generativi possono davvero proporre nuovi materiali stabili?

Sì, ma con un tasso di successo variabile. I VAE e le GAN imparano la distribuzione delle strutture note e campionano strutture nuove; tuttavia molte di queste strutture non sono termodinamicamente stabili o non sono sintetizzabili. La validazione con DFT (calcolo della stabilità sull’hull convex) è un passaggio obbligato prima di qualunque tentativo sintetico. I tassi di successo riportati in letteratura variano dal 10% al 60% a seconda del dominio e dei criteri di stabilità usati.

Cos’è il transfer learning nel contesto dei materiali?

Si pre-addestra una rete su un dataset grande e accessibile (es. energie DFT di migliaia di materiali) per imparare rappresentazioni generali della struttura chimica. Si “congela” la parte della rete che estrae le feature e si riaddestra solo l’ultimo strato sulla proprietà target scarsa (es. conduttività termica sperimentale con 50–100 misure). Questo riduce drasticamente la quantità di dati necessaria per il target specifico.

Come si misura l’incertezza di una predizione di rete neurale?

I metodi principali sono: ensemble (si addestrano 5–20 reti indipendenti e si usa la deviazione standard delle loro predizioni come stima dell’incertezza), MC-dropout (si mantiene il dropout attivo anche in fase di inferenza e si campiona più volte), e processi gaussiani come surrogate bayesiani. L’incertezza è cruciale per decidere quali candidati da uno screening meritano la validazione sperimentale (alto valore predetto, alta incertezza = candidato prioritario per esplorare).