Un team di ricercatori dell’Università di Oxford ha recentemente fatto una scoperta significativa riguardo alle reti neurali profonde (DNN), che costituiscono la base dell’intelligenza artificiale contemporanea. La loro ricerca ha rivelato che queste reti tendono a favorire soluzioni più semplici, migliorando così la loro capacità di generalizzare dai dati. Questo fenomeno suggerisce connessioni più profonde tra i meccanismi dell’intelligenza artificiale e i processi evolutivi naturali. I risultati dello studio sono stati pubblicati sulla rivista Nature Communications.
Le DNN, nonostante possano contenere milioni o addirittura miliardi di parametri, mostrano una sorprendente capacità di prevedere accuratamente dati non visti. I ricercatori hanno ipotizzato che queste reti possiedano una forma intrinseca di guida che le orienta verso modelli più rilevanti durante il processo di apprendimento. Sebbene fosse già noto che l’efficacia delle DNN si basa su un bias induttivo verso la semplicità, simile al rasoio di Occam, la natura specifica di questo bias rimaneva poco chiara. Il professor Ard Louis, fisico teorico e leader dello studio, ha sottolineato l’importanza di comprendere quale versione del rasoio di Occam venga applicata dalle DNN.
La Preferenza per la Semplicità
Per indagare il principio che guida le DNN, i ricercatori hanno esaminato come queste reti apprendano funzioni booleane, che rappresentano regole fondamentali in informatica, dove un risultato può assumere solo due valori: vero o falso. I risultati hanno mostrato che, sebbene le DNN possano adattarsi a qualsiasi funzione, tendono a preferire quelle più semplici, che risultano più facili da descrivere. Questo comportamento indica una predisposizione naturale delle DNN verso regole semplici piuttosto che complesse.
Un aspetto particolarmente interessante di questo bias verso la semplicità è che contrasta in modo preciso con l’aumento esponenziale del numero di funzioni complesse man mano che la dimensione del sistema cresce. Tale caratteristica consente alle DNN di identificare funzioni semplici, che generalizzano bene, evitando così la maggior parte delle funzioni complesse che, pur adattandosi ai dati di addestramento, non riescono a performare altrettanto bene su dati non visti. Questo principio emergente è cruciale per il buon funzionamento delle DNN, specialmente quando i dati seguono schemi semplici. Tuttavia, in situazioni in cui i dati presentano una complessità maggiore e non si adattano a modelli semplici, le DNN possono mostrare prestazioni deludenti, talvolta non superiori a quelle di un semplice caso casuale.
Fortunatamente, i dati del mondo reale tendono ad essere sufficientemente semplici e strutturati, il che si allinea con la preferenza delle DNN per la semplicità, contribuendo a prevenire il fenomeno dell’overfitting, in cui il modello diventa eccessivamente sintonizzato sui dati di addestramento.
L’Influenza delle Modifiche nei Processi di Apprendimento
Per approfondire la comprensione di questo rasoio di Occam intrinseco, il team di ricerca ha esaminato come le prestazioni delle reti cambiassero in seguito a modifiche nei loro processi di apprendimento, in particolare alterando alcune funzioni matematiche che determinano se un neurone debba attivarsi o meno. I risultati hanno rivelato che, sebbene le DNN modificate continuassero a favorire soluzioni semplici, anche lievi variazioni in questa preferenza portavano a una significativa riduzione della loro capacità di generalizzare e fare previsioni accurate su semplici funzioni booleane.
Questo fenomeno è stato osservato anche in altri compiti di apprendimento, evidenziando l’importanza di avere la forma corretta del rasoio di Occam per un apprendimento efficace. Le scoperte ottenute offrono una nuova prospettiva su come le DNN giungano a determinate conclusioni, un aspetto che attualmente rende difficile spiegare o contestare le decisioni dei sistemi di intelligenza artificiale.
Tuttavia, sebbene questi risultati siano applicabili alle DNN in generale, non forniscono una spiegazione esaustiva del perché alcuni modelli specifici di DNN possano funzionare meglio di altri su determinati tipi di dati. Christopher Mingard, co-autore principale dello studio, ha affermato che è necessario esplorare ulteriormente oltre la semplicità per identificare altri bias induttivi che possano spiegare le differenze nelle prestazioni.
I risultati della ricerca suggeriscono un forte parallelismo tra i principi dell’intelligenza artificiale e quelli fondamentali della natura. Il notevole successo delle DNN in una vasta gamma di problemi scientifici indica che questo bias induttivo potrebbe riflettere qualcosa di intrinsecamente profondo nella struttura del mondo naturale. Il professor Louis ha commentato: “I nostri risultati aprono possibilità entusiasmanti. Il bias osservato nelle DNN presenta una forma funzionale simile a quella del bias verso la semplicità nei sistemi evolutivi, il che aiuta a spiegare, ad esempio, la prevalenza della simmetria nelle strutture proteiche. Questo suggerisce connessioni intriganti tra apprendimento ed evoluzione, un campo pronto per ulteriori esplorazioni.”
Riferimento
“Le reti neurali profonde hanno un rasoio di Occam incorporato” di Chris Mingard, Henry Rees, Guillermo Valle-Pérez e Ard A. Louis, 14 gennaio 2025, Nature Communications. DOI: 10.1038/s41467-024-54813-x.
Fonti e Riferimenti dell'Articolo: