Dalla posizione al significato, così l’IA impara a leggere

Le prestazioni linguistiche delle intelligenze artificiali oggi sono strabilianti. Possiamo dialogare in modo naturale con sistemi come ChatGPT, Gemini e molti altri, con una fluidità quasi comparabile a quella di un essere umano, e tuttavia quasi non sappiamo quali processi interni alle reti portino a risultati così notevoli. Un nuovo studio pubblicato sul Journal of Statistical Mechanics: Theory and Experiment - JSTAT svela un pezzetto di questo mistero, mostrando che, durante le fasi di addestramento, le reti neurali iniziano utilizzando una strategia basata sulla posizione delle parole nella frase.

Tuttavia, se l’addestramento procede ulteriormente e la macchina riceve una quantità sufficiente di dati, questa passa a una nuova strategia fondata sul significato delle parole. Lo studio osserva che questa transizione avviene in modo rapido, superata una soglia critica di dati, proprio come avviene nelle transizioni di fase in fisica della materia. I risultati ottenuti offrono spunti utili per rendere questi modelli più efficienti e migliorarne ulteriormente le prestazioni.

Come un bambino che impara a leggere, una rete neurale inizia a comprendere le frasi sfruttando le posizioni relative delle parole: a seconda di dove si trovano nella frase, è possibile capire in che relazione queste stanno tra loro (sono soggetti, verbi, complementi?). Se però l’addestramento va avanti — la rete continua ad andare “a scuola” — avviene un cambiamento: il significato delle parole diventa la principale fonte di informazione.

Questo, spiega il nuovo studio, è quanto avviene nei modelli linguistici Transformer, come quelli che usiamo tutti i giorni (ChatGPT, Gemini, Claude, ecc.). Un modello Transformer è un’architettura di rete neurale progettata per elaborare sequenze di dati, come il testo ed è alla base di molti dei moderni modelli di linguaggio. I Transformer sono specializzati nel capire le relazioni tra gli elementi di una sequenza e usano un meccanismo chiamato self-attention, che consente di valutare quali parole sono più importanti rispetto a ogni altra nel testo.

“Per valutare le relazioni tra parole,” spiega Hugo Cui, post-doc dell’Università di Harvard e primo autore della nuova ricerca, “la rete può usare due strategie, una delle quali è sfruttare le posizioni relative delle parole”. In una lingua come l’inglese, per esempio, solitamente il soggetto viene prima del verbo, che a sua volta precede i complementi. “Mary mangia la mela” è un esempio semplice di questa sequenza. “Questa è la prima strategia che emerge spontaneamente quando la rete viene addestrata con dati linguistici,” spiega Cui. “Nel nostro studio, però, abbiamo visto che se l’addestramento continua e la rete riceve una quantità sufficiente di dati, allora a un certo punto — superata una soglia — la strategia cambia in maniera repentina: la rete inizia ad affidarsi al significato.”

“Quando abbiamo progettato questo lavoro, volevamo semplicemente osservare quali strategie avrebbero utilizzato le reti, ma quello che abbiamo visto ci ha un po’ sorpreso: sotto una certa soglia, in pratica, la rete si basava esclusivamente sulle posizioni mentre sopra solamente sul significato.”

Cui descrive questo passaggio come una transizione di fase, concetto preso in prestito dalla fisica. Le metodologie utilizzate nei modelli linguistici devono infatti molto alla fisica statistica, che si occupa di sistemi composti da un grandissimo numero di particelle (come atomi o molecole), descrivendone il comportamento collettivo con la statistica. Allo stesso modo, le reti neurali che costituiscono la base di questi sistemi di intelligenza artificiale sono composte da un gran numero di “nodi” — chiamati anche neuroni, in analogia con il cervello umano — ognuno dei quali è connesso a molti altri e compie semplici operazioni. L’intelligenza del sistema emerge dall’interazione di questi neuroni, un fenomeno che può essere descritto con metodi statistici. È per questo che possiamo parlare di un cambiamento improvviso nel funzionamento della rete come di una transizione di fase, proprio come avviene quando l’acqua, superate certe condizioni di temperatura e pressione, passa dallo stato liquido a quello gassoso.

“Aver osservato che il cambiamento di strategia avviene in questa modalità è importante,” sottolinea Cui. “Le nostre reti sono semplificate rispetto ai modelli più complessi come quelli con cui le persone interagiscono quotidianamente, ma possono aiutarci a capire meglio quali condizioni portano un modello a stabilizzarsi su una o l’altra strategia. Queste conoscenze potranno essere usate in futuro per rendere le reti più efficienti — ad esempio, riducendo la quantità di dati necessari durante l’addestramento e quindi il consumo di risorse — e per migliorarne le prestazioni.”

La ricerca di Hugo Cui, Freya Behrens, Florent Krzakala e Lenka Zdeborová dal titolo “A Phase Transition between Positional and Semantic Learning in a Solvable Model of Dot-Product Attention” è pubblicata su JSTAT all’interno della special Issue Machine Learning 2025 e fa parte dei proceeding della conferenza Neurips 2024.