“Segnalare” l’IA potrebbe fare più male che bene

I contenuti generati dall’IA possono essere fuorvianti almeno per due ragioni. In primo luogo, i modelli linguistici possono “allucinare”, producendo affermazioni plausibili ma fattualmente scorrette. In aggiunta a questo, c’è anche chi può indurre deliberatamente i sistemi di IA a creare messaggi falsi ma credibili. Per questo motivo diversi Paesi hanno introdotto obblighi di trasparenza che richiedono che i contenuti online generati o sintetizzati dall’IA siano chiaramente etichettati.
Nel loro nuovo studio, Teng Lin, dottorando presso la School of Journalism and Communication dell’Università della Chinese Academy of Social Sciences (UCASS) di Pechino, e Yiqing Zhang, studente di master presso la stessa scuola, hanno testato se queste etichette di segnalazione raggiungano davvero il loro obiettivo di proteggere il pubblico dalla disinformazione.

Lo studio sperimentale

“Ci siamo concentrati su informazioni legate alla scienza condivise sui social media”, spiega Teng. Lo studio sperimentale ha coinvolto 433 partecipanti reclutati online tramite la piattaforma Credamo tra marzo e maggio 2024. 
I ricercatori hanno creato quattro tipi di post sui social media: informazioni corrette con o senza etichetta IA e disinformazione con o senza etichetta IA. I testi sono stati adattati con GPT-4 a partire da contenuti pubblicati dalla Science Rumour Debunking Platform cinese, creando versioni in stile Weibo sia accurate sia fuorvianti, poi verificate indipendentemente dai ricercatori. Ai partecipanti è stato chiesto di valutare la credibilità percepita di ciascun post su una scala da 1 a 5. I ricercatori hanno inoltre misurato gli atteggiamenti negativi dei partecipanti verso l’IA e il loro livello di coinvolgimento rispetto al tema.

Un effetto paradossale

I risultati sono stati controintuitivi. "Il risultato più importante è quello che chiamiamo truth-falsity crossover effect", spiega Teng. “L’etichetta di IA influenza la credibilità in direzioni opposte a seconda che l’informazione sia vera o falsa: riduce quella dei messaggi veri e aumenta quella dei messaggi falsi”. Teng spiega che ciò non significa necessariamente che questo effetto possa emergere su tutte le piattaforme o formati, ma nel loro contesto sperimentale il modello era chiaro.
In questo contesto, quindi, la segnalazione dell’uso dell’IA non aiuta le persone a distinguere tra informazioni vere e false. Al contrario, sembra redistribuire la credibilità in modo paradossale.

Teng e Zhang hanno anche scoperto che gli atteggiamenti individuali verso l’IA giocano un ruolo importante. Nei loro esperimenti, i partecipanti con opinioni più negative sull’IA valutavano come ancora più infondate le informazioni corrette se queste erano etichettate come generate dall’IA. Tuttavia, anche fra questi scettici si osservava un piccolo aumento di credibilità per le informazioni false associate a un'etichetta. Questo effetto dipendeva dall’ambito dell’informazione contenuta nel testo, attenuandosi in alcuni casi ma senza scomparire completamente.

Questo suggerisce che la cosiddetta algorithm aversion non porta a un rifiuto uniforme dei contenuti generati dall’IA, ma piuttosto a una reazione più complessa e asimmetrica.

Progettare politiche scientificamente fondate

Ricerche come questa rendono chiara la necessità di testare con attenzione gli interventi normativi prima della loro applicazione: anche misure di trasparenza ben intenzionate possono produrre conseguenze inattese.
“Nel nostro articolo proponiamo alcune raccomandazioni, che però dovranno essere validate da ulteriori ricerche”, spiega Teng. “Una proposta è la creazione di un sistema di etichettatura doppia. Invece di limitarsi a indicare che il contenuto è stato generato dall’IA, l’etichetta potrebbe includere anche una dichiarazione che segnali che l’informazione non è stata verificata indipendentemente, oppure un avviso di rischio”. In altre parole, informare semplicemente il pubblico che un testo è stato generato dall’IA potrebbe non essere sufficiente.

“Un’altra raccomandazione è adottare un sistema di etichettatura graduata o categoriale”, aggiunge Teng. “Diversi tipi di informazione scientifica comportano livelli di rischio differenti. Per esempio, le informazioni mediche o sanitarie potrebbero richiedere un avviso più deciso, mentre le informazioni su nuove tecnologie potrebbero comportare rischi minori. Suggeriamo quindi di utilizzare diversi livelli di segnalazione a seconda del tipo di contenuto e del livello di rischio”.