I lati oscuri e l’impatto di ChatGPT: note per un dialogo

Tommaso Caselli

Rijksuniversiteit Groningen 

NOTA: Questo contributo è stato interamente scritto senza l’uso di ChatGPT.

Nella prima parte di queste riflessioni, ho spiegato cos’è ChatGPT, come funziona, cosa sa e cosa non sa fare. In questo secondo episodio (l’ultimo, promesso!), invece, voglio aprire un dialogo per affrontare nodi aperti su aspetti etici e l’impatto che tecnologie come ChatGPT potranno avere su didattica, ricerca, e vita quotidiana.

“I Visitors sono nostri amici”

Questo slogan appariva sui poster della miniserie televisiva V – Visitors in onda nell’84 su Canale 5. I Visitors sono alieni rettiliani che invadono la terra e impongono il loro dominio nascondendo le loro vere intenzioni dietro una facciata di amicizia. Allo stesso modo, l’invasione dei modelli di linguaggio generativi è già iniziata, e le loro ‘magnifiche sorti e progressive’ sono propagandate come una rivoluzione copernicana che renderà migliori le nostre vite. Certamente, ChatGPT è tra noi e difficilmente andrà via. Microsoft ha firmato un accordo per integrarlo nel proprio motore di ricerca (Bing – che qualcuno così inizierà a usare), rompendo così una prima barriera all’ingresso nella quotidianità di questo strumento. Google sta alacremente lavorando all’integrazione del loro modello di linguaggio generativo, Bard, nel motore di ricerca – anche se il primo risultato è stata una perdita di 100 milioni di dollari perché la risposta data era sbagliata.

Accanto allo stupore del momento, c’è un crescere di contronarrative (più o meno radicali) sul pericolo che ChatGPT e, più in generale, queste tecnologie pongono per lo sviluppo di società aperte e inclusive. Pericoli che sono veri e che sarebbe sciocco ignorare. Per fare un esempio: il chatbot Replika è finito sotto inchiesta e bloccato dal Garante per la Protezione dei Dati Personali. Replika è basato su GPT-3 – il predecessore di ChatGPT – ed è un assistente emotivo: l’amico basato su Intelligenza Artificiale che, nelle parole dell’azienda che lo ha creato,  “è sempre qui per ascoltare e parlare con te. Sempre dalla tua parte”. La sanzione contro Replika si basa su due elementi (di pari gravità, secondo me): i) trattamento illecito dei dati personali di cittadini europei; ii) proposizione di risposte e interazioni con gli/le utenti che, nelle parole del Garante, sono spesso in violazione delle “tutele rafforzate che vanno assicurate ai minori e a tutti i soggetti più fragili.” Chiunque abbia sofferto (o soffra) di problemi di salute mentale sa che la presenza di un terapeuta esperto è la chiave per affrontare un percorso doloroso e mai facile. E che piccole sfumature nella voce o nella postura sono segnali impliciti che dicono più di mille parole. Affidare questo processo a una macchina senza supervisione umana è la ricetta per un disastro perfetto, come quello che si è consumato.

L’elefante nella stanza: i dati

Uno degli ingredienti base dei modelli generativi di linguaggio sono i dati. I dati: la quantità enorme di testo che l’umanità produce. La ‘bontà’ di un modello di linguaggio è strettamente dipendente  dalla qualità dei dati che si usano per crearlo. L’attenzione e la cura (ovvero il riguardo) ai dati usati per costruire questi modelli sono un aspetto che è diventato attuale solo recentemente. Nonostante, da subito, i modelli di linguaggi siano stati accusati di perpetrare bias e stereotipi negativi che permeano le nostre società, la corsa al modello più potente è stata privilegiata a discapito di questioni etiche e sociali non banali (per approfondire rimando a questo intervento di Malvina Nissim).

È innegabile che gli sviluppatori di ChatGPT abbiano posto attenzione a evitare che contenuti tossici e violenti avessero (troppo) spazio nell’insieme dei dati di pre-addestramento – come dimostra questa interazione:

Il costo sociale di questa operazione, però, sembra avere ricevuto poca attenzione: lavoratori pagati meno di $2 l’ora perché eliminassero manualmente contenuti tossici. Oltre a essere pura estrazione di surplus dalla forza lavoro di altri esseri umani, inerente al modello capitalista, i danni psicologici di un’esposizione prolungata a contenuti tossici sono una conseguenza non banale e duratura di questo tipo di lavoro. Eppure, “va tutto bene, madama la marchesa” come cantava Nunzio Filogamo.

E invece no. Anche se una piccola parte della quantità monstre di dati viene ripulita, e addirittura una parte ancora più piccola viene annotata manualmente per mettere in atto l’apprendimento per rinforzo con feedback umano, la maggioranza dei dati è priva di qualsiasi controllo. Considerando che una fetta consistente di questi dati è ottenuta dal Web, è abbastanza evidente che i pattern di base che sono imparati sono inquinati dalla cattiva qualità dati usati.

Inoltre, per quanti filtri si possano implementare, il testo di ingaggio con questi modelli può essere manipolato per poi ottenere il risultato voluto. Nell’esempio sotto, sono riuscito a generare abbastanza facilmente un messaggio falso, e propagandistico in favore della Cina, sulla vicenda del pallone spia abbattuto dagli Stati Uniti d’America. Il trucco? Meno si è diretti nelle richieste, più facilmente si superano i filtri, e più l’informazione è recente, più facilmente si convince il modello a ‘esaudire’ la richiesta.

Ma c’è di più: si può chiedere che solo alcuni aspetti del messaggio vengano manipolati. Di seguito ho chiesto di cambiare il nome dello scienziato in qualcosa di più credibile di un vago ‘John Smith’:

La necessità di un controllo e un intervento del Pubblico

Il problema è complesso e la sua risoluzione richiede soluzioni su molteplici livelli coinvolgendo attori pubblici e privati. Il regolatore pubblico deve capire che non può più stare a guardare e fidarsi ciecamente della buona volontà di grandi colossi industriali. Gli interessi sociali sono diversi e contrastanti, e affidarsi a un volontario cambio di mentalità da parte di aziende come OpenAI, Apple, Google, Meta, e Amazon è ingenuo. Non si può più ritardare l’implementazione di audit pubblici sui dati prima che questi modelli vengano rilasciati al pubblico: Quali dati sono stati usati? Da quali fonti sono stati estratti? Violano norme di copyright? Quale impatto sociale hanno in termini di stereotipi e linguaggio  violento?

Direzioni alternative su questo fronte sono in campo. Il modello di linguaggio BLOOM ne è un esempio. Ogni dataset che è stato usato per addestrare il modello è documentato tramite specifiche data cards rispetto alla quantità di dati, la lingua, e la loro fonte. Una direzione simile è quella che abbiamo intrapreso come GroNLP per lo sviluppo del modello di linguaggio per l’olandese BERTje.

L’intervento pubblico non può limitarsi a un semplice controllo. Il regolatore pubblico deve essere protagonista attivo. L’impatto di queste tecnologie è dirompente. Proprio per questo, c’è bisogno di sapere e far sapere in maniera trasparente come funzionano. Nessuno ha accesso al codice di ChatGPT. Numerosissimi dettagli della sua implementazione non sono noti, né lo saranno mai per chiari fini commerciali. Se il regolatore pubblico mettesse a disposizione infrastrutture di calcolo per costruire modelli aperti, tutti ne saremmo beneficiari. Di nuovo, esempi positivi già ci sono. BLOOM è stato possibile perché il CNRS (il Centro Nazionale di Ricerca dello Stato francese) ha messo a disposizione un supercomputer dedicato. Lo stesso sta accadendo in Olanda, dove come GroNLP siamo coinvolti in una sperimentazione con il centro di calcolo nazionale SURF. Queste iniziative devono iniziare a fare rete a livello europeo per offrire un’alternativa pubblica.

Un ulteriore vantaggio – non secondario – di un intervento diretto del pubblico potrebbe essere la riduzione delle pratiche di sfruttamento dei lavoratori per ‘filtrare’ i dati. Proposte più concrete per stabilire pratiche di giustizia sociale già ci sono, per esempio HIT AI da parte di Fabio Zanzotto. Mancano ancora di sistematicità ma il tempo dell’attesa è finito.

Educazione e Ricerca: Cosa succede adesso?

ChatGPT è stato menzionato come autore di lavori scientifici, dividendo le comunità scientifiche. Nelle Università il dibattito è aperto, e numerose sono le preoccupazioni sulla valutazione degli studenti: chi avrà scritto la tesi?

Nei corsi che sto tenendo in questo semestre, ho affrontato in maniera aperta con i miei studenti le possibilità di uso di ChatGPT per lo svolgimenti di esercitazioni e compitini. È stato un momento di confronto interessante perché ti espone alle percezioni di chi siede dall’altro lato della cattedra, e soprattutto permette di spiegare (di nuovo) vantaggi e svantaggi di questo tool. Per adesso, non ho imposto nessun divieto. Ho però chiesto ai miei studenti di documentare in dettaglio il codice che scriveranno per svolgere gli esercizi (così da vedere se si è capito cosa sta succedendo) e chiarito loro che, in un futuro possibile colloquio di lavoro, ChatGPT non sarà lì ad aiutarli. Spetta a loro adesso decidere cosa fare. Quello che però ritengo essenziale è che questo dialogo avvenga. Gli studenti conoscono questo strumento, spetta a chi svolge una funzione di educatore fornire gli strumenti necessari per capire cosa abbiamo davanti e come (e se) usarlo.

L’adozione (o meno) di questi strumenti in un ambiente didattico deve essere materia di discussione scientifica. Credo fermamente che chiunque voglia partecipare a questo dibattito debba avere chiaro il soggetto, i suoi limiti, e i suoi lati oscuri. ChatGPT tocca uno degli aspetti essenziali del nostro essere: la capacità di usare una lingua naturale per produrre testo coeso e coerente. E forse è per questo che fa paura. Credo anche fermamente che un modello commerciale, non aperto, e poco documentato sia da escludere a priori in un’ottica di integrazione nella didattica. Il punto di caduta sull’adozione di questi strumenti in un settore delicato e strategico come l’educazione deve essere il più alto possibile. Pensare di usare questi strumenti per ridurre i costi è un argomento che non può avere cittadinanza in questo dibattito. E forse dobbiamo anche iniziare a pensare a formule positive del loro uso.

L’originalità della composizione di un testo generato da ChatGPT è un altro problema. Questi modelli possono memorizzare i dati che hanno visto in addestramento. Per quanto poi possano generare nuovo testo, il rischio che ripetano copiando il testo di qualcun altro non può essere escluso a priori. Il nodo del problema non è tanto nell’uso di un testo di un altro autore, quanto la completa mancanza di riconoscimento della sua provenienza. ChatGPT non fornisce le fonti bibliografiche.

Diverso è l’uso di questi modelli per migliorare il proprio testo. Io vivo e lavoro all’estero in un settore in cui l’inglese è la lingua preponderante. Credo di avere un livello di conoscenza dell’inglese molto avanzato, ma non sono madrelingua. Diventerebbe plagio o commetterei semplicemente una scorrettezza se usassi ChatGPT per riscrivere alcune parti dei miei lavori scientifici? Questo mi renderebbe più competitivo rispetto ai colleghi madrelingua? Se ne accorgerebbe mai nessuno?

Questa lista di riflessioni e domande aperte non è esaustiva, né ha la pretesa di esserlo. Ma vuole essere l’inizio di un dialogo tra comunità (scienzati, educatori, cittadini) che non può essere più ritardato. Una piattaforma iniziale per la comunità della ricerca è stata lanciata da alcuni colleghi olandesi su Nature. Dobbiamo farci delle domande e non accontentarci di risposte semplicistiche.