L’Ai attuale è una grande operazione ideologica e di marketing, confezionata per aumentare il controllo delle persone e restringere il margine di libertà digitale” (1)

Intervista a Stefano Borroni Barale, da Collegamenti di Classe

L’Intelligenza artificiale (Ai) è un tema oggi talmente di moda che persino il papa ha ritenuto indispensabile dire la sua sull’argomento. Un utile strumento per orientarsi in questo profluvio di notizie, in genere sensazionalistiche e spesso fuorvianti, è fornito dal libro recentemente pubblicato di Stefano Borroni Barale, “L’intelligenza inesistente. Un approccio conviviale all’intelligenza artificale”, Altreconomia, 2023. Un agile saggio divulgativo alla portata anche del lettore meno esperto.

Il titolo “L’intelligenza inesistente” rimanda esplicitamente ad Agilulfo il “cavaliere inesistente” creato da Italo Calvino, un paladino che pur “non esistendo” riesce comunque a combattere valorosamente al servizio di Carlomagno (“Bé, per essere uno che non esiste, siete in gamba !” sbotta a un certo punto l’imperatore).

Più precisamente per l’autore – a differenza di quanto sostengono i millantatori – non esiste oggi (né è alle viste) una Ai “forte” in grado di pensare come un essere umano ma solo un’Ai “debole” in grado di “simulare” alcuni aspetti del pensiero umano. Una Ai che funziona solo grazie al lavoro costante di un vasto proletariato digitale, invisibile e malpagato (i cosiddetti “turchi meccanici” o “turker”). (2)

“Collegamenti” ha posto alcune domande all’autore. (3)

* * * *

Mentre gli entusiasti esaltano le prospettive che ci offre lo sviluppo dell’Ai, a molti non ne sono sfuggiti i pericoli, dal punto di vista della privacy, della violazione del diritto d’autore e dell’uso bellico (come il controllo totale sui palestinesi nella “smart city” di Hebron e i droni israeliani che seminano morte a Gaza). Secondo te quali sono i maggiori rischi di questa nuova tecnologia, così come si va configurando ?

R. Per usare una battuta “ci si potrebbe scrivere un libro!”. Quella dei rischi o “problemi” dell’Ai, come li chiamo io, è la parte che sto modificando più pesantemente in vista della seconda edizione riveduta e corretta del libro, che vedrà la luce l’anno prossimo. Ogni giorno salta fuori un problema nuovo.

A voler comunque raccogliere le idee, mi pare che la madre di tutti i problemi stia nella natura mistificatoria di questa tecnologia. Con C.I.R.C.E. (Centro Internazionale di Ricerca per le Convivialità Elettriche – circex.org), il gruppo di ricerca e formazione di cui faccio parte, insistiamo sempre sul fatto che la cosa da cui partire per capire come funziona una certa tecnologia è la modalità con cui si manifesta, con cui “viene al mondo”: il suo retaggio. Per l’intelligenza artificiale (Ai, da qui in avanti) le modalità non potrebbero essere peggiori, a partire dalla definizione.

L’Ai, come ho scritto anche su Collegamenti, si occupa di agenti cibernetici automatici, ma fin dalla famosa conferenza di Dartmouth del 1956, il gruppo di ricerca che la porta a battesimo – formato da John McCarthy, Marvin Minsky, Claude Shannon, Herbert Simon tra gli altri – è impegnato in una duplice operazione: da una parte cancellare dalla faccia della terra l’opera di Norbert Wiener, creatore della Cibernetica, dall’altra “ingraziarsi” il complesso militar-industriale impegnato nell’orrenda operazione Maccartista e nella fase più pericolosa della Guerra Fredda, che conoscerà il suo apice nella crisi dei missili di Cuba. L’operazione è un successo: Rockefeller finanzierà la succitata conferenza completamente (sebbene in misura inferiore alle aspettative di McCarthy), e l’intelligence americana rimarrà incantata dal gioco di parole che battezzava questa tecnologia come “spionaggio artificiale” – artificial intelligence, evocando con questo la possibilità di applicare l’automazione industriale al lavoro dei ficcanaso civili e militari.

Questo mistificazione originaria prosegue oggi in questa “nuova generazione” di Ai la cui natura è sempre più distante dalla narrazione che se ne fa. L’Ai odierna non è intelligente nel senso utilizzato comunemente ossia intelligente come un essere umano (4) e, per di più, non è nemmeno artificiale in quanto, come hai ben descritto nel tuo articolo sui turkers, si fonda su enormi quantità di dati che devono tassativamente essere prodotti da esseri umani e sul lavoro sottopagato di altri esseri umani che s’impegnano a caricarli nella memoria dei computer e/o a filtrarli adeguatamente una volta che siano caricati.

Tu quindi individui come “peccato” originale nello sviluppo dell’Ai l’aver abbandonato l’approccio complessivo della Cibernetica di Norbert Wiener per concentrarsi esclusivamente sulla creazione di macchine in grado di simulare l’intelligenza umana. Puoi illustrarci ulteriormente questo aspetto?

R. Il lavoro di Norbert Wiener, Arturo Rosenbleuth, Julian Bigelow, Warren McCulloch, Walter Pitts, Gregory Bateson e Margareth Mead prende l’avvio dalle riflessioni sul sistema nervoso centrale di McCulloch, ma si concretizza grazie al genio transdisciplinare di Wiener.

Wiener, che prima dei 18 anni aveva già conseguito una laurea in Matematica e una in Filosofia, con la Cibernetica inventa qualcosa che è più di una nuova “disciplina”; inventa un metodo per condurre la ricerca di nuovi saperi che attraversano più campi di ricerca. Quando Vannevar Bush, vicedirettore del Massachussets Institute of Technology presso cui Wiener lavorava, viene incaricato dal Presidente Roosevelt di fondare il National Defense Research Committee, il gruppo di lavoro che avrebbe dovuto coordinare gli sforzi della ricerca statunitense in vista del secondo conflitto mondiale, ormai considerato imminente, chiede a Wiener un consiglio su come procedere. Wiener risponde che la maniera migliore è organizzare piccole squadre mobili di scienziati provenienti da campi diversi, che attacchino congiuntamente i loro problemi, passino il loro lavoro preliminare ad un gruppo di sviluppo e si dedichino subito ad affrontare il problema successivo. Questo approccio è ulteriormente chiarito da una citazione di Wiener, al proposito degli organismi viventi (che lui definirà agenti cibernetici autonomi, all’interno della sua trattazione):

“Per descrivere un organismo, non cerchiamo di specificare ogni molecola che lo compone e di catalogarlo pezzo per pezzo, ma piuttosto di rispondere a certe domande che ne rivelano il modello”

Mi pare evidente che tale approccio sia diametralmente opposto al riduzionismo di McCarthy che definisce la sua Ai come “la scienza e l’ingegneria di creare macchine pensanti” senza nemmeno prendersi la briga di definire cosa intenda per “pensanti” (cosa che lo stesso Minsky avrebbe dovuto fargli notare, visto che nel 1998 bollerà quel termine e molti altri come “parole con la valigia”, ossia parole che introducono ipotesi indimostrate e potenziali fallacie nel ragionamento scientifico). Mi pare che il lavoro dei seguaci di McCarthy sia, quando va bene, sciatto e quando va male rasenti la pseudoscienza.

Nello specifico, la Cibernetica si occupa di “controllo e comunicazione nell’animale e nella macchina”. Si focalizza, quindi, sull’interazione tra la tecnologia (agenti cibernetici automatici) e gli esseri viventi (agenti cibernetici autonomi). Un punto di vista che ci permette di comprendere non solo moltissimo sugli umani e sulle macchine, ma ancora di più sull’effetto che le macchine producono sulla società e sulla cultura umana… e viceversa.

L’approccio “alla McCarthy”, che purtroppo è divenuto maggioritario tanto da essere quello in voga in tutte le nostre facoltà scientifiche, produce l’alienazione degli scienziati dalla stessa cultura scientifica e rende la comprensione della scienza impossibile. Tutto ciò è funzionale al produrre una casta di tecnici della ricerca il cui compito principale non è allargare i confini del conosciuto, ma piuttosto puntare a vivacchiare, pubblicando tanti articoli su temi che ricevono finanziamenti, ma soprattutto agire da guardiani di una conoscenza atomizzata e scomposta, al servizio del potere di turno. Vedo in questa evoluzione un parallelo con lo spossessamento cui viene sottoposto il lavoratore con l’introduzione del’automazione industriale, ben rappresentata dalla catena di montaggio: lo scienziato, così come prima l’operaio, esegue un certo numero di operazioni, sempre uguali o analoghe per tipologia, perfettamente ignare del disegno complessivo che si vuole realizzare. Tutto ciò prima ancora dell’introduzione dell’assurda pratica del “publish or perish” che ha ormai soggiogato tutti i ricercatori del mondo. Con l’aggiunta dell’imperativo produzionista il quadro è completo, e il tracollo della nostra capacità di comprendere il mondo e trovare soluzioni veramente innovative è garantito in maniera quasi ineluttabile.

L’Ai odierna è figlia di questo metodo e, per di più, ha l’obiettivo di spingere questa tendenza a un successivo livello di alienazione e automazione: quello in cui il processo cognitivo è realizzato (in tutto o in parte) dalle macchine invece che dall’uomo. Ci siamo convinti, insomma, che gli agenti cibernetici automatici siano in grado di fornirci valide previsioni anche laddove la scienza ancora non abbia prodotto solide teorie e quindi modelli della realtà: basterà fornire alle macchine un algoritmo unito a enormi quantità di dati ed esse produrrano una previsione basata sui casi del passato (5), starà poi alla società comprendere se questa previsione sia anche affidabile e sobbarcarsi ogni onere in caso non lo sia.

Il sogno finale di questo “culto dei dati” è ben rappresentato da un articolo particolarmente curioso appena pubblicato su Arxiv (6) dal titolo: “The Ai scientist: verso una ricerca scientifica completamente automatizzata e aperta” (7) i cui autori, con una determinazione degna del capitano Kirk, dichiarano di aver creato un agente cibernetico automatico in grado di sostituire l’uomo nel lavoro di ricerca scientifica. Piccolo dettaglio: la qualità degli articoli prodotti da questo “chatbot ricercatore” verrebbe “controllata” da un software di peer-review a sua volta automatico, ossia da un altro agente cibernetico automatico. Un sistema perfettamente consistente per “sollevarsi da terra tirandosi per i lacci delle proprie scarpe” (8). Mi chiedo che peer-review ne farebbe Wolfgang Pauli, che era solito bollare con “non arriva a essere sbagliato” i lavori che considerava metodologicamente sciatti.

Recentemente Mark Zurckerberg ha proposto di mettere a disposizione dei ricercatori l’ultima versione della sua Ai (LlaMa3) perché possa essere sviluppata liberamente. Cosa pensi di questa sospetta conversione al “software libero” da parte del padrone di Facebook, Instagram, Whatsapp ecc. ?

R. Queste grandi aziende sono il prodotto di un’idea estremista, quasi settaria delle relazioni economiche. Il livello di sfruttamento degli esseri umani a cui puntano pervicacemente è perseguito quasi a prescindere dal beneficio, come un fine a sé. Non mi è ancora chiaro quale sia il vantaggio di Meta in questa operazione, ma quello di cui possiamo essere certi è che un vantaggio esiste ed è stato ben definito e studiato dal suo management. Per comprendere di cosa parlo basta prendere ad esempio quello che Google scrive a proposito del software libero (che loro chiamano, non a caso, software open source):

“Sebbene il processo open source possa avere risultati positivi, non si tratta di un atto di carità. Il rilascio di un lavoro come open source e il relativo processo di contribuzione alla fine portano a un ritorno maggiore sull’investimento iniziale fatto rispetto al processo alternativo closed source” – Google.com

Un esempio: OpenAi ha rilasciato un software libero chiamato WhisperAi. Si tratta di un modello linguistico di grandi dimensioni (LLM) ottimizzato per trascrivere una registrazione audio o video. Molto utile per i docenti. La ragione per cui lo hanno creato? Trascrivere la totalità dei video presenti su YouTube per creare nuovi testi con cui saziare la fame pantagruelica di dati del loro modello principale: ChatGPT. Un esempio lampante di “maggiore ritorno sull’investimento iniziale rispetto al processo […] closed source”. Inoltre, grazie all’incremento di fiducia (9) che si genera con la pubblicazione open source del codice, l’istanza di WhisperAi installata sui server dell’azienda potrà raccogliere – in aggiunta – tutti i dati delle registrazioni private che gli utenti di Internet gli invieranno per farseli trascrivere. Infatti, per quanto il codice sia libero, l’installazione su un PC è difficoltosa, sia per la richiesta di risorse (si tratta di un software discretamente pesante, che richiede memoria e disco in abbondanza), che per la complessità del processo di installazione. Per questo, seguendo l’imperativo dell’esperienza frictionless a cui ci ha abituato Steve Jobs, molte persone utilizzano WhisperAi in remoto, mettendo così a disposizione di OpenAi svariati petabyte di dati privati per ottimizzare il suo ChatGPT.

Detto questo: fino a quando un software è distribuito con una licenza libera virale (ossia che obbliga chi lo utilizza a rilasciare le modifiche con gli stessi criteri della licenza originale) può essere una buona base per costruire tecnologie conviviali, che non instaurano relazioni di comando/obbedienza e, anzi, possono avere effetti liberatori. Più in generale, per conviviale s’intende un approccio che promuova l’avvento di una società conviviale come la intendeva il filosofo Ivan Illich:

“Chiamo società conviviale una società in cui lo strumento moderno sia utilizzabile dalla persona integrata con la collettività, e non riservato a un corpo di specialisti che lo tiene sotto il proprio controllo” – Ivan Illich, La convivialità, 1974

Chiaramente per realizzare questa “estinzione della casta degli esperti” non basta utilizzare software libero, ma sono necessarie condizioni aggiuntive (anzi, una delle ragioni di difficoltà del movimento per il software libero dopo il 2005 è stata proprio la creazione di una “casta alternativa” di esperti del software libero). Dan McQuillan (10), nell’analizzare l’impatto dell’Ai sulla società, osserva che perché questa possa dispiegare i suoi effetti è necessario che sia il “braccio operativo” di un “apparato” formato da burocrazia, ideologia e tecnologia. In questa definizione si sentono echi del concetto di “megamacchina” (3) introdotto da Lewis Mumford.

Per converso, perché l’impatto di una tecnologia sia effettivamente liberatorio è indispensabile che il collettivo che l’adotta ne faccia strumento di empowerment. Sarei quasi tentato di affermare che non esiste tecnologia conviviale senza un approccio collettivo alla stessa. Quella dell’empowerment collettivo, infatti, è la condizione per la quale si evita che – alla prima difficoltà – il software in questione venga abbandonato in favore delle soluzioni “più semplici” proposte da Big Tech. Le tecnologie del dominio, infatti, sono sviluppate con l’obiettivo di rendersi “frictionless”, ossia di poter essere utilizzate senza bisogno di leggere alcun manuale, ma anche senza bisogno dell’aiuto o dell’interazione con nessuno. L’effetto collaterale di tale tecnologia è di isolare le persone, alienandole dal gruppo e riducendole a meri utenti, in relazione unicamente con la megamacchina tecnica e pronte a seguire i diktat degli esperti che ne garantiscono l’operatività.

Le tecnologie conviviali, invece, pur senza voler essere respingenti a prescindere, hanno lo scopo di promuovere la comprensione e la modifica del loro stesso funzionamento. Sono ontologicamente differenti, tanto quanto un mammifero è differente da un rettile. Inoltre, le tecnologie conviviali, non pretendendo la presenza di alcun ordine gerarchico sociale su cui fondare la loro adozione, richiedono uno sforzo di coordinamento ben maggiore per la distribuzione e messa in funzionamento (deployment), in quanto non esiste un’autorità a priori che disponga in forma normativa come questo debba aver luogo. La libertà, in breve, costa intenzionalità e un po’ di sforzo; non è possibile ottenerla procedendo come sonnambuli, per automatismi.

Tu sei un insegnante e anche nella scuola l’entusiasmo acritico per l’AI rischia di creare gravi danni. (3) Quali sono i rischi principali che intravedi?

R. Come ho già scritto anche su Collegamenti il rischio principale mi pare l’applicazione delle logiche dell’automazione industriale al dialogo didattico. In tale ottica la sostituzione o anche l’affiancamento dei docenti umani con agenti cibernetici automatici che operano come “tutor” viene propagandata come strumento di inclusione e/o di rafforzamento delle competenze degli allievi, senza prendere in alcuna considerazione il rischio di un approccio tecnomagico da parte degli studenti che, posti di fronte a questi chatbot senza le competenze per comprenderne appieno la “meccanica interna”, si convincano che la tecnologia che li produce sia un sapere eccelso, riservato a una casta di eletti da cui loro resteranno esclusi. Un esempio lampante di aumento dell’alienazione tecnica come definita dal filosofo Gilbert Simondon (11). Ovviamente credo che gli allievi debbano essere esposti a questa nuova tecnologia, ma che questo vada fatto mostrando loro “le quinte”, ossia permettendo loro di modificarne i settaggi, interagire con il loro funzionamento e, di conseguenza, divenire più che semplici utenti passivi.

Un’altra tendenza che mi pare deleteria, ed è purtroppo molto diffusa nel corpo docente, è l’illusione che i problemi creati da una nuova tecnologia (per esempio l’Ai generativa) siano risolvibili per via tecnologica. Un esempio lampante mi pare quello del rischio che gli studenti utilizzino l’Ai per falsare i risultati dei test scritti, che molti docenti pensano sia risolvibile attraverso software che certifichino l’originalità degli elaborati assegnati agli allievi (di recente il WSJ ha addirittura sostenuto che OpenAi avrebbe la soluzione a questo problema, cosa scientificamente assai improbabile) (12).

Il problema dell’originalità degli elaborati, infatti, è di gran lunga precedente all’introduzione dei LLM e assai complesso, io non sono convinto possa essere risolto con un approccio tecno-poliziesco: necessita un lavoro di cura e promozione del dialogo tra docenti e discenti, non dispositivi di sorveglianza e punizione. Da questo punto di vista i chatbot, come ChatGPT, rappresentano un rafforzamento della possibilità di falsare i risultati, ma la domanda da porsi (e da porre) è “perché falsificate i risultati dei test?”. Entro certi limiti è un fenomento vecchio quanto la scuola, ma se diviene tale da produrre differenze abissali tra prove scritte e prove orali (dove la falsificazione è molto difficile), il problema non è tecnico, ma didattico. La soluzione, quindi, va ricercata in un approfondimento del dialogo e nella costruzione di una pedagogia differente, che promuova un rapporto più sano con la tecnologia e con il potere sotteso alla relazione didattica, una pedagogia hacker (13).

Prima ci hai parlato della possibilità (e auspicabilità) di “tecnologie conviviali”, che non instaurino relazioni di comando/obbedienza ma al contrario possano avere effetti liberatori. In che misura è quindi possibile un “approccio conviviale” all’Ai?

R. Costruire Ai conviviali significa adottare un approccio radicalmente opposto a quello oggigiorno in voga. La logica degli attuali modelli linguistici è una logica di forza bruta: “non sappiamo cosa sia l’intelligenza, ma ci siamo accorti che se abbiamo quantità mostruose di dati possiamo utilizzarle per ottimizzare algoritmi che producono stime quasi soddisfacenti” (o soddisfacenti a tratti). Per giocare a questo gioco le dimensioni industriali sono fondamentali: non solo sono necessari miliardi di dollari (100 miliardi l’ultimo round di investimento richiesto e ottenuto da Sam Altman per la sua OpenAi), ma pure la “bolletta” quotidiana in termini di luce e acqua costa cifre mostruose: si stimano 700,000 dollari al giorno per l’operatività di ChatGPT.

Non sono completamente certo che un’Ai conviviale sia possibile, ma quello a cui lavoriamo con C.I.R.C.E. è un approccio hacker a questa tecnologia, come già prima con Internet e i social media. L’obiettivo, come già detto, è quello di inventare approcci che ne permettano l’uso da parte di tutte le persone, integrate con la società, sottraendola alle mani degli esperti che al momento la tengono saldamente sotto il proprio controllo. Una prima misura è certamente quella di produrre agenti cibernetici automatici, software e hardware, che non richiedano le imponenti risorse di ChatGPT, Gemini o Claude (e su questo i progressi sono notevoli, anche perché sostenuti – almeno in parte – da contraddizioni interne al sistema Silicon Valley che creano le condizioni per investimenti in tecnologie meno pesanti dei grandi LLM già citati, in grado di funzionare su computer molto più piccoli e con quantità di energia molto più contenute), ma fatto questo è poi necessario invertire la dinamica dell’innovazione, ripartendo dal basso, dalle necessità reali delle persone e dei collettivi sociali in cui si trovano a vivere, invece che dall’obiettivo di creare il software definitivo che “soddisfa” le necessità di tutte le persone del mondo, generando al contempo introiti pantagruelici per chi ha avuto l’idea iniziale.

Si tratta di uno sforzo di condivisione della conoscenza titanico, data l’esiguità dei nostri mezzi comparata alla cassa di risonanza che ha la “formazione” all’uso passivo dell’Ai promossa da realtà come Google, Amazon, Facebook, Apple e Microsoft, ma rispetto alla quale mi pare di cogliere un piccolo elemento di speranza: le voci critiche sono molto più numerose e “rumorose” che in passato e qualche risultato si comincia a vedere. Il limite, una volta compreso il metodo della pedagogia hacker, è dato unicamente dalla fantasia e dalla voglia di costruire e collaborare.

---

Intervista a cura di Mauro De Agostini, dal n. 7 (autunno 2024) di “Collegamenti per l’organizzazione diretta di classe”

---

Stefano Borroni Barale, sindacalista di base CUB SUR, fisico, insegna informatica in un ITI del torinese. Per Altreconomia, oltre a “L’intelligenza inesistente” (di cui ora sta per uscire la seconda edizione) ha pubblicato “Come passare al software libero e vivere felici” (2003)

---

NOTE

(1) Nicola Villa, introduzione a Stefano Borroni Barale, “L’intelligenza inesistente…” cit. p.6

(2) Dei “turker” ci siamo occupati in un articolo nel numero precedente di “Collegamenti”. Il nome rimanda a una celebre truffa del 1700. Wolfgang von Kempelen costruì un automa con sembianze umane, vestito come un turco, che era capace di giocare a scacchi tenendo testa anche a grandi campioni. Solo in seguito si scoprì la frode. All’interno della “macchina” si nascondeva un essere umano che ne guidava i movimenti.

(3) di Stefano Borroni Barale si veda anche l’articolo Cibernetica o barbarie!, sul n. 6 di “Collegamenti”.

(4) Semmai è “intelligente” come aveva previsto il genio visionario di Alan Turing: “non potranno le macchine fare qualcosa che deve essere descritto come ‘pensare’, ma che è totalmente differente da ciò che fa l’uomo?” (trad. in proprio di A. Turing, Can Machines Think?, 1950).

(5) Per una trattazione dettagliata del “culto dei dati” consiglio l’ottimo articolo di Nick Barrowman: https://www.thenewatlantis.com/publications/why-data-is-never-raw

(6) Sito web dove vengono resi pubblici numerosi articoli in stato di “pre-pubblicazione”, liberamente accessibili via Internet.

(7) L’articolo è reperibile online al seguente indirizzo: https://arxiv.org/pdf/2408.06292

(8) https://en.wiktionary.org/wiki/pull_oneself_up_by_one’s_bootstraps

(9) Ci piace definire questo effetto, in analogia con la pratica del greenwashing, come openwashing.

(10) Dan McQuillan, An anti-fascist approach to Ai, Bristol University Press, 2022

(11) Per Simondon l’alienazione tecnica è il divario tra cultura e tecnica, ossia la convinzione che la tecnica sia un sapere volgare, per sua natura inferiore alla “vera cultura” umanistica; ma anche l’analogo opposto, cioè la convinzione che la tecnica sia un sapere eccelso e salvifico, riservato a pochi eletti.

(12) Qui è possibile leggere l’articolo del WSJ che avanza questa ipotesi: https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a

(13) Per un’introduzione alla pedagogia hacker si veda, ad esempio: https://www.educazioneaperta.it/pedagogia-hacker-un-antidoto-allalienazione-tecnica-or-hacker-pedagogy-an-antidote-to-technical-alienation.html