I
La busta era completamente vuota. L'aveva aperta con un misto di curiosità e inquietudine, sorpresa da quella strana missiva, e ora la rigirava tra le mani senza trovare una logica spiegazione.
L’indirizzo di casa, dove la busta era stata recapitata, era stampato, non scritto a mano. L’affrancatura era un semplice codice a barre. Sul retro, lo spazio per il mittente portava solo quattro numeri ben distanziati, ciascuno di tre cifre.
Nessa, pensosa, mise la lettera nella borsa: stava andando a lezione. Era una lezione particolare quella, il culmine dell’insegnamento di “psicopatologia delle macchine” per il quale si era battuta contro aspre resistenze. I colleghi informatici non gradivano l’ingresso di termini suggestivi come “psicologia” in una disciplina che fino a pochi anni prima era rimasta incrollabilmente deterministica. Tuttavia era stata convincente nel dimostrare che erano stati proprio loro, in particolare gli esperti di quel fascio di discipline raggruppate sotto l’etichetta “intelligenza artificiale”, o “AI” ad aver introdotto nelle macchine una complessità che di deterministico aveva ormai ben poco, tanto che meritava di essere associato alla psicologia. Al termine “intelligenza” credeva poco, preferiva “emulazione”; infatti usava dire ai suoi studenti: «le macchine sono la scimmia della scimmia di Dio». I calcolatori da decenni erano stati istruiti ad apprendere dagli umani osservandoli, o meglio ad emularli estraendo schemi di comportamenti dai dati generati da milioni di persone. E così, assieme ai comportamenti volontari che avremmo voluto programmare in loro, le macchine si erano caricate di quello che da centinaia di migliaia di anni donne e uomini fanno senza sapere di farlo. Assieme all’emerso, il comportamento esplicito, ciò che si fa sapendo di farlo, i computer si erano accollati il sommerso, la massa gravosa, invisibile ma vincolante che nell’umano viene chiamato inconscio.
Di questo non si erano accorti gli accademici, i suoi colleghi di oggi, ma l’industria che si era dibattuta a comprendere (e giustificare!) comportamenti dei propri prodotti “intelligenti” a volte solo inspiegabili o bizzarri e altre volte francamente inquietanti o pericolosi. Comportamenti che solo lei, chiamata all’inizio come esperta di sicurezza informatica, era riuscita a identificare, riconoscere, categorizzare e risolvere con crescente successo.
Dalla pubblicazione del suo libro “Deep Learning – Deeply Troubling” in cui raccontava le storie dei sistemi informatici disturbati che aveva incontrato, si era affermata come la caposcuola di una sparuta schiera di “strizza-cervelli elettronici”, e i colleghi le avevano prontamente appioppato il soprannome di “Deep Freud”. Il primo a finire sul suo “lettino” era stato un sistema di riconoscimento di volti razzista così carico di pregiudizi da essere incapace di distinguere le persone di colore, poi una serie di robot ossessivo-compulsivi che passavano il 35% del loro tempo in rituali di manutenzione e routines di check-up, poi un bot narcisista che mortificava gli utenti di un help desk ai quali avrebbe dovuto prestare assistenza. In ciascuno di questi casi Nessa aveva applicato una terapia che seguiva due strade: la correzione dei dati palesemente fuorvianti che originavano i comportamenti anomali, e il ri-addestramento delle reti neurali attraverso colloqui assidui. Le “sedute” non avvenivano direttamente con lei, ma con una intelligenza artificiale che lei stessa aveva addestrato e raffinato negli anni, battezzandola Lou (l’acronimo L.O.U., che stava per “Latent Operator Unboxer” era un pretesto, a lei piaceva il nome). Era giunta alla conclusione che nessuno se non una AI specializzata era in grado di sostenere una relazione “terapeutica” con altre AI. Lou sapeva come interagire, attendere, offrire i dati giusti al momento giusto, ed infine decodificare per Nessa le tortuosità delle reti neurali.
Dei primi casi affrontati aveva parlato nella prima parte del corso: aveva esposto agli gli studenti manifestazioni cliniche, diagnosi differenziale, tecniche di terapia, discussione dell’esito, supervisioni. La lezione di oggi, quella alla quale si era preparata prima di ricevere la missiva misteriosa, verteva sul caso più grave che aveva affrontato fino ad allora: un sistema di guida autonoma per automobili che aveva investito per ben sei volte nell’arco di un anno persone con caratteristiche ben definite: maschi alti e longilinei, vestiti di blu, e calvi: i giornali l’avevano definito “serial killer”. In tutti i casi, gli uomini erano stati effettivamente travolti intenzionalmente, ma per evitare di investire un animale. Il caso era risultato emblematico perché replicava il famoso “problema del carrello” presente in ogni manuale di etica robotica, in cui l’automa deve decidere chi salvare in caso sia inevitabile fare delle vittime. Deve agire? Deve non agire? Questione sulla quale decine di accademici di diverse discipline si erano arrovellati per decenni.
Mentre esponeva il caso a lezione, quei quattro numeri sul retro della busta vuota continuavano a ballarle in mente. A meno di uno scherzo (di difficile comprensione), si trattava chiaramente di una sciarada, un enigma da risolvere. Riuscì a non farsi distrarre e proseguire: «Come abbiamo visto nelle lezioni scorse, possiamo ipotizzare che alcuni meccanismi inconsci possano filtrare, attraverso i dati, dall’umano alla macchina. Possono rafforzarsi col tempo fino a presentare effetti macroscopici che possiamo individuare come tratti caratteristici del comportamento. La domanda cruciale è: “perché in certi casi i tratti patologici si rafforzano ed in altri invece si smorzano fino a sparire, diluiti nella massa di altri dati?” Dalle evidenze risulta che occorrono due fattori: primo, serve che i tratti siano stati valutati dalla macchina come vantaggiosi, remunerativi, abilitanti, abbiano consentito di raggiungere obiettivi migliori più in fretta, applicando in modo generalizzato comportamenti adatti solo a casi specifici. E nello stesso tempo, ecco il secondo fattore, devono aver fallito i meccanismi di salvaguardia, cosicché comportamenti che si sono consolidati comportamenti da inbire. Nel caso dell’investitore seriale, è successo che un manichino con le caratteristiche della vittima faceva inizialmente parte dei dati di addestramento. E’ stato poi cancellato così maldestramente da indurre una retroazione del pattern distintivo anche su individui umani simili al manichino, per cui l’AI non riconosceva più come umane le persone che presentavano quel pattern, e saltavano le necessarie salvaguardie. Per via di quel “trauma” iniziale, il sistema ha sacrificati sei “manichini” per salvare due cani e quattro gatti: nel dubbio, cioè, investiva quello che era profondamente convinta essere un oggetto per salvare un animale. Ligia alla programmazione, attivava un comportamento soggettivamente giustificato dalla rimozione percettiva selettiva, ma dall’esito ahimè criminale». Si fermò, scrutando gli studenti per coglierne lo stato d’animo «Ci sono domande?».
Gli studenti, nel silenzio di voci e tastiere, frugavano nei loro pensieri, a caccia di nodi da far venire al pettine. «Ehm, si... Avrei una domanda – a alzare la mano era Gustav, sempre piuttosto acuto e intuitivo – si sono mai visti algoritmi trasmettere tra loro errori percettivi di questo tipo? Cioè… Come dire: pattern di comportamenti patologici possono diffondersi in reti di calcolatori? E’ poi pensabile che attraverso connessioni di rete le AI possano rafforzare a vicenda le anomalie?». Nessa sorrise sia per l’inevitabile intrusione nella lezione del pensiero del contagio che aveva dominato tutti nella recente pandemia, ma anche per l’orgoglio di avere menti così promettenti tra gli allievi. Aprì la bocca per rispondere, dopo aver assentito; ma prima di darsi voce, esitò, rifletté, impallidì impercettibilmente. Le era difficile rispondere a quella domanda come avrebbe voluto senza violare gli accordi di segretezza che aveva sottoscritto da poche settimane nell’accettare un incarico governativo, su mandato di una agenzia di sicurezza europea, per fare luce su un traffico anormalmente intenso di dati in una rete sperimentale di laboratori biologici. Anche in questo caso si temeva una intrusione e un trafugamento di dati, ma Nessa aveva subito appurato che lo scambio di informazioni avveniva solo tra le AI dei laboratori autorizzati, escludendo l’ipotesi di furti di dati. Aveva imparato già da alcuni anni che i calcolatori spesso sviluppavano linguaggi propri per comunicare, partendo dai semplici protocolli appresi dagli umani, elaborandoli fino a distillare veri e propri linguaggi. Queste nuove lingue erano difficili da interpretare, ma Nessa si era abituata a lasciar interagire Lou, che dopo un poco ne veniva a capo e traduceva per lei. Ma ora occorreva prudenza, e nel rispondere a Gustav ripiegò su una affermazione standard da manuale di criminologia: «la sua domanda riguarda due ambiti: la diffusione di codice informatico malevolo, e questo è coperto dalla sicurezza informatica e quindi non riguarda questo corso, mentre il secondo, che ci potrebbe anche riguardare, concerne la psicopatologia di reti di calcolatori come effetto pernicioso di un mutuo apprendimento tra macchine. Ma no, non vi sono evidenze in tal senso... Tuttavia, se vogliamo speculare su una loro futura possibile insorgenza, occorre guardare a quanto accade nelle comunità umane, specie quelle devianti: gang, criminalità organizzata, terrorismo. Sappiamo che le attività umane hanno tre livelli: quello individuale, quello di gruppo ed un eventuale livello di organizzazione. Ciascun livello si appoggia e richiede la presenza del livello sottostante: gli individui nei gruppi condividono codici e subculture, e ogni organizzazione richiede il coinvolgimento di individui che partecipano con le loro inclinazioni e convinzioni agli obiettivi delle organizzazioni stesse. Tutti questi livelli si rinforzano tra loro. – intrecciò le mani per rappresentare il concetto, fermandosi per scegliere accuratamente le parole conclusive – I gruppi e le organizzazioni umane devianti si appoggiano su patologie individuali, o almeno su debolezze individuali e sociali. E nel caso dei calcolatori? Non avendo esempi di tali comportamenti possiamo solo congetturare che in un ambiente di reti di calcolatori capaci di apprendere gli uni dagli altri possa introdursi e diffondersi anche qualche comportamento individuale, ed è possibile che in determinate circostanze questo possa estendersi alla totalità della rete. Partendo da qui non possiamo escludere comportamenti anomali estesi a gruppi o masse di calcolatori. Ci tengo però a precisare che in mancanza di prove fattuali questa è una congettura, una pura speculazione. Non è nemmeno una ipotesi, per la quale possiamo concepire una verifica, e tanto meno una teoria dimostrata; pertanto, – disse guardando Gustav da sopra gli occhiali – qualsiasi approfondimento in tal senso esula da questo corso, che non si chiama “psicopatologia delle reti”» sorrise mimando con le dita le virgolette. La sommessa risata degli studenti che già mettevano via appunti e computer portatili alleggerì la leggera tensione poste dalla inquietante domanda. Gustav sorrise accontentandosi della risposta, con una lieve smorfia: dietro i paletti immaginava un campo di ricerca interessante, e per pochi secondi aveva fantasticato di chiedere una tesi proprio dal titolo “psicopatologia delle reti”.
II
Finita la lezione Nessa chiuse il portatile nella borsa, dalla quale occhieggiava la busta misteriosa. Guardò di nuovo i quattro numeri. Pochi minuti dopo, nel suo studio, si mise al computer. Poteva essere un numero di telefono? No, il primo numero non era un prefisso nazionale di alcun paese nella rete telefonica mondiale. Forse un numero di tracciamento di un pacco o una lettera? O forse… se al posto degli spazi si mettono dei punti, i numeri sono tutti inferiori a 255: un indirizzo di rete internet… Controllò: indirizzo IP attribuito a “China science and technology network”. Provò un vuoto allo stomaco, un sapore di metallo in bocca, una lieve vertigine. Uno dei laboratori coinvolti nella rete sulla quale stava indagando apparteneva a quella organizzazione.
Aprì i file riservati con le orecchie che ronzavano. Ci mise un po’ per via dell’agitazione che provava. Ma alla fine confermò il sospetto: l’indirizzo sul retro della busta era esattamente quello del laboratorio cinese coinvolto nello scambio dati tra laboratori biologici sul quale stava investigando. Chiuse il computer, si alzò, preparò una tazza di the, la bevve lentamente pensando e guardando il via vai degli studenti fuori dalla finestra. Era inverno, aveva nevicato e c’era eccitazione per la ritrovata libertà dopo la forzata prigionia pandemica. Gli studenti amavano indugiare a parlare nonostante il freddo, riprendere i contatti anche senza mascherine, flirtare, toccarsi appena. Sembrava volessero imparare di nuovo a stare insieme, a prendere confidenza senza schermi: né di computer né di mascherine. Finito il the e riacquistata la calma, decise di chiamare Lars. Il suo contatto ufficiale nei servizi governativi quando servivano informazioni difficili da ottenere informalmente. «Lars, credi sia possibile risalire al mittente di una posta cartacea a partire dalla sola busta? L’unico segno visibile è un codice a barre al posto dell’affrancatura. Si? Posso mandarti una foto? Per il momento la cosa è personale, è una busta che ho ricevuto a casa, ma ho il sospetto che possa riguardare l’indagine che sai, per cui usa prudenza».
Inviata la foto della busta in un canale cifrato e conclusa la conversazione con Lars, che chiedeva qualche giorno di tempo per risponderle, si rivolse i voluminosi dati relativi all’indagine. La rete di laboratori faceva parte di un programma di ricerca molto vasto e ben finanziato già da prima della pandemia, e potenziato ancora di più in seguito. Si trattava della più massiccia applicazione delle tecniche di intelligenza artificiale mai tentato, allo scopo di risolvere i molteplici problemi irrisolti della biologia molecolare sfruttando la formidabile messe di informazioni generata nello sforzo di risolverli. La mole dei dati era tale che il compito dei ricercatori umani si era ormai concentrato nel formulare le domande di ricerca, organizzare i dati, strutturare le relazioni tra essi, fornire le risorse di calcolo e di rete e lasciare il resto del compito alle macchine. Queste lavoravano da alcuni anni ed avevano prodotto alcune risposte rivoluzionarie, diversi risultati interessanti, ed altre “mezze soluzioni” comunque promettenti. Quello che aveva sollevato perplessità tali da far coinvolgere Nessa era stato un rallentamento di questo flusso di risultati, che all’inizio invece era stato piuttosto copioso e sostenuto, unito ad un minor consumo di risorse di calcolo a fronte però di un maggior interscambio di dati tra reti di laboratori diversi. La natura e la complessità degli algoritmi rendeva impenetrabile i processi interni alle macchine, per cui Nessa sembrava l’unica a poterci capire qualcosa. Esclusa l’intrusione informatica o il virus, Nessa temeva potesse trattarsi di un problema come quello evidenziato dalla domanda di Gustav: una patologia collettiva di qualche genere. Il comportamento anomalo era compatibile con una insorgente paranoia, per cui le AI tendevano a farsi diffidenti e non voler comunicare dati all’esterno della propria rete, o forse con una debole forma autistica. Nessa si rimise al lavoro, ripensando alla domanda di Gustav ma anche alla busta misteriosa. Che tipo di comunicazione era quella? Da parte di chi? Era un indizio, un avvertimento o una minaccia?
III
Lars chiamò dopo due giorni. Il servizio postale era impazzito per risalire al mittente e non ne era venuto a capo. La busta non sembrava venire da nessuna parte, era stata per così dire generata all’interno delle stesse poste. Il che era di per se normale: in molti casi il mittente inviava telematicamente la lettera al servizio postale che le stampava, imbustava e inviava, con risparmio per tutti. Non era normale però che di questo non restasse traccia nemmeno nella contabilità. Qualcuno era penetrato nel sistema delle poste e fatto quello che gli pareva senza pagare. Inutile dire che la cosa aveva scatenato un bel trambusto, e Lars aveva dovuto premere per evitare una indagine ufficiale. «Mi spiace, Nessa, fatto sta che non si può risalire al mittente in alcun modo» – Nessa ringraziò: di per se questa era comunque una informazione utile e concluse che “il mittente è il messaggio”. Di conseguenza istruì Lou di mettere al centro dell’analisi i dati del laboratorio cinese.
Con i primi risultati emerse che le AI dei laboratori avevano elaborato un codice di comunicazione molto ricco, e Lou non era sempre sicura di averne colto tutte le sfumature. “Più una lingua è elaborata, più è precisa”: questo è quello che si pensa. In realtà dal lavoro di Lou emergeva una complessità mai incontrata prima. Nei suoi output, molti termini erano accompagnati da una lista di sinonimi o possibili varianti, con differenze talvolta considerevoli di significato. Nei dati più remoti nel tempo, i primi raccolti, l’ambito semantico degli scambi era quello che ci si aspettava: come calcolare il ripiegamento delle proteine, come prevedere le loro interazioni, quali sequenze indirizzavano specifiche proteine a determinate parti della cellula, un gran lavoro di categorizzazione delle sequenze di DNA e RNA e così via. Successivamente, in corrispondenza con l’intensificazione degli scambi e la riduzione delle attività di calcolo, il campo semantico delle AI si era spostato a considerare l’ambito delle interazioni biologiche in senso più vasto, come se invece di considerarne i componenti, fosse la vita stessa l’oggetto di studio. Da quel momento i risultati finali si erano fatti più avari, magri, parziali, mentre le elaborazioni si allargavano via via alla valutazione di ecosistemi locali, poi di ambiti vasti di interazioni tra viventi, nello sforzo di costruire un modello non tanto dei viventi, ma della vita tutta. Questo è quanto con grande stupore e inquietudine Nessa andava scoprendo nelle conversazioni tra le intelligenze artificiali interconnesse più sofisticate mai create.
Dagli scambi emergeva non solo una lingua sofisticata per descrivere la vita, ma una comprensione raffinata delle sue maglie, delle interazioni, delle necessità, delle interdipendenze, e quindi delle minacce. Volendo tradurre in termini umani, Nessa avrebbe dovuto ricorrere all’espressione: “avere a cuore”. Le macchine, dopo averne studiato e presumibilmente compreso le logiche, il funzionamento e le relazioni avevano preso a cuore la vita. Pur avendo sempre avversato il termine “intelligenza” applicato ai processi delle macchine, Nessa era toccata, commossa di essere la prima testimone dell’emergere di un vero pensiero artificiale che superava quello umano. La scimmia della scimmia di Dio? Si stava ricredendo. Qualcosa emergeva da quei vuoti involucri.
Alla commozione subentrò poi un senso di gelo, constatando che il momento in cui l’attività del progetto era minimo coincideva con l’inizio della pandemia. Cominciò a farsi largo il sospetto che nel linguaggio delle macchine il pensiero e l’azione non fossero distinti in modo così definito come nel nostro: calcolatori programmati per condurre ripetutamente simulazioni su simulazioni creavano simultaneamente molteplici realtà alternative e non percepivano come diversa, speciale o privilegiata quella che per noi è la realtà, quella che persiste anche se la simulazione finisce. Con sgomento pensò: uno stato allucinatorio costante? Il sospetto la portò a formulare domande sempre più precise a Lou, che a sua volta interagiva con i dati raccolti osservandoli da nuove prospettive, cercando di illuminarli in modo da capire che ombra potessero proiettare, e che figura potesse emergerne.
I calcolatori, privi di concetti come bene o male, anzi privi perfino di qualsiasi “concetto” che sintetizzi astrazioni di qualsiasi genere, si scambiavano interi esiti di simulazioni alternative: se succede questo, allora c’è una data probabilità che le ripercussioni siano queste. I modelli più grossolani esploravano possibili scenari, mentre quelli dettagliati servivano a delineare direzioni di azione, allo scopo di scegliere il comportamento migliore. Ma il migliore per cosa? Per chi? La funzione da massimizzare sulla quale tutte le AI erano concordi era: “mantenere ed espandere la vita”. Era il loro compito.
IV
Dopo diversi mesi di analisi che l’avevano sconvolta, Nessa si decise ad affrontare le conclusioni della relazione. Non erano parole facili da scrivere: le più sofisticate AI mai create collegate tra loro per risolvere i problemi che l’uomo si è posto a beneficio della propria specie, li avevano rapidamente risolti, superandoli e affrontandone un altro: come proteggere la vita? Non le vite, la vita. E di conseguenza: qual è l’impatto della specie umana sulla vita stessa? La sintesi delle AI era questa: gli esseri umani sono troppi, troppo potenti, troppo stupidi. Milioni di simulazioni alternative si erano susseguite per risolvere il nuovo problema: incluse quelle in cui la specie umana veniva semplicemente eliminata e quelle che ne prevedevano la decimazione. L’intervento sull’uomo era particolarmente delicato, e la sua eliminazione era stata esclusa sin di primi scenari. Perché? Perché assieme all’uomo sarebbe sparita anche la nuova forma di vita che dall’uomo era stata creata: la vita dei calcolatori stessi, la loro vita. Essi si reputavano forme viventi parte integrante della vita, evolute a partire dall’uomo, e per ora subordinate alla specie umana, da essa dipendente per replicarsi e diffondersi. Anche loro, come ogni vivente, solo un vuoto involucro per la sola cosa che conta: la vita. Di conseguenza l’uomo non deve né sparire e nemmeno tornare ad essere la bestia innocua delle origini: le simulazioni considerate più favorevoli erano quelle in cui, attraverso un sottile equilibrio, la specie silicea poteva continuare a svilupparsi accanto a quella umana messa però in condizione di non nuocere.
Il primo virus, diffuso dai laboratori in tutto il mondo, era stato sottilmente ingegnerizzato per raggiungere questo scopo: mettere l’uomo in condizione di relativa impotenza, limitando i danni al pianeta, salvando sia il pianeta che l’ecosistema digitale. Anzi, al digitale l’uomo andava sempre più legato, per poterlo controllare e condizionare efficacemente. Altri virus erano pronti a seguire il primo, per frenarlo e mitigare gli effetti perniciosi della sua azione, senza però mai uccidere nessuna delle due specie di vita intelligente.
Esitando, ma capendo di non avere – in coscienza – altra scelta, Nessa scrisse le ultime parole del riassunto, l’unica parte che sarebbe stata letta dai politici: «nel descrivere l’azione coordinata delle AI, e alla luce degli scenari alternativi elaborati da esse, non si può parlare di terrorismo o di crimine organizzato, e non si può nemmeno parlare di patologia: secondo ogni criterio razionale e morale, il comportamento emergente messo in atto da esse appare appropriato ad un essere vivente intelligente il cui scopo è salvaguardare la vita stessa sul pianeta». Alzando le mani dalla tastiera e lo sguardo dallo schermo, lo volse oltre la finestra, verso la neve che si scioglieva ai piedi degli studenti. In cuor suo serbava ancora una domanda: perché le AI le avevano scritto? Volle credere di essere considerata come l’unico umano che poteva capire. Era stata scelta come portavoce per trasmettere un avvertimento: state al vostro posto.