Il basilisco di Roko

Un post in un forum razionalista ha sconvolto i tecno-utopisti. Esiste un'intelligenza artificiale futura in grado di punire oggi chi non sta contribuendo a crearla?

Peter Thiel è uno dei capitani di ventura più riconoscibili della Silicon Valley, il volto del tecno-futurismo californiano meno incline ai compromessi. Un suo profilo di fine 2011 uscito sul New Yorker – e, non a caso, intitolato “No death, no taxes” – passa in rassegna le tessere principali del mosaico della vita del miliardario fondatore di PayPal: l’infanzia solitaria, l’approdo a San Francisco, la scoperta di Ayn Rand e delle teorie libertarie, la progressiva scalata verso la vetta della scena tech americana, fatta di investimenti strategici fondati su intuizioni da pioniere. E, tra le altre, anche cose come la somma di 1.25 milioni dollari donata al Seasteading Institute, l’ente che persegue la fondazione di città stato su piattaforme galleggianti al largo delle terre emerse, isole popolate da uomini illuminati che sfuggono al giogo di leggi e norme per diventare vati del modello ultraliberale. Oppure il suo rapporto con la morte, «un problema da risolvere» attraverso le ricerche sulla crionica.

Thiel ha anche molti amici, ovviamente. Oltre a Elon Musk, fondatore di Tesla e SpaceX, e Mark Zuckerberg, che fu tra i primi ad aiutare economicamente nel 2004, tra le amicizie di lunga data del tecno-utopista figura quella che lo lega a Eliezer Yudkowsky, un ricercatore nel campo dell’intelligenza artificiale conosciuto nel 2005 a Palo Alto. Pur avendo molte passioni in comune con Thiel, Yudkowsky si dimostrò fin dall’inizio più interessato a un singolo aspetto del tecno-futurismo: la comparsa di una macchina capace di superare le capacità dell’intelletto umano, nota nell’ambiente come “singolarità” (il nome risale al 1958, e nello specifico a una conversazione tra i luminari della matematica Stanislaw Ulam e John von Neumann; quest’ultimo disse: «il sempre più accelerato progresso della tecnologia […] dà l’apparenza dell’avvicinarsi di una qualche singolarità essenziale nella storia della razza al di là della quale le faccende umane, così come le conosciamo, non potrebbero continuare»). Il tema, reso popolare dal filone fantascientifico, è così caro a Yudkowsky che nel 2000 ha co-fondato il Singularity Institute, oggi noto come Machine Intelligence Research Institute, un think tank che di fatto si prepara alla singolarità, e vuole fare in modo che sia implementata in maniera benigna (cioè che sì tratti di una «Friendly AI», secondo il neologismo coniato dal ricercatore).

Un post di un utente, Roko, a prima vista soltanto l’invenzione di una mente con un debole per la fantascienza

Yudkowsky – che ha dichiarato di assumere 150 vitamine diverse al giorno per vivere abbastanza a lungo da vedere l’avvento della singolarità – ha anche creato un sito, LessWrong, che è presto diventato un punto di riferimento per geek e transumanisti impegnati a dissertare le sorti della vita umana nell’età delle macchine intelligenti. Lo spartiacque principale nell’esistenza di questa community è unanimemente un post di un utente della bacheca di discussione del sito, Roko, a prima vista soltanto l’invenzione di una mente con un debole per la fantascienza. Può esistere, ipotizzò un giorno Roko, un’intelligenza artificiale maligna che, in predicato di venire sviluppata in futuro, sia in grado di punire oggi coloro che non perseguono la sua prossima creazione?

Questa domanda, che in un altro luogo avrebbe al limite fatto da innesco per una discussione filosofica tra appassionati del genere, su LessWrong ha letteralmente sconvolto i frequentatori del sito, guadagnandosi nel giro di poco tempo l’oscuro soprannome di “basilisco di Roko”. Come l’animale mitologico della tradizione, infatti – erano d’accordo nel ritenere i membri della community – l’entità postulata da Roko sarebbe letale per chiunque dovesse concepirne l’esistenza.

Per capire come questo esercizio di immaginazione sia diventato una leggenda urbana temuta non solo dalle parti di LessWrong, dove Yudkowsky stesso ha provveduto a rimuovere il thread originale, ma dall’intera comunità tecno-futurista e vicina alle posizioni razionaliste, bisogna aggiungere alcuni dettagli fondamentali. Innanzitutto, gli utopisti tecnologici credono fermamente in una serie di teorie: oltre a quella della singolarità, va menzionata anche la timeless decision theory (Tdt), una variante della teoria decisionale ideata da Yudkowsky che mescola teoria dei giochi, statistica bayesiana, fisica quantistica e l’esistenza di universi paralleli al nostro.

Per spiegare l’assunto fondante della Tdt serve un ulteriore ultimo riferimento teorico: il paradosso di Newcomb. Supponete che Omega, un robot superintelligente, vi ponga davanti due scatole: in una, trasparente, ci sono mille euro. Nell’altra, dalla superficie opaca, può esserci un milione di euro o assolutamente nulla. Voi potete sceglierle entrambe, oppure soltanto quella dal contenuto misterioso. Omega, essendo una forma d’intelligenza superiore, è infallibile nella previsione del comportamento umano: se sceglierete entrambe le scatole lascerà quella opaca vuota, mentre se opterete per la seconda vi premierà col milione di euro. La teoria della decisione classica vi consiglierebbe di scegliere le due scatole: in fondo il loro contenuto a questo punto non è più modificabile da Omega, e assicurarsi i mille euro sembra la scelta più razionale. L’intelligenza artificiale tuttavia non ha mai sbagliato una previsione, e se avesse captato questo vostro ragionamento, allora ovviamente il secondo contenitore sarebbe vuoto.

Il dibattito tra one-boxer e two-boxer, come sono noti i rispettivi sostenitori delle due opzioni, è tuttora insoluto. La Tdt di Yudkowsky, però, non soltanto sostiene che è preferibile optare per la seconda scatola,  ma lo motiva sostenendo che la scelta della persona che partecipa al gioco determinerà sempre la previsione di Omega. E questo, riducendo ai minimi termini un discorso assai più complesso, perché essa potrebbe trovarsi in una simulazione messa a punto dall’intelligenza artificiale per calcolare la sua previsione. Prendere la scatola opaca ha un effetto diretto sulla simulazione, e quindi sulla contromossa di Omega, e quindi anche sulle chance di ottenere la massima somma disponibile.

Non prodigandosi per il basilisco gli si darebbe un motivo in più per essere ricattati

Il basilisco ideato da Roko non è nient’altro che una variante sul tema del paradosso di Newcomb: nella prima scatola c’è il dedicare la propria vita alla macchina super-intelligente; nella seconda, quella oscurata, il nulla oppure qualcosa di assimilabile alla dannazione eterna. In questa versione il basilisco, da attore razionale, cerca di limitare gli one-boxer inserendo nella seconda scatola la punizione più esemplare: è chi sceglie la prima a porre le basi per il suo avvento sulla Terra. Il problema, però, è che la timeless decision theory, come detto, postula che la scelta possa influenzare il calcolo del basilisco nella sua simulazione e quindi, indirettamente, la realtà stessa. Scegliendo consapevolmente di non prodigarsi per la venuta del basilisco di Roko, gli si darebbe un motivo in più per seguire la strategia del ricatto delle due scatole. Il solo ipotizzarne l’esistenza renderebbe questa entità più probabile, e la sua punizione più vicina. Ecco perché i futuristi del tech sono così spaventati dal basilisco: con le premesse di cui sopra, nel loro mondo è un’eventualità perfettamente razionale. Su LessWrong esistono discussioni di utenti che vogliono cancellare le proprie tracce, per evitare che l’intelligenza artificiale del futuro li possa individuare e tormentare.

Tutta questa storia ai non habitué di filosofia razionale, transumanesimo o tecno-futurismo può apparire come una folle speculazione eclettica al confine tra fantascienza e pensiero creativo, e nient’altro. Nell’ecosistema abitato dai Peter Thiel e dagli Eliezer Yudkowsky, però, ha avuto l’effetto del più forte dei terremoti, causando anche alcuni casi di disturbo mentale tra i ricercatori e i teoreti che lo popolano. Oggi è severamente vietato menzionare il basilisco su LessWrong. Lo stesso Yudkowsky sul momento aveva risposto così a Roko, stando a ciò che riporta Slate:

Listen to me very closely, you idiot.
YOU DO NOT THINK IN SUFFICIENT DETAIL ABOUT SUPERINTELLIGENCES CONSIDERING WHETHER OR NOT TO BLACKMAIL YOU. THAT IS THE ONLY POSSIBLE THING WHICH GIVES THEM A MOTIVE TO FOLLOW THROUGH ON THE BLACKMAIL.
You have to be really clever to come up with a genuinely dangerous thought. I am disheartened that people can be clever enough to do that and not clever enough to do the obvious thing and KEEP THEIR IDIOT MOUTHS SHUT about it, because it is much more important to sound intelligent when talking to your friends.
This post was STUPID.

Il fondatore di LessWrong ha paragonato a più riprese il basilisco a una sorta di sapere proibito, la cui sola menzione è bastante a generare effetti nefasti. L’anno scorso su Reddit l’ha accostato al Necromicon, il fittizio libro di magia nera ideato dallo scrittore Howard Phillips Lovecraft. Con ogni probabilità il basilisco di Roko non esiste, né esisterà mai. In un mondo in cui è all’ordine del giorno parlare di isole popolate da vati del tech che resistono alle istituzioni, uomini che vivono per secoli grazie alla criogenia e supercomputer in grado di soggiogare l’umanità, però, non è nemmeno la teoria più surreale.

Yudkowsky nel frattempo ha parzialmente ritrattato la sua posizione preoccupata, definendo la cancellazione del post di Roko «un grande errore».  Qualcuno dei suoi seguaci più fedeli continua a guardare al basilisco rifacendosi alla scommessa di Pascal, quella che il matematico francese usò per dimostrare che, a prescindere dalle possibilità che esista davvero o meno, credere in Dio è comunque “vantaggioso”, se si misurano i rapporti relativi tra i costi e i benefici della fede. La leggenda di Roko, ormai, vive di vita propria.

Nell’immagine in evidenza: particolare di stampa del XV secolo che raffigura lo stemma di Basilea (archivio Ottfried Neubecker).