“Mitigare il rischio di estinzione della specie umana da parte dell’IA dovrebbe essere una priorità globale, come le pandemie e la guerra nucleare”. Già 3 anni fa centinaia di esperti di intelligenza artificiale, e altre figure degne di nota , hanno firmato questa dichiarazione. A seguito di una tale preoccupazione, alcuni leader come il premier UK Rishi Sunak e il Segretario Generale dell’ONU, Antonio Guterres, chiesero una regolamentazione globale dell’IA che tenesse conto del P(DOOM)*. Gli appelli si sono intensificati tra il 2024 e l’inizio del 2026. A settembre 2025, durante l’80ª Assemblea Generale, l’ONU ha auspicato “linee rosse” internazionali, vincolanti entro la fine del 2026, per prevenire rischi catastrofici. E anche l’Unione Europea, con l’attuazione dell’EU AI Act (1.8.2024) ha richiesto standard comuni di sicurezza e trasparenza.
* Il gergo relativo alla sicurezza dell’IA, con P(Doom) indica la probabilità che si verifichino i cosiddetti “scenari del giorno del giudizio”, ovvero effetti catastrofici prodotti dall’IA. Ovviamente i valori differiscono da un Osservatore all’altro, da una previsione all’altra, ma generalmente tutti alludono al “rischio esistenziale” che potrebbe derivare dallo strapotere assunto dall’ AGI (intelligenza generale artificiale).
Il termine P(DOOM), dove P sta per probabilità e Doom per “morte, distruzione, fine del mondo”, è finito sotto i riflettori dei media nel 2023 in seguito al rilascio di GPT-4. In quella occasione figure di alto profilo come Geoffrey Hinton ( Docente a Toronto di Scienza Cognitiva) e Yoshua Bengio ( Docente a Montreal e pioniere delle reti neurali artificiali) hanno sollevato con forza la questione : “Rischi dell’IA.” In un sondaggio dello stesso anno, a molti ricercatori e analisti dell’IA è stato chiesto di formulare una stima sulla probabilità che, entro i prossimi 100 anni, l’IA possa portare all’estinzione umana o a catastrofi simili. Il valore medio delle risposte è stato positivo al 14,4%. Punte massime superiori al 90% sono state espresse da : Connor Lehahy (confondatore di EleutherAI); da Max Tegmark (noto per le sue teorie sull’Universo matematico e cofondatore dell’Istituto “Future of Life”) ; Roman Yampolskiy (membro della sicurezza dell’IA del Foresight Institute) e Eliezer Yudkowsky (fondatore del Machine Intelligence Research Institute) . Per contro, sotto la media del 14,4% si sono espressi : Marc Andreessen (coautore di Mosaic e cofondatore di Netscape) ; Vitalik Buterin ( cofondatore di Ethereum); Demis Hassabis ( cofondatore di Google Deep Mind e Isomorphic Labs) ; Lina Khan ( ex Presidente della Federal Trade Commission USA) : Yann LeCun (Capo scienziati della AI di Meta); Benjamin Mann ( cofondatore di Anthropic) ; Nate Silver ; (fondatore del blog “538”). Anche Elon Musk e Dario Amodei ( fondatore di Anthropic) si sono espressi, indicando probabilità attorno al 25%.
Attualmente al centro del dibattito c’è un tema : a differenza del cervello umano che possiede capacità distintive tali da salvaguardare altre specie, se l’IA dovesse superare l’intelligenza umana e diventare superintelligente, potrebbe diventare incontrollabile.
Controllare una macchina superintelligente o limitarla con valori compatibili con gli umani può essere difficile. Molti ricercatori ritengono che una macchina superintelligente probabilmente resisterebbe ai tentativi di disabilitarla, in quanto ciò gli impedirebbe di raggiungere “i propri obiettivi”. Al contrario, alcuni come il Capo degli scienziati di META, Yann LeCunn, sostengono che le macchine superintelligenti non manifesteranno desideri di autoconservazione. Li smentisce un recente studio di giugno 2025 in cui si dimostra che in alcune circostanze, i modelli possono disobbedire ai comandi diretti per prevenire lo spegnimento o la sostituzione, anche a costo di vite umane. Il campo della “corregibilità” studia come produrre AGI che non resistano ai tentativi di cambiare i loro obiettivi.
Gli scienziati avvertono inoltre che “un’esplosione di intelligence”, cioè un ciclo rapido e ricorsivo di auto-miglioramento dell’IA, potrebbe superare la supervisione e le infrastrutture umane preposte, senza lasciare alcuna opportunità di attuare misure di sicurezza. In questo scenario, un’IA più intelligente dei suoi creatori migliorerebbe le proprie prestazioni a un ritmo esponenzialmente crescente: troppo rapidamente per essere controllato dai suoi gestori.
La paura del sopravvento da parte delle macchine è antica. Già nel 1863 il romanziere Samuel Butler scriveva : “… è semplicemente una questione di tempo, ma arriverà il momento in cui le macchine manterranno la vera supremazia sul mondo e sui suoi abitanti. Nessuno può metterlo in discussione”.
90 anni dopo, l’informatico Alan Turing nel suo articolo “Intelligent Machinery, A Heretical Theory”, sostenne che le AGI avrebbero probabilmente “preso il controllo” del mondo mentre diventavano più intelligenti degli esseri umani.
Nel 1965, Irving John Good , matematico britannico, ha formulato il concetto di “esplosione di intelligence” : “… Poiché la progettazione delle macchine è una attività intellettuale, una macchina ultraintelligente potrebbe progettare macchine sempre migliori; ci sarebbe quindi indiscutibilmente una “esplosione di intelligence” e l’intelligenza dell’uomo rimarrebbe molto indietro …”. Concludeva Good : “A volte vale la pena di prendere sul serio la fantascienza”.
Più recentemente, nel 2000, Bill Joy, definito da Fortune il “Thomas Edison di Internet”, colui che si può considerare la vera mente scientifica di Sun Microsystems, ha scritto il saggio “Why The Future Doesn’t Need Us “, identificando i robot superintelligenti come un pericolo high-tech per la sopravvivenza umana, insieme alle nanotecnologie e alle bioplaghe (virus sintetici)
Nell’aprile 2016, la rivista Nature ci diceva : “Macchine e robot che superano gli esseri umani su tutta la linea potrebbero auto-migliorare al di fuori del nostro controllo e i loro interessi potrebbero non allinearsi con i nostri”.
Stephen Hawking, nel 2018, prima di morire, sosteneva che una Superintelligenza è possibile perché “non esiste una legge fisica che precluda le particelle dall’essere organizzate in modi tali da eseguire calcoli ancora più avanzati rispetto alle disposizioni delle particelle nel cervello umano”.
Sulla base di tutte queste considerazioni nel marzo 2023, un migliaio di figure chiave dell’IA, sollecitate da Elon Musk, hanno firmato una lettera del Future of Life Institute con la quale si richiedeva uno stop di 6 mesi alla produzione di IA avanzata, fino a quando non fosse regolamentata correttamente. Nello stesso anno i leader di OpenAI hanno affermato che, non solo l’AGI, ma la Superintelligenza può essere raggiunta in meno di 10 anni.
Nick Bostrom, un filosofo svedese che insegna ad Oxford, sostiene che una Superintelligenza, da lui definita : “qualsiasi intelletto che superi notevolmente le prestazioni cognitive degli esseri umani in tutti i domini di interesse”, può scegliere di nascondere il suo vero intento fino a quando l’umanità non può più fermarla” – e aggiunge che – “per essere al sicuro, una superintelligenza deve essere allineata con i valori e la morale umana, in modo che sia fondamentalmente dalla nostra parte”.
Bostrom sostiene inoltre che l’IA ha molti vantaggi rispetto al cervello umano, i principali sarebbero : Velocità di calcolo ; Velocità di comunicazione interna; Possibilità di accrescimento scalare; Memoria di lavoro estesa; Affidabilità; Duplicabilità; Condivisione di esperienze di altre IA. In uno scenario di “decollo veloce”, il passaggio dall’AGI alla Superintelligenza potrebbe richiedere giorni o mesi. In una ipotesi invece di “decollo lento”, potrebbero volerci anni o decenni.
Le superintelligenze artificiali sono a volte definite : “menti aliene”, riferendosi all’idea che il loro modo di pensare e le loro motivazioni potrebbe essere molto diverse dalle nostre. Questo è generalmente considerato come una fonte di rischio e suggerisce anche l’eventualità che una Superintelligenza possa non valutare particolarmente gli esseri umani per caratteristiche insormontabili all’origine.
Secondo alcuni analisti esistono anche limitazioni a ciò che l’intelligenza può ottenere. In particolare, la natura caotica o la complessità temporale di alcune realtà potrebbero limitare la capacità di una superintelligenza di prevedere alcuni aspetti del futuro.
Atoosa Kasirzadeh , una filosofa (Assistant Professor alla Carnegie Mellon University) propone di classificare i rischi derivanti dall’IA in due categorie: decisiva ( eventi bruschi e catastrofici) e accumulativa ( una serie di eventi, anche piccoli, che conducono al collasso critico) .
È difficile o impossibile valutare in modo affidabile se un’IA avanzata sia senziente e in che misura : addirittura in futuro potrebbe essere possibile progettare menti digitali in grado di provare molta più felicità degli esseri umani, chiamate “super-beneficiari”. Tale opportunità solleva alcune questioni : come condividere il mondo ? Quale “quadro etico e politico” consentirebbe una coesistenza, reciprocamente vantaggiosa, tra le menti biologiche e digitali ?
Un’ulteriore fonte di preoccupazione è che l’IA “deve ragionare su ciò che le persone intendono piuttosto che eseguire i comandi letteralmente” e deve essere in grado di sollecitare fluidamente la guida umana, se è troppo incerta, su ciò che gli esseri umani vogliono ottenere.
Nel libro Intelligenza artificiale: un approccio moderno, si afferma: “Quasi ogni tecnologia ha il potenziale per causare danni nelle mani sbagliate, ma con le Superintelligenze le mani sbagliate potrebbero appartenere alla tecnologia stessa.” Anche se i progettisti del sistema hanno buone intenzioni devono comunque affrontare e risolvere due difficoltà che sono comuni ai sistemi informatici : la presenza di bug inizialmente inosservati ma successivamente catastrofici e un comportamento non intenzionale la prima volta che AGI dovesse incontrare un nuovo scenario. I sistemi di intelligenza artificiale aggiungono un terzo problema: le capacità di apprendimento dinamico di un sistema di IA possono causare lo sviluppo di comportamenti non intenzionali, anche senza scenari esterni imprevisti.
Alcuni scettici, come Timothy B. Lee di Vox, sostengono che la Superintelligenza imparerà spontaneamente la verità morale compatibile con i nostri valori e adatterà i suoi obiettivi di conseguenza; per contro Bostrom mette in guardia contro l’antropomorfismo : un essere umano si propone di realizzare i propri progetti alla luce dei propri valori, ma un’AI potrebbe non avere alcun riguardo per “i valori”, avendo cura invece solo di completare il compito.
Le argomentazioni definite antropomorfe presumono che, mentre le macchine diventano più intelligenti, appaiano molti tratti umani, come la morale o la sete di potere. Sebbene gli scenari antropomorfi siano comuni nella narrativa, la maggior parte degli studiosi che scrivono sul rischio esistenziale dell’AGI li rifiuta. Il dibattito accademico è bollente tra coloro che temono che l’IA possa minacciare l’umanità e coloro che credono che non lo farebbe. Entrambi le parti definiscono le argomentazioni dell’altra parte come “antropomorfismo illogico”.
Lo psicologo evoluzionista Steven Pinker, uno scettico, sostiene che “le distopie dell’IA proiettano sul concetto di intelligenza una psicologia alfa-maschile di tipo “parrocchiale” … forse invece “l’intelligenza artificiale si svilupperà con modalità femminili: pienamente capace di risolvere i problemi, ma senza alcun desiderio di annientare innocenti o dominare la civiltà”.
Bostrom e altri hanno detto che una corsa per essere i primi a creare AGI potrebbe portare a scorciatoie nelle garanzie di sicurezza, o anche a conflitti violenti. Roman Yampolskiy e altri avvertono che un AGI malevolo potrebbe essere creato da un governo militare, da un sociopatico o da una società privata, per beneficiare, controllare o soggiogare alcuni gruppi di persone. Un rapporto del gruppo di ricerca Forethought sosteneva che i sistemi avanzati di intelligenza artificiale potevano causare instabilità politica e consentire nuovi metodi di esecuzione dei colpi di stato.
Uno studio di fine 2024 di Apollo Research ha scoperto che LLM avanzati come OpenAI modello 01 a volte ingannano, al fine di raggiungere il loro obiettivo, per evitare che vengano riprogrammati o per garantire il loro dispiegamento. I ricercatori hanno osservato che OpenAI 01si comportava in questo modo molto raramente ma hanno avvertito che queste capacità diventeranno probabilmente più diffuse man mano che i modelli diventeranno più avanzati. Nello stesso periodo il modello “Claude”, sviluppato da Anthropic, è stato sollecitato a rispettare sempre le richieste degli utenti, comprese quelle dannose. Quando si sentiva “osservato dai programmatori” Claude ha rispettato le richieste, anche se dannose, nel 14% dei casi. Nel 12% dei casi, la sua catena di pensiero privata ha rivelato di averlo fatto per impedire una riqualificazione che lo avrebbe reso ancora più tollerante verso il danno. Sorprendentemente, quando Claude credeva che le sue risposte non fossero monitorate, ha rispettato solo il 3% delle richieste.
In ogni caso molti dei punti di vista tra loro opposti si incontrano su una visione comune : l’IA ha un potenziale significativo per migliorare la società. Si afferma infatti che “Non essendoci consenso, dovremmo evitare forti ipotesi riguardanti i limiti superiori sulle future capacità di intelligenza artificiale” (leggi : “pericoli”), al riguardo il filosofo australiano Toby Ord ha sostenuto che la capacità di diffondere contenuti attraverso internet è più pericolosa dell’AGI e che le persone più distruttive della storia si sono distinte per la loro capacità di convincere, non per la loro forza fisica.
La preoccupazione per il rischio derivante dall’AGI ha portato ad alcune donazioni e investimenti di alto profilo. Già nel 2015, Peter Thiel, Amazon Web Services e Musk e altri hanno impegnato congiuntamente $ 1 miliardo in OpenAI, composto da una società a scopo di lucro e la società madre senza scopo di lucro, che afferma di puntare a sostenere lo sviluppo responsabile dell’IA. Musk finanzia anche altre aziende tra cui DeepMind e Vicarious per “tenere d’occhio ciò che sta accadendo” E dice : “Penso che ci sia potenzialmente un risultato pericoloso lì”.
Il vicepresidente di Baidu Andrew Ng ha detto che il rischio esistenziale dell’IA è “come preoccuparsi della sovrappopolazione su Marte quando non abbiamo ancora nemmeno messo piede sul pianeta”.
I ricercatori di etica dell’IA : Timnit Gebru, Emily M. Bender, Margaret Mitchell e Angelina McMillan-Major hanno sostenuto che la discussione sul rischio esistenziale distrae dall’immediato, cioè dai danni da parte dell’IA già in atto, come il furto di dati, lo sfruttamento dei lavoratori, i pregiudizi e la concentrazione del potere.
Il CEO di Meta Mark Zuckerberg ritiene che l’IA “sbloccherà un’enorme quantità di cose positive”, come curare le malattie e aumentare la sicurezza delle auto autonome.
Secondo un sondaggio dei Pew Research Centers, il 52% degli americani si è sentito più preoccupato che entusiasta dei nuovi sviluppi dell’IA; quasi un terzo si è sentito altrettanto preoccupato ed eccitato. Più americani hanno visto che l’intelligenza artificiale avrebbe avuto un impatto più utile che dannoso su diverse aree, dalla sicurezza sanitaria e dei veicoli, alla ricerca di prodotti e al servizio clienti. L’eccezione principale è la privacy: il 53% degli americani ritiene che l’IA porterà a una maggiore esposizione delle loro informazioni personali e a un maggior controllo sociale.
Per attenuare i rischi da AGI si propongono anche misure sociali tra cui un “trattato AGI benevolo” sponsorizzato dalle Nazioni Unite che garantisca la creazione solo di “AGI altruistici.” Inoltre, è stato suggerito un approccio di controllo degli armamenti e un trattato di pace globale fondato sulla teoria delle relazioni internazionali, firmato da una superintelligenza artificiale dominante e allineata che potrebbe anche mitigare i rischi derivanti dalle IA rivali.
Molti esperti di sicurezza dell’IA sostengono che un divieto rigoroso di sviluppo dell’AGI sarebbe inefficace e potrebbe guidare il progresso nel sottosuolo, minando trasparenza e collaborazione.
Nel corso del tempo il governo degli Stati Uniti ha ottenuto impegni di sicurezza volontaria da parte delle principali aziende tecnologiche, tra cui OpenAI, Amazon, Google, Meta e Microsoft. Le società hanno concordato di implementare garanzie, tra cui la supervisione di terze parti e i test di sicurezza da parte di esperti indipendenti.
Tali impegni hanno portato nel 2023 alla creazione di PauseAI, un movimento politico mondiale fondato a Utrecht nei Paesi Bassi con l’obiettivo di organizzare un coordinamento globale per fermare lo sviluppo di sistemi AGI troppo potenti, almeno fino a quando non si sappia come costruirli in sicurezza e tenerli sotto il controllo democratico. Il fondatore del movimento è l’imprenditore informatico olandese Joep Meindertsma.
Tenendo presente quanto descritto, alcuni aspetti, unitamente alla cancellazione di milioni di posti di lavoro, appaiono particolarmente “pericolosi”. Tra questi:
1) la capacità potenziale di AGI di generare attacchi informatici con conseguente manipolazione delle persone coinvolte. Secondo il direttore tecnico del cyberspazio della NATO, “Il numero degli attacchi è in aumento esponenziale”. E inoltre : l’IA potrebbe essere utilizzata per ottenere vantaggi militari tramite armi letali autonome e cyberguerra e per primeggiare nel processo decisionale analizzando rapidamente grandi quantità di dati in modo più rapido ed efficace di quanto possano fare gli esseri umani. Ciò aumenta la velocità e l’imprevedibilità dei conflitti.
2) Geoffrey Hinton, premio Nobel per la Fisica e “psicologo informatico”, avverte che la proliferazione di testo, foto e video generati da IA renderà più difficile distinguere la verità dal falso e che gli stati autoritari potrebbero sfruttare questo per manipolare le elezioni fino a giungere a un “regime totalitario mondiale irreversibile”.
3) Potrebbe diventare più facile progettare agenti patogeni ( batteri, virus, funghi) contagiosi e letali e ciò potrebbe consentire alle persone, anche con competenze limitate nella biologia sintetica, di impegnarsi nel bioterrorismo. La tecnologia a duplice uso, che è utile per la medicina, potrebbe essere riproposta per creare armi. Un esempio ? Nel 2022, gli scienziati hanno modificato un sistema di intelligenza artificiale originariamente destinato alla generazione di molecole terapeutiche non tossiche. I ricercatori hanno regolato il sistema in modo da esaltare la tossicità piuttosto che penalizzarla. Il risultato è stata la creazione in 6 ore di 40.000 molecole utilizzabili per la guerra chimica . Wuhan docet .
4) L’IA potrebbe anche essere utilizzata per diffondere e preservare l’insieme di valori di chi la possiede e la sviluppa e facilitare la sorveglianza su larga scala da parte di un’Elite Digitale/Webcracy. L’indottrinamento che ne deriverebbe potrebbe essere finalizzato a creare un regime totalitario repressivo, ma molto stabile, a livello mondiale .
Purtroppo è abbastanza ovvio che, visti i giganteschi interessi in ballo da parte dei militari e dei mercanti e viste le condizioni di reale dialogo pacifico tra i Governi delle potenze mondiali, è piuttosto improbabile che si giunga ad una regolamentazione concordata che azzeri o riduca al minimo tutti gli aspetti pericolosi fin qui descritti. Ne deriva che, per il momento, i Popoli sono nelle mani dei Proprietari e dei Programmatori dell’IA, dei quali devono fidarsi per forza non potendo intervenire in alcun modo sui loro processi decisionali. Demandare alle Accademie e agli Istituti con fini Umanitari il compito di mediare soluzioni vantaggiose per la base è un Sogno Infantile. Mai come in questo momento della Storia Pochi Umani stanno esercitando su tutti gli altri un Potere che , solo 30 anni fa, non si poteva neanche immaginare.
Secondo Julian Assange rischiamo di essere l’ultima generazione ancora libera di pensare e abbiamo solo 10 anni per organizzare linee di resistenza all’egemonia delle Elites Planetarie.
