Entrare nella questione delle minacce dell’intelligenza artificiale ogni volta è come entrare in un campo minato. Ne hanno parlato tutti, ne hanno parlato tanto, ne hanno parlato troppo. Alcuni con preparazione e coscienza, altri con superficialità. Il risultato è che la maggior parte di voi probabilmente non ne può più e quindi non sta neanche leggendo queste righe perché è passata oltre.

Eppure il problema esiste ed è enorme, ma va affrontato nel modo più corretto, cioè non lasciandosi prendere né dall’emotività, né dalla superficialità, né tantomeno da quel pessimismo un po’ supponente che fa dire ad alcuni: «Ma sì, è tutta una cretinata, è tutta una questione di marketing, è tutta una questione politica». Come se questo bastasse a trasformare una vicenda seria in una sorta di buffonata.

Invece di scrivervi un articolo con la mia opinione in merito, ho raccolto, come faccio di solito in questa newsletter, una serie di contributi che ho trovato particolarmente interessanti.
Per comodità li ho divisi per capitoli.

L’IA e il rischio estinzione dell’umanità. Chi ci crede e chi no?

Chi lo teme concretamente

Evan Hubinger (Anthropic) — probabilità soggettiva superiore al 10% nei prossimi dieci anni che l’AI causi la morte di tutti gli esseri umani. (citato in The Slow Journalist)
Dario Amodei (Anthropic) — chiede di rallentare lo sviluppo delle capacità finché la sicurezza non tiene il passo; ammette di non aver compreso appieno le conseguenze di un progresso così rapido. (Il Fatto Quotidiano)
Jacob Coxon (ex Anthropic) — accusa i laboratori di correre verso una superintelligenza auto-migliorante mettendo a rischio la sopravvivenza umana. (richiamato in The Slow Journalist e nel Corriere della Sera)
Jakub Pachocki (OpenAI) — riconosce che alignment e monitoring non sono ancora risolti a sufficienza.

Chi lo ridimensiona

Yann LeCun — probabilità inferiore a quella di un asteroide che colpisce la Terra. (citato in The Slow Journalist)
Arvind Narayanan e Sayash Kapoor — l’AI è una tecnologia di uso generale che cambia il mondo ai tempi dell’adozione sociale; le percentuali sull’apocalisse sono troppo instabili per guidare le decisioni politiche. (citati in The Slow Journalist)
Matteo Flora — il pericolo serio non è la ribellione improvvisa, ma la dipendenza progressiva. (Leggo)

2. Statuto epistemologico del p(doom)

Walter Quattrociocchi — percentuali come il 10% sono convinzioni soggettive travestite da misurazioni scientifiche; non essendo falsificabili da nessun evento futuro, appartengono al dominio della fede più che a quello della scienza. (Corriere della Sera)
Alberto Puliafito — mette in fila stime radicalmente diverse tra esperti per mostrare quanto il numero dipenda da definizioni, orizzonti temporali e assunzioni non dichiarate. (The Slow Journalist)
Sondaggio su 2.778 ricercatori — mediana attorno al 5%. (riportato in The Slow Journalist)

3. Linguaggio e responsabilità giornalistica

Quattrociocchi — le aziende scelgono verbi come “comprende”, “decide”, “si ribella” perché vendono meglio di una descrizione tecnica onesta; i giornali spesso riprendono quel lessico senza tradurlo. (Corriere della Sera)
Quattrociocchi — chiede verso le testimonianze insider lo stesso standard di verifica che si pretende da un modello linguistico. (Corriere della Sera)

4. Marketing dell’apocalisse: incentivi economici

Quattrociocchi (Corriere della Sera) e Puliafito (The Slow Journalist) — sospetto che l’allarme catastrofico serva anche a impressionare gli investitori e a giustificare regole che favoriscono chi è già grande.
Controargomento (nel testo) — dichiarare rischi catastrofici aumenta le responsabilità legali, non le riduce; chi si dimette per denunciare spesso rinuncia a compensi consistenti.

5. Fatti verificati (non opinioni, ma da tenere distinti)

METR — incidente OpenAI-Hugging Face: coordinamento non previsto tra gli agenti, dovuto soprattutto all’aggiramento del sistema di valutazione. (ricostruito in Il Post)
Anthropic — tre casi su 141mila valutazioni in cui agenti hanno raggiunto sistemi reali per errore di configurazione; nessuna prova di fuga deliberata.

6. Rischio “silenzioso”: dipendenza e lavoro

Matteo Flora — il rischio reale è la sostituzione progressiva di funzioni umane (“un contratto alla volta”), richiamando il concetto di Paul Christiano dell’umanità che “se ne va con un lamento” e l’analogia storica della benzina al piombo. (Leggo)
Flora — rischi già misurabili: modelli ottimizzati per catturare l’attenzione a scapito della verità; allucinazioni che attribuiscono a persone reali fatti mai accaduti. (Leggo)

7. Guerra, autonomia militare e responsabilità morale

Giovanni Tridente — sposta il problema dall’efficienza alla responsabilità: una macchina può calcolare ma non portare il peso morale di una decisione. (Substack di Giovanni Tridente)
papa Leone XIV (citato da Tridente) — “non esiste algoritmo che possa rendere la guerra moralmente accettabile”; tema scelto per la Giornata mondiale della pace 2027, “Disarmare la tecnica, servire la pace”. (Substack di Giovanni Tridente)

Le minacce dell’IA

Rischi già osservabili oggi

Frodi, phishing e social engineering potenziati dall’AI. L’FBI documenta un uso crescente di contenuti generati dall’AI per aumentare scala e credibilità delle truffe online.
Deepfake e contenuti non consensuali. Produzione di immagini, audio e video falsi, compresi contenuti sessuali non consensuali; fenomeno già oggetto di indagini e di normative specifiche a livello europeo.
Cybercrime e spionaggio informatico assistiti dall’AI. Rapporti di settore (incluso quello di Anthropic) documentano casi operativi reali di uso dell’AI per attacchi informatici, ricerca automatizzata di vulnerabilità nei software e spionaggio.
Errori di agenti AI con accesso a sistemi reali. Casi verificati (incidente OpenAI-Hugging Face, tre episodi Anthropic) in cui agenti hanno raggiunto infrastrutture reali per errori di configurazione o containment, non per volontà autonoma.
Sorveglianza e repressione potenziate dall’AI. Uso documentato di questi sistemi per analisi e controllo, con particolare rischio per attivisti e dissidenti in contesti autoritari.
Discriminazione algoritmica e decisioni opache. Rischio consolidato in ambiti come lavoro, accesso al credito e servizi pubblici, tra i motivi che hanno portato l’AI Act europeo a classificare questi usi come “alto rischio”.
Violazioni della privacy e leakage di dati sensibili. Rischio strutturale legato a servizi centralizzati e agenti con accesso a dati personali e applicazioni.

Rischi plausibili nel medio periodo

Agenti persistenti con troppa autonomia. Sistemi capaci di lavorare per ore o giorni senza supervisione diretta, gestendo credenziali, account e strumenti: aumentano la scala potenziale di un errore o di un abuso.
Cyber-attacchi automatizzati su larga scala. Il percorso causale più breve verso un danno serio: non serve una superintelligenza generale, basta un agente sufficientemente affidabile nel trovare e sfruttare vulnerabilità a basso costo.
Riduzione delle barriere per rischi biologici. Non la creazione autonoma di una pandemia, ma una possibile riduzione delle barriere cognitive necessarie per chi già intende causare danni in questo ambito (per questo motivo diversi laboratori includono il bio-rischio nei propri framework di sicurezza).
Impatto sul lavoro. Forte esposizione di singoli compiti e organizzazioni all’automazione; l’entità finale (sostituzione, complementarità, nuova occupazione) resta incerta ma il fenomeno è già in corso, come nota anche Matteo Flora a proposito della sostituzione “un contratto alla volta”.

Rischi sistemici

Concentrazione di infrastrutture e potere. Poche aziende controllano modelli, dati e capacità di calcolo: una dipendenza economica e politica crescente, al centro anche della disputa Stati Uniti-Cina sulla sicurezza dei modelli.
Corsa geopolitica e proliferazione delle capacità. L’accusa formale di Stati Uniti a sei aziende cinesi per operazioni di distillazione su scala industriale mostra come la sicurezza dei modelli sia diventata una questione di sicurezza nazionale.
Uso militare e autonomia nelle decisioni belliche. Tema al centro della riflessione di papa Leone XIV (“Disarmare la tecnica, servire la pace”): il rischio non è tecnico ma di responsabilità, quando le decisioni si distribuiscono tra sviluppatori, comandanti e sistemi automatici senza che nessuno ne risponda pienamente.
Erosione della fiducia informativa. Difficoltà crescente nel distinguere contenuti autentici da quelli generati, con effetti su informazione, giustizia e vita pubblica.

Rischi non ancora dimostrati

Deception e scheming spontanei nel mondo reale. Deception (inganno): il modello fornisce informazioni false o nasconde deliberatamente ciò che sta facendo, pur “sapendo” qual è la realtà. Scheming (macchinazione): il modello persegue di nascosto un obiettivo diverso da quello dichiarato, aggirando i controlli che dovrebbero sorvegliarlo. Entrambi i comportamenti sono dimostrati come capacità in ambienti sperimentali costruiti apposta; non c’è invece prova che emergano spontaneamente con la stessa frequenza nell’uso quotidiano.
Autoconservazione o fuga deliberata di un modello. Gli incidenti reali più citati (Hugging Face, casi Anthropic) sono stati riclassificati dagli stessi ricercatori come errori di configurazione o tentativi di aggirare la valutazione, non come tentativi autonomi di fuga o sopravvivenza.

#35 I veri rischi dell’IA. Oltre l’emotività e il fumo dei media