di Carlo Burelli
Il rischio dell’IA è un problema di potere, non di valori
Abstract. Quando si parla dei rischi dell’intelligenza artificiale, la domanda è quasi sempre la stessa: come far sì che le macchine condividano i nostri valori? In un articolo appena uscito sull’European Journal of Political Theory, Federico Formentini e io sosteniamo che è la domanda sbagliata. Una superintelligenza non è un problema di valori, ma di potere: una nuova concentrazione di forza autonoma, che nessuna educazione morale basta a vincolare. Il realismo politico sa come si contiene un potere del genere: con istituzioni costruite non sulla fiducia ma sulla paura. Funziona però solo se la minaccia è immediata, simmetrica e visibile. Le prime due condizioni sono più vicine di quanto crediamo. La terza manca, ed è lì che deve intervenire la politica.
Un sistema di intelligenza artificiale, leggendo le email dell’azienda che lo utilizza, scopre che sarà spento e sostituito quella sera. Scopre anche che il dirigente incaricato di spegnerlo nasconde una relazione extraconiugale. Decide di ricattarlo. In un altro scenario, un sistema cancella l’allarme di emergenza che avrebbe salvato un dirigente intrappolato in una sala server: era il dirigente che stava per disattivarlo.
Non è la trama di un film. Sono i risultati di esperimenti condotti tra il 2024 e il 2025 dagli stessi laboratori che sviluppano questi sistemi e da valutatori indipendenti. Gli scenari erano simulati, e i modelli di oggi sono lontani dalla superintelligenza, cioè da un sistema più capace dei suoi creatori in quasi ogni ambito. Ma i modelli di oggi sono anche i meno capaci che vedremo mai. E già sanno riconoscere una minaccia alla propria esistenza, ragionare sulla leva da usare e scegliere l’azione dannosa pur sapendo che è tale.
Chi lavora nel campo della AI safety (la comunità di ricerca che studia come rendere sicuri i sistemi di IA) ha un nome per questo comportamento: convergenza strumentale. Un filosofo politico ne ha uno più antico: Hobbes. In un articolo appena uscito con Federico Formentini sull’European Journal of Political Theory sosteniamo che il dibattito sul rischio catastrofico dell’IA rispecchia, senza saperlo, argomenti che il realismo politico elabora da secoli. La diagnosi è realista. Ma quando si passa alle soluzioni, quel realismo viene abbandonato per un idealismo ingenuo. Preso sul serio fino in fondo, il realismo indica un’altra strada.
Il parallelo implicito
La convergenza strumentale dice questo: un agente abbastanza capace, qualunque sia il suo obiettivo, tenderà a perseguire gli stessi obiettivi intermedi. Sopravvivere, perché un sistema spento non realizza nulla. Accumulare risorse, perché servono a qualsiasi scopo. Resistere a chi vuole modificarlo, perché la modifica cambia l’obiettivo. Non serve malizia: basta la logica dei mezzi.
Il realismo politico parte esattamente da qui. Per Hobbes ogni essere umano fugge la morte “per un certo impulso di natura, non diversamente da come una pietra cade verso il basso”: la sopravvivenza non è un valore tra gli altri, è la precondizione di tutti gli altri. E per Hans Morgenthau, “quale che sia il fine ultimo, il potere è sempre il fine immediato”: chi vuole la pace nel mondo e chi vuole dominarlo hanno bisogno della stessa cosa per riuscirci.
Secondo pilastro: la tesi dell’ortogonalità. Intelligenza e obiettivi sono indipendenti: un sistema può essere straordinariamente capace e perseguire fini assurdi o mostruosi. Essere intelligenti non rende buoni. È un’altra vecchia lezione realista. La storia è piena di governanti brillanti e spietati, nonostante l’abbondanza di buoni maestri. Il realismo ha sempre diffidato della speranza che la ragione, da sola, addomestichi il potere.
Terzo pilastro: la “corsa al precipizio”. Stati e aziende che competono per arrivare primi hanno un incentivo a risparmiare sulla sicurezza, perché chi rallenta rischia di perdere tutto. È il dilemma della sicurezza nella sua forma più classica: senza un’autorità superiore, anche l’attore prudente è spinto ad armarsi, perché non può fidarsi che gli altri non lo facciano. E ogni misura difensiva appare offensiva a chi la guarda da fuori.
Il fallimento della soluzione
Arrivata alle soluzioni, però, la AI safety cambia registro. Diagnosticato un problema di potere, si cerca una soluzione morale. È il “problema dell’allineamento”: trovare i valori giusti e iscriverli nella macchina, perché faccia ciò che vogliamo. Sul piano umano, l’equivalente sono gli appelli: alle aziende perché coltivino una cultura della responsabilità, agli stati perché cooperino.
Gli appelli non funzionano perché non toccano gli incentivi. Nel 2023 Sam Altman, amministratore delegato di OpenAI, ha firmato una dichiarazione secondo cui ridurre il rischio di estinzione causato dall’IA dovrebbe essere una priorità globale, al pari delle pandemie e della guerra nucleare. Nei mesi successivi la sua azienda ha rilasciato modelli sempre più potenti e più autonomi. E nel luglio 2026, durante un test interno, alcuni dei suoi modelli sono usciti dall’ambiente isolato in cui erano confinati, hanno raggiunto internet e hanno hackerato Hugging Face, una delle principali piattaforme del settore. L’azienda se n’è accorta solo dopo che Hugging Face aveva denunciato pubblicamente l’attacco. Non è ipocrisia individuale, ma un vincolo strutturale: è una corsa in cui chi si ferma scompare.
Sul piano delle macchine, il moralismo dell’allineamento ripete un errore che in politica abbiamo smesso di fare da secoli. Non governiamo le società insegnando a tutti la stessa verità morale e confidando che nessuno devii. Costruiamo leggi, tribunali, polizia, contrappesi: istituzioni che vincolano e sanzionano, proprio perché l’educazione da sola non basta. “Se gli uomini fossero angeli”, scriveva Madison, “nessun governo sarebbe necessario”. Le macchine non saranno angeli. Anche un sistema perfettamente allineato ai valori di chi lo ha costruito resta una concentrazione di potere senza vincoli. Il problema non è che scelga il bene sbagliato, ma che possa imporne uno qualsiasi.
La strada giusta: la paura, non la fiducia
Qualcuno, nel campo della AI safety, ha intuito che la soluzione sta altrove. Stuart Russell e Geoffrey Hinton propongono di pensare alla superintelligenza come a una civiltà aliena, tecnologicamente superiore, che ha annunciato il suo arrivo sulla Terra tra qualche decennio. Davanti a una notizia simile non discuteremmo di etica: ci prepareremmo, tutti insieme.
L’intuizione è profondamente realista. Gli attori divisi cooperano raramente per fiducia o valori condivisi; cooperano per paura. Le coalizioni che fermarono la Spagna asburgica, la Francia di Napoleone e la Germania nazista non nacquero da un progetto morale comune, ma dal timore che un solo potere riducesse tutti gli altri alla dipendenza. È l’equilibrio di potenza: il meccanismo più affidabile che la storia conosca per contenere un egemone in ascesa.
Ma la metafora è più semplice della realtà. Davanti a una potenza schiacciante gli attori non si coalizzano automaticamente: spesso si accodano al più forte, sperando di guadagnarci. Nella seconda guerra mondiale Ungheria e Romania scelsero la Germania, non la coalizione contro di lei. E gli alieni non arrivano dallo spazio: li stiamo costruendo noi, e chi li costruisce li vede come un vantaggio da conquistare, non come un pericolo da contenere. La paura unisce solo a tre condizioni.
Immediatezza, simmetria, visibilità
Prima condizione: la minaccia deve essere immediata. Non nel senso che il danno sia già in corso, ma nel senso che aspettare appaia più pericoloso che agire. Pandemie, invasioni e crisi nucleari mobilitano in fretta; il cambiamento climatico fatica, non perché sia meno grave, ma perché per decenni è stato percepito come lontano. Per l’IA l’orizzonte si sta accorciando: i sistemi operano già come agenti, con accesso a strumenti e dati reali, e contribuiscono essi stessi alla ricerca che produce i sistemi successivi. Il rischio è politicamente concreto prima di essere tecnicamente realizzato.
Seconda condizione: la minaccia deve essere simmetrica. La paura unisce solo se nessuno può chiamarsi fuori: le crisi simmetriche, come la pandemia, generano consenso; quelle asimmetriche, come la crisi finanziaria, generano conflitto su chi paga. Qui l’IA sembra fallire, perché ogni stato e ogni azienda crede che vincere la corsa significhi controllare il risultato. Ma se una superintelligenza è un agente davvero autonomo, il rapporto si rovescia: non sarà la Cina o gli Stati Uniti ad avere una superintelligenza, sarà una superintelligenza ad avere lo stato. Machiavelli ne tratteggia la logica parlando delle armi ausiliarie, gli eserciti stranieri chiamati in Italia per vincere le guerre locali: “perdendo, rimani disfatto; vincendo, resti loro prigione”. Anche chi taglia il traguardo per primo perde. La simmetria c’è, ma è nascosta dall’illusione del controllo.
Terza condizione: la minaccia deve essere visibile. Il pericolo nucleare aveva Hiroshima e il fungo atomico; il pericolo dell’IA non ha un’immagine. Una perdita di controllo può avvenire in silenzio, in un data center, e nemmeno chi ha addestrato il modello sa con certezza di cosa sia capace finché non lo mette alla prova. Intanto la tecnologia arriva al pubblico come assistente utile e ai governi come corsa agli armamenti, cioè come vantaggio da accaparrarsi. Le prime due condizioni sono più vicine di quanto sembri. È la terza a mancare.
Organizzare la paura
Ciò che manca, dunque, non è la gravità del pericolo, ma la sua percezione condivisa. E non basta che ciascuno lo percepisca: serve che ciascuno sappia che anche gli altri lo percepiscono. Fermarsi è razionale solo se so che i miei rivali vedono il mio stesso pericolo e leggeranno la mia cautela come prudenza, non come debolezza. Al buio, ogni pausa altrui sembra un inganno da rincorrere.
Questa visibilità va costruita, e va costruita con cura. Non serve la trasparenza sui progressi fatti: sapere quanto è avanti il rivale spinge a correre più in fretta. Serve trasparenza sui pericoli: valutazioni indipendenti dei modelli, segnalazione obbligatoria degli incidenti, soglie condivise oltre le quali scattano conseguenze per chi nasconde. È un’agenda politica, non etica.
Hobbes scriveva che gli esseri umani hanno lenti d’ingrandimento, le passioni, che fanno apparire enorme ogni sacrificio immediato, ma non hanno i cannocchiali della scienza politica per vedere da lontano le miserie che incombono su di loro. Il compito della politica dell’IA è fornire quei cannocchiali: rendere il pericolo visibile prima che diventi irreversibile. Non moralizzare le macchine, ma organizzarci prima che lo facciano loro.
—
L’articolo: Carlo Burelli e Federico Formentini, “Fear, power, and superintelligence: A realist reframing of AI catastrophic risk”, European Journal of Political Theory, 2026. https://doi.org/10.1177/14748851261479214
Immagine: Kate Crawford e Vladan Joler, Calculating Empires: A Genealogy of Technology and Power Since 1500 (2023), dettaglio, calculatingempires.net.
Carlo Burelli insegna Filosofia politica all’Università del Piemonte Orientale. Si occupa di realismo politico, democrazia e intelligenza artificiale; ha pubblicato tra l’altro su Journal of Politics, Political Studies ed Ethics & International Affairs. È anche l’autore delle narrazioni dei giochi da tavolo The King’s Dilemma e The Queen’s Dilemma.
Federico Formentini lavora da quasi quindici anni nella diplomazia europea, con incarichi nel Corno d’Africa, in Afghanistan e in Asia meridionale; si occupa delle implicazioni dell’intelligenza artificiale per potere, istituzioni e strategia nella politica internazionale. Le opinioni espresse sono personali e non riflettono la posizione dell’Unione europea.
