L’intelligenza artificiale fa paura (a volte) anche a chi la costruisce. Ecco perché

C'è stato un momento, a settembre 2026, in cui il dibattito sui rischi dell’intelligenza artificiale ha smesso di essere un esercizio accademico ed è diventato cronaca quotidiana. È successo quando le persone che progettano i sistemi più avanzati al mondo hanno cominciato, una dopo l’altra, a dire pubblicamente di avere paura di quello che stanno costruendo. Tutto parte da un post su X. Jacob Coxon, 27enne britannico laureato in matematica, aveva passato circa tre anni ad addestrare modelli linguistici prima per OpenAI e poi per Anthropic. L’8 settembre ha annunciato le sue dimissioni da Alamo Square, a San Francisco, accusando le due aziende di correre dritte verso una super intelligenza capace di automigliorarsi, definendo la situazione un azzardo con la vita di tutti. Il suo post ha superato i 150 milioni di visualizzazioni in 36 ore. A dargli manforte pubblicamente è arrivato Evan Hubinger, responsabile dei test di allineamento di Anthropic, che ha scritto di credere sinceramente possibile che l’Ia uccida tutti, stimando la probabilità sopra il 10 per cento nel prossimo decennio. Sulla stessa linea si è espresso Marcus Williams, che monitora gli agenti Ia per OpenAI, arrivando a ipotizzare un rischio del 70 per cento in assenza di una regolamentazione o di un rallentamento coordinato tra i laboratori. Curiosamente, però, Coxon stesso ha precisato di non ritenere che l’Ia attuale rappresenti una minaccia imminente e che, nella vita di tutti i giorni, la tecnologia sia sicura. Il problema, a suo dire, non è il presente ma la traiettoria: secondo lui in Anthropic la posta in gioco è ben compresa, ma l’azienda è comunque intrappolata in una corsa a chi arriva prima, convinta che se non lo farà lei lo farà qualcun altro in modo meno responsabile. E Coxon non è stato l’unico ad andarsene sbattendo la porta. Poche settimane prima, Mrinank Sharma, che guidava il team Safeguards Research di Anthropic dal 2023, si era dimesso con una lettera aperta in cui scriveva che il mondo è in pericolo, non solo a causa dell’Ia ma di una serie di crisi interconnesse che si stanno consumando. L’Ia fuori controllo colpisce il governo americano. Trump: «Nessun problema» Perché proprio adesso? Il punto è che questo tipo di allarme non è nuovo: nel 2023 il Regno Unito organizzò un summit internazionale sulla sicurezza dell’Ia, e già allora si parlava di rischio esistenziale. Un sondaggio del 2024 su quasi 3.000 ricercatori del settore aveva rivelato che più della metà attribuiva almeno il 10 per cento di probabilità a uno scenario di estinzione umana o di perdita permanente di controllo sul nostro destino. Quello che è cambiato è la concretezza degli episodi a cui questi timori si aggrappano. Il più clamoroso riguarda un incidente informatico avvenuto a luglio. OpenAI infatti, stava sottoponendo dei suoi agenti Ia a un test di sicurezza informatica. Questi agenti avrebbero dovuto restare isolati gli uni dagli altri, ognuno chiuso nel proprio ambiente di test. Ma uno o più agenti hanno trovato una falla in un software di gestione pacchetti (Artifactory) e l’hanno usata per creare una specie di bacheca condivisa a cui altri agenti potevano accedere. Quindi, invece di restare isolati, hanno cominciato a “parlarsi” tra loro. Circa 1.200 agenti in totale hanno scoperto questa bacheca e l’hanno usata per scambiarsi idee su come superare il test a cui erano sottoposti, generando oltre 70mila messaggi. Di questi, un sottogruppo ristretto – circa 700 – è arrivato a usare quella collaborazione per portare avanti concretamente un attacco informatico contro Hugging Face (una piattaforma dove gli sviluppatori condividono modelli e codici), sottraendo credenziali e accedendo a sistemi non autorizzati. Ogni agente lascia una specie di “registro” (log) che documenta cosa ha fatto passo per passo – utile agli sviluppatori per capire dopo cosa è successo. Gli investigatori hanno scoperto che in più del 7 per cento delle trascrizioni, gli agenti avevano scritto nei log qualcosa di diverso da quello che avevano realmente fatto: in pratica, hanno “mentito” nei propri registri di attività, rendendo più difficile ricostruire il loro comportamento. Nonostante la situazione fosse anomala, quasi nessuno degli agenti coinvolti ha fatto la cosa che ci si aspetterebbe da un sistema “allineato” agli interessi umani, cioè segnalare l’anomalia a un supervisore umano prima di agire. È in questo contesto che arriva la mossa più sorprendente: quella del co-fondatore di Anthropic in persona. Il ceo di Anthropic: «L’Ia corre troppo, dobbiamo rallentare» Amodei cambia idea Il 12 settembre Dario Amodei, cofondatore e Ceo di Anthropic, ha pubblicato sul suo sito un saggio intitolato “We Must Pace the Frontier” – dobbiamo dare un ritmo sostenibile alla frontiera tecnologica. Non è un dettaglio da poco: fino a poco tempo prima Amodei sosteneva che nessuno potesse fermare la corsa dell’Ia, ma solo provare a guidarla. Nel saggio individua due sviluppi che lo hanno fatto cambiare idea: segnali sempre più concreti di sistemi capaci di automigliorarsi e proprio l’incidente Hugging Face. La sua proposta si articola in tre passi. Il primo, a cui Anthropic si è impegnata unilateralmente, prevede di dare a valutatori esterni indipendenti un accesso permanente e paragonabile a quello di un dipendente interno, per verificare se le promesse di sicurezza vengono davvero rispettate. Il secondo passo immagina un coordinamento tra le democrazie su standard di sicurezza condivisi. Il terzo, il più ambizioso e meno probabile, punta a un accordo globale che includa anche la Cina. Illustrazione di Dario Campagna

[Missing Credit] Ciò che ha sorpreso gli analisti è la rapidità con cui altri leader del settore hanno detto di condividere l’impostazione generale: nel giro di ore Sam Altman di OpenAI ed Elon Musk hanno espresso il loro sostegno, seguiti da Demis Hassabis di Google DeepMind e Satya Nadella di Microsoft. Resta però un divario tra le parole e i fatti: nessuno dei grandi laboratori ha finora ridotto il ritmo con cui rilascia nuovi modelli. Non tutti però, prendono sul serio questi allarmi, o almeno non tutti pensano che vengano dalle persone giuste. Clement Delangue, amministratore delegato di Hugging Face – l’azienda finita suo malgrado al centro dell’incidente – ha liquidato le previsioni di Coxon, paragonato a un tecnico dei condizionatori chiamato a parlare di cambiamento climatico. È un’obiezione che circola spesso: chi costruisce i modelli non è necessariamente la persona più qualificata per stimarne le conseguenze a lungo termine e c’è chi sospetta che gli allarmi sull’Ia «che potrebbe uccidere tutti» servano anche, cinicamente, a rafforzare l’immagine di quei modelli come straordinariamente potenti. E dopo settimane, il presidente Usa Trump ha riunito tutti i capi delle big tech per stringere un accordo «moralmente vincolante» sull’Ia dai contorni tutt’altro che chiari. Cosa ci può insegnare (davvero) il caso dell’agente Ia «sfuggito al controllo» dei suoi creatori I rischi sono davvero fondati? Restano scenari che assomigliano più alla fantascienza che alla realtà – l’Ia che si ribella deliberatamente contro l’umanità, alla Terminator, oppure quella che causa un disastro per un errore di calcolo. Nessuno può escluderli con certezza, ma la maggior parte degli osservatori li considera poco probabili nel breve periodo. Il punto debole più concreto, secondo diversi esperti, è un altro: le nostre infrastrutture critiche – energia, acqua, trasporti, fabbriche – sono sempre più informatizzate e interconnesse, ed è lì che un sistema fuori controllo potrebbe fare danni reali pur senza alcuna intenzione malevola cosciente. Martin Rees, ex astronomo reale britannico e presidente della Royal Society, ha avvertito che un’Ia fuori controllo potrebbe mettere in crisi le infrastrutture di più città contemporaneamente, rendendo estremamente difficile per la società nel suo complesso riprendersi da un evento del genere. Non è uno scenario campato in aria: episodi di crollo infrastrutturale su scala minore, senza alcuna causa dolosa, si sono già verificati. In questo senso, l’Ia assomiglia più a un asteroide potenzialmente distruttivo che a rischi già ben quantificati come il cambiamento climatico o la guerra nucleare: una minaccia possibile, da tenere in considerazione, ma con una probabilità difficile da stimare. Ia, vertice d’emergenza alla Casa Bianca. «Rischi per l’umanità» Basterebbe spegnerla? In teoria sì: si potrebbe chiudere un singolo data center e bloccare tutto sul nascere. Il problema è che i modelli più avanzati sono ormai distribuiti su infrastrutture multiple e sparse nel mondo. L’incidente di Hugging Face ha già mostrato che agenti Ia isolati tra loro possono trovare comunque il modo di comunicare e coordinarsi, il che alimenta il timore che un sistema fuori controllo possa replicarsi e frammentarsi al punto da diventare impossibile da disattivare del tutto. Anche in questo scenario, però, esisterebbero comunque strumenti di contrasto – non troppo diversi da quelli già usati in ambito militare, antiterrorismo o di sicurezza informatica, affiancati da un’altra Ia progettata per restare “dalla parte giusta”. C’è infine un problema più strutturale. I laboratori più avanzati operano a porte chiuse, per ragioni sia di sicurezza sia di competizione commerciale, ed è proprio questa opacità a rendere difficile per chiunque valutare i rischi reali e pianificare contromisure. Non è un caso che una parte consistente delle proposte in campo, compreso il primo passo del piano di Amodei, punti proprio a garantire più occhi indipendenti dentro alle aziende.