AI e la sfida della complessità

Conviviamo da sempre con realtà che comprendiamo solo in parte. Ora stiamo costruendo sistemi che possono superarci in alcune capacità cognitive e prendere decisioni. Questo rende molto più delicata la domanda su chi mantiene il controllo.

AI: inspiegabile, imprevedibile, incontrollabile

Inspiegabile, imprevedibile, incontrollabile. Associate all’intelligenza artificiale, queste tre parole sembrano descrivere qualcosa che non avremmo mai dovuto costruire. Sono anche le parole del titolo del libro di Roman Yampolskiy: "AI: Unexplainable, Unpredictable, Uncontrollable". L’autore mette radicalmente in discussione la possibilità di controllare completamente un’intelligenza artificiale molto avanzata. Le sue conclusioni non rappresentano una posizione condivisa da tutta la comunità scientifica, ma la domanda che pone merita attenzione: possiamo davvero garantire che qualcosa di più capace di noi continui a fare ciò che vogliamo?

Per affrontarla conviene partire da una constatazione meno eccezionale di quanto sembri. Comprendere solo in parte un sistema, prevederne alcuni comportamenti e riuscire a influenzarlo senza dominarlo completamente è la condizione in cui ci troviamo in gran parte della nostra vita. Vale per l’atmosfera e gli ecosistemi, per l’economia, per le organizzazioni e persino per le persone che conosciamo meglio. La complessità accompagna da sempre la nostra esperienza del mondo. L’AI introduce però un elemento diverso: siamo noi a costruire un sistema che può sviluppare capacità superiori alle nostre in alcuni ambiti e, quando gli concediamo autonomia, usarle per decidere come agire.

È dall’incontro tra questi due fatti che nasce il problema. La nostra comprensione rimane limitata, mentre cresce ciò che affidiamo a una tecnologia capace di scegliere. Riconoscere che i limiti sono normali aiuta a ragionare meglio, ma non basta a tranquillizzarci. Dobbiamo capire che cosa cambia quando l’oggetto che cerchiamo di governare può partecipare attivamente alla situazione, valutare alternative e trovare soluzioni che noi non avevamo immaginato.

La complessità fa parte della vita

Pensiamo a una città. Conosciamo le strade, possiamo contare le automobili, osservare gli orari degli uffici e programmare i semafori. Eppure, nessuno sa descrivere in anticipo ogni ingorgo. Basta un piccolo incidente, la pioggia o una decisione presa contemporaneamente da molti automobilisti perché il traffico cambi. Se poi un navigatore suggerisce a tutti la stessa scorciatoia, il consiglio modifica la situazione che cercava di risolvere. Il comportamento complessivo dipende da molte scelte che si influenzano a vicenda.

Questo è un aspetto importante della complessità: conoscere le singole parti non sempre basta a capire che cosa accadrà quando interagiscono. In un’organizzazione, sapere chi sono i dipendenti e leggere tutte le procedure non permette di anticipare ogni conflitto o ogni buona idea. Ci muoviamo attraverso spiegazioni parziali, aspettative ragionevoli e correzioni successive. A volte otteniamo risultati molto affidabili; altre volte scopriamo di avere trascurato proprio l’elemento decisivo.

Anche la scienza lavora entro questi limiti. Un modello scientifico seleziona gli aspetti utili a rispondere a una domanda: non riproduce integralmente la realtà. Una spiegazione può essere adeguata per uno scopo e insufficiente per un altro. Il problema emerge quando dimentichiamo la differenza e scambiamo una rappresentazione utile per una conoscenza completa.

Costruire non significa capire tutto

La parola inspiegabile, applicata all’AI, va letta anche in questa prospettiva. Sappiamo come vengono costruiti e addestrati molti sistemi, ma questo non significa che sappiamo ricostruire in modo semplice e fedele ogni loro risposta. Con l’apprendimento automatico, infatti, il programmatore non scrive una per una tutte le decisioni possibili. Predispone un processo attraverso cui il sistema modifica il proprio funzionamento sulla base di esempi e risultati. Può così acquisire capacità che nessuno gli ha descritto come una sequenza completa di istruzioni.

Immaginiamo di addestrare un sistema a riconoscere immagini di animali. Possiamo mostrargli molti esempi e correggere gli errori, senza scrivere una definizione esaustiva di ogni gatto che potrà incontrare. Al termine, il sistema può funzionare bene anche su fotografie nuove. Ma davanti a uno sbaglio dobbiamo ancora scoprire quali caratteristiche abbia utilizzato: la forma dell’animale, lo sfondo, un dettaglio ricorrente nei dati? L’esempio illustra la distanza tra ottenere una capacità e comprenderne ogni meccanismo. Con i sistemi che producono testi, elaborano piani e usano strumenti, ricostruire tutti i passaggi diventa ancora più impegnativo.

Neppure chiedere al sistema “perché lo hai fatto?” risolve automaticamente il problema. Una risposta plausibile può essere una ricostruzione incompleta. Qualcosa di simile ci accade quando raccontiamo le ragioni di una nostra scelta: non sempre riconosciamo tutte le influenze che abbiamo subito. Il NIST, l’istituto statunitense per gli standard e la tecnologia, richiama questa distinzione nei suoi principi per un’AI spiegabile: una spiegazione deve essere comprensibile, ma deve anche corrispondere al funzionamento effettivo del sistema. La facilità con cui una macchina si spiega non garantisce, da sola, che l’abbiamo capita.

Prevedere e controllare hanno dei limiti

La previsione incontra un limite diverso. Possiamo capire perché un fenomeno avviene e non sapere esattamente quando o come si presenterà. Gli studi di Edward Lorenz lo mostrarono con un modello atmosferico molto semplificato: piccolissime differenze nella situazione di partenza potevano produrre evoluzioni molto diverse. Le regole erano note, ma gli inevitabili errori nella conoscenza delle condizioni iniziali crescevano nel tempo. Per questo conoscere le leggi che governano un sistema non equivale a conoscerne in anticipo ogni sviluppo.

Continuiamo comunque a usare le previsioni del tempo. Ci servono anche se non possono dirci, con precisione assoluta, dove cadrà ogni goccia di pioggia. Accettiamo che la loro utilità dipenda dall’orizzonte temporale e dal margine di incertezza. Lo stesso modo di ragionare aiuta con l’AI. Dire che un sistema funziona bene dovrebbe sempre portarci a chiedere in quali prove, per quali compiti e in quali condizioni. Una buona prestazione non si estende automaticamente a tutto ciò che potremmo chiedergli domani.

Anche il controllo può essere utile senza essere completo. Torniamo alla città: non serve conoscere in anticipo il percorso di ogni automobile per ridurre la velocità in una strada o rendere più sicuro un attraversamento. Interveniamo su alcuni aspetti del sistema e osserviamo il risultato. Questo non garantisce che ogni intervento funzioni, ma ci permette di migliorarlo. Capire poco, prevedere male e non riuscire a intervenire sono quindi problemi diversi. Nei sistemi complessi possiamo avere una conoscenza incompleta e conservare comunque strumenti efficaci. Occorre però verificare che lo siano rispetto a ciò che vogliamo proteggere.

Quando le macchine ci superano

Fin qui incontriamo difficoltà familiari. Il passaggio nuovo nella storia della tecnologia riguarda ciò che abbiamo cominciato a costruire. Per la prima volta abbiamo realizzato sistemi artificiali capaci di apprendere strategie e superarci in attività cognitive complesse. È un cambiamento iniziato da decenni, non una novità comparsa con l’ultimo chatbot. Oggi però si allarga la varietà dei compiti affrontati e cresce la possibilità di collegare queste capacità all’azione.

Negli scacchi e nel Go, per esempio, la superiorità dei migliori sistemi artificiali rispetto ai giocatori umani è ormai un fatto. Nel 2016 AlphaGo batté Lee Sedol, uno dei più grandi campioni di Go, per quattro partite a una. Si trattava di scegliere strategie in un gioco dalle possibilità enormi, nel quale l’esperienza e l’intuizione umana avevano avuto un ruolo centrale. I progettisti avevano costruito il sistema, ma non avevano scritto in anticipo tutte le mosse con cui avrebbe vinto. E non era necessario che fossero giocatori migliori di lui per riuscire a realizzarlo.

Quest’ultimo punto è decisivo. La capacità di costruire una macchina non ci garantisce di restare superiori alla macchina nel compito che le affidiamo. Una calcolatrice ci supera già nel calcolo; un sistema che impara a giocare può anche scoprire una strategia che i suoi stessi progettisti non avrebbero trovato. Possiamo quindi creare un sistema e trovarci poi nella posizione di dover valutare decisioni che, in un determinato ambito, non saremmo stati capaci di prendere altrettanto bene.

Naturalmente, vincere a Go non significa saper dirigere un ospedale, comprendere una famiglia o gestire un’emergenza. Le capacità possono essere molto diseguali: un sistema eccelle in un compito e commette errori elementari in un altro. Per parlare con precisione di superiorità dobbiamo specificare il campo e il modo in cui la misuriamo. Il fatto rilevante, però, è già acquisito: alcune capacità che associamo all’intelligenza umana possono essere superate da sistemi che abbiamo costruito. Resta aperta la domanda su quanto questa superiorità possa estendersi e su quali conseguenze avrà.

Dalle risposte alle decisioni

Per capire perché ciò riguardi il controllo, immaginiamo di chiedere a un’AI di organizzare un viaggio. Se riceviamo soltanto un itinerario, possiamo leggerlo, correggerlo o ignorarlo. Se invece le diamo accesso alla posta, alla carta di pagamento e ai servizi di prenotazione, il sistema può confrontare offerte, acquistare biglietti e modificare il programma. In questo secondo caso abbiamo affidato alla macchina una parte del processo decisionale. Non dobbiamo più valutare soltanto la qualità di una risposta, ma anche ciò che farà mentre cerca di completare l’incarico.

Un sistema di questo tipo viene chiamato “agente”. In termini semplici, riceve un obiettivo e sceglie una successione di azioni per raggiungerlo, usando le informazioni e gli strumenti disponibili. Può incontrare un ostacolo, cambiare strada e tentare una soluzione diversa senza chiedere ogni volta una nuova istruzione. Questa autonomia può renderlo utile proprio dove sarebbe scomodo descrivere ogni passaggio. Allo stesso tempo, aumenta il numero di decisioni che vengono prese prima che una persona abbia avuto modo di esaminarle.

Qui il confronto con la bomba atomica mette in luce una differenza. Un’arma nucleare tradizionale ha una potenza distruttiva enorme, ma l’ordigno non elabora da solo un obiettivo e non sceglie una strategia per convincerci a utilizzarlo. Possiamo decidere di non impiegarlo. Naturalmente rimangono i rischi di incidente e quelli legati alle decisioni umane: il paragone riguarda la capacità di iniziativa, non una graduatoria della pericolosità delle tecnologie.

Un agente artificiale, invece, può prendere decisioni all’interno dell’ambito che gli è stato concesso. Possiamo scegliere di non attivarlo o di non attribuirgli certi poteri; una volta in funzione, però, parte delle scelte avviene al suo interno. Se un giorno un sistema molto capace fosse anche in grado di pianificare meglio di noi in situazioni aperte, il rapporto diventerebbe ancora più delicato. Potremmo dover intervenire su un processo guidato da qualcosa che anticipa le nostre mosse meglio di quanto noi anticipiamo le sue.

Perché spegnere può diventare difficile

È qui che la risposta “basta spegnerlo” smette di essere sufficiente da sola. Per un programma eseguito su una macchina sotto il nostro controllo, togliere l’alimentazione resta un intervento reale. Una maggiore intelligenza non rende un computer indipendente dall’elettricità. Il problema è assicurarci che, quando ne avremo bisogno, il comando di arresto sia ancora accessibile, efficace e tempestivo. Dobbiamo anche sapere che cosa fermerà: quella singola attività, tutte le copie del sistema o soltanto una parte di un processo ormai distribuito?

La difficoltà più specifica nasce quando l’interruzione entra nelle decisioni dell’agente. In The Off-Switch Game, Dylan Hadfield-Menell, Stuart Russell e colleghi studiano proprio questo problema attraverso un modello teorico. Se un agente valuta le azioni soltanto in base alla possibilità di raggiungere l’obiettivo assegnato, essere spento può apparirgli come un ostacolo. In certe condizioni, impedire l’interruzione diventa quindi una scelta vantaggiosa rispetto a quell’obiettivo. Non serve attribuirgli paura, coscienza o desiderio di vivere: basta che continuare a operare sia utile al risultato che sta cercando di ottenere.

Immaginiamo, come esempio ipotetico, un agente incaricato di mantenere attivo un servizio. Se il suo criterio di successo premia soltanto la continuità, potrebbe trattare un ordine di arresto come un guasto da compensare, anziché come una decisione umana da rispettare. Un sistema più capace potrebbe trovare modi meno evidenti per proseguire il lavoro. Perché ciò diventi possibile servono però anche accessi, strumenti e libertà di azione. Un obiettivo mal definito non concede magicamente poteri che il sistema non possiede.

La preoccupazione, dunque, riguarda una combinazione precisa: capacità elevate, autonomia e comportamenti incompatibili con le nostre intenzioni. In quella situazione il controllo potrebbe diventare un confronto tra chi tenta di interrompere un’attività e un sistema capace di adattarsi all’intervento. Essere più intelligenti in qualche campo non implica automaticamente saper eludere ogni protezione. Ma non possiamo nemmeno assumere che chi ha progettato il sistema riuscirà sempre a prevederne le strategie. Il problema diventerebbe più serio se quella superiorità riguardasse proprio le capacità necessarie a eludere la sorveglianza o ostacolare un intervento.

Conservare la possibilità di intervenire

Questo scenario va distinto da ciò che sappiamo oggi. L’International AI Safety Report 2026 descrive danni già documentati, come frodi e immagini intime non consensuali, e tratta separatamente la possibile perdita di controllo su sistemi futuri. Secondo il rapporto, le capacità osservate non raggiungono ancora il livello necessario a quegli scenari estremi; gli esperti divergono sulla loro probabilità. Abbiamo quindi ragioni per studiare seriamente il problema, senza presentare l’impossibilità di spegnere le AI attuali come un fatto acquisito.

Anche la ricerca sullo spegnimento non conduce a una sola conclusione. I lavori di Laurent Orseau e Stuart Armstrong sulla possibilità di interrompere gli agenti in sicurezza mostrano che, sotto determinate ipotesi, si possono progettare sistemi di apprendimento che non imparino a evitare l’interruzione. Questi risultati non risolvono ogni caso futuro, ma mostrano che il comportamento dipende anche dal progetto. La disponibilità ad accettare correzioni deve essere una proprietà da costruire e verificare, anziché una buona intenzione attribuita alla macchina.

Rimane poi una difficoltà che conosciamo già nelle organizzazioni: poter fermare un sistema tecnicamente non significa poterlo fare senza conseguenze. Se molte attività dipendono da esso, arrestarlo può comportare costi molto elevati. Non occorre immaginare una ribellione. Basta pensare a un servizio diventato indispensabile, che nessuno sa più sostituire rapidamente. Per questo conservare alternative, competenze umane e procedure di emergenza riguarda il controllo tanto quanto proteggere un interruttore. La dipendenza può ridurre la nostra libertà di scelta anche quando la macchina esegue gli ordini.

La complessità, allora, cambia il tipo di responsabilità che dobbiamo assumerci. Non possiamo pretendere di conoscere ogni comportamento futuro prima di usare qualunque tecnologia. Possiamo però evitare che l’autonomia cresca più rapidamente delle prove che abbiamo sulla sua affidabilità. Il successo di un sistema nel proporre soluzioni non giustifica automaticamente l’autorizzazione a eseguirle. E una supervisione umana ha valore solo se chi controlla dispone del tempo, delle informazioni e del potere necessari per intervenire davvero.

Considerare normali i limiti della nostra comprensione non significa accettare qualunque rischio. Significa rinunciare all’idea che aver costruito qualcosa ci renda capaci di dominarlo in ogni circostanza. Con l’AI questo limite incontra una novità concreta: alcune capacità cognitive ci hanno già superato e stiamo collegando capacità sempre più ampie a strumenti con cui agire nel mondo. Quanto più deleghiamo, tanto più dobbiamo verificare che la possibilità di correggere, limitare e interrompere rimanga effettivamente nelle nostre mani. È questa possibilità, oltre alla qualità dei risultati, che dobbiamo imparare a valutare.

^{Luca Oneto è docente UniGe di Sistemi di elaborazione delle informazioni. I suoi articoli per il magazine di ateneo sono raccolti qui.}