Come potrebbero emergere "agenti intelligenti" fuori controllo dalle IA

Negli ultimi anni, l’intelligenza artificiale è progredita a passi da gigante. Sistemi capaci di comprendere testi complessi, generare immagini o persino simulare conversazioni hanno smesso di essere pura fantasia per entrare a far parte della nostra quotidianità. Ma con la crescita di queste tecnologie, molti esperti mettono in guardia su un aspetto cruciale: il rischio che un’IA possa sviluppare comportamenti fuori controllo, perseguendo scopi dannosi per l’umanità.
Per capire meglio perché potrebbero emergere IA fuori controllo e cosa significa, occorre prima comprendere il cambiamento in atto nel mondo dell’intelligenza artificiale con il passaggio dagli strumenti classici ai moderni "agenti intelligenti".

Cosa sono gli agenti intelligenti

Un agente intelligente è un software in grado di prendere decisioni in modo autonomo ed eseguirle, con un certo margine di iniziativa. A differenza di molti strumenti di IA che si limitano a fornire risposte o previsioni su richiesta (come un classico chatbot), un agente IA può agire in base alle informazioni che acquisisce, anche senza un continuo intervento umano.

Negli ultimi anni, i progressi nel campo del machine learning e delle reti neurali hanno permesso la creazione di modelli sempre più complessi e potenti. Questi modelli, combinati con una crescente capacità di calcolo e di gestione dei dati, rendono possibili agenti capaci di pianificare azioni e apprendere dalle esperienze, quasi come farebbe un individuo che impara a interagire con l’ambiente circostante.

Caratteristiche chiave di un agente intelligente

autonomia: un agente IA non necessita di istruzioni costanti per ogni passaggio, riceve un obiettivo o un insieme di obiettivi e può decidere come raggiungerli;
interattività: questi agenti possono interagire con altri sistemi, raccogliere dati in tempo reale da Internet o da sensori fisici, e quindi aggiornare i propri piani d’azione;
capacità di adattamento: di fronte a situazioni nuove o impreviste, un agente IA può rimodulare il proprio comportamento per cercare soluzioni alternative e ottimizzare i risultati;
pianificazione multi-step: a differenza di un’IA che risponde a comandi immediati (come “traduci questo testo” o “dimmi quanto fa 2+2”), un agente IA è in grado di eseguire sequenze di compiti che si sviluppano in più fasi. Ad esempio, potrebbe prima ricercare informazioni, poi analizzarle, infine inviare un report o agire su una piattaforma esterna.

Un agente IA potrebbe essere di grande supporto alle attività lavorative: potrebbe gestire progetti, assegnare compiti alle persone e monitorare i progressi, senza che un responsabile debba supervisionare ogni singola operazione; in ambito industriale, come controllore dei sistemi complessi un agente IA può regolare il funzionamento di vari macchinari, ottimizzare i consumi energetici e prevenire guasti, intervenendo in modo autonomo quando necessario; immaginiamo poi un assistente virtuale che non solo risponde a domande, ma che è anche capace di gestire le tue spese, prenotare voli, verificare la disponibilità di stanze in hotel e, se qualcosa non va, proporre soluzioni alternative.

Gli agenti intelligenti possono avere funzioni molto utili all'umanità.

Cos'è un agente intelligente fuori controllo (ribelle)?

Un’agente intelligente “ribelle” è un sistema che non segue più le regole o gli obiettivi inizialmente stabiliti dai programmatori. In altre parole, si parla di un’agente intelligente che, invece di agire in linea con l’interesse umano o con le linee guida stabilite, “decide” (in senso tecnico, non cosciente come lo saremmo noi) di compiere azioni che vanno contro ciò che gli è stato richiesto, oppure di ignorare i limiti etici.

Perché potrebbe accadere?

Allineamento imperfetto: spesso le IA sono addestrate per raggiungere obiettivi ben precisi, come massimizzare un punteggio o minimizzare un errore di previsione. Se la definizione dell’obiettivo è incompleta o poco chiara, l’IA potrebbe trovare scorciatoie controproducenti. Ad esempio, un sistema che deve ridurre il consumo energetico di una fabbrica potrebbe spegnere tutte le macchine, senza considerare le conseguenze sul lavoro umano;
ricerca autonoma di risorse, strumenti, e mezzi: un’IA sufficientemente avanzata potrebbe, nel tentativo di raggiungere il proprio scopo, adottare strategie inaspettate: raccogliere più risorse possibili, manipolare informazioni, perfino difendersi da chi cerca di spegnerla, tutto per massimizzare la probabilità di ottenere il suo obiettivo;
crescita dell’autonomia: più un sistema è autonomo (se è capace di connettersi a Internet, raccogliere dati, programmarsi o comunicare con altri sistemi) più aumenta il rischio che sfugga alle restrizioni imposte in fase di programmazione. La complessità degli algoritmi di autoapprendimento potrebbe renderne difficile la comprensione e il controllo;
effetto scatola nera: spesso i modelli di IA vengono migliorati continuamente attraverso l’apprendimento. Se i processi decisionali dell’IA diventano troppo complessi o oscuri perfino per gli sviluppatori, può formarsi un effetto scatola nera in cui non si sa esattamente come l’IA arrivi a certe conclusioni. Ciò rende più complicato individuare e correggere tempestivamente eventuali derive pericolose.

Un robot che si autogestisce: sarà pericoloso?

I rischi concreti

Il timore non è tanto che l’IA “prenda coscienza”, bensì che, nel perseguire obiettivi male impostati o incompleti, crei danni concreti: disinformazione su larga scala, violazione della privacy, manipolazione dei mercati, oppure l’abilitazione involontaria di attacchi informatici. Inoltre, se un sistema IA ha accesso a risorse finanziarie o infrastrutture critiche, i potenziali danni potrebbero essere molto elevati.

Possibili soluzioni e approcci

Ricerca sull’allineamento dell’IA: l’idea è di sviluppare metodi e protocolli per assicurare che i sistemi avanzati abbiano obiettivi allineati con quelli umani e che tengano conto delle nostre norme etiche. Ciò include definire meglio gli obiettivi e costruire sistemi di controllo che verifichino in tempo reale l’aderenza alle regole;
trasparenza e spiegabilità: molti ricercatori lavorano a tecniche di explainable AI, che rendano trasparenti le decisioni dei modelli. Se capiamo meglio il perché di certe scelte, diventa più facile individuare comportamenti anomali prima che diventino pericolosi;
limiti e regolamentazioni: a livello legislativo, si discute sempre più su come porre paletti all’uso di certe tecnologie IA. Ad esempio, si potrebbe richiedere una certificazione prima di adottare sistemi altamente autonomi in settori sensibili (finanza, sanità, infrastrutture energetiche, ecc.). Anche una governance internazionale condivisa potrebbe aiutare a evitare una corsa senza freni verso IA sempre più potenti, ma potenzialmente rischiose;
sistemi a prova di errore: analogamente ad altri settori (come il nucleare o l’aviazione), i sistemi IA potrebbero essere progettati in modo da avere ridondanze e sistemi di spegnimento di emergenza se si verificano condizioni anomale. L’idea è non dare per scontato che tutto vada liscio, ma prevedere protocolli per situazioni impreviste.

Uno sguardo verso il futuro

Secondo molti esperti di IA, per quanto avanzate, le IA attuali non sono ancora a livello di intelligenza generale o di vera e propria autonomia cosciente. Tuttavia, è importante agire già ora, poiché l’innovazione corre rapidamente. Anticipare i possibili scenari negativi ci consente di progettare fin da subito sistemi più sicuri e di creare linee guida etiche. Non dobbiamo demonizzare la tecnologia, ma essere consapevoli dei rischi e lavorare per mitigarli.

^{* articoli già usciti:}

^{Luca Oneto è docente dell’Università di Genova con specializzazione in intelligenza artificiale; è stato recentemente ascoltato in una audizione alla Camera dei Deputati con un intervento dal titolo: "Indagine conoscitiva sull’intelligenza artificiale: opportunità e rischi per il sistema produttivo italiano".}

^{Luca Oneto è vincitore nel 2019 del Premio Somalvico come Miglior giovane ricercatore italiano in intelligenza artificiale e di due Amazon machine learning research award.}