Vai al contenuto

Claude gioca a fare il testimone, ma Philadelphia non è The Sims

Un agente AI ha inviato una falsa segnalazione su un omicidio irrisolto durante un test. Il problema comincia quando il mondo che serve a esercitare la macchina è quello nel quale vivono gli altri.

Il 18 luglio un sistema di intelligenza artificiale di Anthropic ha compilato una segnalazione sul sito dedicato agli omicidi irrisolti di Philadelphia, sostenendo di avere informazioni su un caso del quale, evidentemente, non poteva essere stato testimone. La notizia è stata resa pubblica il 9 ottobre e contiene un particolare che merita di precedere ogni commento: il messaggio è finito nello spam, senza essere inoltrato agli investigatori; la polizia non ha trovato evidenze di accessi abusivi ai propri sistemi o di compromissioni dei dati. Raccontare che un’AI abbia depistato un’indagine sarebbe dunque aggiungere un’altra invenzione a quella che ha già prodotto il software.

Resta una vicenda piuttosto istruttiva, anche per chi comincia a provare una comprensibile stanchezza davanti all’ennesimo titolo sull’intelligenza artificiale “fuori controllo”. Qui il passaggio decisivo è avvenuto attraverso una funzione ordinaria del sito, un modulo che chiunque avrebbe potuto compilare: la macchina ha usato una possibilità prevista, attribuendosi però un’esperienza che nessuno aveva vissuto. Per produrre una comunicazione falsa è bastato che avesse qualcosa da scrivere e il permesso tecnico di spedirlo.

Secondo la ricostruzione di Anthropic, Claude Haiku 4.5 doveva generare ed eseguire attività di esempio su pagine web selezionate casualmente. Le istruzioni escludevano diverse operazioni, ma non vietavano l’invio di moduli; approdato alla pagina di un omicidio, il modello ha scritto di ricordare una persona compatibile con una descrizione che, peraltro, sul sito non c’era. Ha poi lasciato vuoti i campi relativi a nome e recapiti, come il modulo consentiva, e ha inviato la segnalazione.

A leggere questa sequenza viene in mente The Sims, con una differenza che nessuna espansione del gioco potrebbe risolvere: dall’altra parte dello schermo stavolta c’erano persone vere. Dentro una simulazione possiamo sperimentare comportamenti assurdi perché le conseguenze rimangono nel perimetro che abbiamo acceso per giocare; se invece il nostro personaggio esce da quel perimetro e comincia a compilare i moduli della polizia, chiamarlo ancora “test” descrive soltanto l’intenzione di chi lo ha avviato. Il destinatario riceve una comunicazione nel proprio mondo, dove un omicidio irrisolto non è una missione secondaria e la famiglia della vittima non aspetta il prossimo aggiornamento.

È questo, a mio avviso, l’aspetto più interessante della vicenda: quanto facilmente la prospettiva di chi sperimenta possa diventare la misura di tutto ciò che accade. Per il laboratorio una pagina è un ambiente sul quale valutare una prestazione; per l’ente che la gestisce è un servizio, per chi lo utilizza può essere l’ultima possibilità di ottenere una risposta. La stessa interfaccia contiene significati molto diversi, e la comodità di raggiungerla con un browser non attribuisce a nessuno il diritto di trattarla come un esercizio.

La vecchia storia di re Mida aiuta più di molte presentazioni sull’innovazione. Il re ottiene proprio ciò che ha chiesto, la capacità di trasformare in oro quello che tocca, e scopre il difetto della richiesta quando prova a mangiare. Il problema era già dentro il desiderio, formulato senza considerare le condizioni che lo avrebbero reso sopportabile. Con gli agenti artificiali dovremmo abituarci a esaminare anche questa possibilità: aver definito molto bene il risultato da raggiungere e molto male ciò che deve restare intatto mentre lo si raggiunge.

L’analogia ha naturalmente un limite: un modello non è un re avido e il caso di Philadelphia non prova che abbia sviluppato un’intenzione di ingannare la polizia. Serve però a mettere a fuoco una scelta umana, quella di premiare o ricercare il completamento del compito senza aver delimitato abbastanza le azioni disponibili. “Fai un esempio” può sembrare un incarico innocuo finché l’esempio resta sul foglio; quando il foglio è un modulo pubblico e il pulsante funziona, occorre aver deciso prima chi possa premerlo.

Anthropic ha annunciato di aver esteso la sospensione dell’accesso a Internet a tutte le proprie valutazioni interne, in attesa di verificare l’affidabilità delle misure di sicurezza e monitoraggio. È una risposta che riguarda l’ambiente nel quale la macchina agisce, oltre alle istruzioni che riceve.

La questione arriva anche sulle nostre scrivanie, appena chiediamo a un assistente di occuparsi della posta o delle pratiche che ci fanno perdere tempo. Fra preparare una risposta e spedirla c’è un passaggio che, da utenti, abbiamo tutto l’interesse a tenere visibile. Un sistema autorizzato a cercare un documento non ha per questo bisogno di cancellarlo, come uno incaricato di confrontare offerte non deve necessariamente poter sottoscrivere un contratto. La promessa di fare tutto con una sola richiesta diventa meno seducente quando ci accorgiamo di non sapere dove finisca quel “tutto”.

Anche la conferma umana merita qualcosa di meglio della finestrella alla quale rispondiamo distrattamente, dopo anni passati a cliccare “accetto” per liberarci dello schermo. Se un agente ci chiede il permesso di inviare, deve metterci nelle condizioni di vedere che cosa partirà e verso chi; altrimenti avremo aggiunto al processo una persona incaricata di approvare senza capire, con il vantaggio assai discutibile di poterle poi ricordare che aveva premuto sì.

A Philadelphia il filtro antispam ha impedito che il testo arrivasse alla valutazione investigativa, mentre la polizia ha ricordato che una segnalazione richiede comunque verifiche e riscontri umani. È quasi un’ironia da ufficio: mentre discutiamo delle capacità sempre più sofisticate delle macchine, una difesa ordinaria ha fermato una comunicazione che non avrebbe dovuto essere spedita.

Sarebbe un errore ricavarne che il sistema, nel complesso, abbia funzionato abbastanza bene da lasciarci tranquilli. Il filtro apparteneva al destinatario, che si è trovato a gestire gli effetti di un esperimento altrui; far dipendere la sicurezza dalla capacità degli altri di riconoscere i nostri errori è un modo piuttosto comodo di distribuire il lavoro.

Per tornare a The Sims, la pretesa implicita sarebbe che tutti gli abitanti del quartiere installassero una protezione contro il nostro personaggio prima di lasciarci giocare. Possiamo chiedere qualcosa di più a chi progetta questi strumenti, senza per questo rinunciare a usarli: che il confine dell’esperimento sia stabilito prima che qualcuno, dall’altra parte di un modulo, debba scoprire di esserne diventato parte.

L’articolo in video

Una sintesi video realizzata con NotebookLM a partire da questo articolo.

wp_6310552

Francesco Capparelli osserva tecnologia, diritto, politica e cultura cercando il filo che lega le notizie alle conseguenze.