“Stop Killer Robots”, gli attivisti che vogliono fermare l’apocalisse robot

Nel sesto episodio della terza stagione della serie Black Mirror, disponibile su Netflix, appare un sistema di robot autonomi, simili ad insetti, in grado di identificare un obiettivo assegnatogli, attraverso degli algoritmi di riconoscimento facciale, ed eliminarlo.

Per quanto un tale scenario possa sembrare distante dalla realtà, al momento, le varie tecnologie necessarie per produrre una tale arma sono disponibili, seppur applicate ciascuna in ambiti diversi. Per questo motivo, gli attivisti della campagna Stop Killer Robots stanno combattendo per vietare lo sviluppo e l’impiego di armi letali autonome.

In un’intervista telefonica, Mary Wareham, coordinatrice mondiale della campagna e membro dello Human Rights Watch, mi ribadisce che l’obiettivo della campagna è quello di ottenere “un divieto preventivo, cioè un divieto che si applica solo ad armi future e non a quelle attualmente in uso.” Prosegue, infatti, dicendo che alcuni detrattori stanno cercando di infangare la loro campagna, affermando che questo divieto andrà a colpire anche l’attuale utilizzo dei droni. Questo, però, non è vero, poiché i droni sono mezzi a pilotaggio remoto che necessitano di intervento umano per portare a termine un’operazione dall’inizio alla fine.

Il divieto richiesto, invece, si occupa solo delle armi letali autonome, in inglese definite Lethal Autonomous Weapons e da cui l’acronimo LAWs, ossia armi in grado di effettuare operazioni senza alcun intervento umano. Con questo divieto si cerca quindi di sventare una forsennata corsa agli armamenti vietando la ricerca, lo sviluppo, e la produzione di questo tipo di armi.

Il divieto cerca di sventare una forsennata corsa agli armamenti vietando la ricerca, lo sviluppo, e la produzione di questo tipo di armi.

Per chi crede che questa discussione rischi di sfociare nella fantascienza, purtroppo dovrà ricredersi. Sono già diversi gli esempi di LAWs che sono stati testati. Tra questi c’è il sistema SGR-A1, prodotto in collaborazione da Samsung Techwin e dall’Università della Corea, che è attualmente utilizzato nella zona demilitarizzata coreana che funge da cuscinetto fra la Corea del Nord e quella del Sud. L’SGR-A1 è una sorta di robot sentinella, munito di videocamere e sensori di movimento in grado di identificare la presenza di eventuali intrusi. È inoltre fornito di armi in grado di sparare proiettili sia di gomma che normali, armi che possono essere utilizzate qualora l’intruso non venga identificato tramite il sistema di riconoscimento vocale di cui SGR-A1 è provvisto.

Un altro esempio di arma attualmente in sviluppo è il Taranis, un aereo da combattimento dell’esercito britannico senza pilota a bordo, che ha effettuato il suo primo test di volo all’inizio del 2014. Oltre al pilotaggio remoto, questo drone può volare autonomamente ma gli ufficiali della RAF tengono a precisare che sarà comunque sempre prevista la presenza di un essere umana a supervisionare il drone.

Questa è una delle distinzioni su cui spesso le aziende produttrici ed i governi puntano di più: la presenza o meno della componente umana nell’anello di controllo dell’arma autonoma. Si distinguono, infatti, armi autonome in cui l’essere umano è in the loop, ossia l’uomo deve selezionare manualmente l’obiettivo e fare fuoco; armi con essere umano on the loop e quindi in grado di intervenire nel caso in cui vi sia necessità di correggere il comportamento dell’arma autonoma; oppure con essere umano out of the loop, dove l’arma è completamente autonoma e non c’è alcuna possibilità di intervento umano.

La colonna sonora è un’ottima tecnica di criptopropaganda: improvvisamente sembra di stare in Magnum P.I.

Mary Wareham è però scettica riguardo questa distinzione, afferma infatti che “questo concetto del loop può essere utile ma irrita i promotori della campagna poiché alcuni governi stanno cercando di promuovere una concezione molto ampia dell’idea di loop, dicendo ad esempio che i programmatori che sviluppano il codice possono essere considerati in the loop.” Continua poi ricordando che “non è così che noi della campagna intendiamo il loop al momento, la questione principale è l’esistenza di un sistema che, una volta attivato, è in grado di compiere delle azioni autonomamente.”

Le armi autonome, infatti, sono chiamate ad agire moralmente quando selezionano un obiettivo e lo attaccano. Sono investite del potere di vita o di morte su di un essere umano. Come afferma Wareham, non si tratta di parlare di robot intelligenti o pensanti, ma di riconoscere che quelle che la Croce Rossa Internazionale definisce come le funzioni critiche di un’arma, ossia la capacità di identificare ed acquisire un obiettivo e quella di utilizzare la forza contro di esso, finiscono nelle mani metalliche di un robot.

Oltre agli innumerevoli problemi etici e morali legati all’utilizzo delle LAWs—come il rischio di deumanizzazione della violenza a causa del progressivo allontanamento fisico del carnefice dalla propria vittima, allontanamento che si sta già riscontrando nell’utilizzo dei droni—Wareham sottolinea le questioni prettamente tecnologiche collegate ad esse: “cosa dobbiamo aspettarci, ad esempio, quando si perde la comunicazione con aerei da combattimento autonomi in grado di trasportare bombe? Quali istruzioni devono seguire in quel caso? Devono atterrare? Tornare alla base direttamente? Oppure prima sganciare la bomba e poi tornare alla base?”.

Ulteriori problemi tecnici sono delineati in una direttiva del Dipartimento della Difesa statunitense del 2012, in vigore per 5 anni e con possibilità di rinnovo per altri 5, in cui si stabiliscono delle linee guida per lo sviluppo e l’utilizzo di armi autonome—nel caso specifico non letali. In questo documento, di cui è disponibile un’analisi da parte della campagna Stop Killer Robots, è inserito un glossario in cui si descrivono alcuni punti critici di queste armi.

Fra i più interessanti vi sono malfunzionamenti legati a problemi di comunicazione o bug nel software, errori umani, ed attacchi informatici. Questi ultimi, non solo rivolti alle armi stesse, ma anche alle aziende che fanno parte della catena di produzione e montaggio dei componenti. Intervistato da Motherboard per email, Stuart Russell, esperto di intelligenza artificiale e professore di informatica presso l’Università della California Berkeley, conferma che il rischio di attacchi informatici è molto alto. Inoltre avverte su un altro rischio: “anche se questi attacchi non modificano direttamente il funzionamento dei robot, il semplice fatto che il nemico possa conoscere in anticipo il comportamento di queste armi le rende molto meno efficaci,” neutralizzando la loro utilità.

Un altro grave pericolo da considerare è come tali armi reagiranno di fronte a situazioni inaspettate sul campo di battaglia. Se da un lato gli esperti di robotica sono preoccupati anche dalle interazioni fra due differenti macchine autonome, dall’altro lato ci sono comunque ancora gravi problemi nel caso di interazioni uomo-macchina in scenari di guerra.

I principi di distinzione e proporzionalità, fondamentali nel caso di scontro fra due soldati umani, non sono facilmente traducibili in linguaggio matematico comprensibile da un algoritmo. Il primo garantisce la distinzione fra un civile ed un militare e, visti i crescenti scenari di conflitto urbani emersi in medio oriente, non sempre è facile effettuare tale distinzione senza tenere in considerazione espressioni facciali, intenzioni, e tono della voce di chi si ha di fronte.

Il principio di proporzionalità, invece, permette di valutare il ricorso alla forza sulla base del danno che si arreca ai civili se confrontato al vantaggio militare ottenibile da tale azione. Entrambi questi principi poggiano sulla comprensione di sfumature e piccoli dettagli che sono spesso collegati al contesto in cui si agisce. Non è quindi possibile immaginare di codificare tali comportamenti all’interno del software del robot, scollegandoli dal contesto specifico e definendoli come informazioni a priori. Ad esempio, un soldato ferito può ancora essere considerato un obiettivo da abbattere? In questi casi sono necessari dei giudizi qualitativi derivanti da principi generali ed esperienze pregresse proprie dell’essere umano.

Inoltre, questa nuova tipologia di armi introduce delle modifiche notevoli per quanto riguarda i concetti di spazio e di tempo nei conflitti. Con la possibilità di utilizzare armi autonome in grado di percorrere notevoli distanze senza mostrare alcun segno di fatica o di sofferenza, l’aspetto dei conflitti può trasformarsi completamente. Mary Wareham aggiunge, inoltre, che “il concetto di velocità del conflitto e la nozione del tempo sono molto importanti per la campagna; molti dei nostri attivisti provengono dalla campagna per il divieto delle mine anti-uomo e la possibilità di attivare un LAW e lasciarlo libero di cercare il proprio obiettivo continuamente, senza sosta, come fosse una minaccia costante, è assolutamente sconvolgente. È come se quel robot fosse una mina anti-uomo mobile”.

Un soldato ferito può ancora essere considerato un obiettivo da abbattere?

Le LAWs presentano anche dei problemi per quanto riguarda l’attribuzione legale delle responsabilità in caso di uccisione di esseri umani. Nello studio del 2015 svolto dal Human Rights Watch, titolato Accountability Gap, si analizza il vuoto legislativo che si viene a creare a fronte dell’utilizzo di tali armi. Non solo infatti queste armi autonome rischiano di sminuire la dignità umana—poiché un essere inanimato decide autonomamente di porre fine alla vita di un essere vivente—ma non ci sono nemmeno responsabilità legali facilmente attribuibili. Senza un controllo umano, il generale che ha deciso di utilizzare l’arma deve essere ritenuto colpevole? E se l’arma ha avuto un comportamento anomalo? In quel caso è quindi colpa del programmatore? Ma nel caso di robot che apprendono autonomamente, non tutte le loro azioni sono prevedibili ed analizzabili in anticipo. In quel caso, quindi, il robot stesso deve essere considerato colpevole? Eppure il robot manca di intenzionalità nelle azioni che compie, poiché esegue solo regole che gli sono state imposte ed a cui non può sottrarsi.

Questo è certamente un altro spaventoso aspetto di questo tipo di armi: l’impossibilità di rifiutare gli ordini ricevuti. Un essere umano può sempre rifiutare l’ordine, può mettere in discussione il comando ricevuto. Un robot, invece, programmato per eseguire quel comando, non potrà mai metterlo in discussione: si ha così a disposizione un fedelissimo, ma terribile, esercito.

Gli attivisti di Stop Killer Robots non sono soli in questa campagna. Nel 2015, infatti, è stata pubblicata una lettera aperta da parte di ricercatori ed esperti di intelligenza artificiale e di robotica, firmata fra gli altri anche dallo stesso Stuart Russell, in cui si chiede di vietare la produzione e l’impiego di armi autonome, in modo da evitare una corsa agli armamenti che possa degenerare in un conflitto le cui conseguenze, sulla base dei problemi discussi sopra, sono del tutto ignote.

Campaign To Stop Killer Robots

Le Nazioni Unite hanno già mostrato interesse verso questo argomento. Ci sono stati infatti diversi incontri di esperti presso la Convenzione sulle armi non convenzionali (CCW) di Ginevra in passato – nel 2014, nel 2015 ed il più recente ad aprile 2016 – ed inoltre la campagna Stop Killer Robots ha lasciato una dichiarazione presso la Prima Commissione sul disarmo e la sicurezza internazionale dell’Assemblea Generale delle Nazioni Unite lo scorso 12 ottobre a New York, ed ha tenuto un evento a latere sempre in quei giorni.

Per quanto riguarda la posizione dell’Italia, che ha partecipato alle conferenze nelle vesti dell’ambasciatore Vinicio Mati, rappresentante permanente dell’Italia presso la conferenza del disarmo, possiamo analizzare i testi degli interventi effettuati. Nell’intervento dello scorso aprile si apprende dell’intenzione di voler proseguire il dialogo per definire in maniera migliore le armi letali autonome ma, per quanto riguarda il vuoto di attribuzione delle responsabilità, si ritiene che le leggi del diritto internazionale umanitario siano sufficienti per regolare queste tecnologie. Una posizione in netto contrasto con quanto affermato dal documento citato sopra dello Human Rights Watch.

Inoltre, per quanto riguarda l’elemento umano nel loop, si ritiene comunque sufficiente la sola presenza del programmatore, il quale definisce i criteri di funzionamento e ne rimane responsabile. Altra posizione che si scontra con quanto affermato da Wareham al riguardo, poiché non è possibile anticipare tutte le azioni che un LAW effettuerà su di un campo di battaglia reale.

Il prossimo importante appuntamento è previsto per la Quinta Conferenza di Revisione della CCW che si terrà dal 12 al 16 Dicembre 2016, sempre presso la sede dell’ONU di Ginevra. L’obiettivo degli attivisti è di passare alla seconda fase, ossia l’organizzazione di incontri di un gruppo di esperti dei governi da svolgersi, per un totale di quattro settimane, nell’arco del 2017. Questo sarebbe un segnale che i lavori sin qui effettuati stanno procedendo in avanti, in direzione di una finalizzazione del divieto.

Purtroppo, però, alcuni stati, fra cui anche l’Italia, non sono a favore del gruppo di esperti governativi, ritenendolo un passaggio prematuro in quanto vi è ancora necessità di definire in modo chiaro quali tecnologie rientrano nella categoria delle LAWs. Questa posizione è del tutto contrastata da Mary Wareham che ricorda come “le definizioni ricadono nell’ultima fase di questo tipo di trattati, prima bisogna definire l’obiettivo del trattato stesso – sia esso un divieto o una restrizione – e solamente dopo si può procedere ad effettuare le definizioni legali sulla base di ciò che si è deciso in precedenza”. Aggiunge inoltre che il concetto generale di armi completamente autonome è tutto ciò che serve al momento, e si tratta di un concetto piuttosto chiaro: “stiamo parlando di armi che, una volta attivate, sono in grado di selezionare, identificare ed attaccare un obiettivo autonomamente, senza la richiesta di alcun tipo di intervento umano per ogni singolo attacco”.

Queste tecnologie aprono questioni etiche che non possono essere risolte con un semplice algoritmo o nascondendosi dietro a proclami di tecno-ottimisti, secondo cui tutto andrà per il verso giusto o che, addirittura, si riusciranno a creare robot etici. Questa possibilità, infatti, come conferma Russell, è molto improbabile al momento. Inoltre, aggiunge, “penso che parlare di robot etici manchi del tutto la questione principale: qualora si raggiungesse una produzione di massa di queste tecnologie, un gruppo esiguo di essere umani potrebbe lanciare un attacco su larga scala utilizzando migliaia di queste armi, abbiamo veramente bisogno di questo tipo di robot?”.