È il genere di cose che oggigiorno possono quasi passare per rumore di fondo: nell'ultima settimana, alcune pubblicazioni hanno dichiarato provvisoriamente, sulla base di un rapporto delle Nazioni Unite sulla guerra civile libica, che i robot killer hanno dato la caccia agli umani in modo autonomo per la prima volta. Come diceva un titolo: “L'era dei robot killer autonomi potrebbe già essere qui”.

Ma lo è? Come puoi immaginare, è una domanda difficile a cui rispondere.

La nuova copertura ha scatenato un dibattito tra gli esperti che va al cuore dei nostri problemi di fronte all'ascesa dei robot autonomi in guerra. Alcuni hanno detto che le storie erano sbagliate e sensazionali, mentre altri hanno suggerito che c'era una pepita di verità nella discussione. Immergersi nell'argomento non rivela che il mondo ha vissuto tranquillamente i salvataggi iniziali della linea temporale di Terminator nel 2020. Ma indica una verità più prosaica e forse molto più deprimente: che nessuno può essere d'accordo su cosa sia un robot killer, e se aspettiamo che ciò accada, la loro presenza in guerra sarà da tempo normalizzata.

È roba allegra, vero? Ti distoglierà almeno dalla mente dalla pandemia globale. Entriamo:

Quali sono le notizie attuali?

La fonte di tutte queste storie è un rapporto di 548 pagine del Consiglio di sicurezza delle Nazioni Unite che descrive in dettaglio la fine della seconda guerra civile libica, che copre un periodo da ottobre 2019 a gennaio 2021. Il rapporto è stato pubblicato a marzo e puoi leggilo integralmente qui. Per farti risparmiare tempo: è un resoconto estremamente approfondito di un conflitto estremamente complesso, che descrive in dettaglio vari movimenti di truppe, trasferimenti di armi, incursioni e schermaglie che hanno avuto luogo tra le varie fazioni della guerra, sia straniere che interne.

Le notizie si basavano solo su due paragrafi di un rapporto delle Nazioni Unite

Il paragrafo a cui siamo interessati, tuttavia, descrive un'offensiva vicino a Tripoli nel marzo 2020, in cui le forze a sostegno del governo nazionale sostenuto dalle Nazioni Unite Accord (GNA) ha mandato in rotta le truppe fedeli all'esercito nazionale libico di Khalifa Haftar (indicato nel rapporto come Haftar Affiliated Forces o HAF). Ecco il passaggio pertinente per intero:

I convogli logistici e l'HAF in ritirata sono stati successivamente braccati e attaccati a distanza dai veicoli aerei da combattimento senza equipaggio o dai letali sistemi di armi autonome come l'STM Kargu-2 (vedi allegato 30) e altre munizioni vaganti. I letali sistemi di armi autonome sono stati programmati per attaccare obiettivi senza richiedere connettività dati tra l'operatore e le munizioni: in effetti, una vera capacità di “sparare, dimenticare e trovare”.

Il sistema Kargu-2 menzionato qui è un quadricottero costruito in Turchia: è essenzialmente un drone di consumo che viene utilizzato per bombardare bersagli. Può essere azionato manualmente o guidato da solo utilizzando la visione artificiale. Un secondo paragrafo del rapporto rileva che le forze in ritirata sono state “soggette a continue vessazioni da parte dei veicoli aerei da combattimento senza equipaggio e dei letali sistemi di armi autonome” e che l'HAF “ha subito perdite significative” di conseguenza.

Il drone Kargu-2 è essenzialmente un quadricottero che bombarda i nemici in picchiata. Immagine: STM

Ma questo è tutto. È tutto quello che abbiamo. Ciò che il rapporto non dice, almeno non apertamente, è che gli esseri umani sono stati uccisi da robot autonomi che agivano senza la supervisione umana. Dice che umani e veicoli sono stati attaccati da un mix di droni, quadricotteri e “munizioni vaganti” (ci arriveremo più avanti) e che i quadricotteri erano stati programmati per funzionare offline. Ma non è chiaro se gli attacchi siano avvenuti senza connettività.

Questi due paragrafi si sono fatti strada nella stampa principale tramite una storia sul New Scientist, che ha pubblicato un pezzo con il titolo: “I droni potrebbero aver attaccato gli umani in modo completamente autonomo per la prima volta”. Il NS è molto attento a precisare che i droni militari potrebbero aver agito in modo autonomo e che gli umani potrebbero essere stati uccisi, ma i rapporti successivi hanno perso questa sfumatura. “Un drone autonomo ha attaccato i soldati in Libia da solo”, si legge in un titolo. “Per la prima volta, i droni hanno attaccato autonomamente gli umani”, ha detto un altro.

Cerchiamo di essere chiari: di per sé, le Nazioni Unite non dicono con certezza se i droni abbiano attaccato autonomamente gli esseri umani in Libia lo scorso anno, anche se certamente suggerisce che ciò potrebbe essere accaduto. Il problema è che anche se fosse successo, per molti esperti, non sarebbe una novità.

Il problema della definizione di “robot killer”

Il motivo per cui alcuni esperti hanno contestato queste storie è perché hanno seguito la formulazione delle Nazioni Unite, che non distingue chiaramente tra munizioni vaganti e sistemi di armi autonome letali o LEGGI (questo è il gergo politico per i robot assassini).

Le munizioni vaganti, per chi non lo sapesse, sono l'equivalente dell'arma dei gabbiani sul lungomare. Si aggirano intorno a un'area specifica, fluttuano sopra le masse e aspettano di colpire il loro obiettivo, di solito hardware militare di un tipo o dell'altro (anche se non è impossibile che possano essere usati per colpire gli individui).

L'esempio classico è la IAI Harpy di Israele, che è stata sviluppata negli anni '80 per prendere di mira le difese antiaeree. L'Arpia sembra un incrocio tra un missile e un drone ad ala fissa e viene sparato da terra in un'area bersaglio dove può indugiare fino a nove ore. Esegue la scansione delle emissioni radar rivelatrici dai sistemi antiaerei e cade su qualsiasi cosa trovi. L'aspetto del bighellonare è cruciale in quanto le truppe spesso spengono questi radar, dato che si comportano come segnali di riferimento.

La IAI Harpy viene lanciata da terra e può indugiare per ore su un'area bersaglio. Immagine: IAI

“Il fatto è, com'è questa la prima volta?” ha twittato Ulrike Franke, senior policy fellow presso il Consiglio europeo per le relazioni estere. “Le munizioni vaganti sono state sul campo di battaglia per un po', in particolare nel Nagorno-Karaback. Mi sembra che la novità qui non sia l'evento, ma che il rapporto delle Nazioni Unite li chiami sistemi d'arma autonomi letali».

“la linea tra qualcosa di autonomo e qualcosa di automatizzato si è spostata nel corso dei decenni”

Jack McDonald, docente presso il dipartimento di studi sulla guerra al King's College di Londra, afferma che la distinzione tra i due termini è controversa e costituisce un problema irrisolto nel mondo della regolamentazione degli armamenti. “Ci sono persone che chiamano “munizioni vagabonde” “sistemi d'arma autonomi letali” e persone che le chiamano semplicemente “munizioni vaganti””, dice a The Verge. “Questa è una cosa enorme e di lunga durata. Ed è perché la linea tra l'essere autonomo e l'essere automatizzato si è spostata nel corso dei decenni”.

Quindi l'Arpia è un letale sistema di armi autonomo? Un robot killer? Dipende da chi chiedi. Il sito web della IAI lo descrive come tale, definendolo “un'arma autonoma per tutte le condizioni atmosferiche” e l'Arpia si adatta sicuramente a una definizione improvvisata di LEGGI come “macchine che prendono di mira i combattenti senza la supervisione umana”. Ma se questa è la tua definizione, allora hai creato una chiesa molto ampia per i robot killer. In effetti, secondo questa definizione, una mina terrestre è un robot killer, poiché anch'esso prende di mira autonomamente i combattenti in guerra senza la supervisione umana.

L'intelligenza artificiale peggiora le cose

Se i robot killer esistono da decenni, perché negli ultimi anni si è discusso tanto di loro, con gruppi come la Campaign To Stop Killer Robots che spingono per la regolamentazione di questa tecnologia nelle Nazioni Unite? E perché questo incidente in Libia è speciale?

L'ascesa dell'intelligenza artificiale gioca un ruolo importante, afferma Zak Kallenborn, policy fellow presso la Schar School of Policy and Government. I progressi dell'intelligenza artificiale negli ultimi dieci anni hanno consentito ai produttori di armi di accedere a sistemi di visione economici in grado di selezionare i bersagli con la stessa rapidità con cui il telefono identifica animali domestici, piante e volti familiari nel rullino fotografico. Questi sistemi promettono un'identificazione precisa e sfumata degli obiettivi, ma sono anche molto più soggetti a errori.

La visione dell'IA ha dimostrato di essere fragile, più e più volte

“Le munizioni vaganti in genere rispondono alle emissioni radar, [e] un bambino che cammina per strada non avrà un radar ad alta potenza nello zaino”, dice Kallenborn a The Verge. “Ma i sistemi di puntamento dell'intelligenza artificiale potrebbero classificare erroneamente il bambino come un soldato, perché gli attuali sistemi di intelligenza artificiale sono molto fragili: uno studio ha mostrato che un cambiamento in un singolo pixel è sufficiente per far sì che i sistemi di visione artificiale traggano conclusioni radicalmente diverse su ciò che vede. Una domanda aperta è la frequenza con cui questi errori si verificano durante l'uso nel mondo reale.”

Questo è il motivo per cui l'incidente in Libia è interessante, afferma Kallenborn, poiché il sistema Kargu-2 menzionato nel rapporto delle Nazioni Unite sembra utilizzare l'intelligenza artificiale per identificare gli obiettivi. Secondo il produttore del quadricottero, STM, utilizza “algoritmi di apprendimento automatico incorporati nella piattaforma” per “rispondere efficacemente a obiettivi fissi o mobili (ad esempio veicoli, persone, ecc.)”. I video dimostrativi sembrano mostrare che fa esattamente questo. Nella clip qui sotto, il quadricottero si concentra su un manichino in un gruppo fermo.

Ma dovremmo fidarci di una bobina dimostrativa o di una brochure di un produttore? E il rapporto delle Nazioni Unite chiarisce che nell'attacco sono stati utilizzati sistemi di apprendimento automatico?

La lettura del rapporto da parte di Kallenborn è che “implica fortemente” che questo fosse il caso, ma McDonald è più scettico. “Penso che sia sensato dire che il Kargu-2 come piattaforma è aperto per essere utilizzato in modo autonomo”, afferma. “Ma non sappiamo necessariamente se lo fosse”. In un tweet, ha anche sottolineato che questa particolare schermaglia ha coinvolto missili e obici a lungo raggio, rendendo ancora più difficile attribuire vittime a qualsiasi sistema.

Quali sono le prospettive per LEGGI e la legge?

Ciò che ci rimane è, forse non sorprende, la nebbia della guerra. O più precisamente: la nebbia delle LEGGI. Non possiamo dire con certezza cosa è successo in Libia e le nostre definizioni di ciò che è e non è un robot killer sono così fluide che anche se lo sapessimo, ci sarebbe disaccordo.

Per Kallenborn, questo è un po' il punto: sottolinea le difficoltà che affrontiamo nel tentativo di creare una supervisione significativa nelle battaglie future assistite dall'IA. Ovviamente il primo utilizzo di armi autonome sul campo di battaglia non si annuncerà con un comunicato stampa, dice, perché se le armi funzionano come dovrebbero, non sembreranno affatto fuori dall'ordinario. “Il problema è che l'autonomia è, al centro, una questione di programmazione”, afferma. “Il Kargu-2 utilizzato in modo autonomo apparirà esattamente come un Kargu-2 utilizzato manualmente.”

Elke Schwarz, docente di teoria politica presso la Queen Mary University di Londra, affiliata all'International Committee for Robot Arms Control, dice a The Verge che discussioni come questo mostrano che dobbiamo andare oltre i dibattiti “scivolosi e politici” sulle definizioni e concentrarci sulle funzionalità specifiche di questi sistemi. Cosa fanno e come lo fanno?

“c'è una massa critica tra le nazioni e le organizzazioni internazionali per spingere per un divieto”

“Penso che dobbiamo davvero pensare al quadro più ampio […] ed è per questo che mi concentro sulla pratica, oltre che sulla funzionalità”, afferma Schwarz. “Nel mio lavoro cerco di dimostrare che l'uso di questi tipi di sistemi è molto probabile che esacerbare l'azione violenta come una scelta “più facile”. E, come giustamente sottolinei, molto probabilmente prevarranno gli errori […] che probabilmente verranno risolti solo a posteriori”.

Schwarz afferma che, nonostante la miriade di difficoltà, sia in termini di redazione di regolamenti che di contrasto all'entusiasmo dei militari di tutto il mondo per integrare l'IA negli armamenti, “c'è una massa critica tra nazioni e organizzazioni internazionali a spingere per la messa al bando di sistemi che hanno la capacità di identificare, selezionare e attaccare autonomamente i bersagli”.

In effetti, le Nazioni Unite stanno ancora conducendo una revisione su possibili regolamenti per LEGGI, con risultati che dovrebbero essere comunicati entro la fine dell'anno. Come afferma Schwarz: “Con questa notizia che ha fatto il giro, ora è un ottimo momento per mobilitare la comunità internazionale verso la consapevolezza e l'azione”.