Negli ultimi dodici anni, gli sforzi internazionali per stabilire normative sulle armi autonome hanno tracciato una serie di cerchi sempre più ampi.

Nell’ambito della Convenzione su alcune armi convenzionali (CCW), principale sede di negoziati multilaterali sulla questione, gli Stati concordano generalmente sul fatto che dotare le armi della capacità di selezionare e colpire autonomamente i bersagli potrebbe portare a conseguenze indesiderate, inclusi gravi danni per i quali nessun essere umano sarebbe ritenuto responsabile. Tuttavia, dopo oltre dodici anni di colloqui, è improbabile che gli Stati adottino a breve misure comuni per scongiurare tali rischi. Nel frattempo, la tecnologia continua a diventare sempre più avanzata e diffusa.

Perché è successo questo? La disfunzione multilaterale è un fattore. Ma una parte importante del problema è che gli Stati insistono nel distinguere le armi autonome accettabili dai robot assassini inaccettabili, basandosi su un principio noto come “controllo umano significativo” (MHC).

A un osservatore superficiale, l’espressione “controllo umano significativo” potrebbe sembrare corretta e priva di problematiche. E in effetti, due di queste tre parole hanno tutto il diritto di esserci. Il “controllo” è un principio fondamentale per il funzionamento di qualsiasi arma. E la premessa che a esercitare tale controllo debba essere un “essere umano”, e non un’altra forma di essere, non è in discussione.

L’ostacolo principale è la prima parola, “significativo”. I negoziati su questioni come queste prosperano o falliscono in base all’efficacia della terminologia utilizzata, e “significativo”, come aggettivo che indica il controllo umano, si è rivelato il tallone d’Achille del dibattito sulle armi autonome. È eccessivamente vago, fin troppo controverso e mette in risalto gli aspetti sbagliati del ruolo umano nelle decisioni sull’uso della forza, escludendo al contempo le dimensioni della supervisione umana che contano davvero.

In breve, se i leader vogliono preservare l’umanità in guerra, hanno bisogno di un termine migliore, uno che attivi una visione di controllo umano fondata su un giudizio deliberato e consapevole. Che ne dite di “consapevole”?

Non bisogna pensare che questo sia un tentativo di introdurre lo spiritualismo new age nella regolamentazione delle armi autonome letali. I soldati non hanno bisogno di praticare esercizi di respirazione prima di una missione (anche se probabilmente sarebbe utile). Piuttosto, le parti coinvolte nel dibattito potrebbero appropriarsi del concetto di consapevolezza letterale come principio di controllo, non solo per le armi autonome, ma per tutte le forme di intelligenza artificiale in ambito militare.

Il problema con il termine “significativo” è che è troppo vago per essere di utilità pratica. Per alcuni, come coloro che chiedono un divieto totale delle armi autonome, un controllo significativo implica che l’essere umano debba tenere la mano direttamente sul grilletto. Per altri, potrebbe estendersi fino alla possibilità di distribuire il controllo all’interno di un ecosistema di esseri umani coinvolti nello sviluppo e nell’impiego dell’arma. In quest’ottica, un ingegnere potrebbe esercitare un certo grado di controllo umano programmando un elemento di puntamento in un’arma durante la fase di sviluppo, lasciando che l’arma, una volta impiegata, prenda decisioni individuali in battaglia. Ai fini della definizione di norme basate sul consenso internazionale, questa ambiguità è problematica. Anzi, più gli Stati si sono scontrati sul significato di “significativo”, meno significativo è diventato intrinsecamente il termine.

In pratica, il concetto di “significatività” è fin troppo passivo. Secondo le norme proposte attualmente al vaglio degli Stati, il controllo implica la presenza di meccanismi per intervenire qualora l’arma stia per compiere un’azione per la quale non avrebbe dovuto. Implica inoltre una catena di comando responsabile, composta da esseri umani che possano essere ritenuti responsabili in caso di danni involontari. In teoria, questi elementi possono certamente creare le condizioni per il controllo umano. Se applicati in buona fede, creerebbero requisiti che implicano un certo grado di deliberazione umana.

Ma ciò non garantisce un controllo letterale e perpetuo, di per sé. Un essere umano che utilizza un’arma potrebbe possedere l’infrastruttura per un controllo effettivo senza essere vincolato da alcun obbligo immediato e persistente di attivare tale infrastruttura. Questo non è sufficiente. Nelle decisioni sull’uso della forza, un controllo effettivo non può semplicemente consistere nel seguire una lista di controllo o nell’avere un interruttore di sicurezza che non si toccherà mai.

A confronto, la “consapevolezza” è più precisa, più concreta e più attiva. Come principio, stabilisce un parametro elevato e misurabile per il ruolo umano nelle decisioni sull’uso della forza. In un quadro di controllo umano consapevole, l’utilizzatore è presente, cosciente e non distratto. La consapevolezza implica un coinvolgimento attivo con ciò che si trova direttamente di fronte a sé, così come con il contesto più ampio in cui quell’oggetto, la propria mente e tutto il resto di rilevante esistono in relazione tra loro. Questi sono tutti fattori che devono essere presi in considerazione in qualsiasi decisione sull’uso della forza, e il principio implica che nessuno di essi venga mai trascurato.

Più profondamente, le decisioni di una mente consapevole sono il risultato di un giudizio deliberato, non di una mera scrupolosità. Toby Drinkall dell’Oxford Internet Institute ha avanzato un’argomentazione simile , proponendo di sostituire il concetto di “controllo umano significativo” con quello di “deliberazione umana significativa” al fine di rendere il ragionamento umano un elemento imprescindibile nelle decisioni sull’uso della forza. Il controllo umano consapevole rappresenta un’enfasi simile, senza tuttavia sacrificare l’idea essenziale di “controllo”.

Per l’utente, il principio della consapevolezza facilita anche un’interazione più stretta ed efficace con la macchina. Nel campo dell’interazione uomo-macchina, una profonda consapevolezza del proprio stato mentale, nota come “metacognizione”, è considerata essenziale per consentire agli utenti di valutare i propri pregiudizi e le proprie capacità in relazione alle informazioni che ricevono dalla macchina.

Ad esempio, un utente metacognitivo che interagisce con un sistema di riconoscimento dei bersagli prenderà in considerazione la possibilità che il suo giudizio possa essere influenzato dai pregiudizi sociali verso determinati tipi di bersaglio. Gli utenti metacognitivamente consapevoli riconoscono quando non dispongono delle informazioni o degli strumenti necessari per prendere la decisione giusta; capiscono quando si trovano in uno stato mentale inadeguato per prendere una buona decisione, ad esempio perché sono troppo stanchi, stressati o distratti. Sanno quando sono influenzati da fattori emotivi che offuscano il loro giudizio; si accorgono quando stanno sperimentando fenomeni come l’apofenia, la tendenza umana a confondere correlazione e causalità.

Un numero crescente di ricerche empiriche dimostra che l’uso estensivo dell’IA degrada le capacità metacognitive. Ciò suggerisce che il controllo dell’IA e delle armi autonome richiede misure volte a potenziare la metacognizione dell’utente. Alcune funzionalità dell’interfaccia utente, come la cognizione forzata , che richiedono all’utente di impegnarsi in un pensiero attivo prima di prendere una decisione, possono contribuire a favorire un controllo consapevole. Ad esempio, l’interfaccia dell’arma potrebbe richiedere all’utente di verificare, tramite altre fonti, che non vi siano civili nelle vicinanze di un potenziale bersaglio prima di poter autorizzare un attacco autonomo contro di esso.

Certo, potrebbe essere troppo tardi per sostituire il concetto di “significatività” con quello di “consapevolezza” nel lessico normativo. Ma, quantomeno, si potrebbe considerare la consapevolezza come un parametro per valutare se il controllo – non solo delle armi autonome, ma di tutte le forme di intelligenza artificiale in ambito militare – sia significativo.

Nell’esaminare gli episodi di danno, ad esempio, gli investigatori potrebbero valutare le azioni dell’utente in base a un ragionevole standard di consapevolezza. L’utente era attento? Ha agito con deliberata presenza di spirito? Si è fidato acriticamente dell’IA? O l’ha ignorata ciecamente? Una mente consapevole non accetta nulla per fede. Una mente consapevole non vaga.

La consapevolezza, come parametro di valutazione, definisce anche un ritmo temporale per le decisioni. Come molti sottolineano, una delle principali preoccupazioni relative all’uso dell’intelligenza artificiale e delle armi autonome è che queste accelerino le decisioni sull’uso della forza al punto da rendere impossibile un controllo pratico. Il controllo consapevole potrebbe risolvere questo problema. È impossibile affrettare un atto consapevole.

Un controllo umano consapevole potrebbe anche contribuire a richiamare l’attenzione sugli effetti più ampi dell’integrazione dell’autonomia nelle decisioni umane in ambito bellico, contrastandoli. In ambito civile, la consapevolezza è diventata di moda proprio perché le potenzialità tecnologiche intelligenti che circondano la vita stanno alienando gli individui, in quanto esseri pensanti, dall’oggetto e dal contesto dei loro pensieri e delle loro azioni.

Quanto più gli esseri umani interagiscono con il mondo attraverso interfacce digitalizzate, algoritmiche e robotiche, tanto meno sono presenti. Con meno consapevolezza, diminuisce anche il controllo che le persone hanno sui propri pensieri e, di conseguenza, sulle proprie scelte. Iniziano a vivere in uno stato di sospensione, svincolate dalle considerazioni emotive o morali che danno significato alle loro decisioni.

Un simile alienamento cognitivo ed emotivo potrebbe verificarsi anche negli operatori militari di sistemi di intelligenza artificiale e autonomi, creando nuove forme di alienazione, trauma e danno morale, proprio come è accaduto con le operazioni a distanza tramite droni . Gli effetti potrebbero essere gravi. Una certa dose di consapevolezza potrebbe rivelarsi la contromisura ideale.

In definitiva, il controllo umano consapevole è un principio utile perché riafferma la centralità del computer più importante coinvolto in qualsiasi decisione letale: la mente umana.

La maggior parte delle persone concorda sul fatto che solo gli esseri umani possono garantire il rispetto della legge. Pertanto, le decisioni sull’uso della forza secondo le leggi di guerra richiedono una mente: una mente attiva e consapevole, non un ammasso di neuroni passivi il cui controllo sull’uso della forza è meramente simbolico.

A prescindere da come i leader scelgano di presentare il principio del controllo umano mentre il dibattito si trascina, un fatto inevitabile rimarrà sempre: il controllo umano insensato è privo di significato.

Arthur Holland Michel