Reescribiendo el futuro: Elementos para responder desde América Latina y El Caribe al desafío humanitario, social, ético y legal de los sistemas de armas autónomas

Por Gisela Luján Andrade / Perú por el Desarme

El 29 de febrero de 2024 participamos en el conversatorio en línea titulado «Inteligencia Artificial, armas autónomas letales, la guerra cibernética y su impacto en el ámbito civil», organizado por el Sistema de la Integración Centroamericana – SICA. A continuación compartimos con nuestros lectores la exposición de Gisela Luján Andrade, fundadora de Perú por el Desarme, miembro de Stop Killer Robots y representante en Perú de la red SEHLAC.

Futuro y promesa

Mientras buscaba el hilo conductor de la presente ponencia/intervención, dos nociones vinieron a mi mente, para iniciar este ejercicio reflexivo y propositivo que deseo compartir en este importante espacio. La primera de ellas es la noción de futuro, entendido como ese escenario inexistente y desconocido, que se va construyendo desde el presente, alimentado de posibilidades, inferencias y también de intencionalidades.

La segunda noción fue la de la promesa, entendida como aquella construcción humana que ha servido al individuo y, por ende, a las sociedades, para apropiarse -al menos en el sentido de la intención- de ese futuro inherentemente desconocido e incierto. Con la promesa, los individuos se proyectan más allá del presente y comprometen su voluntad y acción hacia un futuro que no pueden prever en su totalidad, de este modo, la promesa se constituye en elemento esencial para la acción política significativa, así como para la construcción de las comunidades.[1]

Pero ¿cómo vincular ambas nociones en la discusión sobre el impacto de los sistemas de armas autónomas en el ámbito civil? O, mejor aún, ¿por qué sería importante tomarlas en cuenta como elementos de reflexión para abordar los enormes desafíos generados por el desarrollo y despliegue sin precedentes de la IA en diferentes áreas de la vida humana, incluidas principalmente aquellas que atentan contra su integridad y dignidad, como es el caso de las armas autónomas? 

Tomando en cuenta que la tecnología se constituye en esa herramienta con la que la humanidad transforma su presente para asegurarse un “mejor futuro” o “futuro deseable”, es preciso afirmar que los sistemas de inteligencia artificial, al buscar extender y/o acelerar procesos humanos tales como el razonamiento, el aprendizaje, la percepción, la predicción, la planificación o el control, ha devenido en la herramienta por excelencia para lograr ese propósito, no solamente por su capacidad de penetración en diferentes áreas de la vida humana, sino principalmente porque han sido diseñados para funcionar con diferentes grados de autonomía.[2]

Tres cuestionamientos

Aquí la cuestión sin embargo es determinar si aquella visión de futuro predominante ha incorporado la diversidad de voces y visiones de aquellas y aquellos que serán los principalmente afectados, esto es, individuos y comunidades históricamente marginadas y discriminadas por su género, etnia, color de piel, condición física, etc.

Asimismo, cuando se habla del “futuro prometedor” guiado por las bondades de la IA, ¿se hace lo propio con los criterios y medidas que garantizarán que su uso será en beneficio de la humanidad entera? ¿O simplemente -y una vez más- estamos frente a lo que algunos calificarían como desviación de todo proceso de innovación tecnológica?, el que pudo iniciarse con una intencionalidad de extender/mejorar/potenciar las capacidades humanas para beneficio de los seres humanos pero que, en su fase más destructiva termina acrecentando desigualdades, facilitando la opresión y el dominio y, en el escenario más oscuro, promoviendo la aniquilación de terceros. Tener en mente esta alerta no significa insistir en tremendismos o escenarios apocalípticos, sino revisar el pasado hecho experiencia y reconocer, como lo explica José Ignacio La Torre, en su libro “Ética para máquinas”, que “no existe un avance tecnológico que los humanos no hayamos utilizado en contra de nuestra propia especie”. 

Una salida desde AL y El Caribe

Pero el futuro es una visión que se reescribe a diario. Y en ese proceso es que espacios como este resultan centrales pues, desde las particularidades políticas, culturales, económicas y sociales de cada país, se puede encontrar puntos en común que lleven a acuerdos tan promisorios como los trazados por el Communiqué de Belén, de febrero de 2023, que incorporó la visión de 33 Estados de Al y EC de reconocer lo imperativo que resulta contar con un instrumento legalmente vinculante que asegure el mantenimiento del control humano significativo en la operación de estos sistemas.

Esta iniciativa regional marcó un hito histórico en el lento camino hacia una nueva ley internacional sobre armas autónomas. Y un mes después, ocurriría lo propio con el llamado del SICA, a través del cual se pidió la urgente negociación de un instrumento legal sobre los sistemas de armas autónomas.

No obstante, tal y como hemos señalado, hace falta que estos compromisos (promesas) se evidencien en toma de decisiones y acciones concretas. Los comentarios y recomendaciones “sobre los sistemas de armas autónomas y las formas de abordar los desafíos y preocupaciones relacionadas con ellas, desde perspectivas humanitarias, legales, de seguridad, tecnológicas y éticas, así como sobre el papel de los seres humanos en el uso de la fuerza”, a remitir al SGNU y cuyo plazo vence el 24 de mayo, es una oportunidad concreta para que los Estados tracen su particular visión de futuro en relación al desarrollo y uso de estos sistemas de armas, en cuyo proceso no participan activamente pero cuyo impacto podría afectar en primera línea a sus connacionales y comunidades.

¿Cuáles serían entonces algunos aspectos importantes que podrían ser tomados en consideración para que desde nuestra región se responda preventivamente, desde un enfoque interseccional, inclusivo, participativo y representativo, a las amenazas interpuestas por los sistemas de armas autónomas, principalmente en el ámbito civil? A continuación, algunas sugerencias:

  1. Un enfoque interseccional para comprender cómo la IA impacta de forma diferenciada en grupos y comunidades históricamente marginadas.

El enfoque interseccional ha sido requerido por la sociedad civil y los Estados para responder al impacto de la IA y la tecnología autónoma en las estructuras sociales y las vidas privadas. 

La interseccionalidad examina y critica los sistemas de poder y cómo dichos sistemas se estructuran impactando diferenciadamente en grupos e individuos. De este modo, con el análisis interseccional se reconoce que las personas pertenecen a más de una comunidad y cómo, a consecuencia de la combinación de identidades, pueden experimentar opresiones y privilegios de manera simultánea. Con este enfoque vemos además cómo convergen distintos tipos de discriminación, por género, etnia, clase social, color de piel, edad, condición física, etc. [3]

Es por ello que es deseable que toda estrategia que responda a los desafíos de la IA debe ser concebida reconociendo que estamos frente a sistemas tecnológicos no neutrales, con sesgos que fomentan la discriminación, acrecientan las brechas y desigualdades existentes, lo que, aunado a los sistemas de tecnología autónoma, provocaría serios riesgos y daños en aquellos grupos y poblaciones histórica y sistemáticamente marginadas, sin que haya posibilidad de exigir la rendición cuentas porque son máquinas las que operan y toman decisiones autónomas. O, igual de grave, porque no existen mecanismos que exijan transparencia en los procesos, a los operadores o programadores, o a quienes toman las decisiones de dejar que máquinas decidan por nosotros, dejando a las personas y grupos más afectados sin posibilidad de plantear sus demandas y, por ende, acceder a la justicia y a la reparación.

Para el caso de nuestra región, un enfoque interseccional permitiría analizar los diferentes sistemas de opresión imperantes en la región, tales como el racismo, el clasismo, el sexismo, el capacitismo, entre otros. Al respecto, Wanda Muñoz y Mariana Díaz explican en el documento: ”The risks of autonomous weapons: an intersectional analysis”, que un enfoque interseccional nos permitiría comprender que ciertos grupos y personas se verían más afectadas por los riesgos y daños provocados por estos sistemas de armas. Y que tales diferencias estarían directamente relacionadas con la discriminación estructural y las desigualdades sistémicas existentes en la región. Tal y como estas autoras lo indican, este reconocimiento resulta clave en una región como la nuestra, cuya riqueza cultural se ha construido sobre su gran diversidad, pero también sobre los rezagos de un pasado colonial que ha logrado perpetuar dinámicas de subordinación, invisibilización, falta de acceso a justicia y reconocimiento de derechos fundamentales e identidades en contra de grupos y comunidades históricamente marginados.[4]

De este modo, el reconocimiento de los derechos de las personas que se verían afectadas por los sistemas de armas autónomas es el punto de partida fundamental para impulsar desde nuestra región, Estados, academia, sociedad civil, una línea de acción política contundente que garantice la protección de nuestros pueblos.

  1. Sesgos e impacto diferenciado.

Tras lo dicho, resultará también central reconocer que la IA refleja los sesgos de los datos que recibe, los propios de sus desarrolladores, así como los prejuicios y percepciones sesgadas acerca de individuos y grupos que no forman parte del sector dominante en el campo de la tecnología, la IA y, para el caso concreto de los sistemas de armas, el militar.  Nos referimos a mujeres, personas racializadas, pueblos indígenas, personas con discapacidad, personas de la comunidad LGTBIQ+, entre otros.

Estos sesgos se han observado en tecnologías emergentes de inteligencia artificial, como es el caso del reconocimiento facial, que plantea varios desafíos provocados por su incapacidad de no poder categorizar correctamente a personas de tez más oscura o distinguir entre imágenes de mujeres y minorías de género. Hay repetidas evidencias de los daños generados por los sesgos presentes en los sistemas de reconocimiento facial. Por ejemplo, las investigaciones de Joy Buolamwini han demostrado que “el software de reconocimiento facial reconoce los rostros masculinos mucho más precisamente que los rostros femeninos, especialmente cuando estos rostros son blancos”, cosa que no ocurre con personas de piel más oscura, con quienes “las tasas de error superaron el 19%”, error que se incrementa cuando se enfrenta a la intersección entre raza y género: “al reconocer a mujeres de piel oscura el margen de error asciende al 34.4%”.[5]

Ahora bien, si dichos sesgos se trasladaran a los sistemas de reconocimiento facial incorporados en las armas autónomas -principalmente aquellas diseñadas para perfilar personas-, estaríamos frente a una seria amenaza que atentaría contra las libertades fundamentales e incluso la dignidad y la vida de comunidades históricamente afectadas por las estructuras de desigualdad y exclusión.

Como bien lo explican Muñoz y Díaz: “Si este tipo de herramienta se integrara en un arma autónoma, las personas de piel oscura —particularmente las mujeres— estarían sujetas a un mayor riesgo de error que los hombres de piel clara. Por lo tanto, podemos decir que el reconocimiento facial tiene un sesgo androcéntrico y racista que puede replicar y amplificar la discriminación interseccional: género y color de piel, en este ejemplo.” [6]

Pero -y prosigo haciendo referencia a lo propuesto por las autoras antes mencionadas-, las amenazas se extenderían también a personas con discapacidades físicas, sensoriales, psicosociales, intelectuales o múltiples, así como aquellas cuya apariencia, comportamiento, movilidad y distintas condiciones no corresponden a los parámetros de normalidad considerados por quienes desarrollan estas tecnologías.

  1. Riesgo de transferencia de tecnología autónoma e IA a la policía y perpetuación de discriminaciones e impunidad

Como la Unesco lo indica en su Recomendación sobre la ética de la inteligencia artificial (2021), los algoritmos de la IA tienen el potencial para “reforzar los sesgos existentes, lo que puede exacerbar las formas ya existentes de discriminación, los prejuicios y los estereotipos”. Y es precisamente en este punto que los Estados de la región deberían liderar su accionar.

Una de las áreas de principal preocupación es el del uso de estos sistemas para su aplicación en el mantenimiento del orden interno, el resguardo de la seguridad pública y el control fronterizo.  Dos consecuencias inmediatas relacionadas con el impacto diferenciado del uso de estos sistemas de armas por parte de la policía podrían reflejarse en el incremento del uso excesivo de la fuerza en contra de grupos sistemáticamente marginados así como la perpetuación de la impunidad ante las denuncias contra estos casos de violencia y discriminación policial.

La recurrencia del uso excesivo de la fuerza por parte de la policía ha sido calificada por la ex Relatora Especial sobre ejecuciones extrajudiciales, sumarias o arbitrarias, Agnès Callamard, como una verdadera “epidemia”.  Cito: “Durante los últimos años la violencia policial ha matado a muchos y muchas, miles de hecho. Lo que muchas personas alrededor del mundo no saben sobre esta epidemia, en particular, es que actúa de un modo similar a otras epidemias: mata preferentemente a las personas pobres, mata a las personas jóvenes, mata a las personas vulnerables y a quienes pertenecen a grupos indígenas y afrodescendientes.” [7]

Esta tendencia creciente, que “podría atribuirse, al menos en cierta parte, a prejuicios individuales, institucionales y sistémicos en contra de ciertos grupos”, se potenciaría a niveles dramáticos con la incorporación de la tecnología del reconocimiento facial para el perfilamiento de personas. Ya hemos dado cuenta de los altos índices de error en la precisión de estos sistemas para identificar a personas racializadas, de género femenino o con discapacidad, entre otros casos.

Pero no solo eso, sino que también abriría aún más la puerta hacia la impunidad. El informe de 2021 de Amnistía Internacional, “Policías bajo la lupa: cinco claves para la supervisión y la rendición de cuentas de la policía en las Américas”, ha señalado que el uso excesivo de la fuerza por parte de la policía se ha visto también favorecida por “la debilidad generalizada de los mecanismos de supervisión y rendición de cuentas de la actividad policial, haciendo difícil el esclarecimiento de hechos de abuso y la aplicación de sanciones tanto en el plano disciplinario como penal.” [8]

Imaginemos ahora este escenario facilitado por la tecnología autónoma, de reconocimiento facial y perfilamiento de personas, sin mediación humana y con posibilidad de hacer uso de la fuerza. No solo potenciaría los usos excesivos de la fuerza contra ciertos grupos marginados sino que incrementaría la imposibilidad de sancionar y exigir justicia para las víctimas de tales abusos, insistiendo una vez más en la negación sistemática, a individuos y grupos históricamente marginados, del acceso a la justicia y la reparación. Esto, básicamente porque una máquina o un algoritmo no pueden ser encontrados responsables bajo los principios de la ley pues, como lo recuerda Bonnie Docherty, en el documento: “Mind the gap: The Lack of Accountability for Killer Robots” (2015) cualquier acto ilegal en el que incurran no podría ser considerado criminal pues además del acto en sí es importante la intención de hacerlo. Y bueno, una máquina evidentemente carece de esta intención. Asimismo, es imposible que sea objeto de sanción o castigo porque, a diferencia de los seres humanos, no puede experimentar sufrimiento.[0] 

De este modo, más allá del uso militar, el riesgo latente de que estos sistemas de armas sean utilizados o replicados por las fuerzas del orden, sin por lo menos exigirse un control humano significativo, levantan alertas contra los derechos fundamentales de los grupos e individuos que principalmente son víctimas del uso excesivo de la fuerza, lo que no solo exacerbarán las estructuras de desigualdad y discriminación ya existentes sino también la cultura de impunidad y acceso desigual a la justicia imperantes. El objetivo principal de cada sociedad debería estar en desafiar las estructuras de la desigualdad y no en incorporarlas a las armas. 

  1. Perfilamiento de personas, deshumanización y ataque a seres humanos

Tal y como el Comité Internacional de la Cruz Roja lo señala, los sistemas de armas autónomas son aquellos sistemas que seleccionan y aplican la fuerza a objetivos sin intervención humana, donde, “después de la activación inicial o el lanzamiento por parte de una persona, se autoinicia o desencadena un ataque en respuesta a la información del entorno recibida a través de sensores y sobre la base de un «perfil de objetivo» generalizado».[10]

¿Qué significa esto? Que el sistema se activará de forma autónoma por un estímulo externo, que puede ser un ser humano, un automóvil o un animal, tras ser captado por sus sensores y determinar si sus características o patrones corresponden o no al perfil objetivo generalizado.  Si la información captada por los sensores coincidiera con este perfil preprogramado, el sistema de armas se activaría y haría uso de la fuerza en contra de lo que haya identificado como enemigo.

Ahora bien, ¿cómo garantizar que civiles con características distintas a los patrones preprogramados (color de piel, género, tamaño, condición física, etc.)  no serán confundidos como objetivos potenciales? Asimismo, si se sabe que toda la información procesada y analizada por estos sistemas de armas estará sujeta al tipo de sensor utilizado, las condiciones externas de donde se recoge la información, los problemas de precisión de la tecnología de reconocimiento facial, los sesgos incorporados en los algoritmos, entre otros, ¿cómo asegurar que el perfilamiento de seres humanos por parte de estos sistemas de armas no contribuirán a acrecentar niveles críticos de discriminaciones y afectaciones que estructural, legal y socialmente ya existentes en contra de determinados individuos y comunidades?

A este respecto quisiera detenerme un instante para también resaltar el riesgo adicional afrontado por las personas con discapacidad ante la amenaza de las armas autónomas. Tal y como lo recuerdan Muñoz, Diaz, Martínez y Henao, en un interesante documento titulado “Riesgos de los sistemas de armas autónomas: Un análisis centrado en los derechos de las personas con discapacidad”, citando a lo dicho en su reporte sobre IA por el Relator especial de la ONU sobre los Derechos de las Personas con Discapacidad, Gerard Quinn: “el desarrollo y uso de los sistemas de armas totalmente autónomas, así como otros sistemas de IA, plantea preocupaciones sobre la capacidad de las armas dirigidas por inteligencia artificial para discriminar entre combatientes y no combatientes”, y discernir si un dispositivo de asistencia califica a una persona con discapacidad como una amenaza.[11]  

En este sentido, al no existir garantía de que la seguridad, integridad, dignidad y vida humanas sean respetadas por imprecisiones técnicas, condiciones externas que perturban la capacidad de identificación de estos sistemas, sesgos existentes en los algoritmos, entre otros, es fundamental que toda normativa apunte también hacia la prohibición de aquellos sistemas que perfilan humanos como objetivos, tal y como lo ha pedido la CICR y otras organizaciones internacionales. El perfilamiento de personas por parte de estos sistemas de armas son un ejemplo de violenta deshumanización digital, que reduce a los seres humanos a puntos de datos y amenaza en contra de su integridad y dignidad no solo en tiempos de guerras sino también en tiempos de paz. 

  1. Importancia del enfoque de derechos humanos y garantía de participación activa de grupos con mayor riesgo de impacto diferenciado.

Los sistemas de armas autónomas plantean una amenaza a tres derechos fundamentales: el derecho a la vida, donde solo es legal quitar la vida en defensa de otra; el derecho a la reparación, dificultado por la falta de responsables identificables y la rendición de cuentas; y la dignidad humana, que garantiza el respeto y valor de toda vida humana.

La importancia de reconocer la centralidad de los derechos humanos en el diseño e implementación de cualquier medida normativa relacionada con la inteligencia artificial, que sin duda debería servir de guía o inspiración para el proceso de los sistemas de armas autónomas, ha sido resaltada por el Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, para quien toda regulación de la IA, a fin de ser efectiva, debe partir por el reconocimiento de los daños que las personas experimentan y probablemente experimentarán por el uso y desarrollo de esta tecnología. Solo con ello, nos aseguraríamos que los beneficios del uso de la IA y la tecnología automatizada superen a los riesgos.[12] 

Para este efecto resulta central que los grupos que afrontarían un impacto mayor participen activamente en las discusiones sobre gobernanza en IA. Y lo propio debería ocurrir con el proceso de regulación internacional de los sistemas de armas autónomas. Tal y como lo expresaron Díaz, Henao, Martínez y Muñoz, en el documento anteriormente citado: La perspectiva y análisis de las personas pertenecientes a grupos históricamente marginados “son fundamentales si queremos evitar reproducir los sistemas de opresión que enfrentan. Esto requiere garantizar accesibilidad, financiamiento para su participación y ajustes razonables, que lamentablemente escasean.”

Creemos que en la creación de estos espacios los Estados tienen una responsabilidad fundamental.

Ideas finales.

Abordar la problemática de los sistemas de armas autónomas se constituye en una urgencia ética, legal, humanitaria y social al que toda la sociedad en general, la academia, el sector privado, así como los organismos internacionales y los Estados, estamos convocados a participar activamente.

Una respuesta normativa, vinculante, inspirada en las iniciativas que ya vienen surgiendo para afrontar los desafíos de la IA, debe ser el camino que busque asegurar que los beneficios de esta tecnología superen a los daños que ya generan, principalmente en aquellos grupos y comunidades sujetos a discriminaciones y desigualdades estructurales y sistémicas.

Los líderes de nuestra región están llamados a reescribir ese futuro prometido por una tecnología que se ha desarrollado principalmente en espacios y realidades del Norte global y ha logrado incidir rápidamente en diferentes áreas de nuestras vidas. Este futuro debería ser aquél donde se ponga en el centro la diversidad de voces e identidades de nuestros pueblos, y en el que se garantice que la vida y la dignidad humanas serán respetadas en tiempos de paz y en tiempos de guerra.

El camino de nuestros países hacia una regulación firme y comprehensiva que incluya prohibiciones a sistemas de armas autónomas que ataquen seres humanos y no cuenten con un control humano significativo en el uso de la fuerza ha ido adquiriendo solidez y relevancia internacional con los históricos acuerdos y declaraciones impulsados desde nuestra región durante el 2023.  El Communiqué de Belén[13], el Comunicado Conjunto del SICA[14] y la Declaración de CARICOM[15], son muestras claras de esa intención colectiva de dejar sentada una visión regional del futuro.

Pero para reescribir ese futuro y fortalecer esa promesa colectiva es central que ese momentum no sea d escuidado. El reconocimiento de lo urgente que resulta iniciar las negociaciones de un instrumento internacional legalmente vinculante sobre la autonomía de los sistemas de armas, que incluya prohibiciones y regulaciones, merece erigirse como estandarte diferencial de una región que tiene una larga tradición en materia de desarme humanitario y que está dispuesta a responder ante las presiones principalmente impulsadas por Estados militarizados desde la fortaleza de sus pueblos y con el compromiso de promover su activa participación en la defensa de sus más esenciales derechos.


  • [1] Estas nociones han sido trabajadas por Hanna Arendt, en su libro “La Condición Humana”. Arendt, H. (2005). La Condición Humana. Barcelona: Editorial Paidós. (Trad. Ramón Gil Novales).

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *