¿Debería permitirse que los robots asesinos desobedezcan órdenes?
(Global) Se dice a menudo que las armas autónomas podrían ayudar a minimizar los horrores innecesarios de la guerra. Sus algoritmos de visión podrían ser mejores que los humanos a la hora de distinguir una escuela de un depósito de armas. No se dejarán influir por las furias que llevan a las almas mortales a cometer atrocidades; no masacrarán ni saquearán. Algunos especialistas en ética sostienen desde hace tiempo que los robots podrían incluso estar programados para seguir las leyes de la guerra con coherencia matemática.
Y, sin embargo, para que las máquinas traduzcan estas virtudes en la protección eficaz de los civiles en zonas de guerra, también deben poseer una capacidad clave: deben poder decir no.
Consideremos este escenario. Un dron autónomo enviado a destruir un vehículo enemigo detecta mujeres y niños cercanos. Muy por detrás de las líneas enemigas, sin contacto con su operador, la máquina tiene que tomar una decisión por sí sola. Para evitar una tragedia, debe cancelar su propia misión. En otras palabras, debe rechazar la orden.
El “rechazo del robot” suena razonable en teoría. Una de las objeciones de Amnistía Internacional a las armas autónomas es que “no pueden… rechazar una orden ilegal”, lo que implica que deberían poder rechazar órdenes. En la práctica, sin embargo, plantea un dilema complicado. El control humano es la base de la propuesta de los gobiernos de una IA militar responsable. Dar a las máquinas el poder de rechazar órdenes iría en contra de ese principio. Mientras tanto, las mismas deficiencias que obstaculizan la capacidad de la IA para ejecutar fielmente las órdenes de un humano podrían hacer que se equivoquen al rechazar una orden.
Por lo tanto, los militares tendrán que demostrar que es posible construir armas autónomas éticas y responsables que no digan que no, o demostrar que pueden diseñar un derecho a rechazar seguro y fiable que sea compatible con el principio de mantener siempre a un humano “al tanto”.
Si no pueden hacer una cosa o la otra, o encontrar una tercera salida al dilema, sus promesas de robots asesinos éticos y, sin embargo, controlables deben ser tratadas con cautela.
El año pasado, 54 países, entre ellos Estados Unidos, Reino Unido y Alemania, firmaron una declaración política en la que insistían en que las armas autónomas y la inteligencia artificial militar siempre operarían dentro de una cadena de mando y control humana responsable. Es decir, las armas autónomas actuarían únicamente, y estrictamente, bajo las órdenes directas de sus supervisores humanos. Otros, como la Federación Rusa, han subrayado de manera similar que las armas autónomas deben poseer la capacidad de discriminar entre objetivos legales e ilegales. Y, sin embargo, si las máquinas pueden superar a los humanos como expertos morales, como afirma un estudio reciente (y varios estados), tendrán dificultades para aplicar esa experiencia si solo pueden ponerse de acuerdo con sus usuarios humanos.
Permitir que una máquina diga “no lo haré” cuando se le da una orden reduciría drásticamente esa autoridad. Daría a las máquinas un poder de decisión final que ningún estado cedería a una computadora. Podría ser posible ordenar a un arma que evite herir a civiles mientras obedece sus otras órdenes, pero esto implica que tendrá que hacer juicios legales sobre cuestiones como la proporcionalidad y la discriminación; sin embargo, el Comité Internacional de la Cruz Roja, entre otros, sostiene que sólo los humanos pueden hacer juicios legales porque sólo los humanos pueden ser considerados legalmente responsables de los daños.
En resumen, la idea de armas autónomas que se nieguen a obedecer órdenes sería un fracaso. Los ejércitos quieren máquinas que actúen como extensiones de su voluntad, no como un contrapeso a su intención. Incluso los países que se rigen por los estándares legales más altos (estándares que se basan en que todos los soldados tengan la facultad de decir no cuando se les da una mala orden) probablemente se opondrían a la propuesta. Mientras tanto, los ejércitos que tienen la intención de violar deliberadamente la ley no querrán máquinas que cumplan rígidamente con ella.
Por lo tanto, los robots asesinos que los países probablemente utilicen sólo serán tan éticos como sus imperfectos comandantes humanos. Al igual que una bala o un misil, sólo prometerían un modo de guerra más limpio si quienes los utilizan tratan de exigirse un estándar más alto. No es una idea particularmente reconfortante.
Un robot asesino con un “modo no” también podría plantear sus propios riesgos éticos. Así como los humanos no siempre darán órdenes virtuosas a las máquinas, las máquinas no siempre tendrían razón cuando se dieran la vuelta y dijeran que no. Incluso cuando las armas autónomas se vuelvan muy buenas para diferenciar a los combatientes de los niños, por ejemplo, todavía a veces confundirán a uno con el otro. Es posible que no puedan dar cuenta de los factores contextuales que hacen que una orden aparentemente problemática sea legal. Las armas autónomas también pueden ser hackeadas. Como lo ha demostrado la guerra en Ucrania, por ejemplo, las técnicas para interferir y comandar drones son sofisticadas y evolucionan rápidamente. Además, un modo no algorítmico podría ser explotado por adversarios astutos. Un ejército podría, por ejemplo, disfrazar sus posiciones de artillería con un camuflaje que engaña a un arma autónoma y la hace confundirlas con estructuras civiles.
En otras palabras, en determinadas circunstancias, un arma podría rechazar una orden legal. Dadas las formidables capacidades de estos sistemas, se trata de un riesgo inaceptable. Hay una razón por la que la parte más aterradora de 2001: Odisea del espacio es cuando la computadora, HAL 9000, rechaza las órdenes del astronauta David Bowman de dejarlo volver a la nave, ya que al hacerlo pondría en peligro la misión que le había asignado el mando superior. La frase es una advertencia conmovedora para nuestros tiempos: “Lo siento, Dave, me temo que no puedo hacer eso”.
Ahí radica la paradoja. Dar a las armas autónomas la capacidad de distinguir con precisión el curso de acción correcto del incorrecto, sin sesgos ni errores, se considera un criterio mínimo para permitir que estas máquinas entren en el campo de batalla. Otro criterio, la previsibilidad, sostiene que las máquinas solo deben hacer lo que sus comandantes quieren y esperan que hagan. Se supone que estos principios de la ética de la IA son compatibles con el principio fundamental del control. La realidad podría ser más complicada que eso. Los humanos quieren que las máquinas autónomas sean nobles, pero ¿pueden permitir que la máquina sea más noble que ellos y seguir diciendo que están a cargo?
Por supuesto, es posible que los militares encuentren una tercera vía. Por ejemplo, tal vez baste con que las armas autónomas simplemente pregunten a su comandante “¿está seguro?” antes de proceder con una orden. Los expertos en derecho internacional han sostenido que si las armas de IA pueden diseñarse para incitar a los humanos a reconsiderar sus decisiones, sin anular las órdenes en sí, podrían permitir a los militares tomar decisiones más sólidas desde el punto de vista legal en el fragor de un conflicto. Un sistema de IA podría, por ejemplo, instar a un comandante enfurecido que esté planeando un ataque aéreo apresurado en una zona densamente poblada a pensarlo dos veces o buscar una segunda opinión humana antes de apretar el gatillo. Aunque este tipo de característica no funcionaría en todos los contextos (por ejemplo, en el caso del dron que no tiene contacto con su operador), podría, en algunos entornos, salvar vidas.
Los militares tal vez ni siquiera sean capaces de digerir una propuesta tan modesta. Después de todo, quieren que la IA acelere su toma de decisiones, no que la ralentice. Pero si los estados están decididos a usar la IA para la guerra y si son honestos en cuanto a su deseo de reducir la miseria del conflicto, estas son preguntas que no tienen más remedio que tomar en serio.
Fuente: The Bulleting
Ver más: Universal Robots y Siemens potencian la labor de los cobots
Ver más: China quiere abastecer al mundo de robots humanoides
Ver más: Icónica cafetería abre local con 100 robots y 2 humanos
