ROBOTS ASESINOS

Un año dedicado al estudio de la inteligencia artificial
es suficiente para hacerle a uno creer en Dios.
Alan Perlis

Como ocurre con frecuencia, los medios masivos de difusión están repletos de trivialidades y puerilidades. De las cosas realmente importantes a veces hay, por poco tiempo, una pequeña noticia escondida en alguna parte pero no dura mucho. Rápidamente es desplazada por la gansada célebre de algún politicastro o el reciente amorío de la botoxeada botinera desesperadamente hambrienta por sus diez minutos de fama.

Uno de estos casos se dio a finales del mes pasado. Entre el 25 y el 31 de Julio tuvo lugar en el Sheraton Hotel la 24a Conferencia Internacional Conjunta sobre Inteligencia Artificial (Twenty-Fourth International Joint Conference on Artificial Intelligence) patrocinada por la institución Conferencias Conjuntas Internacionales sobre Inteligencia Artificial (International Joint Conferences on Artificial Intelligence – IJCAI),  [1]  en conjunto con la  Asociación Argentina de Inteligencia Artificial (AAIA), división de la Sociedad Argentina de Informática (SADIO) que nuclea a la comunidad de investigadores en inteligencia artificial (IA) de Argentina. [2]

Los documentos de lo tratado se encuentran disponibles en la Intranet. [3] De todos ellos, el que más ha llamado la atención en la comunidad científica y en ciertos círculos políticos y militares es la Carta Abierta, hecha pública el 28 de Julio al inicio de la conferencia. Para entender su contenido y alcances vayan algunas observaciones preliminares.

El documento se refiere a  "armas autónomas". Al respecto, lo primero que hay que decir es que un "arma autónoma" no es un "drone". El "drone", en realidad, no es más que un avión [4] a control remoto. Sus movimientos y su acción están dirigidos por un piloto humano que puede estar a varios cientos de kilómetros del lugar pero que, en última instancia, es el que toma las decisiones. El "drone" se aproximará a su objetivo piloteado por el humano, mostrará lo que "ve" con sus cámaras y sensores en los monitores que vigila el humano, y si este piloto humano encuentra el objetivo que está buscando será él quien monte y dispare el misil que porta el "drone" para destruir ese objetivo.

Un arma autónoma funciona de otra manera. Por de pronto, no hay piloto humano. El arma se desplaza por una ruta prefijada hacia un objetivo predeterminado. Supongamos que ese objetivo sea un edificio ubicado en Latitud N; Longitud X. El arma autónoma lleva en su memoria una o varias imágenes de ese edificio y, cuando su GPS le indica que ha llegado a la latitud y longitud indicada, sus cámaras comienzan a rastrear el terreno buscando una imagen que coincida con alguna de las que tiene guardadas en la memoria. Si logra una coincidencia, libera el misil, destruye el edificio y regresa por otra vía establecida de antemano. Y si cerca del edificio que se quería destruir había otro casi igual a muy corta distancia ocupado por, digamos, una escuela y el misil le ha dado justo a ése y no al que se tenía previsto… pues… mala suerte. Anotemos "Daños Colaterales" y a otra cosa.

La tecnología informática que le permite al arma autónoma tener un comportamiento "inteligente" (ir hasta el objetivo, rastrear el terreno, buscar coincidencia de imágenes, liberar el misil [5], volver a base, etc.etc.) ha recibido el nombre de "Inteligencia Artificial" (IA) y lo que los expertos en IA están diciendo en la carta abierta que hemos mencionado es algo muy simple pero al mismo tiempo muy serio: los expertos no quieren tener nada que ver con la producción de armas operadas por Inteligencia Artificial.

De acuerdo con estos expertos, las armas autónomas constituirían la tercera revolución en cuestiones militares, después de la pólvora y las armas nucleares. La IA habría llegado a un punto en que el despliegue de estos sistemas ya sería posible de hecho en algunos años; no ya en algunas décadas como se pensaba hasta hace poco. Los firmantes alertan sobre el peligro de que alguna potencia de cierta envergadura se lance a la producción masiva de armas autónomas – ya que los materiales para las mismas no son ni caros ni difíciles de obtener – desatando con ello una carrera armamentística global cuyos productos, a la corta o a la larga, aparecerán en el mercado negro quedando a disposición de terroristas, dictadores, militares ambiciosos y otros aventureros. De un modo bastante gráfico, se advierte que, si la producción de armas autónomas queda fuera de control, las mismas "…se convertirán en las Kalashnikovs de mañana".

En su iniciativa, los expertos se comparan con los químicos, biólogos y físicos que se resistieron a crear armas biológicas o químicas y apoyaron los tratados que las prohibieron así como los acuerdos que mantienen el espacio libre de bases nucleares y láseres cegadores. Como conclusión final, la carta abierta señala: "Empezar una carrera armamentística basada en la IA es una mala idea y debería ser impedida con la prohibición de las armas autónomas ofensivas sin un adecuado control humano".

Además del texto íntegro del documento (reproducido en el Anexo al final de esta nota) es interesante destacar la enorme cantidad de científicos y distintas personalidades destacadas que han adherido a la propuesta. Baste con mencionar a Demis Hasabis de Google DeepMind y los 21 ingenieros de su laboratorio; Elon Musk, CEO de Tesla; Steve Wozniak, cofundador de Apple; Jaan Tallin cofundador de Skype; los profesores Stephen Hawking y Noam Chomsky. Hacia el 3 de Agosto 2015 un total de 2.587 expertos en inteligencia artificial y robótica así como 15.385 otras personalidades habían firmado la carta.

¿Por qué esto es importante; mucho más importante de lo que parece?

Hablando de robots siempre me pasa lo mismo: no puedo menos que recordar mis lecturas juveniles y en esta materia lo primero que siempre me viene a la mente es el nombre de Isaac Asimov y sus tres leyes principales de la robótica con las que me topé por primera vez leyendo su "Yo, robot" (1950) aun cuando, según dicen los que dicen saberlo, Asimov las introdujo por primera vez en 1942 en su cuento corto Runaround.

Estas tres leyes son:

1. Un robot no debe lesionar a un ser humano o, por inacción, permitir que un ser humano sufra daño.

2. Un robot debe obedecer las órdenes que le impartan seres humanos, excepto cuando dichas órdenes entren en conflicto con la Primera Ley.

3. Un robot debe proteger su propia existencia siempre y cuando dicha protección no entre en conflicto con la Primera o con la Segunda Ley.

Más tarde Asimov agregó una "Ley Cero" (Zeroth Law) teóricamente con precedencia sobre las tres ya mencionadas:

0. Un robot no debe dañar a la humanidad o, por inacción, permitir que la humanidad sufra un daño.

El problema es que, por más vueltas que le demos a estas leyes, muy rápidamente se hace evidente que resultan insuficientes o inaplicables. De hecho, las novelas y los cuentos del propio Asimov giran alrededor de casos en que estas leyes, de un modo u otro, terminaron fallando.

Por de pronto, no prevén el caso de la opción por el mal menor. Por la Primera Ley un robot no podría operar a un ser humano; p. ej. amputarle alguna extremidad para salvarle la vida. El robot solo podría considerar el daño inmediato y no podría relacionarlo con el beneficio mediato. Otra de las dificultades principales está en las definiciones, algo que al final de su trayectoria el propio Asimov termina reconociendo por boca de sus personajes:

Trebize frunció el ceño.
-- ¿Cómo decides lo que es perjudicial o no perjudicial a la humanidad como un todo?
-- Precisamente señor, – dijo Daneel – en teoría la Ley Zeroth fue la respuesta a nuestros problemas. En la práctica nunca conseguimos decidir. Un ser humano es un objeto concreto. La lesión a una persona puede ser estimada y juzgada. La humanidad es una abstracción. [6]

***************

La calificación de "inteligente" para dispositivos controlados por programas informáticos es sumamente engañosa. En realidad, esa "inteligencia" no es otra cosa que experiencia humana codificada. Y nunca será más "inteligente" que la experiencia que le sirve de base. Puedo tener un edificio "inteligente" en el que las cortinas se cierran automáticamente en un 50% si el sol da de lleno en las ventanas. Pero si entre los habitantes del edificio hay alguno(s) que padece(n) de fotofobia, ese 50% todavía puede significar demasiada luz para estas personas. ¿Cómo hará el sistema "inteligente" para detectar a los fotofóbicos y ajustar adecuadamente su cierre de cortinas? Hay varias maneras por supuesto, pero lo primero y primordial es que el diseñador del sistema haya previsto la eventualidad de la existencia en el edificio de habitantes con fotofobia. Si eso no está previsto, por falta de experiencia en el diseñador, el sistema jamás tendrá, por si mismo, un comportamiento "inteligente" en este aspecto.

El otro problema es que, en la resolución de problemas prácticos concretos, la inteligencia es independiente de la moral. Puedo tener decisiones perfectamente inteligentes y al mismo tiempo perfectamente inmorales. En mi ejemplo de las cortinas, el diseñador puede haber llegado a no considerar el caso de los fotofóbicos simplemente porque le importan un rábano y no está dispuesto a complicarse la vida por ellos. Éste es también otro de los motivos por los cuales las Leyes de Asimov terminan fracasando: un piloto humano, si ve una escuela o un hospital, quizás saque el dedo del gatillo; un arma autónoma sencillamente registrará la coincidencia de imágenes y atacará. Y el diseñador seguramente conocerá esta característica del sistema – porque no puede ignorarla – pero es muy posible que le importe un bledo. Al fin y al cabo a él lo contrataron para hacer programas de tecnología informática; no para hacer milagros. Que se hagan responsables por las consecuencias quienes decidan utilizar el arma. La responsabilidad moral no es programable y un robot no puede tener virtudes. Solo puede tener capacidad para ejecutar instrucciones y, si está programado para asesinar, pues asesinará.

Y aquí está el enorme peligro que representan las armas autónomas. Porque sucede que quienes decidan utilizar el arma pueden llegar a carecer de todo sentido de responsabilidad moral. Sucede que las armas autónomas (y en este sentido también los "drones") no constituyen sino la informatización de la cobardía y de la impunidad irresponsable. Cualquier rata cobarde, escondido en un bunker a cientos de kilómetros de distancia, puede apretar el botón para lanzar el misil del "drone" o para lanzar el arma autónoma. No tiene que enfrentar a nadie, no corre ningún peligro, no tendrá que luchar contra nadie y, si algo sale mal, a lo máximo que se expone es a una bronca de órdago de su superior inmediato.

Así cualquiera se anima a desatar una guerra.

Y ése es justamente el problema.

----------------------------------------

ANEXO I

Armas autónomas: una Carta Abierta de Investigadores de Inteligencia Artificial y Robótica 

Carta abierta anunciada el 28 de Julio 2015, durante la apertura de la conferencia de 2015 del IJCAI. [7]

Las armas autónomas seleccionan y atacan objetivos sin una intervención humana. La clasificación puede incluir, por ejemplo, quadricópteros armados con capacidad para buscar y eliminar personas cuyas características coincidan con ciertos criterios predefinidos; pero no incluye misiles crucero, o drones pilotados de forma remota, para los cuales todas las decisiones de selección de objetivos son tomadas por seres humanos. La tecnología de la Inteligencia Artificial (IA) ha llegado a un punto en el que el despliegue de estos sistemas es – prácticamente, si bien no legalmente – posible en pocos años, y no en décadas. Hay mucho en juego: las armas autónomas han sido descriptas como la tercera revolución en cuestiones militares, después de la pólvora y las armas nucleares.

Se han escuchado muchos argumentos a favor y en contra de las armas autónomas, como por ejemplo que el hecho de reemplazar soldados por máquinas sería bueno para el poseedor de esas armas porque reduciría las bajas, pero, a su  vez, sería malo porque rebajaría el umbral de condicionantes para desatar una guerra. Hoy, la pregunta clave para la humanidad es si se desea iniciar una carrera armamentística global basada sobre la IA o bien, por el contrario, se quiere impedir su comienzo. Si cualquier potencia militar importante impulsa el desarrollo de armas con inteligencia artificial, una carrera armamentística global es virtualmente inevitable y el final de esta trayectoria tecnológica es obvio: las armas autónomas se convertirán en las Kalashnikovs de mañana. A diferencia de las armas nucleares, estos sistemas autónomos no requieren materias primas costosas o difíciles de obtener, por lo que serán ubicuas y baratas, fáciles de ser producidas en masa por todas las potencias militares significativas. Su aparición en el mercado negro y en las manos de terroristas, dictadores con deseos de controlar mejor a su población, caudillos militares deseando perpetrar limpiezas étnicas, etc. sólo será cuestión de tiempo. Las armas autónomas son ideales para misiones tales como asesinatos, desestabilización de naciones, sometimiento de poblaciones y matanzas selectivas de grupos étnicos particulares. Por consiguiente, consideramos que una carrera armamentística basada en la IA militar no sería beneficiosa para la humanidad. Hay muchas formas en que la IA puede hacer más seguros los campos de batalla para los seres humanos, especialmente para los civiles, sin necesidad de crear nuevas herramientas para matar a personas.

Del mismo modo en que la mayoría de químicos y biólogos no tienen ningún interés en producir armas químicas o biológicas, la mayoría de investigadores de IA no tiene interés en producir armas con IA – y tampoco quiere que otros manchen el buen nombre de este campo investigativo produciéndolas, creando potencialmente una reacción pública contraria a la IA que cercenaría sus futuros beneficios sociales. Es más, los químicos y los biólogos han apoyado ampliamente los acuerdos internacionales que prohíben las armas químicas y biológicas, del mismo modo en que la mayoría de los físicos ha apoyado los tratados que prohíben la construcción en el espacio exterior de bases para las armas nucleares y armas con láseres cegadores.

En resumen, creemos que la IA tiene un gran potencial para beneficiar a la humanidad en muchos sentidos y que el objetivo de este campo debe ser ése. Empezar una carrera armamentística basada en la IA es una mala idea y debería ser impedida con la prohibición de las armas autónomas ofensivas sin un adecuado control humano.

---------------------------------------
NOTAS
1)- Ver: www.ijcai.org/ y http://www.ijcai-15.org/
2)- Ver: http://www.fundacionsadosky.org.ar/es/escuela-de-inteligencia-artificial/
3)- http://ijcai.org/papers15/contents.php
4)- O bien y dado el caso, cualquier aparato manejable por control remoto.
5)- O lanzarse directamente sobre el objetivo sin necesidad de volver a base.
6)- Isaac Asimov, Fundación y Tierra, 1986
7)- Disponible en: http://futureoflife.org/AI/open_letter_autonomous_weapons