El Departamento de Defensa está emitiendo pautas de ética de IA para contratistas tecnológicos

Sra. Tecnología | Getty

En 2018, cuando los empleados de Google se enteraron de la participación de su empresa en Proyecto Maven , un controvertido esfuerzo militar de EE. UU. para desarrollar IA para analizar videos de vigilancia, no estaban contentos. Miles protestaron. Creemos que Google no debería estar en el negocio de la guerra, escribieron en un carta a la direccion de la empresa . Alrededor de una docena de empleados renunciaron. Google no renovó el contrato en 2019.

Project Maven todavía existe, y otras compañías tecnológicas, incluidas Amazon y Microsoft, han tomado el lugar de Google desde entonces. Sin embargo, el Departamento de Defensa de EE. UU. sabe que tiene un problema de confianza. Eso es algo que debe abordar para mantener el acceso a la última tecnología, especialmente a la IA, lo que requerirá asociarse con Big Tech y otras organizaciones no militares.

Historia relacionada

Las agencias del gobierno de EE. UU. planean aumentar el uso de la tecnología de reconocimiento facial

Una nueva encuesta muestra que los controvertidos sistemas están preparados para desempeñar un papel aún más importante en los asuntos federales.

En un intento por promover la transparencia, la Unidad de Innovación de Defensa, que otorga contratos del Departamento de Defensa a las empresas, ha publicado lo que llama Pautas de inteligencia artificial responsable que requerirá que los desarrolladores externos lo usen al construir IA para el ejército, ya sea que la IA sea para un sistema de recursos humanos o reconocimiento de objetivos.

Las directrices proporcionan un proceso paso a paso que las empresas deben seguir durante la planificación, el desarrollo y la implementación. Incluyen procedimientos para identificar quién podría usar la tecnología, quién podría verse perjudicado por ella, cuáles podrían ser esos daños y cómo podrían evitarse, tanto antes de construir el sistema como una vez que esté en funcionamiento.

No existen otras pautas, ya sea dentro del Departamento de Defensa o, francamente, del gobierno de los Estados Unidos, que entren en este nivel de detalle, dice Bryce Goodman en la Unidad de Innovación de Defensa, quien es coautor de las pautas.

El trabajo podría cambiar la forma en que el gobierno de EE. UU. desarrolla la IA, si otros departamentos adoptan o adaptan las pautas del Departamento de Defensa. Goodman dice que él y sus colegas se los han entregado a la NOAA y al Departamento de Transporte y están hablando con grupos de ética dentro del Departamento de Justicia, la Administración de Servicios Generales y el IRS.

El propósito de las pautas es asegurarse de que los contratistas de tecnología se apeguen a las normas existentes del Departamento de Defensa. principios éticos para la IA , dice Goodman. El Departamento de Defensa anunció estos principios el año pasado, luego de un estudio de dos años encargado por la Junta de Innovación de Defensa, un panel asesor de investigadores y empresarios líderes en tecnología establecido en 2016 para llevar la chispa de Silicon Valley al ejército de EE. UU. La junta estuvo presidida por el ex director ejecutivo de Google, Eric Schmidt, hasta septiembre de 2020, y sus miembros actuales incluyen a Daniela Rus, directora del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT.

Sin embargo, algunos críticos cuestionan si el trabajo promete alguna reforma significativa.

Durante el estudio, la junta consultó a una variedad de expertos, incluidos críticos vocales del uso de la IA por parte de los militares, como miembros de la Campaña por Robots Asesinos y Meredith Whittaker, una exinvestigadora de Google que ayudó a organizar las protestas del Proyecto Maven.

Whittaker, quien ahora es director de la facultad en el Instituto AI Now de la Universidad de Nueva York, no estuvo disponible para hacer comentarios. Pero según Courtney Holsworth, vocera del instituto, asistió a una reunión en la que discutió con los miembros principales de la junta, incluido Schmidt, sobre la dirección que estaba tomando. Nunca fue consultada de manera significativa, dice Holsworth. Afirmar que lo fue podría leerse como una forma de lavado de ética, en el que la presencia de voces disidentes durante una pequeña parte de un largo proceso se usa para afirmar que un resultado dado tiene una amplia aceptación de las partes interesadas relevantes.

Si el Departamento de Defensa no tiene una aceptación amplia, ¿pueden sus pautas ayudar a generar confianza? Habrá personas que nunca estarán satisfechas con ningún conjunto de pautas éticas que produzca el Departamento de Defensa porque encuentran la idea paradójica, dice Goodman. Es importante ser realista acerca de lo que las pautas pueden y no pueden hacer.

Por ejemplo, las pautas no dicen nada sobre el uso de armas autónomas letales, una tecnología que, según algunos activistas, debería prohibirse. Pero Goodman señala que las regulaciones que rigen dicha tecnología se deciden más arriba en la cadena. El objetivo de las pautas es facilitar la construcción de IA que cumpla con esas regulaciones. Y parte de ese proceso es hacer explícita cualquier inquietud que tengan los desarrolladores externos. Una aplicación válida de estas pautas es decidir no seguir un sistema en particular, dice Jared Dunnmon en la DIU, coautor de ellas. Puedes decidir que no es una buena idea.

Historia relacionada

Por qué los investigadores de IA deberían reconsiderar la participación en protestas en proyectos militares Un asesor del Departamento de Defensa sugiere que un compromiso constructivo será más exitoso que optar por no participar.

Margaret Mitchell, investigadora de IA en cara de abrazo , quien codirigió El equipo de inteligencia artificial ética de Google con Timnit Gebru antes de que ambos fueran expulsado de la empresa , está de acuerdo en que las pautas éticas pueden ayudar a que un proyecto sea más transparente para quienes trabajan en él, al menos en teoría. Mitchell tuvo un asiento en primera fila durante las protestas en Google. Una de las principales críticas que tuvieron los empleados fue que la compañía estaba entregando tecnología poderosa a los militares sin barreras de seguridad, dice ella: la gente terminó yéndose específicamente debido a la falta de cualquier tipo de pautas claras o transparencia.

Para Mitchell, los problemas no están bien definidos. Creo que algunas personas en Google definitivamente sintieron que todo el trabajo con el ejército es malo, dice ella. Yo no soy una de esas personas. Ella ha estado hablando con el Departamento de Defensa sobre cómo puede asociarse con empresas de una manera que defienda sus principios éticos.

Ella piensa que hay un camino por recorrer antes de que el Departamento de Defensa obtenga la confianza que necesita. Un problema es que parte de la redacción de las directrices está abierta a interpretación. Por ejemplo, afirman: El departamento tomará medidas deliberadas para minimizar el sesgo no deseado en las capacidades de IA. ¿Qué pasa con el sesgo intencionado? Eso puede parecer quisquilloso, pero las diferencias en la interpretación dependen de este tipo de detalles.

Supervisar el uso de tecnología militar es difícil porque generalmente requiere una autorización de seguridad. Para abordar esto, a Mitchell le gustaría que los contratos del Departamento de Defensa proporcionen auditores independientes con la autorización necesaria, que puedan asegurar a las empresas que realmente se están siguiendo las pautas. Los empleados necesitan alguna garantía de que las pautas se están interpretando como esperan, dice ella.

esconder