Deja de hablar de la ética de la IA. Es hora de hablar de poder.

Vladan Joler

A principios del siglo XX, un caballo alemán arrasó en Europa. Clever Hans, como se le conocía, aparentemente podía realizar todo tipo de trucos que antes estaban limitados a los humanos. Podía sumar y restar números, decir la hora y leer un calendario, incluso deletrear palabras y oraciones, todo aplastando la respuesta con un casco. A era un toque; B era dos; 2+3 eran cinco. Fue una sensación internacional y una prueba, según creían muchos, de que a los animales se les podía enseñar a razonar tan bien como a los humanos.

El problema era que Clever Hans en realidad no estaba haciendo ninguna de estas cosas. Como descubrieron más tarde los investigadores, el caballo había aprendido a dar la respuesta correcta al observar los cambios en la postura, la respiración y las expresiones faciales de sus interrogadores. Si el interrogador se alejaba demasiado, Hans perdería sus habilidades. Su inteligencia era sólo una ilusión.

Esta historia se utiliza como advertencia para los investigadores de IA cuando evalúan las capacidades de sus algoritmos. Un sistema no siempre es tan inteligente como parece. Tenga cuidado de medirlo correctamente.

CORTESÍA DE KATE CRAWFORD

Pero en su nuevo libro, Atlas de IA , Kate Crawford, destacada académica en IA, le da la vuelta a esta moraleja. El problema, escribe, estaba en la forma en que la gente definía los logros de Hans: Hans ya estaba realizando hazañas notables de comunicación entre especies, actuaciones públicas y una paciencia considerable, pero no se reconocían como inteligencia.

Así comienza la exploración de Crawford en la historia de la inteligencia artificial y su impacto en nuestro mundo físico. Cada capítulo busca ampliar nuestra comprensión de la tecnología revelando cuán estrechamente la hemos visto y definido.

Crawford hace esto llevándonos en un viaje global, desde las minas donde se extraen los elementos de tierras raras que se utilizan en la fabricación de computadoras hasta los centros logísticos de Amazon donde se han mecanizado cuerpos humanos en la búsqueda incesante de crecimiento y ganancias de la empresa. En el capítulo uno, cuenta cómo condujo una camioneta desde el corazón de Silicon Valley hasta una pequeña comunidad minera en Clayton Valley, Nevada. Allí investiga las prácticas ambientales destructivas requeridas para obtener el litio que alimenta las computadoras del mundo. Es una ilustración contundente de lo cerca que están estos dos lugares en el espacio físico y lo lejos que están en riqueza.

Al basar su análisis en tales investigaciones físicas, Crawford elimina el marco eufemístico de que la inteligencia artificial es simplemente un software eficiente que se ejecuta en la nube. Sus descripciones vívidas y en primer plano de la tierra y el trabajo en los que se basa la IA, y las historias profundamente problemáticas que hay detrás, hacen que sea imposible seguir hablando de la tecnología puramente en abstracto.

En el capítulo cuatro, por ejemplo, Crawford nos lleva a otro viaje, este a través del tiempo en lugar del espacio. Para explicar la historia de la obsesión del campo con la clasificación, visita el Museo Penn en Filadelfia, donde observa filas y filas de cráneos humanos.

Los cráneos fueron recolectados por Samuel Morton, un craneólogo estadounidense del siglo XIX, quien creía que era posible dividirlos objetivamente por sus medidas físicas en las cinco razas del mundo: africano, nativo americano, caucásico, malayo y mongol. Crawford establece paralelismos entre el trabajo de Morton y los modernos sistemas de inteligencia artificial que continúan clasificando el mundo en categorías fijas.

Estas clasificaciones están lejos de ser objetivas, argumenta. Imponen un orden social, naturalizan jerarquías y magnifican las desigualdades. Visto a través de esta lente, la IA ya no puede considerarse una tecnología objetiva o neutral.

En su carrera de 20 años, Crawford se ha enfrentado a las consecuencias en el mundo real de los sistemas de datos a gran escala, el aprendizaje automático y la inteligencia artificial. En 2017, junto a Meredith Whittaker, cofundó el instituto de investigación AI Now como una de las primeras organizaciones dedicadas a estudiar las implicaciones sociales de estas tecnologías. Ahora también es profesora en la USC Annenberg, en Los Ángeles, y la cátedra visitante inaugural en IA y justicia en la École Normale Supérieure en París, así como investigadora principal sénior en Microsoft Research.

Hace cinco años, dice Crawford, todavía estaba trabajando para introducir la mera idea de que los datos y la IA no eran neutrales. Ahora la conversación ha evolucionado y la ética de la IA se ha convertido en su propio campo. Ella espera que su libro la ayude a madurar aún más.

Me senté con Crawford para hablar sobre su libro.

Lo siguiente ha sido editado por extensión y claridad.

¿Por qué elegiste hacer este proyecto de libro y qué significa para ti?

Crawford: Muchos de los libros que se han escrito sobre inteligencia artificial en realidad solo hablan de logros técnicos muy limitados. Y a veces escriben sobre los grandes hombres de la IA, pero eso es realmente todo lo que hemos tenido en términos de lidiar realmente con lo que es la inteligencia artificial.

Creo que ha producido esta comprensión muy sesgada de la inteligencia artificial como sistemas puramente técnicos que son de alguna manera objetivos y neutrales y, como dicen Stuart Russell y Peter Norvig en su libro de texto —como agentes inteligentes que toman la mejor decisión de cualquier acción posible.

Quería hacer algo muy diferente: comprender realmente cómo se crea la inteligencia artificial en el sentido más amplio. Esto significa observar los recursos naturales que lo impulsan, la energía que consume, el trabajo oculto a lo largo de la cadena de suministro y la gran cantidad de datos que se extraen de cada plataforma y dispositivo que usamos todos los días.

Historia relacionada

Los trabajadores de Deepfake Amazon están sembrando confusión en Twitter. Ese no es el problema.

Es probable que las cuentas sean solo parodias, no parte de una estrategia corporativa siniestra, pero ilustran el tipo de cosas que podrían suceder algún día.

Al hacer eso, quería realmente abrir esta comprensión de la IA como ni artificial ni inteligente. Es el opuesto de artificiales. Proviene de las partes más materiales de la corteza terrestre y del trabajo de los cuerpos humanos, y de todos los artefactos que producimos, decimos y fotografiamos todos los días. Tampoco es inteligente. Creo que existe este gran pecado original en el campo, donde la gente asumió que las computadoras son de alguna manera como los cerebros humanos y si los entrenamos como niños, lentamente se convertirán en estos seres sobrenaturales.

Eso es algo que creo que es realmente problemático: hemos comprado esta idea de inteligencia cuando, de hecho, solo estamos viendo formas de análisis estadístico a escala que tienen tantos problemas como los datos que se proporcionan.

¿Fue inmediatamente obvio para usted que así es como la gente debería pensar sobre la IA? ¿O fue un viaje?

Absolutamente ha sido un viaje. Diría que uno de los puntos de inflexión para mí fue en 2016, cuando comencé un proyecto llamado Anatomía de un sistema de IA con Vladan Joler. Nos reunimos en una conferencia específicamente sobre la IA habilitada por voz, y estábamos tratando de dibujar de manera efectiva lo que se necesita para hacer que Amazon Echo funcione. ¿Cuáles son los componentes? ¿Cómo extrae los datos? ¿Cuáles son las capas en la canalización de datos?

Nos dimos cuenta, bueno, en realidad, para entender eso, tienes que entender de dónde vienen los componentes. ¿Dónde se produjeron los chips? ¿Dónde están las minas? ¿Dónde se funde? ¿Dónde están las rutas logísticas y de la cadena de suministro?

Finalmente, ¿cómo rastreamos el final de la vida útil de estos dispositivos? ¿Cómo observamos dónde se encuentran los vertederos de desechos electrónicos en lugares como Malasia, Ghana y Pakistán? Lo que terminamos fue este proyecto de investigación de dos años que consumió mucho tiempo para rastrear realmente esas cadenas de suministro de materiales desde la cuna hasta la tumba.

Cuando comienzas a observar los sistemas de IA en esa escala más grande y en ese horizonte de tiempo más largo, te alejas de estas cuentas muy estrechas de la justicia y la ética de la IA para decir: estos son sistemas que producen cambios geomórficos profundos y duraderos en nuestro planeta, como así como aumentar las formas de desigualdad laboral que ya tenemos en el mundo.

Eso me hizo darme cuenta de que tenía que pasar de un análisis de un solo dispositivo, Amazon Echo, a aplicar este tipo de análisis a toda la industria. Esa para mí era la gran tarea, y por eso Atlas de IA tardó cinco años en escribirse. Existe una gran necesidad de ver realmente lo que realmente nos cuestan estos sistemas, porque rara vez hacemos el trabajo de comprender realmente sus verdaderas implicaciones planetarias.

La otra cosa que diría que ha sido una verdadera inspiración es el creciente campo de académicos que están haciendo estas preguntas más importantes sobre el trabajo, los datos y la desigualdad. Aquí estoy pensando en Ruha Benjamin, Safiya Noble, Mar Hicks, Julie Cohen, Meredith Broussard, Simone Brown, la lista continúa. Veo esto como una contribución a ese cuerpo de conocimiento al traer perspectivas que conectan el medio ambiente, los derechos laborales y la protección de datos.

Viajas mucho a lo largo del libro. Casi todos los capítulos comienzan contigo mirando a tu alrededor. ¿Por qué fue esto importante para ti?

Fue una elección muy consciente basar un análisis de la IA en lugares específicos, para alejarse de estos lugares abstractos del espacio algorítmico, donde ocurren muchos de los debates sobre el aprendizaje automático. Y, con suerte, resalta el hecho de que cuando no hacemos eso, cuando solo hablamos de estos espacios de objetividad algorítmica en ninguna parte, también es una elección política y tiene ramificaciones.

En términos de enlazar las ubicaciones, esta es realmente la razón por la que comencé a pensar en esta metáfora de un atlas, porque los atlas son libros inusuales. Son libros que puedes abrir y mirar la escala de todo un continente, o puedes hacer zoom y mirar una cadena montañosa o una ciudad. Te dan estos cambios de perspectiva y cambios de escala.

Hay una hermosa línea que uso en el libro de la física Ursula Franklin. Ella escribe sobre cómo los mapas unen lo conocido y lo desconocido en estos métodos de percepción colectiva. Entonces, para mí, fue realmente basarme en el conocimiento que tenía, pero también pensar en las ubicaciones reales donde la IA se está construyendo literalmente a partir de rocas, arena y petróleo.

¿Qué tipo de comentarios ha recibido el libro?

Una de las cosas que me ha sorprendido en las primeras respuestas es que la gente realmente siente que este tipo de perspectiva estaba atrasada. Hay un momento en el que reconocemos que necesitamos tener un tipo de conversación diferente a las que hemos tenido en los últimos años.

Hemos pasado demasiado tiempo centrándonos en arreglos tecnológicos limitados para los sistemas de IA y siempre centrando las respuestas técnicas y las respuestas técnicas. Ahora tenemos que lidiar con la huella ambiental de los sistemas. Tenemos que lidiar con las formas muy reales de explotación laboral que han estado ocurriendo en la construcción de estos sistemas.

Y ahora también estamos comenzando a ver el legado tóxico de lo que sucede cuando simplemente extrae la mayor cantidad de datos de Internet que puede, y simplemente lo llama verdad. Ese tipo de encuadre problemático del mundo ha producido tantos daños y, como siempre, esos daños los han sentido sobre todo las comunidades que ya estaban marginadas y no experimentaban los beneficios de esos sistemas.

¿Qué esperas que la gente empiece a hacer diferente?

Espero que sea mucho más difícil tener estas conversaciones sin salida donde términos como ética e IA para siempre han sido tan completamente desnaturalizado de cualquier significado real . Espero que abra la cortina y diga, veamos quién está manejando las palancas de estos sistemas. Eso significa dejar de centrarse simplemente en cosas como los principios éticos para hablar sobre el poder.

¿Cómo nos alejamos de este marco ético?

Historia relacionada

¿Preocupado por la ética de IA de su empresa? Estas nuevas empresas están aquí para ayudar. Un creciente ecosistema de empresas responsables de IA promete ayudar a las organizaciones a monitorear y corregir sus modelos de IA.

Si ha habido una verdadera trampa en el sector tecnológico durante la última década, es que la teoría del cambio siempre ha centrado la ingeniería. Siempre lo ha sido, si hay un problema, hay una solución técnica para ello. Y solo recientemente comenzamos a ver que se amplía a Oh, bueno, si hay un problema, entonces regulación puede arreglarlo Los políticos tienen un papel.

Pero creo que tenemos que ampliar eso aún más. También tenemos que decir: ¿Dónde están los grupos de la sociedad civil, dónde están los activistas, dónde están los defensores que abordan cuestiones de justicia climática, derechos laborales, protección de datos? ¿Cómo los incluimos en estas discusiones? ¿Cómo incluimos a las comunidades afectadas?

En otras palabras, ¿cómo hacemos que esta sea una conversación democrática mucho más profunda sobre cómo estos sistemas ya están influyendo en la vida de miles de millones de personas de formas principalmente irresponsables que viven fuera de la regulación y la supervisión democrática?

En ese sentido, este libro está tratando de descentrar la tecnología y comenzar a hacer preguntas más importantes: ¿En qué tipo de mundo queremos vivir?

¿Qué tipo de mundo hace Uds quieres vivir? ¿Con qué tipo de futuro sueñas?

Quiero ver a los grupos que han estado haciendo el trabajo realmente arduo de abordar cuestiones como la justicia climática y los derechos laborales unirse, y darme cuenta de que estos frentes anteriormente bastante separados para el cambio social y la justicia racial realmente tienen preocupaciones compartidas y un terreno compartido sobre el cual coordinar y organizar.

Porque estamos viendo un horizonte de tiempo muy corto aquí. Estamos lidiando con un planeta que ya está bajo una fuerte presión. Estamos viendo una profunda concentración de poder en extraordinariamente pocas manos. Realmente tendrías que volver a los primeros días de los ferrocarriles para ver otra industria que está tan concentrada, y ahora incluso podrías decir que la tecnología la ha superado.

Así que tenemos que lidiar con las formas en que podemos pluralizar nuestras sociedades y tener mayores formas de rendición de cuentas democrática. Y ese es un problema de acción colectiva. No es un problema de elección individual. No es que elijamos la marca de tecnología más ética del mercado. Es que tenemos que encontrar formas de trabajar juntos en estos desafíos a escala planetaria.

Actualizar : Se ha aclarado la descripción del instituto AI Now.

esconder