211service.com
Estamos en una crisis de diversidad: cofundador de Black in AI sobre lo que está envenenando los algoritmos en nuestras vidas
Timnit Gebru mira alrededor del mundo de la IA y casi no ve a nadie que se parezca a ella. Ese es un problema para todos nosotros. 14 de febrero de 2018
cortesía de timnit brug
La inteligencia artificial es una parte cada vez más constante de nuestra vida cotidiana, presente en todo, desde búsquedas web hasta redes sociales y asistentes domésticos como Alexa. Pero, ¿qué hacemos si esta tecnología de enorme importancia es involuntaria, pero fundamentalmente, sesgada? ¿Y qué hacemos si este campo de enorme importancia casi no incluye investigadores negros? Timnit Gebru está abordando estas preguntas como parte del grupo Equidad, Responsabilidad, Transparencia y Ética en IA de Microsoft, al que se unió el verano pasado. También cofundó el evento Black in AI en la conferencia Neural Information Processing Systems (NIPS) en 2017 y formó parte del comité directivo de la primera conferencia Fairness and Transparency en febrero. ella hablo con Revisión de tecnología del MIT sobre cómo el sesgo entra en los sistemas de IA y cómo la diversidad puede contrarrestarlo.
¿Cómo distorsiona la falta de diversidad la inteligencia artificial y específicamente la visión por computadora?
Esta historia fue parte de nuestra edición de marzo de 2018
- Ver el resto del número
- Suscribir
Puedo hablar de esto durante un año entero. Existe un sesgo sobre qué tipo de problemas creemos que son importantes, qué tipo de investigación creemos que es importante y hacia dónde creemos que debería ir la IA. Si no tenemos diversidad en nuestro conjunto de investigadores, no vamos a abordar los problemas que enfrenta la mayoría de las personas en el mundo. Cuando los problemas no nos afectan, no creemos que sean tan importantes, y es posible que ni siquiera sepamos cuáles son estos problemas, porque no estamos interactuando con las personas que los experimentan.
Cuando comencé Black in AI, lo comencé con un par de amigos. Antes de eso, tenía una pequeña lista de correo en la que literalmente agregaba a cualquier persona negra que veía en este campo a la lista de correo y decía: 'Hola, soy Timnit. Soy la persona negra número dos. Hola, persona negra número uno. Seamos amigos.'
¿Hay formas de contrarrestar el sesgo en los sistemas?
La razón por la que la diversidad es realmente importante en la IA, no solo en los conjuntos de datos sino también en los investigadores, es que se necesitan personas que tengan este sentido social de cómo son las cosas. Estamos en una crisis de diversidad para la IA. Además de tener conversaciones técnicas, conversaciones sobre derecho, conversaciones sobre ética, necesitamos tener conversaciones sobre diversidad en IA. Necesitamos todo tipo de diversidad en la IA. Y esto debe tratarse como algo extremadamente urgente.
Desde un punto de vista técnico, hay muchos tipos diferentes de enfoques. Una es diversificar su conjunto de datos y tener muchas anotaciones diferentes de su conjunto de datos, como raza, género y edad. Una vez que entrena un modelo, puede probarlo y ver qué tan bien lo hace en todos estos subgrupos diferentes. Pero incluso después de hacer esto, seguramente tendrá algún tipo de sesgo en su conjunto de datos. No se puede tener un conjunto de datos que muestre perfectamente todo el mundo.
Algo que me apasiona mucho y en lo que estoy trabajando en este momento es descubrir cómo alentar a las empresas a brindar más información a los usuarios o incluso a los investigadores. Deberían haber recomendado el uso, cuáles son las trampas, qué tan sesgado es el conjunto de datos, etc. De modo que cuando sea una startup y solo tome su conjunto de datos estándar o modelo estándar y incorporándolo a lo que sea que esté haciendo, al menos tengo cierto conocimiento de qué tipo de trampas puede haber. En este momento estamos en un lugar casi como el Salvaje Oeste, donde realmente no tenemos muchos estándares [sobre] dónde colocamos los conjuntos de datos.
Y luego, hay algunas cosas para las que probablemente no debería usar el aprendizaje automático en este momento, y no tenemos una guía clara para cuáles son esas cosas. Deberíamos decir que si va a utilizar el aprendizaje automático para esta tarea en particular, la precisión de su modelo debería ser al menos X, y debería ser justo en este aspecto en particular. Tampoco tenemos ningún tipo de guía para eso. La IA recién está comenzando a integrarse en la corriente principal, en un producto en todas partes, por lo que estamos en un precipicio donde realmente necesitamos algún tipo de conversación sobre la estandarización y el uso.
CORTESÍA DE TIMNIT UTILIZADO
¿Cuál ha sido la motivación detrás de su trabajo con Google Street View y otras investigaciones demográficas?
En el momento en que comenzamos este proyecto, se estaba haciendo muy poco trabajo para tratar de analizar la cultura usando imágenes. Pero sabemos que en línea, la mayoría de nuestros datos están en forma de imágenes. Una de nuestras motivaciones fue mostrar que se podían hacer análisis sociales usando imágenes.
Esto podría ser muy útil en casos en los que obtener datos basados en encuestas es realmente difícil. Hay lugares en el mundo donde no existe la infraestructura y los recursos para enviar a la gente de puerta en puerta y recopilar datos [del censo], [pero donde] tener una comprensión de los diferentes tipos de poblaciones que viven en su país sería ser muy útil
Pero, de nuevo, esto es exactamente lo que también me hizo querer estudiar la equidad. Porque si voy a continuar con esta línea de trabajo, realmente necesito tener una mejor comprensión de las repercusiones potencialmente negativas. ¿Cuáles son las repercusiones para la vigilancia? Además, ¿cuáles son las repercusiones del sesgo de un conjunto de datos? En cualquier tipo de proyecto de minería de datos, tendrá un sesgo. Así que mi línea de trabajo allí fue realmente lo que me llevó a querer pasar un tiempo en la comunidad de equidad para comprender dónde podrían estar las trampas.
¿Qué temas espera abordar con esta primera conferencia de Equidad y Transparencia?
Esta es realmente la primera conferencia que aborda los temas de equidad, responsabilidad, ética y transparencia en la IA. Ha habido talleres en otras conferencias y, en su mayoría, ha habido talleres en conferencias basadas en el procesamiento del lenguaje natural o en conferencias basadas en el aprendizaje automático. Es realmente importante tener la conferencia independiente porque necesita ser trabajada por personas de muchas disciplinas que hablen entre sí.
Las personas que aprenden máquinas por sí solas no pueden resolver este problema. Hay cuestiones de transparencia; hay cuestiones de cómo se deben actualizar las leyes. Si va a hablar sobre el sesgo en la atención de la salud, querrá hablar con [los profesionales de la salud] sobre dónde podrían estar los posibles sesgos, y luego puede pensar en cómo tener una solución basada en el aprendizaje automático.
¿Cuál ha sido tu experiencia trabajando en IA?
No es fácil. Amo mi trabajo. Me encanta la investigación en la que trabajo. me encanta el campo No puedo imaginar qué más haría en ese sentido. Dicho esto, es muy difícil ser una mujer negra en este campo. Cuando comencé Black in AI, lo comencé con un par de amigos. Tenía una pequeña lista de correo antes de eso, donde literalmente agregaba a cualquier persona negra que viera en este campo a la lista de correo y decía: Hola, soy Timnit. Soy la persona negra número dos. Hola, persona negra número uno. Seamos amigos.
Lo que realmente hizo que se acelerara fue [en 2016] cuando fui a NIPS y alguien decía que había unas 8500 personas. Conté seis personas negras. Estaba literalmente en pánico. Esa es la única forma en que puedo describir cómo me sentí. Vi que este campo estaba creciendo exponencialmente, llegando a la corriente principal; está afectando a todos los sectores de la sociedad. Al mismo tiempo, también vi mucha retórica sobre la diversidad y cómo muchas empresas piensan que es importante.
Y vi un desajuste entre la retórica y la acción. Porque seis personas negras de 8500, ese es un número ridículo, ¿verdad? Eso es casi cero por ciento. Yo estaba como, tenemos que hacer algo ahora. Quiero dar un llamado a la acción a las personas que creen que la diversidad es importante. Porque es una emergencia y tenemos que hacer algo al respecto ahora.