¿Puedes hacer una IA que no sea capaz?

Doug Maloney/Unsplash

La inteligencia artificial tiene un problema de sesgo bien conocido, particularmente cuando se trata de raza y género. Es posible que haya visto algunos de los titulares: sistemas de reconocimiento facial que no reconocer a las mujeres negras o herramientas de reclutamiento automatizadas que pasar por alto a las candidatas .

Pero si bien los investigadores se han esforzado por abordar algunos de los problemas más graves, hay un grupo de personas que han pasado por alto: las personas con discapacidades. Tome autos sin conductor. Sus algoritmos se basan en datos de entrenamiento para aprender cómo se ven los peatones para que los vehículos no los atropellen. Si los datos de capacitación no incluyen personas en sillas de ruedas, la tecnología podría poner a esas personas en peligro de muerte.

Para Shari Trewin, investigadora del equipo de liderazgo en accesibilidad de IBM, esto es inaceptable. como parte de un nueva iniciativa , ella es ahora explorador nuevos procesos de diseño y métodos técnicos para mitigar el sesgo de las máquinas contra las personas con discapacidad. Nos habló sobre algunos de los desafíos, así como sobre algunas posibles soluciones.

Lo siguiente ha sido editado por extensión y claridad.

¿Por qué la equidad con las personas con discapacidad es un problema diferente de la equidad con respecto a otros atributos protegidos como la raza y el género?

El estado de discapacidad es mucho más diverso y complejo en las formas en que afecta a las personas. Muchos sistemas modelarán la raza o el género como una variable simple con una pequeña cantidad de valores posibles. Pero cuando se trata de discapacidad, hay tantas formas diferentes y diferentes niveles de gravedad. Algunos de ellos son permanentes, algunos son temporales. Cualquiera de nosotros puede unirse o abandonar esta categoría en cualquier momento de su vida. Es algo dinámico.

Aproximadamente una de cada cinco personas en los EE. UU. actualmente tiene algún tipo de discapacidad. Por lo tanto, es muy frecuente pero difícil de precisar en una variable simple con una pequeña cantidad de valores posibles. Puede haber un sistema que discrimine a las personas ciegas pero no a las personas sordas. Entonces, probar la equidad se vuelve mucho más difícil.

La información sobre discapacidad también es muy delicada. Las personas son mucho más reacias a revelar información que el género, la edad o la raza, y en algunas situaciones es incluso ilegal pedir esta información. Entonces, muchas veces en los datos es mucho menos probable que sepa algo sobre las discapacidades que una persona puede tener o no. Eso también hace que sea mucho más difícil saber si tiene un sistema justo.

Quería preguntarte sobre eso. Como humanos, decidimos que la mejor manera de evitar la discriminación por discapacidad es no revelar el estado de discapacidad. ¿Por qué no sería eso cierto para los sistemas de aprendizaje automático?

Shari Trewin, investigadora del equipo de Liderazgo en Accesibilidad de IBM cortesía de IBM

Sí, eso es lo primero que piensa la gente: si el sistema no sabe nada sobre el estado de discapacidad de las personas, seguramente será justo. Pero el problema es que la discapacidad a menudo afecta otros fragmentos de información que se introducen en el modelo. Por ejemplo, digamos que soy una persona que usa un lector de pantalla para acceder a la web y estoy haciendo una prueba en línea para una solicitud de empleo. Si ese programa de prueba no está bien diseñado y no es accesible para mi lector de pantalla, me llevará más tiempo navegar por la página antes de poder responder la pregunta. Si ese tiempo no se tiene en cuenta al evaluarme, cualquiera que esté usando la misma herramienta con una discapacidad similar estará en desventaja sistemática, incluso si el sistema no sabe que soy ciego.

Entonces, si hay tantos matices diferentes en la discapacidad, ¿es realmente posible lograr la equidad?

Creo que el desafío más general para la comunidad de IA es cómo manejar los valores atípicos, porque los sistemas de aprendizaje automático aprenden normas, ¿verdad? Optimizan para las normas y no tratan los valores atípicos de ninguna manera especial. Pero muchas veces las personas con discapacidades no se ajustan a la norma. La forma en que el aprendizaje automático juzga a las personas por quién cree que son similares, incluso cuando nunca haya visto a nadie similar a usted, es una limitación fundamental en términos de trato justo para las personas con discapacidades.

Lo que funcionaría mucho mejor sería un método que combine el aprendizaje automático con alguna solución adicional, como reglas lógicas que se implementen en una capa superior. También hay algunas situaciones en las que definitivamente sería útil prestar más atención a la recopilación de un conjunto de datos más diverso. Algunas personas están experimentando con técnicas en las que sacan el núcleo de los datos y tratan de entrenar para los valores atípicos. Otros están experimentando con diferentes técnicas de aprendizaje que podrían optimizar mejor para los valores atípicos en lugar de la norma.

Creo que solo cuando empiezas a pensar en la discapacidad empiezas a pensar en la diversidad de las personas y la importancia de los valores atípicos. Si no tiene suficiente diversidad de género en su conjunto de datos, puede solucionarlo. No es tan fácil arreglar la diversidad de discapacidad.

¿Cómo supera el problema de que las personas sean privadas sobre su estado de discapacidad?

Sí, para probar la equidad de un sistema, necesitas algunos datos. Y las personas con discapacidad que proporcionan esos datos son un bien social, pero es un riesgo personal. Las personas con discapacidad a menudo se identifican fácilmente incluso en datos anónimos, simplemente porque son únicas. Entonces, ¿cómo mitigamos eso? Todavía estamos averiguando eso.

¿Cuáles son sus mayores preocupaciones sobre este problema?

A menudo, los sistemas de IA están optimizando algo que no es el bienestar de las personas afectadas por las decisiones. Ese impacto debe tener mucha más importancia en el proceso de diseño, de modo que no solo estemos introduciendo un sistema que analice cuánto dinero estamos ahorrando o qué tan eficientemente estamos procesando a las personas. Necesitamos nuevas formas de medir los sistemas que incorporen el aspecto del impacto en los usuarios finales, especialmente si se trata de un grupo desfavorecido.

¿Cómo haríamos eso?

Probar la equidad es una forma de medir ese impacto. Incluir al grupo desfavorecido en el proceso de diseño y escuchar sus preocupaciones es otra. Incluso incluir explícitamente alguna métrica para la satisfacción de las partes interesadas que podría medir a través de entrevistas o encuestas, ese tipo de cosas.

¿Cuáles son las cosas que le entusiasman en esta área de investigación?

Las tecnologías de IA ya están cambiando el mundo para las personas con discapacidad al brindarles nuevas capacidades, como aplicaciones que le dicen qué hay en su campo de visión cuando apunta su teléfono.

Creo que si lo hacemos bien, existe una oportunidad real para que los sistemas de inteligencia artificial mejoren los sistemas anteriores solo para humanos. Hay mucha discriminación, sesgo y malentendidos de las personas con discapacidades en la sociedad actual. Si podemos encontrar una manera de producir sistemas de inteligencia artificial que eliminen ese tipo de sesgo, entonces podemos comenzar a cambiar el tratamiento de las personas con discapacidad y reducir la discriminación.

esconder