211service.com
Los programas de IA están aprendiendo a excluir algunas voces afroamericanas
Las interfaces de voz, los chatbots y otros sistemas discriminan ciertos dialectos minoritarios. 16 de agosto de 2017
Con demasiada frecuencia, las personas hacen juicios instantáneos en función de cómo hablas. Algunos sistemas de IA también están aprendiendo a tener prejuicios contra algunos dialectos. Y a medida que los sistemas de inteligencia artificial basados en el lenguaje se vuelven cada vez más comunes, algunas minorías pueden ser automáticamente discriminadas por las máquinas, advierten los investigadores que estudian el tema.
Cualquier persona con un acento fuerte o inusual puede saber lo que es tener problemas para ser entendido por Siri o Alexa. Esto se debe a que los sistemas de reconocimiento de voz utilizan tecnología de lenguaje natural para analizar el contenido del habla y, a menudo, se basa en algoritmos que han sido entrenados con datos de ejemplo. Si no hay suficientes ejemplos de un acento o una lengua vernácula en particular, es posible que estos sistemas simplemente no lo entiendan (consulte el Problema del lenguaje de AI).
El problema puede ser más generalizado y pernicioso de lo que la mayoría de la gente cree. La tecnología de lenguaje natural ahora impulsa las interacciones automatizadas con los clientes, a través de sistemas telefónicos automatizados o chatbots. Se utiliza para explorar la opinión pública en la web y las redes sociales, y para buscar información útil en documentos escritos. Esto significa que los servicios y productos creados sobre sistemas lingüísticos ya pueden estar discriminando injustamente a ciertos grupos.
Brendan O’Connor , profesor asistente en la Universidad de Massachusetts, Amherst, y uno de sus estudiantes de posgrado, Su Lin Blodgett , analizó el uso del lenguaje en Twitter. Mediante el filtrado demográfico, los investigadores recopilaron 59,2 millones de tuits con una alta probabilidad de contener jerga afroamericana o vernácula. Luego probaron varias herramientas de procesamiento de lenguaje natural en este conjunto de datos para ver cómo tratarían estas declaraciones. Descubrieron que una herramienta popular clasificaba estas publicaciones como danesas con un alto nivel de confianza.
Si analiza Twitter en busca de las opiniones de la gente sobre un político y ni siquiera está considerando lo que dicen los afroamericanos o los adultos jóvenes, eso parece problemático, dice O'Connor.
La pareja también probó varias API populares basadas en aprendizaje automático que analizan el significado y el sentimiento del texto, y descubrieron que estos sistemas también tenían problemas. Si compra un analizador de sentimientos de alguna compañía, ni siquiera sabe qué sesgos tiene, dice O'Connor. No tenemos mucha auditoría o conocimiento sobre estas cosas.
Él dice que el problema se extiende a cualquier sistema que use lenguaje, incluidos los motores de búsqueda.
El problema de la injusticia que surge del uso de algoritmos de IA está llamando la atención en algunos sectores a medida que estos algoritmos se usan más ampliamente. Un ejemplo controvertido de posible sesgo es un algoritmo patentado llamado Compass, que se utiliza para decidir si se debe conceder la libertad condicional a los reclusos. El funcionamiento del algoritmo es desconocido, pero investigar sugiere que está sesgado contra los reclusos negros.
Sin embargo, algunos expertos dicen que el problema puede ser más serio de lo que mucha gente cree, y que afecta a un número creciente de decisiones en finanzas, atención médica y educación (consulte Los algoritmos sesgados están en todas partes y a nadie parece importarle).
Los investigadores de UMass presentaron su trabajo en un taller dedicado a explorar el tema del sesgo en la IA. El evento, Equidad y transparencia en el aprendizaje automático, fue parte de una conferencia de ciencia de datos más grande este año, pero se convertirá en una conferencia independiente en 2018. Solon Barocas , profesor asistente en Cornell y cofundador del evento, dice que el campo está creciendo, con más y más investigadores explorando el tema del sesgo en los sistemas de IA.
Goel compartido , profesor asistente en la Universidad de Stanford que estudia la equidad algorítmica y las políticas públicas, dice que el problema no siempre es sencillo. Él señala que puede ser demasiado simplista llamar a los algoritmos sesgados, en el sentido de que pueden funcionar completamente según lo previsto, haciendo predicciones que son precisas y simplemente reflejan sesgos sociales más amplios. Es mejor describir lo que hace un algoritmo, la razón por la que lo hace y luego decidir si eso es lo que queremos que haga, dice Goel.