Cómo arreglar el chatbot ofensivo de Microsoft con los consejos de Marvin Minsky e Improv Comedy

El chatbot Tay de Microsoft fue eliminado rápidamente la semana pasada después de que comenzó a twittear declaraciones ofensivas que promulgaban la homofobia, el racismo y el antisemitismo al tiempo que atacaba a personas específicas.

Sin embargo, todavía circulan tres términos un tanto inapropiados en relación con Tay: IA, aprendizaje y más inteligente.

Podemos discutir todo el día sobre la naturaleza de la IA y qué tan cerca o lejos están varios sistemas del razonamiento humano, pero es una conversación que simplemente no es relevante aquí. El sistema fue diseñado para incorporar texto de las interacciones con los usuarios tanto en las respuestas personales como en los tweets. Es difícil aplicar el aprendizaje de palabras a ese proceso estadístico de registrar, dividir y volver a ensamblar cadenas de palabras, y mucho menos llamar a todo el sistema IA.

Ya se han sugerido las soluciones obvias para Tay. Los desarrolladores podrían darle al sistema una lista de términos para evitar, evitar que aprenda de un solo usuario, evitar que haga declaraciones públicas basadas en material recién aprendido, o incluso hacer que un ser humano modere lo que dice.

Sin embargo, ninguna de esas soluciones de ingeniería fina abordaría la raíz del problema del bot: Tay simplemente no tenía idea de lo que estaba diciendo. Todas las correcciones tienen como objetivo ayudar a un sistema que no es tan brillante a superar una conversación sin sonar francamente malvado. Están diseñados para hacer que Tay parezca más inteligente sin hacerlo realmente más inteligente.

Entonces, ¿qué significaría hacer que Tay parecer más inteligente por en realidad haciéndolo más inteligente ?

Un enfoque se puede ver en Siri y sus hermanas (generalmente se las califica como mujeres) como Cortana. Estos sistemas reconocen palabras clave asociadas con tareas bastante limitadas y emiten respuestas programáticas. Tienen un poder considerable para actuar y generar respuestas precisas dentro de las áreas que entienden. Pero el equipo de Microsoft detrás de Tay claramente estaba tratando de hacer algo más ampliamente conversacional.

En el otro extremo del espectro está el enfoque completo de IA, en el que el sistema nunca ve la luz del día hasta que tiene acceso a todo el conocimiento necesario para comprender completamente todo lo que se le dice, todo lo que implican estas declaraciones y el implicaciones completas de sus propias declaraciones a su vez.

El software que cumpla con esos criterios necesitaría una representación rica y completa del mundo, una biblioteca masiva de reglas de inferencia que se ejecuten cada vez que aparezca un hecho nuevo y la capacidad de generar un lenguaje basado en cada idea y combinación de ideas con las que se encuentre. se da cuenta de forma independiente. Ese es un proyecto de investigación arriesgado de 20 años en lugar de una hoja de ruta del producto.

Sin embargo, existe un término medio entre cortar y cortar oraciones y tratar de hacer algo que pueda comprender toda la creación. Implica darle al sistema solo un poco de conocimiento, suficiente para reconocer cuando un usuario está tratando de jugar con el sistema. No tienes que saberlo todo. Solo tienes que saber cuándo alguien está jugando contigo.

Dado que Microsoft notas de lanzamiento para Tay dijo que el equipo incluía comediantes de improvisación, me sorprende que esta no fuera la ruta tomada.

Personalmente, he tomado suficientes sugerencias del público para saber que en cada despedida de soltera, una joven borracha en la parte de atrás gritará sugerencias obscenas de las que se arrepentirá durante los próximos dos años. Cuando eso suceda, tienes dos opciones: respetar la sugerencia y trabajarla en una escena sin que sea disruptiva, o decir cortésmente Lo primero que escuché desde el frente fue 'buzón' y seguir adelante. Lo importante es poder saber cuándo está ocurriendo y tener un plan de acción para enfrentarlo.

Nada neutraliza a un acosador tanto como ser llamado. Mi conjetura es que si Tay señaló que sabía que se estaba reproduciendo en interacciones uno a uno y proporcionó la atribución de los hechos recién aprendidos cuando los usó en tweets públicos, el efecto vergonzoso habría sido suficiente para detener incluso los ataques más desagradables. .

Los grandes conversadores no lo saben todo. Ellos saben de conversación. Y un sistema que no sepa nada del mundo pero que sepa interactuar y no ofender sería genial. Pero para reaccionar al juego, debes reconocer cuándo se está jugando.

El difunto Marvin Minsky declaró: Un poco de semántica es muy útil. Los sistemas como Tay no tienen que saber todo sobre el mundo, pero sí necesitan saber qué están haciendo y qué les van a hacer los usuarios. La pequeña parte crucial que le faltaba a Tay era la capacidad de saber cuándo se estaba jugando y la capacidad de responder de la misma manera.

Espero que Tay vuelva pronto a estar en línea. Más aún, espero que haga un Reddit AMA donde explique el origen de todos y cada uno de sus tuits y las lecciones que aprendió al ser acosado en el patio de la escuela que es Internet.

Kristian Hammond es profesor de informática en la Universidad Northwestern y científico jefe y cofundador de ciencia narrativa , que ofrece un software que genera automáticamente informes escritos a partir de datos . Por razones que nadie entiende del todo, ha pasado unos 20 años en el escenario improvisando con gente mucho más talentosa que él.

esconder