Facebook afirma que su nuevo chatbot supera al de Google como el mejor del mundo

A pesar de todo el progreso que han logrado los chatbots y los asistentes virtuales, siguen siendo terribles conversadores. La mayoría están muy orientados a las tareas: haces una demanda y cumplen. Algunos son muy frustrantes: parece que nunca consiguen lo que buscas. Otros son terriblemente aburridos: carecen del encanto de un compañero humano. Está bien cuando solo buscas configurar un temporizador. Pero a medida que estos bots se vuelven cada vez más populares como interfaces para todo, desde el comercio minorista hasta la atención médica y los servicios financieros, las insuficiencias se vuelven más evidentes.

Ahora Facebook ha abierto un nuevo chatbot que afirma que puede hablar de casi cualquier cosa de una manera atractiva e interesante. Blender no solo podría ayudar a los asistentes virtuales a resolver muchas de sus deficiencias, sino también marcar el progreso hacia la mayor ambición que impulsa gran parte de la investigación de IA: replicar la inteligencia. El diálogo es una especie de problema de 'IA completa', dice Stephen Roller, un ingeniero de investigación de Facebook que codirigió el proyecto. Tendrías que resolver toda la IA para resolver el diálogo, y si resuelves el diálogo, habrás resuelto toda la IA.

La capacidad de Blender proviene de la inmensa escala de sus datos de entrenamiento. Primero se entrenó en 1.500 millones de conversaciones de Reddit disponibles públicamente, para darle una base para generar respuestas en un diálogo. Luego se ajustó con conjuntos de datos adicionales para cada una de las tres habilidades: conversaciones que contenían algún tipo de emoción , para enseñarle empatía (si un usuario dice que obtuve un ascenso, por ejemplo, puede decir ¡Felicidades!); conversaciones densas en información con un experto, para enseñarle conocimiento; y conversaciones entre personas con personalidades distintas , para enseñarle personalidad. El modelo resultante es 3,6 veces más grande que Meena, el bot conversacional de Google , que se anunció en enero, es tan grande que no cabe en un solo dispositivo y, en su lugar, debe ejecutarse en dos chips informáticos.

Un ejemplo de una conversación entre un humano y Blender.

FACEBOOK

En ese momento, Google proclamó que Meena era el mejor chatbot del mundo. Sin embargo, en las propias pruebas de Facebook, el 75 % de los evaluadores humanos encontraron que Blender era más atractivo que Meena, y el 67 % encontró que sonaba más como un humano. El chatbot también engañó a los evaluadores humanos el 49 % de las veces para que pensaran que sus registros de conversación eran más humanos que los registros de conversación entre personas reales, lo que significa que no había mucha diferencia cualitativa entre los dos. Google no había respondido a una solicitud de comentarios cuando se debía publicar esta historia.

Sin embargo, a pesar de estos impresionantes resultados, las habilidades de Blender aún no se acercan a las de un humano. Hasta ahora, el equipo ha evaluado el chatbot solo en conversaciones cortas con 14 turnos. Si siguiera hablando más tiempo, sospechan los investigadores, pronto dejaría de tener sentido. Estos modelos no pueden profundizar mucho, dice Emily Dinan, la otra líder del proyecto. No pueden recordar la historia de la conversación más allá de unos pocos turnos.

Blender también tiene una tendencia a alucinar el conocimiento o inventar hechos, una limitación directa de las técnicas de aprendizaje profundo utilizadas para construirlo. En última instancia, genera sus oraciones a partir de correlaciones estadísticas en lugar de una base de datos de conocimiento. Como resultado, puede hilvanar una descripción detallada y coherente de una celebridad famosa, por ejemplo, pero con información completamente falsa. El equipo planea experimentar con la integración de una base de datos de conocimiento en la generación de respuestas del chatbot.

Los evaluadores humanos compararon conversaciones de varios turnos con diferentes chatbots.

FACEBOOK

Otro desafío importante con cualquier sistema de chatbot abierto es evitar que diga cosas tóxicas o tendenciosas. Debido a que dichos sistemas se entrenan en última instancia en las redes sociales, pueden terminar regurgitando el vitriolo de Internet. (Esto le sucedió infamemente a Microsoft’s chatbot Tay en 2016.) El equipo trató de abordar este problema pidiendo a los trabajadores colaborativos que filtraran el lenguaje dañino de los tres conjuntos de datos que utilizó para el ajuste fino, pero no hizo lo mismo con el conjunto de datos de Reddit debido a su tamaño. (Cualquiera que haya pasado mucho tiempo en Reddit sabrá por qué eso podría ser problemático).

El equipo espera experimentar con mejores mecanismos de seguridad, incluido un clasificador de lenguaje tóxico que podría verificar dos veces la respuesta del chatbot. Los investigadores admiten, sin embargo, que este enfoque no será exhaustivo. A veces, una oración como Sí, eso es genial puede parecer buena, pero dentro de un contexto delicado, como en respuesta a un comentario racista, puede adquirir significados dañinos.

A largo plazo, el equipo de inteligencia artificial de Facebook también está interesado en desarrollar agentes conversacionales más sofisticados que puedan responder a señales visuales además de solo palabras. Un proyecto está desarrollando un sistema llamado Image Chat, por ejemplo, que puede conversar con sensatez y personalidad sobre las fotos que un usuario puede enviar.

esconder