Google dice que su nuevo chatbot Meena es el mejor del mundo

Categoría: Inteligencia artificial Al corriente 30 de enero

Google ha lanzado un chatbot alimentado por redes neuronales llamado Meena que afirma es mejor que cualquier otro chatbot que existe.

sorbo de datos: Meena fue entrenada en la friolera de 341 gigabytes de charlas públicas en redes sociales, 8.5 veces más datos que GPT-2 de OpenAI. Google dice que Meena puede hablar de casi cualquier cosa e incluso inventarse (malas bromas .

Por qué importa: La conversación abierta que cubre una amplia gama de temas es difícil y la mayoría de los chatbots no pueden seguir el ritmo. En algún momento, la mayoría dice cosas que no tienen sentido o revelan una falta de conocimiento básico sobre el mundo. Un chatbot que evite tales errores contribuirá en gran medida a que las IA se sientan más humanas y a que los personajes de los videojuegos sean más realistas.

Sentido y especificidad: Para poner a prueba a Meena, Google ha desarrollado una nueva métrica que llama Promedio de Sensibilidad y Especificidad (SSA, por sus siglas en inglés), que captura atributos importantes para las conversaciones naturales, como si cada expresión tiene sentido en el contexto, lo que muchos chatbots pueden hacer, y es específico a lo que se acaba de decir, que es más difícil.

¿Qué quieres decir? Por ejemplo, si dices Me gusta el tenis y un chatbot responde Eso es bueno, la respuesta tiene sentido pero no es específica. Muchos chatbots se basan en trucos como este para ocultar el hecho de que no saben de lo que estás hablando. Por otro lado, una respuesta como Yo también: nunca me canso de Roger Federer es específica. Google usó crowdworkers para generar ejemplos de conversaciones y calificar declaraciones en alrededor de 100 conversaciones. Meena obtuvo una puntuación SSA del 79 %, en comparación con el 56 % de Mitsuku, un chatbot de última generación que ganó el Premio Loebner durante los últimos cuatro años. Incluso los compañeros de conversación humanos solo obtuvieron un 86% en esta nueva prueba.

¿Puedo hablar con Meena? Aún no. Google dice que no lanzará una demostración pública hasta que haya examinado la seguridad y el sesgo del modelo, lo que probablemente sea algo bueno. Cuando Microsoft lanzó su chatbot Tay en Twitter en 2016, comenzó a lanzar invectivas racistas y misóginas en cuestión de horas.