Primera computadora que iguala a los humanos en el reconocimiento de voz conversacional

Una a una, las habilidades que nos separan de las máquinas van cayendo en la columna de las máquinas. Primero fue el ajedrez, luego ¡Peligro! , luego Ir, luego reconocimiento de objetos, reconocimiento facial y videojuegos en general. Se le podría perdonar por pensar que los humanos se están volviendo obsoletos.

Pero pruebe cualquier software de reconocimiento de voz y su fe en la humanidad se restaurará rápidamente. Aunque buenos y cada vez mejores, estos sistemas no son perfectos. ¿Estás pidiendo helado o diciendo que grito? Probablemente ambos, si es una máquina con la que está hablando.

Por lo tanto, debería ser tranquilizador saber que el reconocimiento del habla conversacional común es algo en lo que las máquinas aún tienen dificultades, que los humanos aún son maestros de su propio idioma.

Esa visión puede tener que cambiar. Con rapidez. Hoy, Geoff Zweig y sus colegas de Microsoft Research en Redmond, Washington, dicen que han descifrado este tipo de reconocimiento de voz y que sus algoritmos de aprendizaje automático ahora superan a los humanos por primera vez en el reconocimiento del habla conversacional ordinaria.

La investigación del reconocimiento de voz tiene una larga historia. En la década de 1950, las primeras computadoras podían reconocer hasta 10 palabras pronunciadas con claridad por un solo hablante. En la década de 1980, los investigadores construyeron máquinas que podían transcribir un discurso simple con un vocabulario de 1000 palabras. En la década de 1990 avanzaron a grabaciones de una persona leyendo el Wall Street Journal , y luego en el discurso de noticias de transmisión.

Todos estos escenarios son cada vez más ambiciosos. Pero también son más simples que el habla ordinaria debido a varias limitaciones. El vocabulario en el Wall Street Journal se limita a los negocios y las finanzas, y las oraciones están bien estructuradas y son gramaticalmente correctas, lo que no es necesariamente cierto en el habla ordinaria. El discurso de las noticias de difusión es menos formal, pero sigue estando muy estructurado y claramente pronunciado. Todos estos ejemplos finalmente han sido conquistados por máquinas.

Pero la tarea más difícil, transcribir el habla conversacional ordinaria, ha resistido firmemente el ataque.

El habla ordinaria es significativamente más difícil debido al tamaño del vocabulario y también a los ruidos que las personas hacen cuando hablan, aparte de las palabras. Los seres humanos utilizan una variedad de ruidos para gestionar los turnos de conversación, un tipo de comunicación que los lingüistas denominan canal secundario.

Por ejemplo, UH Huh se utiliza para reconocer al hablante y señalar que debe seguir hablando. Pero Oh es una vacilación que indica que el orador tiene más que decir, una advertencia de que hay más por venir. A su vez la gerencia, Oh juega el papel opuesto a UH Huh .

Los humanos tienen poca dificultad para analizar estos sonidos y comprender su papel en una conversación. Pero las máquinas siempre han luchado con ellos.

En 2000, el Instituto Nacional de Estándares y Tecnología publicó un conjunto de datos para ayudar a los investigadores a abordar este problema. Los datos consistían en grabaciones de conversaciones ordinarias por teléfono. Algunos de estos fueron conversaciones entre individuos sobre un tema asignado. El resto fueron conversaciones entre amigos y familiares sobre cualquier tema.

La mayoría de los datos fueron para ayudar a entrenar un algoritmo de aprendizaje automático para reconocer el habla. El resto era una prueba que las máquinas tenían que transcribir.

La medida del desempeño era la cantidad de palabras que la máquina se equivocó, y el objetivo final era hacer la tarea mejor que los humanos.

Entonces, ¿qué tan buenos son los humanos? El consenso general es que cuando se trata de transcripción, los humanos tienen una tasa de error de alrededor del 4 por ciento. Es decir, transcriben incorrectamente cuatro palabras de cada cien. En el pasado, las máquinas no se han acercado a este punto de referencia.

Ahora Microsoft dice que finalmente ha igualado el rendimiento humano, aunque con una advertencia importante. Los investigadores de Microsoft comenzaron reevaluando el desempeño humano en tareas de transcripción. Hicieron esto enviando las grabaciones telefónicas en el conjunto de datos del NIST a un servicio de transcripción profesional y midiendo la tasa de error.

Para su sorpresa, encontraron que este servicio tenía una tasa de error del 5,9 por ciento para las conversaciones entre individuos sobre un tema asignado y del 11,3 por ciento para las conversaciones entre amigos y familiares. Eso es mucho más alto de lo que se había pensado.

A continuación, Zweig y compañía optimizaron sus propios sistemas de aprendizaje profundo basados ​​en redes neuronales convolucionales con un número variable de capas, cada una de las cuales procesa un aspecto diferente del habla. Luego usaron el conjunto de datos de entrenamiento para enseñarle a la máquina a comprender el habla ordinaria y soltarlo en el conjunto de datos de prueba.

Los resultados: en general, el sistema de reconocimiento de voz de Microsoft tiene una tasa de error similar a la de los humanos, pero los tipos de errores que comete son bastante diferentes.

El error más común que comete la máquina de Microsoft es confundir los sonidos del backchannel uh y uh-huh . Por el contrario, los humanos rara vez cometen ese error y, en cambio, tienden a confundir palabras como a y el o Oh y a .

En principio, no hay ninguna razón por la que una máquina no pueda ser entrenada para reconocer los sonidos del canal secundario. Zweig y sus colegas creen que la dificultad que tiene la máquina con estos ruidos probablemente tenga que ver con la forma en que se etiquetan estos ruidos en el conjunto de datos de entrenamiento. El rendimiento relativamente pobre del sistema automático aquí podría deberse simplemente a confusiones en las anotaciones de datos de entrenamiento, dicen.

En general, sin embargo, la máquina iguala la tasa de error humano del 5,9 por ciento para las conversaciones sobre un tema asignado, pero supera a los humanos en la tarea de transcribir conversaciones de amigos y familiares con una tasa de error del 11,1 por ciento. Por primera vez, informamos que el rendimiento del reconocimiento automático está a la par con el rendimiento humano en esta tarea, dicen Zweig y compañía.

Es un trabajo interesante. Microsoft puede haber movido los postes de la portería al registrar esta victoria para sus máquinas, pero la escritura está claramente en la pared. Las máquinas se están volviendo mejores que los humanos en el reconocimiento de voz. Esto tendrá implicaciones significativas en la forma en que interactuamos con las máquinas, sobre todo cuando se trata de pedir helado.

Ref: arxiv.org/abs/1610.05256 : Lograr la paridad humana en el reconocimiento de voz conversacional

esconder