211service.com
AI ha vencido a los humanos en la lectura de labios
La lectura de labios es notoriamente difícil, dependiendo tanto del contexto y el conocimiento del idioma como de las pistas visuales. Pero los investigadores están demostrando que el aprendizaje automático se puede utilizar para distinguir el habla de los videoclips silenciosos de manera más efectiva que los lectores de labios profesionales.
En un proyecto, un equipo del Departamento de Ciencias de la Computación de la Universidad de Oxford ha desarrollado un nuevo sistema de inteligencia artificial llamado LipNet. Como Cuarzo reportado , su sistema se basó en un conjunto de datos conocido como GRID, que se compone de clips bien iluminados y de cara al frente de personas que leen oraciones de tres segundos. Cada oración se basa en una cadena de palabras que siguen el mismo patrón.
El equipo usó ese conjunto de datos para entrenar una red neuronal, similar al tipo que se usa a menudo para realizar el reconocimiento de voz. En este caso, sin embargo, la red neuronal identifica variaciones en la forma de la boca a lo largo del tiempo y aprende a vincular esa información con una explicación de lo que se dice. La IA no analiza el metraje en fragmentos, sino que lo considera todo, lo que le permite obtener una comprensión del contexto de la oración que se analiza. Eso es importante, porque hay menos formas de boca que sonidos producidos por la voz humana.
Cuándo probado , el sistema pudo identificar correctamente el 93,4 por ciento de las palabras. Voluntarios humanos que leían los labios a los que se les pidió que realizaran las mismas tareas identificaron solo el 52,3 por ciento de las palabras correctamente.
Pero como Científico nuevo informes , otro equipo del Departamento de Ciencias de la Ingeniería de Oxford, que ha estado trabajando con Google DeepMind, se ha embarcado en una tarea bastante más difícil. En lugar de usar un conjunto de datos ordenado y consistente como GRID, ha estado usando una serie de 100,000 clips de video tomados de la televisión de la BBC. Estos videos tienen una gama de lenguaje mucho más amplia, con mucha más variación en la iluminación y las posiciones de la cabeza.
Utilizando un enfoque similar , el equipo de Oxford y DeepMind logró crear una IA que pudo identificar correctamente el 46,8 por ciento de todas las palabras. Eso también es mucho mejor que los humanos, que registraron solo el 12,4 por ciento de las palabras sin errores. Claramente, hay muchas razones por las que la precisión es menor, desde la iluminación y la orientación hasta la mayor complejidad del lenguaje.
Dejando a un lado las diferencias, ambos experimentos muestran que la IA supera ampliamente a los humanos en la lectura de labios, y no es difícil imaginar aplicaciones potenciales para dicho software. En el futuro, Skype podría llenar los vacíos cuando una persona que llama está en un entorno ruidoso, por ejemplo, o las personas con dificultades auditivas podrían sostener su teléfono inteligente para escuchar lo que alguien está diciendo.
(Lee mas: Cuarzo , Científico nuevo , Grupo de lectura de aprendizaje automático de Oxford , arXiv , Los desafíos y amenazas de la lectura de labios automatizada )