Los desafíos y amenazas de la lectura de labios automatizada

En el siglo XVI, un monje benedictino español llamado Pietro Ponce fue pionero en el arte aparentemente mágico de la lectura de labios. Aunque la técnica probablemente sea anterior a él, Ponce fue el primer maestro exitoso en lectura de labios.

Entonces, como ahora, la técnica se usaba principalmente para ayudar a las personas con dificultades auditivas a interpretar el habla. Pero también es utilizado por otros para escuchar conversaciones a escondidas. De hecho, varios experimentos muestran que nuestra capacidad para interpretar el habla mejora cuando podemos ver los labios en movimiento del hablante. En otras palabras, casi todo el mundo usa la lectura de labios hasta cierto punto.

Eso plantea una pregunta interesante. ¿Se puede automatizar y realizar por computadora el proceso de lectura de labios? Y si es así, ¿qué tan exitoso puede ser este enfoque y qué tipo de amenaza representa para la privacidad?

Hoy recibimos algunas respuestas gracias al trabajo de Ahmad Hassanat en la Universidad de Mu'tah en Jordania. Describe los desafíos que enfrentan los investigadores en el campo de la lectura de labios automatizada, también conocida como reconocimiento visual del habla. Lo que queda claro de su análisis es que si la lectura de labios se va a automatizar con éxito, aún se deben superar desafíos importantes.

El proceso fundamental de la lectura de labios es reconocer una secuencia de formas formadas por la boca y luego relacionarla con una palabra o secuencia de palabras específicas.

Aquí hay un desafío importante. Durante el habla, la boca forma entre 10 y 14 formas diferentes, conocidas como visemas. Por el contrario, el habla contiene alrededor de 50 sonidos individuales conocidos como fonemas. Entonces, un solo visema puede representar varios fonemas diferentes.

Y ahí radica el problema. Por lo general, una secuencia de visemas no se puede asociar con una sola palabra o secuencia de palabras. En cambio, una secuencia de visemas puede tener varias soluciones diferentes. El desafío para el lector de labios es elegir el que ha usado el hablante.

El problema se ve agravado por el hecho de que los labios de un hablante a menudo están oscurecidos, por lo que, en promedio, un lector de labios solo ve alrededor del 50 por ciento de las palabras habladas. El resultado es que la lectura de labios no es perfecta ni siquiera para los practicantes más experimentados.

Los experimentos muestran lo difícil que es, incluso cuando el vocabulario es muy limitado. cuando se les pide a las personas que decidan cuáles de los dígitos del 1 al 9 han sido pronunciados, simplemente leyendo los labios, su tasa de éxito promedia un poco más del 50 por ciento. No es bueno en absoluto.

Por lo tanto, es fácil imaginar que las perspectivas de automatización de esta técnica son escasas. Pero Hassanat apunta a un creciente cuerpo de investigación que aborda este problema, ayudado por una rápida mejora en la visión artificial en los últimos años.

El primer problema para la lectura de labios automatizada es el reconocimiento de rostros y labios. Esto ha mejorado a pasos agigantados en los últimos años. Un desafío más difícil es reconocer, extraer y categorizar las características geométricas de los labios durante el habla.

Esto se hace midiendo la altura y el ancho de los labios, así como otras características, como la forma de la elipse que delimita los labios, la cantidad de dientes a la vista y el enrojecimiento de la imagen, que determina la cantidad de lengua visible. .

Determinar el contorno exacto de los labios es difícil debido a la diferencia relativamente pequeña entre los píxeles que muestran la cara y los labios. De hecho, Hassanat dice que esto no es necesario ya que la elipse delimitadora y la altura y forma de la boca proporcionan una aproximación decente de los contornos reales. Argumentamos que no es necesario usar todos o algunos de los puntos del contorno del labio para definir la forma externa de los labios, dice.

Sin embargo, los experimentos que él y otros han realizado han encontrado otros problemas. Una es que las barbas y los bigotes pueden confundir significativamente los sistemas de reconocimiento de voz visual. En consecuencia, tienen más éxito con hablantes mujeres que con hombres.

Otro problema es que algunas personas son más expresivas con los labios que otras, por lo que es más fácil interpretar lo que dicen solo a partir de los movimientos de los labios. De hecho, algunas personas apenas mueven los labios y estas llamadas personas sin palabras visuales son casi imposibles de interpretar.

Sin embargo, el propio sistema de reconocimiento de voz visual de Hassanat es notablemente bueno. Sus experimentos logran una tasa de éxito promedio del 76 por ciento, aunque en condiciones cuidadosamente controladas. La tasa de éxito es aún mayor para las mujeres debido a la ausencia de barbas y bigotes.

Todo esto sugiere que existe un potencial significativo para los sistemas de reconocimiento de voz visual en el futuro, particularmente como ayuda para otras formas de reconocimiento de voz.

Sin embargo, quedan desafíos importantes. En particular, Hassanat señala que los mejores lectores de labios humanos se basan en cantidades significativas de información adicional para interpretar el habla, como el contexto de la conversación, los movimientos corporales del hablante y un buen conocimiento de la gramática, los modismos y el habla común.

Estos son factores con los que las computadoras aún tienen que lidiar. La lectura de labios automatizada aún puede estar algo lejana, pero los primeros signos indican que no es imposible.

Y eso plantea toda una serie de otros problemas relacionados con la privacidad. Por ejemplo, puede ser que los videos de conversaciones sin sonido sean imposibles de interpretar ahora pero que sean fáciles de interpretar en el futuro. ¿Cómo podrían ser justos los políticos, los líderes empresariales y las figuras populares bajo ese tipo de análisis futuro?

Algo en lo que pensar la próxima vez que vea una cámara de circuito cerrado de televisión.

Ref: arxiv.org/abs/1409.1411 : reconocimiento de voz visual

esconder