Los ojos virtuales entrenan el algoritmo de aprendizaje profundo para reconocer la dirección de la mirada

El contacto visual es una de las formas más poderosas de comunicación no verbal. Si los avatares y los robots alguna vez lo explotan, los científicos informáticos deberán monitorear, comprender y reproducir mejor este comportamiento.

Pero el seguimiento ocular es más fácil decirlo que hacerlo. Quizás el enfoque más prometedor es entrenar un algoritmo de aprendizaje automático para reconocer la dirección de la mirada mediante el estudio de una gran base de datos de imágenes de ojos en los que ya se conoce la dirección de la mirada.

El problema aquí es que no existen grandes bases de datos de este tipo. Y son difíciles de crear: imagina fotografiar a una persona que mira en una amplia gama de direcciones, usando todo tipo de ángulos de cámara diferentes bajo muchas condiciones de iluminación diferentes. Y luego volver a hacerlo para otra persona con una forma de ojos y una cara diferentes, y así sucesivamente. Tal proyecto requeriría mucho tiempo y sería costoso.

Hoy, Erroll Wood de la Universidad de Cambridge en el Reino Unido y algunos amigos dicen que han resuelto este problema al crear una enorme base de datos del tipo de imágenes de ojos que requiere un algoritmo de aprendizaje automático. Eso les ha permitido entrenar una máquina para que reconozca la dirección de la mirada con mayor precisión que nunca antes.

Entonces, ¿cómo han hecho esto? Su truco consiste en crear la base de datos de forma totalmente artificial. Comienzan construyendo un modelo virtual muy detallado de un ojo, un párpado y la región que lo rodea. Luego construyen este modelo en varios rostros diferentes que representan a personas de diferentes edades, colores de piel y tipos de ojos y los fotografían, virtualmente.

Las fotografías pueden ser descritas por cuatro variables diferentes. Estos son: posición de la cámara, dirección de la mirada, entorno de iluminación y modelo de ojo. Para crear la base de datos, Wood y compañía comienzan con un modelo de ojo y un entorno de iluminación en particular y comienzan con los ojos apuntando en una dirección específica. Luego varían la posición de la cámara, tomando fotografías desde una amplia gama de ángulos alrededor de la cabeza.

Luego, mueven los ojos a otra posición y repiten las variaciones en la posición de la cámara. Y así.

El resultado es una base de datos de más de 11.000 imágenes que cubren variaciones de 40 grados en el ángulo de la cámara y cambios en la variación de la mirada en 90 grados. Eligieron el color de ojos y las condiciones de iluminación ambiental al azar para cada imagen.

Finalmente, Wood y compañía usaron el conjunto de datos para entrenar una red neuronal convolucional profunda para reconocer la dirección de la mirada. Y probaron el algoritmo resultante en un conjunto de imágenes naturales tomadas de la naturaleza. Demostramos que nuestro método supera a los métodos de última generación para la estimación de la mirada basada en la apariencia de conjuntos de datos cruzados en la naturaleza, dicen.

Es un trabajo interesante. Las técnicas de aprendizaje profundo actualmente están arrasando en la ciencia de la computación gracias a dos avances. El primero es una mejor comprensión de las propias redes neuronales, lo que ha permitido a los informáticos mejorarlas significativamente.

El segundo es la creación de enormes conjuntos de datos anotados que se pueden usar para entrenar estas redes. Muchos de estos nuevos conjuntos de datos se han creado utilizando métodos de colaboración colectiva como Mechanical Turk de Amazon.

Pero Wood y compañía han adoptado un enfoque diferente. Su conjunto de datos es completamente sintético, creado dentro de una computadora. Por lo tanto, será interesante ver dónde más pueden aplicar este método sintético para crear conjuntos de datos para otros tipos de aprendizaje profundo.

Ref: arxiv.org/abs/1505.05916 : Representación de los ojos para el registro de la forma del ojo y la estimación de la mirada

esconder