211service.com
Búsqueda de video por vista y guión
La adquisición de YouTube.com esta semana por parte de Google ha generado esperanzas de que la búsqueda de videos mejorará. Cada día se cargan más de 65.000 videos en YouTube, según el sitio web. Con todo ese contenido, encontrar el clip correcto puede resultar complicado.
Ahora, los investigadores han desarrollado un sistema que utiliza una combinación de reconocimiento facial, información de subtítulos y guiones de televisión originales para nombrar automáticamente las caras que aparecen en la pantalla, creando episodios del programa de televisión. Buffy la caza vampiros buscable.
Básicamente, vemos este trabajo como uno de los primeros pasos para obtener descripciones automáticas de lo que sucede en un video, dice Mark Everingham , un científico de la computación ahora en la Universidad de Leeds (antes de la Universidad de Oxford), quien presentó su investigación en la Conferencia Británica de Visión Artificial en septiembre.
Actualmente, las búsquedas de videos ofrecidas por Video de AOL , Google , y YouTube no busque el contenido de un video en sí, sino que confíe principalmente en metadatos o descripciones de texto, escritas por los usuarios para desarrollar un índice de búsqueda de contenido multimedia basado en la Web.
Los usuarios cargan con frecuencia (e ilegalmente) fragmentos de sus comedias de situación favoritas en sitios para compartir videos como YouTube. Por ejemplo, una búsqueda reciente de Buffy the Vampire Slayer apareció cerca de 2.000 clips en YouTube, muchos de ellos vistos miles de veces. La mayoría de estos clips duran menos de cinco minutos y las descripciones son vagas. Uno titulado Ha llegado un nuevo día, por ejemplo, es descrito por un usuario de la siguiente manera: contiene principalmente a Buffy y Spike. Muestra cómo Spike estuvo allí para Buffy hasta que murió y ella se sintió sola después.
Everingham dice que el trabajo anterior en la búsqueda de videos ha utilizado datos de subtítulos para encontrar videos, pero no sabe que nadie haya usado su método, que combina, en el tour de force técnico, los subtítulos y la anotación del guión. El guión te dice lo que se dice y quién lo dijo y los subtítulos te dicen a qué hora se dice algo, explica. El software de Everingham combina esas dos fuentes de información con poderosas herramientas desarrolladas previamente para rastrear rostros e identificar hablantes sin la necesidad de intervención del usuario.
¿Qué hizo el Buffy Un desafío de este tipo, dice Everingham, es que en el cine y la televisión, la persona que habla no siempre está en la toma. La estrella, Buffy, puede estar hablando fuera de la pantalla o de espaldas a la cámara, por ejemplo, y la cámara le mostrará las reacciones del oyente. Otras veces, puede haber varios actores en la pantalla o la cara del actor no está directamente frente a la cámara. Todas estas ambigüedades son fáciles de interpretar para los humanos, pero difíciles para las computadoras, al menos hasta ahora. Everingham dice que su sistema multimodal es preciso hasta el 80 por ciento de las veces.
Un solo episodio de Buffy puede tener hasta 20.000 instancias de caras detectadas, pero la mayoría de estas instancias surgen de varios fotogramas de un solo personaje en una toma determinada. El software rastrea puntos de referencia clave en las caras de los actores (fosas nasales, pupilas y ojos, por ejemplo) y si uno de ellos se superpone con el siguiente fotograma, las dos caras se consideran parte de una sola pista. Sin embargo, si estos puntos de referencia no están claros, el software utiliza una descripción de la ropa para unir dos huellas faciales rotas. Finalmente, el software también observa los labios de los actores para identificar quién está hablando o si el orador está fuera de la pantalla. En última instancia, el sistema produce una anotación detallada del video reproducción por reproducción.
La idea general es que desea obtener más información sin que la gente la capture, dice Alex Berg en el Grupo de Visión por Computadora en la Universidad de California, Berkeley. Si desea encontrar una escena en particular con un personaje, primero debe buscar las escenas que contienen ese personaje. Dice que la investigación de Everingham allanará el camino para búsquedas más complejas de programación de televisión.
El informático Josef Sivic de Oxford's Grupo de geometría visual , quien contribuyó a la Buffy proyecto, dice que en el futuro será posible buscar conceptos de alto nivel como Buffy y Spike caminando hacia la cámara de la mano o todas las escenas al aire libre que contengan a Buffy.
Timothy Tuttle, vicepresidente de AOL Video, dice: Parece que durante los próximos cinco a diez años, más y más personas elegirán qué ver en su propio horario y verán contenido a pedido. También señala que la barrera para adaptar tecnologías como la de Everingham puede que ya no sea técnica, sino legal.
Estas barreras legales han ido desapareciendo con los medios impresos porque las empresas han cosechado los beneficios económicos del contenido de búsqueda: se ha demostrado que los programas de búsqueda de Google Book Scan y Amazon impulsar las ventas de libros en los últimos dos años .
Pero no está claro si un video en el que se pueden realizar búsquedas puede aumentar las ventas de DVD de la misma manera. Actualmente, Google ofrece avances de contenido de video premium, dice la científica Michele Covell. Para ciertos géneros, como los videos deportivos, cada vez es más fácil seleccionar un clip teaser que anime a las personas a comprar el video, dice.
Shumeet Baluja, científico investigador del personal de Google, está de acuerdo en que anotar videos en la Web será un desafío, pero con el tiempo podrán agregar más y más metadatos a los videos populares fuera de línea, lo que mejorará la velocidad y precisión de búsquedas.