211service.com
La inteligencia artificial de Twitter sabe lo que sucede en los videoclips en vivo
En este momento, alguien en algún lugar está transmitiendo en vivo algo interesante. Gracias a la tecnología que está desarrollando un equipo de investigadores de inteligencia artificial en Twitter, es posible que pronto puedas encontrarla.
La transmisión en vivo se está volviendo cada vez más popular a través de aplicaciones para teléfonos inteligentes como Periscopio de Twitter, suricata , y, más recientemente, Facebook en vivo . Pero el contenido de video en vivo generalmente no está bien etiquetado o categorizado, a menudo porque las personas no saben lo que grabarán hasta que la cámara comienza a rodar.
El equipo de IA de Twitter, conocido como Corteza , ha desarrollado un algoritmo que puede reconocer instantáneamente lo que sucede en una transmisión en vivo. El algoritmo puede decir, por ejemplo, si la estrella de un clip está tocando la guitarra, haciendo una demostración de una herramienta eléctrica o si en realidad es un gato haciéndolo para los espectadores.
El contenido siempre cambia en Periscope y, de manera más general, en los videos en vivo, dice Clement Farabet, quien es el líder de tecnología de Cortex. Farabet demostró la tecnología de reconocimiento de video a Revisión de tecnología del MIT, mostrando una pantalla de unas dos docenas de fuentes de Periscope, todas etiquetadas en tiempo real.
Identificar el contenido de un video en vivo es un truco bastante impresionante. Los investigadores han logrado un progreso impresionante en los últimos años con algoritmos que pueden identificar objetos en fotografías, pero es mucho más difícil hacerlo con un video en vivo de calidad variable. Para hacerlo al instante también se requiere una potencia informática considerable. Twitter construyó efectivamente una supercomputadora personalizada hecha completamente de unidades de procesamiento de gráficos (GPU) para realizar la clasificación de video y entregar los resultados. Estos chips son especialmente eficientes para los cálculos matemáticos necesarios para el aprendizaje profundo, pero normalmente son solo una parte de un sistema informático más grande.
Es todo un desafío incluso para videos estáticos, y para videos en tiempo de ejecución deben tener mucha potencia de procesamiento, dice Pedro Brusilovsky , profesor de la Universidad de Pittsburgh que estudia la personalización de contenidos.
Brusilovsky dice que se necesitan con urgencia mejores formas de filtrar videos. Por lo general, los videos no se pueden escanear, dice. Como resultado, la recomendación es muy importante. Es una especie de pieza faltante del video.
Recomendar videos generalmente implica mostrarle a una persona clips que ha visto otra persona que parece tener gustos similares (un enfoque conocido como filtrado colaborativo). Sin embargo, este es un indicador crudo de interés real y no funciona para el contenido que se transmite en vivo.
El equipo de Cortex tiene la ambición de desarrollar un sistema de recomendación sofisticado para ayudar a filtrar y seleccionar todo tipo de contenido compartido a través del servicio, en función de la actividad previa de un usuario.
La tecnología de reconocimiento de video desarrollada por el equipo de Cortex aún no se ha incorporado a ninguno de los productos de Twitter, pero se está probando en Periscope, una aplicación propiedad de Twitter que permite a los usuarios transmitir videos en vivo desde sus teléfonos inteligentes. El equipo está utilizando un enfoque conocido como aprendizaje profundo para reconocer la actividad en los clips. El aprendizaje profundo implica entrenar una gran red neuronal simulada para reconocer entradas de una gran cantidad de ejemplos. Los ejemplos son proporcionados por personal pagado para ver videos y agregar palabras clave. Este proceso de etiquetado proporciona una comprensión semántica bastante compleja de los videoclips. Por ejemplo, un video que muestra un gato puede clasificarse no solo como gato, sino también como animal, felino, mamífero y más. Esto ofrece una forma más sofisticada de explorar clips.
El video en vivo se está convirtiendo rápidamente en una parte importante del panorama de las redes sociales.
Twitter adquirió Periscope en enero de 2015, incluso antes de que se lanzara la aplicación, por una suma supuestamente superior a los 50 millones de dólares. Esto siguió al gran éxito de Meerkat, otra aplicación vinculada a Twitter. Facebook lanzó su propio servicio de video en vivo a principios de 2015, y la compañía aumentó la importancia de la función a principios de este mes al agregarla a la página de inicio que ve cada usuario.
Todavía no hay planes para monetizar la tecnología, y Periscope actualmente no presenta publicidad. Pero no es difícil imaginar cómo una herramienta de este tipo podría ser útil para la publicidad, al hacer coincidir algorítmicamente los anuncios con el contenido de los videos a medida que se filman y transmiten. A medida que más y más videos se mueven en línea, de hecho, el algoritmo podría ayudar a Twitter a adaptar los anuncios a dicho contenido de manera mucho más eficiente. En particular, este mes la compañía ganó el derecho de transmitir en vivo ciertas imágenes de la NFL.
ben edelman , profesor asociado en el Centro Berkman de Harvard y experto en medios y publicidad en línea, dice que la técnica desarrollada por Twitter podría resultar importante para filtrar contenido protegido por derechos de autor, así como contenido indeseable como pornografía o violencia.
Pero Farabet está igualmente interesada en encontrar cosas que la gente quiera ver. Tener la capacidad de comprender verdaderamente lo que le interesa, de manera completamente independiente de quién lo produjo o cuándo se produjo, es una capacidad fundamental que realmente queremos tener, dice.