Facebook quiere que las máquinas vean el mundo a través de nuestros ojos

Revisión de tecnología del MIT | Envato

Damos por sentado que las máquinas pueden reconocer lo que ven en fotos y videos. Esa habilidad se basa en grandes conjuntos de datos como ImageNet , una colección cuidadosamente seleccionada de millones de fotos que se utilizan para entrenar a la mayoría de los mejores modelos de reconocimiento de imágenes de la última década.

Pero las imágenes en estos conjuntos de datos representan un mundo de objetos curados, una galería de imágenes que no captura el desorden de la vida cotidiana tal como la experimentan los humanos. Lograr que las máquinas vean las cosas como nosotros lo hacemos requerirá un enfoque completamente nuevo. Y el laboratorio de inteligencia artificial de Facebook quiere tomar la iniciativa.

Está poniendo en marcha un proyecto, llamado Ego4D , para construir IA que puedan comprender escenas y actividades vistas desde una perspectiva en primera persona: cómo ven las cosas las personas involucradas, en lugar de un espectador. Piense en imágenes de GoPro con movimiento borroso tomadas en medio de la acción, en lugar de escenas bien enmarcadas tomadas por alguien al margen. Facebook quiere que Ego4D haga para el video en primera persona lo que ImageNet hizo para las fotos.

Historia relacionada

¿Por qué Facebook está usando Ray-Ban para reclamar nuestros rostros?

Para construir el metaverso, Facebook necesita que nos acostumbremos a las gafas inteligentes.

Durante los últimos dos años, Facebook AI Research (FAIR) ha trabajado con 13 universidades de todo el mundo para ensamblar el conjunto de datos de video en primera persona más grande hasta la fecha, específicamente para entrenar modelos de reconocimiento de imágenes de aprendizaje profundo. Las IA entrenadas en el conjunto de datos serán mejores para controlar robots que interactúan con personas o interpretar imágenes de gafas inteligentes. Las máquinas podrán ayudarnos en nuestra vida diaria solo si realmente entienden el mundo a través de nuestros ojos, dice Kristen Grauman de FAIR, quien lidera el proyecto.

Dicha tecnología podría ayudar a las personas que necesitan asistencia en el hogar o guiar a las personas en las tareas que están aprendiendo a completar. El video en este conjunto de datos está mucho más cerca de cómo los humanos observan el mundo, dice Michael Ryoo, investigador de visión por computadora en Google Brain y la Universidad de Stony Brook en Nueva York, que no está involucrado en Ego4D.

Pero los posibles abusos son claros y preocupantes. La investigación está financiada por Facebook, un gigante de las redes sociales que recientemente ha sido acusado en el Senado de los Estados Unidos de poner las ganancias por encima del bienestar de las personas —según lo corroborado por MIT Technology Review propias investigaciones .

El modelo comercial de Facebook y otras empresas de Big Tech consiste en extraer la mayor cantidad de datos posible del comportamiento en línea de las personas y venderlos a los anunciantes. La IA descrita en el proyecto podría extender ese alcance al comportamiento cotidiano de las personas fuera de línea, revelando qué objetos hay alrededor de su hogar, qué actividades disfrutó, con quién pasó el tiempo e incluso dónde se detuvo su mirada: un grado de información personal sin precedentes.

Hay trabajo sobre la privacidad que debe hacerse a medida que saca esto del mundo de la investigación exploratoria y lo lleva a algo que es un producto, dice Grauman. Ese trabajo podría incluso estar inspirado en este proyecto.

FACEBOOK

El conjunto de datos anterior más grande de video en primera persona consta de 100 horas de imágenes de personas en la cocina. El conjunto de datos de Ego4D consta de 3025 horas de video grabado por 855 personas en 73 ubicaciones diferentes en nueve países (EE. UU., Reino Unido, India, Japón, Italia, Singapur, Arabia Saudita, Colombia y Ruanda).

Los participantes tenían diferentes edades y antecedentes; algunos fueron reclutados por sus ocupaciones visualmente interesantes, como panaderos, mecánicos, carpinteros y paisajistas.

Los conjuntos de datos anteriores generalmente consistían en clips de video semiescritos de solo unos segundos de duración. Para Ego4D, los participantes usaron cámaras montadas en la cabeza por hasta 10 horas seguidas y capturaron videos en primera persona de actividades diarias sin guión, como caminar por la calle, leer, lavar la ropa, ir de compras, jugar con mascotas, jugar juegos de mesa y interactuando con otras personas. Algunas de las imágenes también incluyen audio, datos sobre dónde se enfocó la mirada de los participantes y múltiples perspectivas en la misma escena. Es el primer conjunto de datos de este tipo, dice Ryoo.

FAIR también ha lanzado una serie de desafíos que espera centren los esfuerzos de otros investigadores en el desarrollo de este tipo de IA. El equipo anticipa algoritmos integrados en gafas inteligentes, como Las Ray-Ban recientemente anunciadas por Facebook , que registran y registran la vida cotidiana de los usuarios. Significa que las aplicaciones de metaverso de realidad aumentada o virtual podrían, en teoría, responder preguntas como ¿Dónde están las llaves de mi auto? o ¿Qué comí y junto a quién me senté en mi primer vuelo a Francia? Los asistentes de realidad aumentada podrían entender lo que está tratando de hacer y ofrecer instrucciones o pistas sociales útiles.

Son cosas de ciencia ficción, pero más cercanas de lo que piensas, dice Grauman. Grandes conjuntos de datos aceleran la investigación. ImageNet impulsó algunos grandes avances en poco tiempo, dice ella. Podemos esperar lo mismo para Ego4D, pero para vistas del mundo en primera persona en lugar de imágenes de Internet.

Una vez que se recopilaron las imágenes, los trabajadores colaborativos en Ruanda pasaron un total de 250 000 horas viendo los miles de videoclips y escribiendo millones de oraciones que describen las escenas y actividades filmadas. Estas anotaciones se utilizarán para entrenar a las IA para que comprendan lo que están viendo.

Historia relacionada

Los conjuntos de datos plagados de errores están distorsionando nuestro sentido de cuán buena es realmente la IA

Nuestra comprensión del progreso en el aprendizaje automático se ha visto afectada por datos de prueba defectuosos.

Queda por ver dónde termina esta tecnología y qué tan rápido se desarrolla. FAIR está planeando una competencia basada en sus desafíos en junio de 2022. También es importante señalar que FAIR, el laboratorio de investigación, no es lo mismo que Facebook, el megalodón de los medios. De hecho, los expertos dicen que Facebook ha ignorado las soluciones técnicas que FAIR ha propuesto para sus algoritmos tóxicos . Pero Facebook está pagando por la investigación, y es falso pretender que la empresa no está muy interesada en su aplicación.

Sam Gregory de Witness, una organización de derechos humanos que se especializa en tecnología de video, dice que esta tecnología podría ser útil para los transeúntes que documentan protestas o abuso policial. Pero cree que esos beneficios se ven superados por las preocupaciones en torno a las aplicaciones comerciales. Señala que es posible identificar a las personas por cómo sostienen una cámara de video. Los datos de mirada serían aún más reveladores: es un indicador muy fuerte de interés, dice. ¿Cómo se almacenarán los datos de la mirada? ¿Para quién será accesible? ¿Cómo podría ser procesado y utilizado?

La reputación de Facebook y el modelo de negocio central hacen sonar muchas alarmas, dice Rory Mir de Electronic Frontier Foundation. En este punto, muchos son conscientes del historial deficiente de Facebook en materia de privacidad y de su uso de la vigilancia para influir en los usuarios, tanto para mantener a los usuarios enganchados como para vender esa influencia a sus clientes que pagan, los anunciantes. Cuando se trata de realidad aumentada y virtual, Facebook busca una ventaja competitiva, dice Mir: expandir la cantidad y los tipos de datos que recopila es esencial.

Cuando se le preguntó acerca de sus planes, como era de esperar, Facebook se mantuvo callado: Ego4D es puramente investigación para promover avances en la comunidad científica en general, dice un portavoz. No tenemos nada que compartir hoy sobre aplicaciones de productos o uso comercial.

esconder