La visión artificial ha aprendido a usar ondas de radio para ver a través de paredes y en la oscuridad

Salida de reconocimiento de acción que muestra figuras pateando y palmeando la espalda CON CSAIL

La visión artificial tiene un historial impresionante. Tiene la capacidad sobrehumana de reconocer personas, rostros y objetos. Incluso puede reconocer muchos tipos diferentes de acciones, aunque todavía no tan bien como los humanos.

Pero hay límites para su desempeño. Las máquinas tienen un momento particularmente difícil cuando las personas, las caras o los objetos están parcialmente ocluidos. Y cuando los niveles de luz caen demasiado, quedan efectivamente cegados, al igual que los humanos.

Pero hay otra parte del espectro electromagnético que no está limitada de la misma manera. Las ondas de radio llenan nuestro mundo, ya sea de día o de noche. Atraviesan fácilmente las paredes y son transmitidos y reflejados por los cuerpos humanos. De hecho, los investigadores han desarrollado varias formas de utilizar las señales de radio Wi-Fi para ver a puerta cerrada.

Pero estos sistemas de visión por radio tienen algunas deficiencias. Su resolución es baja; las imágenes son ruidosas y están llenas de reflejos que distraen, lo que dificulta entender lo que está sucediendo.

En este sentido, las imágenes de radio y las imágenes de luz visible tienen ventajas y desventajas complementarias. Y eso plantea la posibilidad de utilizar las fortalezas de uno para superar las deficiencias del otro.

Ingrese a Tianhong Li y sus colegas del MIT, quienes encontraron una manera de enseñar a un sistema de visión por radio a reconocer las acciones de las personas al entrenarlo con imágenes de luz visible. El nuevo sistema de visión por radio puede ver lo que hacen las personas en una amplia gama de situaciones en las que fallan las imágenes de luz visible. Presentamos un modelo de red neuronal que puede detectar acciones humanas a través de paredes y oclusiones, y en condiciones de poca iluminación, dicen Li y compañía.

El método del equipo utiliza un buen truco. La idea básica es grabar imágenes de video de la misma escena usando luz visible y ondas de radio. Los sistemas de visión artificial ya pueden reconocer acciones humanas a partir de imágenes de luz visible. Entonces, el siguiente paso es correlacionar esas imágenes con las imágenes de radio de la misma escena.

Pero la dificultad radica en garantizar que el proceso de aprendizaje se centre en el movimiento humano en lugar de otras características, como el fondo. Entonces, Li y compañía introducen un paso intermedio en el que la máquina genera modelos de figuras de palitos en 3D que reproducen las acciones de las personas en la escena.

Al traducir la entrada a una representación intermedia basada en esqueleto, nuestro modelo puede aprender de conjuntos de datos basados ​​en visión y radiofrecuencia, y permitir que las dos tareas se ayuden entre sí. decir Li y compañía.

De esta manera, el sistema aprende a reconocer acciones en luz visible y luego a reconocer las mismas acciones que tienen lugar en la oscuridad o detrás de las paredes, utilizando ondas de radio. Mostramos que nuestro modelo logra una precisión comparable a los sistemas de reconocimiento de acciones basados ​​en la visión en escenarios visibles, pero continúa funcionando con precisión cuando las personas no son visibles, dicen los investigadores.

Es un trabajo interesante que tiene un potencial significativo. Las aplicaciones obvias se encuentran en escenarios donde las imágenes de luz visible fallan, en condiciones de poca luz y a puertas cerradas.

Pero también hay otras aplicaciones. Un problema con las imágenes de luz visible es que las personas son reconocibles, lo que plantea problemas de privacidad.

Pero un sistema de radio no tiene la resolución para el reconocimiento facial. Identificar acciones sin reconocer rostros no genera los mismos temores de privacidad. Puede llevar el reconocimiento de acciones a los hogares de las personas y permitir su integración en sistemas domésticos inteligentes, dicen Li y compañía. Eso podría usarse para monitorear la casa de una persona mayor y alertar a los servicios apropiados sobre una caída, por ejemplo. Y lo haría sin mucho riesgo para la privacidad.

Eso está más allá de la capacidad de los sistemas basados ​​en visión actuales.

Ref: arxiv.org/abs/1909.09300 : Haciendo visible lo invisible: Reconocimiento de acciones a través de muros y oclusiones

esconder