Máquina de inteligencia artificial intenta comprender los cómics... y falla

La lista de actividades en las que las máquinas de inteligencia artificial han superado a los humanos está aumentando a un ritmo alarmante. El reconocimiento facial, el reconocimiento de objetos, el ajedrez, Go, varios videojuegos y muchas otras tareas han caído en esta batalla.

Por lo tanto, es natural preguntar sobre los tipos de tareas con las que las máquinas aún tienen dificultades. ¿Dónde gobiernan todavía los humanos?

Hoy recibimos una especie de respuesta gracias al trabajo de Mohit Iyyer de la Universidad de Maryland en College Park y algunos amigos. Estos tipos preguntan qué tan bien la inteligencia artificial puede entender los cómics y apenas pueden resistirse a dar un puñetazo al aire para revelar que las máquinas ocupan un lamentable segundo lugar en comparación con los humanos.

Los cómics cuentan historias utilizando una secuencia de paneles que consisten en imágenes dibujadas a mano y, a menudo, muy estilizadas que tienen un carácter muy diferente al de las fotografías. Estos paneles también están anotados con texto en forma de burbujas de pensamiento, globos de diálogo y cuadros narrativos.

El texto y las imágenes trabajan en estrecha colaboración; a menudo tan de cerca que la historia no se puede seguir usando solo las imágenes o el texto. Incluso entonces, el lector tiene que hacer inferencias y extrapolaciones significativas al pasar de un panel a otro. Muchos detalles deben ser llenados por el lector.

Es lo que el creador esconde de sus páginas lo que hace que los cómics sean realmente interesantes, las conversaciones tácitas y las acciones invisibles que acechan en los espacios (o canales) entre los paneles adyacentes, dicen Iyyer y compañía. Es en el desciframiento de estos detalles que la historia se fragua en la imaginación de los lectores.

Este proceso complejo de ver un panel individual y comprender cómo se conecta con los anteriores se denomina cierre. Y por el momento es una habilidad únicamente humana.

Es por eso que Iyyer y sus colegas idearon un experimento para probar qué tan bien las máquinas también pueden hacerlo.

Estos muchachos comienzan creando una gran base de datos de historias cómicas que pueden usar para entrenar máquinas de aprendizaje profundo. Lo crean usando cómics publicados entre los años 30 y 50. Esta fue la llamada edad de oro de los cómics, que terminó a fines de la década de 1950, cuando se introdujeron estrictas normas de censura en los EE. la forma de jpegs subidos por el usuario.

Iyyer y compañía utilizaron 4000 de los cómics mejor valorados del sitio, creando una base de datos de más de 1,2 millones de paneles. Usan reconocimiento óptico de caracteres para digitalizar el texto en cada panel.

Para probar el cierre, Iyyer y su equipo diseñan una serie de experimentos en los que se muestra a una máquina una secuencia de paneles y luego tiene que predecir lo que sigue a partir de un conjunto de posibles respuestas. La tarea puede ser predecir la siguiente imagen o el siguiente fragmento de texto o hacer coincidir el texto con un carácter específico.

Primero, la máquina tiene que aprender cómo funcionan los cómics. Entonces, el equipo alimentó una proporción de los paneles y textos a varios algoritmos de aprendizaje automático para que pudieran aprender cómo los paneles se suceden entre sí. Estas máquinas están preentrenadas para reconocer objetos, pero en imágenes naturales en lugar de dibujos animados.

Después de entrenar las máquinas, el equipo las prueba en un conjunto de paneles que no han visto y les pide que predigan la siguiente imagen o texto de la serie.

Los resultados son asombrosos. Si bien los humanos pueden predecir correctamente el siguiente fragmento de texto o la siguiente imagen más del 80 por ciento de las veces, las máquinas nunca se acercan a este nivel de precisión. Ninguna de las arquitecturas supera las líneas de base humanas, lo que habla de la dificultad de entender los cómics, dicen Iyyer y compañía. Las características de la imagen obtenidas de modelos entrenados en imágenes naturales no pueden capturar la gran variedad de estilos artísticos, y los modelos textuales luchan con la riqueza y la ambigüedad del diálogo coloquial que depende en gran medida de los contextos visuales.

Eso no sorprende dado el sentido común necesario para seguir estas historias y el conocimiento cultural requerido para comprender la lógica de la narración en los cómics.

Así que los humanos siguen siendo maestros en esta tarea, al menos por el momento.

Pero las máquinas seguramente mejorarán a medida que aprendan las habilidades sociales y de inferencia que creemos que nos hacen humanos.

Y eso plantea una posibilidad interesante. Las máquinas de IA han vencido a los humanos en el ajedrez, ¡Peligro! , Ir, y muchas otras tareas. Quizás su próximo desafío debería ser comprender los cómics mejor que los humanos, y tal vez incluso crear narrativas de esta manera. Eso enfrentaría a Google DeepMind o cualquiera de sus competidores contra los personajes de Marvel o DC Comics. La batalla perfecta y sin duda una que sería divertida.

Ref: arxiv.org/abs/1611.05118 : Los asombrosos misterios de la alcantarilla: hacer inferencias entre paneles en narrativas de historietas

esconder