Un nuevo aula inmersiva utiliza inteligencia artificial y realidad virtual para enseñar chino mandarín

Una imagen de estudiantes de pie en el entorno virtual inmersivo. Instituto Politécnico Rensselaer

A menudo, la mejor manera de aprender un idioma es sumergirse en un entorno donde la gente lo hable. La exposición constante, junto con la presión para comunicarse, lo ayuda a aprender y practicar vocabulario nuevo rápidamente. Pero no todo el mundo tiene la oportunidad de vivir o estudiar en el extranjero.

En una nueva colaboración con IBM Research, el Instituto Politécnico Rensselaer (RPI), una universidad con sede en Troy, Nueva York, ahora ofrece a sus estudiantes que estudian chino otra opción: un entorno virtual de 360 ​​grados que los teletransporta a las concurridas calles de Beijing o un restaurante chino lleno de gente. Los estudiantes pueden regatear con los vendedores ambulantes o pedir comida, y el entorno está equipado con diferentes capacidades de inteligencia artificial para responderles en tiempo real. Si bien el aula es en gran medida experimental, se utilizará por primera vez en un curso de crédito de seis semanas en la universidad este verano.

El proyecto fue inspirado por dos miembros de la facultad de RPI que a menudo usaban juegos de rol para ayudar a sus estudiantes a aprender chino. Paralelamente, en los últimos años, varios estudios han descubierto que los entornos de aprendizaje interactivo pueden aumentar la comprensión y la retención del idioma. Un estudio publicado en 2018 también se encontraron que aprender japonés en un entorno virtual 3D hizo que los estudiantes tuvieran más probabilidades de aprender el vocabulario que encontraron incidentalmente a través de la simulación. Sobre la base de estas ideas, los profesores iniciaron una colaboración con IBM Research para explorar si podían replicar tales beneficios para sus propios estudiantes.

Además de rodear a los alumnos con proyecciones digitales de una escena, el entorno utiliza varios tipos de sensores para adaptarse dinámicamente a las palabras y acciones de los alumnos. Los micrófonos que llevan los participantes transmiten su audio directamente a los algoritmos de reconocimiento de voz. Las cámaras rastrean sus movimientos y gestos para registrar cuando apuntan a varios objetos o se acercan a diferentes agentes virtuales. Si un estudiante señala un plato de comida en la escena del restaurante y pregunta qué es, por ejemplo, un agente virtual puede responder con el nombre y la descripción. La tecnología de generación narrativa también permite que cada agente construya respuestas más sofisticadas a preguntas improvisadas (¿Cuál es la historia del plato?) utilizando el conocimiento de Wikipedia. (Sin embargo, los temas de conversación todavía están algo limitados a cualquier tarea que el estudiante esté tratando de completar).

Las cámaras y los sensores rastrean los gestos de los estudiantes para que puedan señalar libremente los objetos en una escena para participar. Instituto Politécnico Rensselaer

Muchas de las tecnologías en el medio ambiente son productos disponibles comercialmente que se entrelazaron en una experiencia cohesiva. Pero algunos tuvieron que ser desarrollados específicamente para el proyecto. El chino mandarín tiene cinco tonos, por ejemplo, que son un desafío para muchos nuevos estudiantes pero cruciales para transmitir significado. Di la palabra vender (卖 molienda ) un poco fuera de lugar y podrías terminar diciendo comprar (买 mǎi ) en lugar de. Entonces, los investigadores crearon un algoritmo para analizar los tonos en la pronunciación de los estudiantes. Los compara con los de hablantes nativos y muestra dónde difieren, y luego proporciona comentarios de audio y visuales directamente en el entorno. Permite a los estudiantes preguntarle a un agente virtual cómo decir algo e inmediatamente comenzar a practicar el nuevo vocabulario.

Hui Su, director del Laboratorio de Sistemas Cognitivos e Inmersivos, la colaboración entre IBM Research y RPI que lideró la iniciativa, dice que su equipo aún se encuentra en las primeras etapas para comprender qué tan efectivo es. Pero en una prueba piloto a fines de 2017, los investigadores encontraron cualitativamente que aumentó la participación y el disfrute de los estudiantes en el aprendizaje de idiomas y los ayudó a adquirir rápidamente nuevas palabras.

Antes de un ejercicio de pedido de restaurante, por ejemplo, a los estudiantes no se les enseñó cómo pagar su comida, pero al observar a sus compañeros y conversar con los agentes virtuales, muchos adquirieron el vocabulario necesario para hacerlo. Fue un poco una sorpresa, dice Su. Uno de los estudiantes comentó que esta debería ser la forma de enseñar el idioma, agrega.

Un algoritmo brinda a los estudiantes información visual sobre la pronunciación de su tono. Instituto Politécnico Rensselaer

En el primer año, el nuevo curso utilizará el entorno virtual casi la mitad del tiempo y un aula tradicional el resto, aunque esta disposición podría cambiar en el futuro.

Si la clase proporciona pruebas sólidas de la mejora de los resultados de aprendizaje de los estudiantes, podría servir como modelo para otros. La idea más obvia sería extenderlo a otros idiomas. Pero también podría usarse más allá de las universidades para capacitar a ejecutivos, capacitar al personal del gobierno o realizar cualquier otra actividad de preparación que pueda beneficiarse de la simulación de escenarios y el juego de roles.

En última instancia, la iniciativa ayudará a la misión a largo plazo de los investigadores de comprender cómo los entornos cognitivos y de inmersión pueden afectar el aprendizaje, la colaboración y la creación de sentido, dice Su.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.

esconder