211service.com
Traductor de lengua de signos
Los diccionarios bilingües suelen ser una vía de doble sentido: puede buscar una palabra en inglés y encontrar, digamos, su equivalente en español, pero también puede hacer lo contrario. Los diccionarios de lenguaje de señas, sin embargo, traducen solo de palabras escritas a gestos. Esto puede ser muy frustrante, especialmente para los padres de niños sordos que quieren entender gestos desconocidos o para las personas sordas que quieren interactuar en línea usando su idioma principal. Los investigadores de la Universidad de Boston (BU) están desarrollando un diccionario de búsqueda para lenguaje de señas , en el que cualquier usuario puede ingresar un gesto en el motor de búsqueda de un diccionario desde su propia computadora portátil al iniciar sesión frente a una cámara incorporada.
Buscando por signo: Investigadores de Boston están diseñando el primer diccionario de lenguaje de señas en el que se pueden realizar búsquedas mediante gestos. Un firmante (en la foto) se sienta en un estudio equipado con cámaras de alta velocidad que capturan movimientos de manos y expresiones faciales. Los videos en una computadora portátil la impulsan a hacer señales particulares. El video del firmante se utilizará para entrenar algoritmos para identificar patrones gestuales.
Es posible que tenga una colección de lenguaje de señas en YouTube, y ahora para buscar, debe buscar en inglés, dice Stan Sclaroff , profesor de informática en BU. Es el equivalente, dice Sclaroff, de buscar texto en español usando traducciones al inglés. No es natural, dice, y no es justo.
Sclaroff está desarrollando el diccionario en colaboración con Carol Neidle , profesor de lingüística en BU, y Vassilis Athitsos, profesor asistente de ciencias de la computación e ingeniería en la Universidad de Texas en Arlington. Una vez que el usuario realiza un gesto, el diccionario lo analizará y mostrará las cinco coincidencias y significados principales.
El reconocimiento de lenguaje de señas actual está [en] aproximadamente la etapa en la que estaba el reconocimiento de voz hace 20 años, dice Thad Starner , jefe del Grupo de Computación Contextual en el Instituto de Tecnología de Georgia. El grupo de Starner se ha estado desarrollando software de reconocimiento de lenguaje de señas para niños , usando guantes cargados de sensores para rastrear los movimientos de las manos. Él y sus alumnos han diseñado juegos educativos en los que los niños con discapacidad auditiva, con guantes, aprenden el lenguaje de señas. Una computadora evalúa la forma de la mano y pasa al siguiente ejercicio si el niño ha firmado correctamente.
A diferencia del trabajo de Starner, Sclaroff y Neidle tienen como objetivo un sistema sin sensores en el que cualquier persona con una cámara y conexión a Internet pueda aprender el lenguaje de señas e interactuar. El enfoque, según Starner, es único en el campo del reconocimiento del lenguaje de señas, así como en el campo de la visión por computadora.
Esto requiere mucho poder de procesamiento y tratar de lidiar con el lenguaje de señas en diferentes calidades de video es muy difícil, dice Starner. Entonces, si tienen éxito, sería genial poder buscar en la Web en lenguaje de señas.
Para abordar este difícil desafío, el equipo de la BU está pidiendo a varios firmantes que se sienten en un estudio, uno a la vez, y firmen a través de 3000 gestos en un diccionario clásico de lenguaje de señas estadounidense (ASL). Mientras firman, cuatro cámaras de alta velocidad y alta calidad captan simultáneamente vistas frontales y laterales, así como expresiones faciales. Según Neidle, las sonrisas, el ceño fruncido y las cejas levantadas son una parte del ASL que no se ha estudiado mucho y que podría ofrecer pistas sólidas sobre el significado de un gesto.
A medida que llegan los datos visuales, Neidle y sus alumnos los analizan, marcan el inicio y el final de cada signo e identifican subgestiones clave, unidades equivalentes a los fonemas del inglés. Mientras tanto, Sclaroff está utilizando esta información para desarrollar algoritmos que pueden, por ejemplo, distinguir las manos del firmante del fondo o reconocer la posición y forma de las manos y patrones de movimiento. Dado que cualquier persona podría firmar una palabra de una manera ligeramente diferente, el equipo está analizando los gestos de los firmantes nativos y no nativos, con la esperanza de desarrollar un reconocedor de computadora que pueda manejar tales variaciones.
El principal desafío en el futuro puede ser tener en cuenta los muchos factores incontrolables del lado del usuario de la interfaz, dice Sclaroff. Por ejemplo, alguien que use un gesto para ingresar una consulta de búsqueda en una computadora portátil tendrá una cámara de menor calidad. El fondo puede estar más desordenado que el entorno de estudio cuidadosamente controlado en las muestras de la base de datos, y la computadora tendrá que ajustarse a variables como la ropa y el tono de piel.
Solo producir el letrero y buscarlo, esa es la verdadera novedad que estamos tratando de lograr, dice Neidle. Eso sería una mejora con respecto a todo lo que existe ahora.