211service.com
El software de inteligencia artificial se enfrenta a los estudiantes de cuarto grado en las pruebas de ciencias
¿En qué estación del año el pelaje de un conejo es más espeso? Un programa de computadora llamado Aristo puede decírtelo porque leyó acerca de los osos con pieles más gruesas durante el invierno en una guía de estudio de cuarto grado, y sabe que los conejos también son mamíferos. Es estudiar para los exámenes de ciencias estándar del estado de Nueva York.
Aristo está siendo desarrollado por investigadores del Instituto Allen de Inteligencia Artificial en Seattle, que quieren dar a las máquinas una medida de sentido común sobre el mundo. El director general del instituto, oren etzioni , dice que la mejor manera de comparar el desarrollo de su descendencia digital es usar pruebas diseñadas para escolares. Está tratando de convencer a otros investigadores de IA para que adopten pruebas escolares estandarizadas como una forma de medir el progreso en el campo.
Podemos poner nuestra comprensión del progreso en IA y en lenguaje natural sobre una base objetiva, dice Etzioni. Ser capaz de comparar los méritos de diferentes enfoques debería facilitar la identificación de enfoques prometedores y podría acelerar el progreso, dice.
A principios de octubre, el Instituto Allen lanzará un concurso que desafía a los investigadores a crear software para responder preguntas de ciencias de octavo grado. La competencia está alojada en el sitio web de ciencia de datos. Kaggle , donde los participantes podrán acceder a miles de preguntas de práctica para entrenar su software. Se otorgará un premio de $ 50,000 al creador del software que obtenga la mejor puntuación en preguntas que no haya visto antes.
En este momento, Aristo no está cerca de aprobar el examen de ciencias de cuarto grado. Eso requiere una puntuación del 65 por ciento. Aristo solo puede responder las preguntas de opción múltiple, que constituyen alrededor de dos tercios de la prueba. Obtiene alrededor del 75 por ciento en aquellos que no involucran diagramas y 45 por ciento en los que sí, dice Etzioni. Aristo obtiene un 63 por ciento en preguntas de opción múltiple de octavo grado que excluyen diagramas.
Puedes ver Aristóteles responder preguntas seleccionadas de cuarto grado en el sitio web del Instituto Allen. El software utiliza algoritmos de razonamiento para responder preguntas utilizando el conocimiento recopilado de las guías de estudio y la Web.
Encontrar una manera de poner incluso una pizca de sentido común en el software es un desafío importante en la IA, y podría llevar a que las computadoras nos ayuden de muchas maneras nuevas. Si queremos construir sistemas que sean robustos y más naturales para que las personas trabajen con ellos, necesitarán estas habilidades, dice Etzioni.
Es una opinión compartida por otros investigadores líderes, incluido el laboratorio de inteligencia artificial en expansión de Facebook, que quiere habilitar asistentes virtuales capaces de mantener una conversación básica (ver Enseñar a las máquinas a entendernos). Una de las razones por las que los asistentes virtuales existentes, como Siri de Apple o Cortana de Microsoft, son muy limitados es que deben arreglárselas sin sentido común. Usan lo que dices para seleccionar de una cartera de reglas preprogramadas.
ernesto davis , profesor de la Universidad de Nueva York, está de acuerdo en que una forma de comparar el sentido común de una máquina podría ayudar al campo. Pero él no cree que usar pruebas escolares sea una buena opción.
El uso de pruebas creadas para niños tiene la ventaja de garantizar que los investigadores no hagan demasiado fácil, accidental o intencionalmente, el punto de referencia para su campo, dice. Pero debido a que los niños son mucho mejores para comprender el mundo que las máquinas, las pruebas escritas para ellos no se pueden usar para probar las habilidades más importantes para progresar con el software inteligente, dice.
Lo que es difícil para los humanos es muy diferente de lo que es difícil para las máquinas, dice Davis, quien también trabaja para darle sentido común al software. Las pruebas estandarizadas para humanos no cubren muy bien los tipos de problemas que son difíciles para las computadoras.
Davis dice que una mejor alternativa sería elaborar preguntas de estilo de examen específicamente para máquinas. Una pregunta de ejemplo que creó sugiere que un examen de ciencias diseñado para máquinas podría parecer muy básico para un alumno de cuarto grado: la vaca favorita de Sally murió ayer. La vaca probablemente volverá a estar viva a) mañana; b) dentro de una semana; c) dentro de un año; d) dentro de algunos años; e) la vaca nunca volverá a vivir.
Etzioni responde que aunque las preguntas de los exámenes escolares no evalúan directamente el sentido común muy básico, lo requieren implícitamente, porque es necesario para interpretar las preguntas. Solo usando preguntas diseñadas para humanos podemos realmente decir que estamos midiendo máquinas contra nuestros propios estándares, dice. Poner a los humanos y las máquinas en pie de igualdad tiene sentido.