211service.com
Watson sobre Jeopardy, parte 2
Viendo la primera noche del Peligro El enfrentamiento entre el programa IBM Watson y los concursantes humanos fue muy divertido. Un buen toque fue la pantalla detrás del escenario que mostraba tres respuestas que Watson consideró para cada pregunta y la confianza de la máquina en ellas. Eso es interesante, porque le da una idea de la variedad de cosas que estaba considerando.
Algunas de las categorías eran obviamente softball para Watson. Una categoría, Beatles People, fue fácil porque simplemente hacer coincidir las letras de las canciones haría que el programa llevara un largo camino (pero no todo el camino) para encontrar la respuesta. Las reglas del juego prohibían que la computadora saliera a la Web para encontrar respuestas. Watson tiene que depender de sus propios recursos, almacenados de antemano. Pero en sus 15 petabytes de almacenamiento, Watson básicamente tiene, más o menos, una copia de una buena parte de la Web.
Obviamente, tenía una copia de la letra de los Beatles que estaba buscando. De lo contrario, no habría tenido una oración sobre esas preguntas.
Watson terminó la primera ronda empatado en primer lugar, con $ 5,000; Ken Jennings fue tercero con $ 2,000. Pero para tener una idea de lo bien que lo hizo Watson, puede organizar su propio concurso en casa, contra el verdadero competidor de Watson. No Brad Rutter o Ken Jennings, sino un motor de búsqueda como Google. Simplemente escriba la pista de Google y vea lo que obtiene. Al igual que Watson, Google analiza grandes cantidades de texto, cuenta palabras y realiza un seguimiento de la frecuencia con la que las palabras tienden a aparecer juntas. Al igual que Watson, Google usa múltiples enfoques para analizar texto y luego tiene una especie de esquema de votación para determinar qué tan seguro está de la respuesta.
Hay muchas diferencias entre Watson y Google, pero hacerlo le dará una buena idea del problema. La mayoría de las veces, lo que obtendrá son algunas páginas web que tienen la respuesta en algún lugar dentro de ellas, pero elegir la respuesta de lo que sea que esté en la página, con anuncios y todo, no es tarea fácil. Comprender qué constituye una respuesta es el problema central.
Curiosamente, donde Watson fracasó fue a veces más instructivo que cuando tuvo éxito.
Pista: Fue esta rareza anatómica del gimnasta estadounidense George Eyser….
Respuesta de Ken Jennings: Falta una mano (incorrecta)
Respuesta de Watson: pierna (mal)
Respuesta correcta: Falta una pierna
Watson no se dio cuenta de que la palabra pierna, por sí sola, no era en realidad una respuesta a la pregunta. Esto es de sentido común para las personas, porque la pierna es una parte anatómica, no una rareza anatómica, aunque Watson se dio cuenta de que las piernas estaban involucradas de alguna manera. Lo que sucedió aquí podría haber sido algo más profundo que un simple error. David Ferrucci, líder del proyecto de Watson, atribuyó el fracaso a la dificultad de la palabra rareza en la pregunta. Para comprender qué puede ser extraño, debe compararlo con lo que no es extraño, es decir, el sentido común. Un problema con el enfoque de Watson es que si alguna oración aparece en su base de datos, no puede decir si alguien la puso allí solo porque es verdad, o porque alguien sintió que era tan inusual que necesitaba ser dicha.
Una computadora que carece de sentido común, desafortunadamente, no es una rareza. Quizás debería serlo.
Henry Lieberman es un investigador científico que trabaja en inteligencia artificial en el Laboratorio de Medios del MIT.