211service.com
Extraer significado de millones de páginas
Investigadores de la Universidad de Washington han desarrollado un motor de software que reúne datos mediante el análisis de más de 500 millones de páginas web. La herramienta extrae información de miles de millones de líneas de texto al analizar las relaciones básicas entre palabras.
Búsqueda de palabras : TextRunner revisa automáticamente 500 millones de páginas web para extraer el significado de las relaciones entre palabras.
Algunos expertos dicen que este tipo de extracción automatizada de información probablemente constituirá la base para una búsqueda web de próxima generación mucho más inteligente, en la que primero se recopilan pepitas de información y luego se combinan de manera inteligente.
El proyecto de la Universidad de Washington representa una ampliación de una tecnología existente desarrollada allí llamada TextRunner en términos tanto del número de páginas como del alcance de los temas que puede analizar.
La importancia de TextRunner es que es escalable porque no está supervisado, dice Peter Norvig, director de investigación de Google, que donó la base de datos de páginas web que analiza TextRunner. Puede descubrir y aprender millones de relaciones, no solo una a la vez. Con TextRunner, no hay ningún humano en el bucle: simplemente encuentra relaciones por sí mismo.
Norvig explica que las tecnologías anteriores han requerido más orientación por parte del programador. Por ejemplo, para encontrar los nombres de personas que son directores ejecutivos en millones de documentos, primero debe entrenar el software con otros ejemplos, como Steve Jobs es director ejecutivo de Apple, Sheryl Sandberg es director ejecutivo de Facebook. Norvig agrega que Google está haciendo trabajo similar y ya está utilizando dicha tecnología en contextos limitados.
TextRunner se deshace de ese trabajo manual. Un usuario puede ingresar, por ejemplo, mata las bacterias, y el motor generará páginas que ofrezcan información sobre que el cloro mata las bacterias o la luz ultravioleta mata las bacterias o el calor mata las bacterias (los resultados se denominan triples) y proporcionan formas de obtener una vista previa del texto y luego visite la página web de la que proviene.
El prototipo todavía tiene un interfaz bastante simple y no está destinado a la búsqueda pública tanto como para demostrar la extracción automatizada de información de 500 millones de páginas web, dice Oren Etzioni , científico informático de la Universidad de Washington que dirige el proyecto. Lo que estamos mostrando es la capacidad del software para lograr una comprensión rudimentaria del texto a una escala y alcance sin precedentes, dice.
Etizioni dice que la capacidad de TextRunner para extraer significado rápidamente y a gran escala surgió del descubrimiento de su grupo de un modelo general de cómo se expresan las relaciones en inglés que es cierto sin importar el tema. Por ejemplo, el patrón simple 'entidad1, verbo, entidad2' cubre la relación 'Edison inventó la bombilla', así como 'Microsoft adquirió Farecast' y muchas más, dice. TextRunner se basa en este modelo, que se aprende automáticamente del texto, para analizar oraciones y extraer triples con gran precisión.
TextRunner también sirve como punto de partida para construir inferencias a partir de consultas en lenguaje natural, que es en lo que el grupo está trabajando ahora. Para dar un ejemplo simple: si TextRunner encuentra una página web que dice que los mamíferos son de sangre caliente y otra página que dice que los perros son mamíferos, un motor de inferencia producirá la información de que los perros probablemente son de sangre caliente.
Esto es análogo a la tecnología desarrollada por Powerset, que fue adquirida por Microsoft el año pasado. Poco antes de esta adquisición, Powerset dio a conocer una herramienta que se limitaba a extraer datos de solo unos dos millones Wikipedia páginas. La tecnología TextRunner maneja páginas de Wikipedia más texto arbitrario en cualquier página, incluidas publicaciones de blogs, catálogos de productos, artículos de periódicos y más.
Esta línea de trabajo ha logrado avances importantes en la escala a la que se pueden abordar estas tareas, dice Jon Kleinberg, científico informático de la Universidad de Cornell que ha estado siguiendo la investigación de búsqueda de la Universidad de Washington. Agregó que este trabajo refleja una tendencia creciente hacia el diseño de herramientas de búsqueda que combinan activamente las piezas de información que encuentran en la Web en una síntesis más amplia.