Los modelos de lenguaje como GPT-3 podrían anunciar un nuevo tipo de motor de búsqueda

pixabay

En 1998, un par de estudiantes graduados de Stanford publicaron un artículo que describía un nuevo tipo de buscador : En este artículo presentamos Google, un prototipo de motor de búsqueda a gran escala que hace un uso intensivo de la estructura presente en el hipertexto. Google está diseñado para rastrear e indexar la Web de manera eficiente y producir resultados de búsqueda mucho más satisfactorios que los sistemas existentes.

Historia relacionada

Esta IA sabelotodo aprende leyendo toda la web sin parar Diffbot está construyendo el gráfico de conocimiento más grande de la historia mediante la aplicación de reconocimiento de imágenes y procesamiento de lenguaje natural a miles de millones de páginas web.

La innovación clave fue un algoritmo llamado PageRank, que clasificó los resultados de búsqueda calculando qué tan relevantes eran para la consulta de un usuario en función de sus enlaces a otras páginas en la web. Gracias a PageRank, Google se convirtió en la puerta de entrada a Internet, y Sergey Brin y Larry Page construyeron una de las empresas más grandes del mundo.

Ahora, un equipo de investigadores de Google ha publicado una propuesta de rediseño radical que descarta el enfoque de clasificación y lo reemplaza con un solo modelo de lenguaje de IA grande: una versión futura de BERT o GPT-3 . La idea es que, en lugar de buscar información en una amplia lista de páginas web, los usuarios harían preguntas y un modelo de lenguaje entrenado en esas páginas las respondería directamente. El enfoque podría cambiar no solo el funcionamiento de los motores de búsqueda, sino también la forma en que interactuamos con ellos.

Muchos problemas con los modelos de lenguaje existentes deberán solucionarse primero. Para empezar, estas IA a veces pueden generar respuestas sesgadas y tóxicas a las consultas, un problema que los investigadores de Google y otros lugares han señalado .

Repensar el PageRank

Los motores de búsqueda se han vuelto más rápidos y precisos, incluso cuando la web se ha disparado en tamaño. La IA ahora se usa para clasificar los resultados, y Google usa BERT para comprender las consultas de búsqueda mejor. Sin embargo, debajo de estos ajustes, todos los principales motores de búsqueda siguen funcionando de la misma manera que lo hacían hace 20 años: las páginas web son indexadas por rastreadores (software que lee la web sin parar y mantiene una lista de todo lo que encuentra), los resultados que coinciden con la consulta de un usuario son recopilados a partir de este índice, y los resultados se clasifican.

Este modelo de índice, recuperación y clasificación ha resistido la prueba del tiempo y rara vez ha sido desafiado o repensado seriamente, escriben Donald Metzler y sus colegas de Google Research. (Metzler rechazó una solicitud para comentar).

El problema es que incluso los mejores motores de búsqueda de hoy todavía responden con una lista de documentos que incluyen la información solicitada, no con la información en sí. Los motores de búsqueda tampoco son buenos para responder consultas que requieren respuestas extraídas de múltiples fuentes. Es como si le pidieras consejo a tu médico y recibieras una lista de artículos para leer en lugar de una respuesta directa.

Metzler y sus colegas están interesados ​​en un motor de búsqueda que se comporte como un experto humano. Debe producir respuestas en lenguaje natural, sintetizadas a partir de más de un documento, y respaldar sus respuestas con referencias a evidencia de apoyo, como pretenden hacer los artículos de Wikipedia.

Historia relacionada

Por qué GPT-3 es lo mejor y lo peor de la IA en este momento

El lenguaje de Open AI La IA cautivó al público con su aparente dominio del inglés, pero ¿es todo una ilusión?

Los grandes modelos de lenguaje nos llevan parte del camino hasta allí. Capacitado en la mayor parte de la web y en cientos de libros, GPT-3 extrae información de múltiples fuentes para responder preguntas en lenguaje natural. El problema es que no realiza un seguimiento de esas fuentes y no puede proporcionar evidencia para sus respuestas. No hay manera de saber si GPT-3 está repitiendo información fidedigna o desinformación, o simplemente diciendo tonterías de su propia creación.

Metzler y sus colegas llaman a los modelos de lenguaje diletantes: se percibe que saben mucho, pero su conocimiento es superficial. La solución, afirman, es construir y entrenar futuros BERT y GPT-3 para conservar registros de dónde provienen sus palabras. Ningún modelo de este tipo es todavía capaz de hacer esto, pero es posible en principio, y hay trabajos preliminares en esa dirección.

Ha habido décadas de progreso en diferentes áreas de búsqueda, desde responder consultas hasta resumir documentos y estructurar información, dice Ziqi Zhang de la Universidad de Sheffield, Reino Unido, que estudia la recuperación de información en la web. Pero ninguna de estas tecnologías revisó la búsqueda porque cada una aborda problemas específicos y no es generalizable. La premisa emocionante de este artículo es que los grandes modelos de lenguaje pueden hacer todas estas cosas al mismo tiempo, dice.

Sin embargo, Zhang señala que los modelos de lenguaje no funcionan bien con temas técnicos o especializados porque hay menos ejemplos en el texto en el que están capacitados. Probablemente hay cientos de veces más datos sobre comercio electrónico en la web que datos sobre mecánica cuántica, dice. Los modelos lingüísticos actuales también están sesgados hacia el inglés, lo que dejaría desatendidas las partes de la web que no están en inglés.

Hanna Hajishirzi, que estudia el procesamiento del lenguaje natural en la Universidad de Washington, acoge con satisfacción la idea, pero advierte que en la práctica habría problemas. 'Creo que los modelos de lenguajes grandes son muy importantes y potencialmente el futuro de los motores de búsqueda, pero requieren una gran cantidad de memoria y recursos computacionales', dice. 'No creo que reemplacen la indexación'.

Aún así, Zhang está entusiasmado con las posibilidades. Esto no ha sido posible en el pasado, porque los grandes modelos de lenguaje despegaron recientemente, dice. Si funciona, transformaría nuestra experiencia de búsqueda.

Actualización: hemos cambiado el texto para representar más claramente los problemas con los modelos de lenguaje grande existentes.

esconder