211service.com
Por qué GPT-3 es lo mejor y lo peor de la IA en este momento
El lenguaje de Open AI La IA cautivó al público con su aparente dominio del inglés, pero ¿es todo una ilusión?
Sierra & Lenny
24 de febrero de 2021
Por qué importa:Los grandes modelos de computadora que aprenden lenguaje natural son un gran paso hacia la IA que puede comprender e interactuar con el mundo humano.
Jugadores claves. Jugadores principales:• IA abierta
• Google
• Facebook
Disponibilidad:Ahora
GPT-3 ha capturado la imaginación del público a diferencia de cualquier IA desde AlphaGo de DeepMind o DeepBlue de IBM para jugar al ajedrez.
Construido por IA abierta , un laboratorio de investigación con sede en San Francisco, es un modelo de lenguaje grande —un algoritmo que utiliza aprendizaje profundo, entrenado en el texto de miles de libros y la mayor parte de Internet, para unir palabras y frases. Cuando se lanzó en 2020, su capacidad para imitar el texto escrito por humanos con un realismo asombroso les pareció a muchos un hito en el camino hacia la verdadera inteligencia artificial.
Esta historia fue parte de nuestra edición de marzo de 2021
- Ver el resto del número
- Suscribir
Aquí hay un ejemplo de lo que puede hacer . La parte en cursiva fue el aviso proporcionado por un humano.
—
I n un hallazgo impactante, los científicos descubrieron una manada de unicornios que vivían en un valle remoto, previamente inexplorado, en las montañas de los Andes. Aún más sorprendente para los investigadores fue el hecho de que los unicornios hablaran un inglés perfecto. También se descubrió que tenían el cabello perfectamente peinado y usaban lo que parecía ser maquillaje Dior.
Nos sorprendió descubrir los unicornios, dijo el antropólogo Daniel St. Maurice. No se parecían a nada que hayamos visto antes. Habíamos escuchado leyendas de los unicornios, pero nunca pensamos que realmente existieran.
Cuando los científicos llegaron por primera vez al valle, los unicornios se sorprendieron y asustaron por la presencia de humanos, pero también se emocionaron. Los unicornios dieron la bienvenida a los investigadores y les explicaron que los habían estado esperando durante mucho tiempo.
202110 tecnologías innovadoras
Como puede ver, GPT-3 es capaz de producir oraciones complejas que se leen como si las hubiera producido un ser humano. Las oraciones de ejemplo incluyen referencias culturales y un relato creíble de cómo reaccionarían los científicos. Las máquinas que pueden usar el lenguaje de esta manera son importantes por varias razones. El lenguaje es crucial para dar sentido al mundo cotidiano: los humanos lo usamos para comunicarnos, compartir ideas y describir conceptos. Una IA que dominara el lenguaje adquiriría una mejor comprensión del mundo en el proceso.
Los modelos de lenguaje grande tienen muchos usos prácticos, también . Impulsan mejores chatbots que mantienen conversaciones más fluidas; pueden generar artículos e historias sobre cualquier cosa, con un aviso; pueden resumir fragmentos de texto o responder consultas sobre ellos. El acceso a GPT-3 es solo por invitación, pero las personas ya lo han usado para poder docenas de aplicaciones , desde una herramienta que genera ideas de inicio hasta un juego de aventuras con guión de IA ambientado en una mazmorra.
GPT-3 no es el único modelo de lenguaje grande que aparecerá en 2020. Microsoft, Google y Facebook anunciaron el suyo propio. Pero GPT-3 fue el mejor generalista con diferencia. Y da la impresión de que puede escribir cualquier cosa: fan fiction, polémicas filosóficas e incluso código. Cuando la gente comenzó a probar GPT-3 por sí mismos el verano pasado, miles de ejemplos de su versatilidad inundaron las redes sociales. Debates incluso se suscitó si GPT-3 fue la primera inteligencia general artificial.
No es. A pesar de los pasajes de texto increíblemente convincentes que puede producir, GPT-3 no hace nada realmente nuevo. Lo que muestra en cambio es que el tamaño puede ser todo. Para construir GPT-3, OpenAI usó más o menos el mismo enfoque y algoritmos que usó para su hermano mayor, GPT-2 , pero sobredimensionó tanto la red neuronal como el conjunto de entrenamiento. GPT-3 tiene 175 mil millones de parámetros, los valores en una red que se ajustan durante el entrenamiento, en comparación con los 1,5 mil millones de GPT-2. También fue entrenado en muchos más datos.
Antes de GPT-2, el entrenamiento de un modelo de lenguaje mediante el aprendizaje profundo generalmente tomaba dos pasos: se entrenaba en un conjunto de datos de uso general para darle una comprensión básica del lenguaje y luego se entrenaba en un conjunto más pequeño destinado a una tarea específica, como comprensión o traducción. GPT-2 demostró que se podían obtener buenos resultados en todos los ámbitos con una sola pasada si arrojaba más ejemplos a un modelo más grande. Entonces, con GPT-3, OpenAI se duplicó y creó el modelo de lenguaje más grande de la historia.
Sin embargo, los resultados que llamaron la atención de todos a menudo fueron seleccionados. GPT-3 a menudo se repite o se contradice en pasajes de texto de más de unos pocos cientos de palabras. Sale con aulladores. GPT-3 esconde su estupidez detrás de una lengua plateada, pero por lo general se necesitan algunos intentos para que genere algo que no muestre las grietas.
Historia relacionada
El nuevo generador de lenguaje GPT-3 de OpenAI es sorprendentemente bueno y completamente insensato La IA es el modelo de lenguaje más grande que se haya creado y puede generar un texto increíble similar al humano bajo demanda, pero no nos acercará a la verdadera inteligencia.
Las habilidades de GPT-3 también dificultan ignorar los crecientes problemas de la IA. Su enorme consumo de energía es una mala noticia para el clima: investigadores de la Universidad de Copenhague en Dinamarca estimar que entrenar GPT-3 habría tenido aproximadamente la misma huella de carbono que conducir un automóvil la distancia a la luna y de regreso, si hubiera sido entrenado en un centro de datos totalmente alimentado por combustibles fósiles. Y los costos de dicha capacitación, estimados por algunos expertos en al menos $ 10 millones en el caso de GPT-3, ponen en peligro la investigación más reciente. fuera del alcance de todos menos de los laboratorios más ricos .
OpenAI informa que el entrenamiento de GPT-3 consumió varios miles de petaflop/s-día de potencia informática. Un petaflop/s-día es una unidad de consumo de energía que consiste en realizar 1015, es decir, mil billones o un cuatrillón, cálculos de redes neuronales por segundo durante un día. En comparación, GPT-2 consumió solo decenas de petaflop/s-día.
Otro problema más es que GPT-3 absorbe gran parte de la desinformación y los prejuicios que encuentra en línea y los reproduce a pedido. Como dijo el equipo que lo construyó en el documento que describe la tecnología : los modelos entrenados en Internet tienen sesgos a escala de Internet.
El barniz de humanidad que GPT-3 le da al texto generado por máquina hace que sea fácil confiar. Esto ha llevado a algunos a argumentar que GPT-3 y todos los modelos de lenguaje parecidos a los humanos deberían venir con una advertencia de seguridad, una etiqueta de cuidado con el usuario, alertando a las personas de que están chateando con un software y no con un humano.
Hace unos meses alguien lanzó un Bot con GPT-3 en Reddit , donde publicó cientos de comentarios e interactuó con decenas de usuarios durante varios días antes de ser desenmascarado. Gran parte de su actividad era inofensiva. Pero el bot también respondió a los comentarios sobre pensamientos suicidas, dando consejos personales que mencionaron el apoyo de sus padres.
A pesar de todos estos problemas, GPT-3 es una victoria para aquellos que creen que cuanto más grande, mejor. Dichos modelos muestran que el poder de cómputo y los datos lo ayudan mucho, y podemos esperar más de ambos en el futuro. ¿Cómo podría ser un GPT-4? Podemos esperar que los chatbots se vuelvan más hábiles, mejores para unir piezas más largas de texto coherente, con un dominio aún mayor de los temas de conversación.
Pero el lenguaje es solo una forma de entender e interactuar con el mundo. Los modelos de lenguaje de próxima generación integrarán otras habilidades, como el reconocimiento de imágenes. OpenAI ya está tomando GPT-3 en esta dirección con IA que usan lenguaje para comprender imágenes e imágenes para comprender lenguaje.
Si desea conocer el estado actual del aprendizaje profundo, consulte GPT-3. Es un microcosmos de lo mejor y lo peor de la IA.