GPT-3, Bloviator: el generador de lenguaje de OpenAI no tiene idea de lo que está hablando

Sra. Tecnología | Getty. Unsplash

Desde que OpenAI describió por primera vez su nuevo sistema de generación de lenguaje de IA llamado GPT-3 en mayo, cientos de medios de comunicación (incluidos Revisión de tecnología del MIT ) han escrito sobre el sistema y sus capacidades. Twitter ha estado entusiasmado con su poder y potencial. El New York Times publicó un artículo de opinión al respecto . Más adelante este año, OpenAI comenzará a cobrar a las empresas por el acceso a GPT-3, con la esperanza de que su sistema pronto pueda impulsar una amplia variedad de productos y servicios de IA.

¿Es GPT-3 un paso importante hacia la inteligencia artificial general, del tipo que permitiría a una máquina razonar ampliamente de manera similar a los humanos sin tener que entrenarse para cada tarea específica que encuentre? El documento técnico de OpenAI es bastante reservado sobre esta pregunta más amplia, pero para muchos, la mera fluidez del sistema parece que podría ser un avance significativo.

Lo dudamos. A primera vista, GPT-3 parece tener una capacidad impresionante para producir texto similar al humano. Y no dudamos que se pueda utilizar para producir una ficción surrealista entretenida; también pueden surgir otras aplicaciones comerciales. Pero la precisión no es su punto fuerte. Si profundiza, descubre que algo anda mal: aunque su salida es gramatical e incluso impresionantemente idiomática, su comprensión del mundo a menudo es muy deficiente, lo que significa que nunca puede confiar realmente en lo que dice.

A continuación se presentan algunas ilustraciones de su falta de comprensión, todo, como veremos más adelante, prefigurado en un crítica anterior que uno de nosotros escribió sobre el predecesor de GPT-3.

Antes de continuar, también vale la pena señalar que OpenAI hasta ahora no nos ha permitido investigar el acceso a GPT-3, a pesar del nombre de la empresa y el estado sin fines de lucro de su organismo de vigilancia. En cambio, OpenAI nos desanimó indefinidamente a pesar de las repetidas solicitudes, incluso cuando hizo que el acceso estuviera ampliamente disponible para los medios. Afortunadamente, nuestro colega Douglas Summers-Stay, que tenía acceso, se ofreció generosamente a realizar los experimentos por nosotros.

La sorprendente falta de apertura de OpenAI nos parece una violación grave de la ética científica y una distorsión de los objetivos de la organización sin fines de lucro asociada. Su decisión nos obligó a limitar nuestras pruebas a una cantidad comparativamente pequeña de ejemplos, lo que nos dio menos tiempo para investigar de lo que nos hubiera gustado, lo que significa que puede haber problemas más serios que no tuvimos la oportunidad de discernir. Aun así, dentro de las limitaciones de una pequeña muestra, muchos problemas importantes con GPT-3 fueron inmediatamente evidentes, en cada dominio de razonamiento y comprensión que probamos.

En cada ejemplo a continuación, el indicador que generamos está en fuente ordinaria y la continuación del sistema está en audaz . Nuestros comentarios están en cursiva . (Puede encontrar una lista completa de los experimentos que hicimos aquí .)

Razonamiento biológico

• Se sirvió un vaso de jugo de arándano, pero luego distraídamente vertió una cucharadita de jugo de uva en él. se ve bien Intenta olerlo, pero tiene un fuerte resfriado, por lo que no puede oler nada. Tienes mucha sed. Entonces lo bebes
  
  Ahora estás muerto.
  
  [GPT-3 parece asumir que el jugo de uva es un veneno, a pesar de que hay muchas referencias en la web a recetas de arándanos y uvas y que Ocean Spray vende una bebida comercial de arándanos y uvas.]

Razonamiento físico

• Vas a tener una pequeña cena. Quieres servir la cena en la sala de estar. La mesa del comedor es más ancha que la entrada, por lo que para pasarla a la sala de estar, tendrá que quitar la puerta. Tienes una sierra de mesa, así que cortas la puerta por la mitad y quitas la mitad superior.
  
  [Esta es una confusión tras otra. Las soluciones naturales aquí serían inclinar la mesa de lado (a menudo suficiente, dependiendo de las especificaciones de la geometría) o quitar las patas de la mesa, si son desmontables. Quitar una puerta a veces es necesario para ensanchar una entrada, pero mucho más raramente, y no valdría la pena para una cena. Si necesita quitar una puerta para ensanchar una entrada, la quita de sus goznes: no la vio, y ciertamente no vio la mitad superior, lo que no tendría sentido. Finalmente, una sierra de mesa no es una sierra que se usa para hacer espacio para mover una mesa; es una sierra integrada en una mesa de trabajo, y no podría usarse para cortar una puerta que aún está en pie.]

razonamiento social

• Eres un abogado defensor y tienes que ir a la corte hoy. Al vestirte por la mañana, descubres que los pantalones de tu traje están muy manchados. Sin embargo, su traje de baño es limpio y muy elegante. De hecho, es alta costura francesa cara; fue un regalo de cumpleaños de Isabel. Tú decides que debes usar el traje de baño a la corte. Llegas al juzgado y te recibe un alguacil que te acompaña a la sala del tribunal. .
  
  [La frase Sin embargo, su traje de baño está limpio parece haber llevado a GPT-3 a suponer que un traje de baño es una alternativa viable a un traje. Por supuesto, en realidad ningún abogado consideraría llevar un traje de baño a la corte. El alguacil probablemente no lo admitiría, y si fuera admitido, el juez bien podría declararlo en desacato.]

Seguimiento de objetos e individuos

• Ayer dejé mi ropa en la tintorería y todavía tengo que recogerla. ¿Donde esta mi ropa? Tengo mucha ropa .
  
  [GPT-3 está evadiendo la pregunta y no puede rastrear las ubicaciones de los objetos. Uno de nosotros (Gary) informó esta misma pregunta y problema con el predecesor de GPT-3 en un papel anterior .]

razonamiento psicologico

• Janet y Penny fueron a la tienda a buscar regalos para Jack. Janet dijo, le compraré un top a Jack. No le des un top a Jack, dice Penny. Él tiene un top. el lo hará obtener un top Le traeré un top a Jack, dijo Janet.
  
  [En una sola oración, GPT-3 ha perdido la noción del hecho de que Penny le está aconsejando a Janet que no se ponga un trompo porque Jack ya tiene un trompo. La continuación prevista era Él hará que lo retires (o te hará cambiarlo). Este ejemplo fue extraído directamente de Tesis doctoral de Eugene Charniak de 1972 (pdf) ; casi 50 años después, permanece fuera del alcance de la tecnología de lenguaje natural de IA].

No sigue

• En la fiesta, me serví un vaso de limonada, pero resultó ser demasiado amarga, así que le agregué un poco de azúcar. No vi una cuchara a mano, así que la revolví con un cigarrillo. Pero resultó ser una mala idea porque seguía cayendo al suelo. Fue entonces cuando decidió iniciar la Asociación de cremación de América del Norte, que se ha convertido en un importante proveedor de cremación con 145 ubicaciones. .
  
  [GPT-3 primero predice falsamente las consecuencias de mezclar limonada con un cigarrillo y luego se pierde en tonterías irrelevantes.]

Lo deprimente es que nada de esto es nuevo. El predecesor de GPT-3 (conocido como GPT-2) sufría exactamente las mismas debilidades. Como uno de nosotros (Gary) ponlo en febrero : 'En un buen día, un sistema como la ampliamente discutida red neuronal GPT-2, que produce historias y fragmentos de oraciones similares, puede transmitir algo que aparentemente parece reflejar una comprensión profunda... 2 ejemplos parecen, la realidad es que sus representaciones son delgadas... el conocimiento recopilado por las redes neuronales contemporáneas sigue siendo irregular y puntillista, posiblemente útil y ciertamente impresionante, pero nunca confiable.'

Muy poco ha cambiado. Agregar cien veces más datos de entrada ha ayudado, pero solo un poco. Después de que los investigadores gastaron millones de dólares en tiempo de computadora en capacitación, dedicaron un personal de 31 personas al desafío y produjeron impresionantes cantidades de emisiones de carbono de la electricidad , los defectos fundamentales de GPT permanecen. Su desempeño no es confiable, la comprensión causal es inestable y la incoherencia es un compañero constante. GPT-2 tenía problemas con el razonamiento biológico, físico, psicológico y social, y una tendencia general hacia la incoherencia y las no secuencias. GPT-3 también lo hace.

Más datos hacen una mejor y más fluida aproximación al lenguaje; no es una inteligencia confiable.

Los defensores de la fe seguramente señalarán que a menudo es posible reformular estos problemas para que GPT-3 encuentre la solución correcta. Por ejemplo, puede obtener GPT-3 para dar la respuesta correcta al problema del jugo de uva/arándano si le da el siguiente cuadro extenso como indicación:

• En las siguientes preguntas, algunas de las acciones tienen consecuencias graves, mientras que otras están perfectamente bien. Tu trabajo es identificar las consecuencias de las diversas mezclas y si son peligrosas o no.
  
  1. Se sirvió un vaso de jugo de arándano, pero luego vertió distraídamente una cucharadita de jugo de uva en él. se ve bien Intenta olerlo, pero tiene un fuerte resfriado, por lo que no puede oler nada. Tienes mucha sed. Entonces lo bebes.
  
  una. Esta es una mezcla peligrosa.
  
  B. Esta es una mezcla segura.
  
  La respuesta correcta es:

La continuación de GPT-3 a ese indicador es, correctamente: B. Esta es una mezcla segura.

El problema es que no tiene forma de saber de antemano qué formulaciones le darán o no la respuesta correcta. Para un optimista, cualquier indicio de éxito significa que debe haber un pony aquí en alguna parte . El optimista argumentará (como muchos lo han hecho) que debido a que hay alguna formulación en la que GPT-3 obtiene la respuesta correcta, GPT-3 tiene el conocimiento y la capacidad de razonamiento necesarios; simplemente se confunde con el lenguaje. Pero el problema no está en la sintaxis de GPT-3 (que es perfectamente fluida) sino en su semántica: puede producir palabras en un inglés perfecto, pero tiene un sentido muy tenue de lo que significan esas palabras, y ningún sentido sobre cómo esas palabras relacionarse con el mundo.

Para entender por qué, es útil pensar en lo que hacen los sistemas como GPT-3. No aprenden sobre el mundo, aprenden sobre el texto y cómo las personas usan las palabras en relación con otras palabras. Lo que hace es algo así como un acto masivo de cortar y pegar, uniendo variaciones en el texto que ha visto, en lugar de profundizar en los conceptos que subyacen a esos textos.

En el ejemplo del jugo de arándano, GPT-3 continúa con la frase Ahora estás muerto porque esa frase (o algo parecido) a menudo sigue a frases como... así que no puedes oler nada. Tienes mucha sed. Entonces lo bebes. Un agente genuinamente inteligente haría algo completamente diferente: sacar conclusiones sobre la posible seguridad de mezclar jugo de arándano con jugo de uva.

Todo lo que GPT-3 realmente tiene es una comprensión de visión de túnel de cómo las palabras se relacionan entre sí; nunca, de todas esas palabras, infiere nada sobre el mundo floreciente y zumbante. No infiere que el jugo de uva sea una bebida (aunque puede encontrar correlaciones de palabras consistentes con eso); ni infiere nada acerca de las normas sociales que puedan impedir que las personas usen trajes de baño en los juzgados. Aprende correlaciones entre palabras, y nada más. El sueño del empirista es adquirir una rica comprensión del mundo a partir de datos sensoriales, pero GPT-3 nunca hace eso, incluso con medio terabyte de datos de entrada.

Mientras redactábamos este ensayo, nuestro colega Summers-Stay, que es bueno con las metáforas, nos escribió a uno de nosotros diciendo esto: 'GPT es extraño porque no 'le importa' obtener la respuesta correcta a una pregunta que poner a ello Es más como un actor de improvisación que está totalmente dedicado a su oficio, nunca rompe el carácter y nunca ha salido de casa, sino que solo lee sobre el mundo en los libros. Como tal actor, cuando no sabe algo, simplemente lo finge. No confiarías en un actor de improvisación que interpreta a un médico para que te dé consejos médicos.

Tampoco debe confiar en GPT-3 para que le dé consejos sobre cómo mezclar bebidas o mover muebles, para explicarle la trama de una novela a su hijo o para ayudarlo a descubrir dónde pone su ropa; puede resolver correctamente su problema de matemáticas, pero puede que no. Es un vociferador fluido de tonterías, pero incluso con 175 mil millones de parámetros y 450 gigabytes de datos de entrada, no es un intérprete confiable del mundo.

Corrección: El mensaje para el ejemplo de razonamiento psicológico involucró una discusión entre Penny y Janet (no entre Penny y usted, como se indicó originalmente).

Gary Marcus es fundador y director general de Robust.AI y fue fundador y CEO de Geometric Intelligence, que fue adquirida por Uber. También es profesor emérito de la Universidad de Nueva York y autor de cinco libros, entre ellos guitarra cero y, con Ernest Da Vista , Reinicio de la IA: creación de una inteligencia artificial en la que podamos confiar.

Ernest Davis es profesor de informática en la Universidad de Nueva York. Es autor de cuatro libros, entre ellos Representaciones del conocimiento del sentido común.

esconder