211service.com
La realidad desordenada y secreta detrás de la oferta de OpenAI para salvar el mundo
Greg Brockman, cofundador y CTO; Ilya Sutskever, cofundador y científico jefe; y Dario Amodei, director de investigación. Christie There Klok
Cada año, los empleados de OpenAI votan cuándo creen que finalmente llegará la inteligencia artificial general, o AGI. Se ve principalmente como una forma divertida de vincularse, y sus estimaciones difieren ampliamente. Pero en un campo que aún debate si los sistemas autónomos similares a los humanos son posibles, la mitad de los laboratorios apuestan a que es probable que suceda dentro de 15 años.
En los cuatro cortos años de su existencia, OpenAI se ha convertido en uno de los laboratorios de investigación de IA líderes en el mundo. Se ha hecho un nombre produciendo investigaciones consistentes que acaparan los titulares, junto con otros pesos pesados de la IA como DeepMind de Alphabet. También es un favorito en Silicon Valley, y cuenta entre sus fundadores a Elon Musk y al legendario inversionista Sam Altman.
Sobre todo, es exaltado por su misión. Su objetivo es ser el primero en crear AGI, una máquina con los poderes de aprendizaje y razonamiento de una mente humana. El propósito no es la dominación mundial; más bien, el laboratorio quiere asegurarse de que la tecnología se desarrolle de manera segura y sus beneficios se distribuyan de manera uniforme en todo el mundo.
La implicación es que AGI podría enloquecer fácilmente si se deja que el desarrollo de la tecnología siga el camino de menor resistencia. La inteligencia estrecha, el tipo de IA torpe que nos rodea hoy en día, ya ha servido de ejemplo. Ahora sabemos que los algoritmos son sesgados y frágiles; pueden perpetrar grandes abusos y grandes engaños; y el costo de desarrollarlos y operarlos tiende a concentrar su poder en manos de unos pocos. Por extrapolación, AGI podría ser catastrófico sin la guía cuidadosa de un pastor benévolo.
OpenAI quiere ser ese pastor, y ha elaborado cuidadosamente su imagen para cumplir con los requisitos. En un campo dominado por corporaciones ricas, se fundó como una organización sin fines de lucro. Su primer anuncio dijo que esta distinción le permitiría generar valor para todos en lugar de para los accionistas. Su carta —un documento tan sagrado que el pago de los empleados está ligado a qué tan bien se adhieren a él— declara además que el principal deber fiduciario de OpenAI es con la humanidad. Obtener AGI de manera segura es tan importante, continúa, que si otra organización estuviera cerca de llegar primero, OpenAI dejaría de competir con ella y colaboraría en su lugar. Esta atractiva narrativa funciona bien con los inversores y los medios, y en julio Microsoft inyectó al laboratorio $ 1 mil millones nuevos.
El logo de OpenAI colgado en su oficina. Christie Hemm Klok
Pero tres días en la oficina de OpenAI, y casi tres docenas de entrevistas con empleados, colaboradores, amigos y otros expertos en el campo anteriores y actuales, sugieren una imagen diferente. Hay una desalineación entre lo que la empresa propugna públicamente y cómo opera a puerta cerrada. Con el tiempo, ha permitido que una competitividad feroz y una presión cada vez mayor para obtener cada vez más fondos erosionen sus ideales fundacionales de transparencia, apertura y colaboración. Muchos de los que trabajan o trabajaron para la empresa insistieron en el anonimato porque no estaban autorizados a hablar o temían represalias. Sus relatos sugieren que OpenAI, a pesar de todas sus nobles aspiraciones, está obsesionada con mantener el secreto, proteger su imagen y retener la lealtad de sus empleados.
Desde su concepción más temprana, la IA como campo se ha esforzado por comprender la inteligencia similar a la humana y luego recrearla. En 1950, Alan Turing, el renombrado matemático e informático inglés, comenzó un papel con la ya famosa provocación ¿Pueden pensar las máquinas? Seis años más tarde, cautivados por la persistente idea, un grupo de científicos se reunió en el Dartmouth College para formalizar la disciplina.
Es una de las cuestiones más fundamentales de toda la historia intelectual, ¿no? dice Oren Etzioni, director ejecutivo del Instituto Allen de Inteligencia Artificial (AI2), un laboratorio de investigación de IA sin fines de lucro con sede en Seattle. Es como, ¿entendemos el origen del universo? ¿Entendemos la materia?
El problema es que AGI siempre se ha mantenido vago. Nadie puede realmente describir cómo se vería o el mínimo de lo que debería hacer. No es obvio, por ejemplo, que solo haya un tipo de inteligencia general; la inteligencia humana podría ser sólo un subconjunto. También hay opiniones divergentes sobre el propósito que podría tener AGI. En la visión más romántica, una inteligencia artificial que no se vea obstaculizada por la necesidad de dormir o la ineficiencia de la comunicación humana podría ayudar a resolver desafíos complejos como el cambio climático, la pobreza y el hambre.
Pero el consenso rotundo dentro del campo es que tales capacidades avanzadas tomarían décadas, incluso siglos, si es que es posible desarrollarlas. Muchos también temen que perseguir este objetivo con exceso de celo podría resultar contraproducente. En la década de 1970 y nuevamente a finales de los 80 y principios de los 90, el campo prometía demasiado y no cumplió. De la noche a la mañana, la financiación se agotó, dejando profundas cicatrices en toda una generación de investigadores. El campo se sentía como un remanso, dice Peter Eckersley, hasta hace poco director de investigación en el grupo industrial Partnership on AI, del cual OpenAI es miembro.
Una sala de conferencias en el primer piso llamada Infinite Jest. Christie Hemm Klok
En este contexto, OpenAI ingresó al mundo con fuerza el 11 de diciembre de 2015. No fue el primero en declarar abiertamente que estaba persiguiendo a AGI; DeepMind lo había hecho cinco años antes y había sido adquirida por Google en 2014. Pero OpenAI parecía diferente. Por un lado, el precio de etiqueta fue impactante: la empresa comenzaría con $ 1 mil millones de inversores privados, incluidos Musk, Altman y el cofundador de PayPal, Peter Thiel.
La lista de inversores repleta de estrellas provocó un frenesí mediático, al igual que la impresionante lista de empleados iniciales: Greg Brockman, que había estado a cargo de la tecnología para la empresa de pagos Stripe, sería el director de tecnología; Ilya Sutskever, que había estudiado con el pionero de la IA Geoffrey Hinton, sería el director de investigación; y siete investigadores, recién graduados de las mejores universidades o de otras empresas, compondrían el equipo técnico central. (El pasado mes de febrero, Musk Anunciado que se estaba separando de la empresa por desacuerdos sobre su dirección. Un mes después, Altman Bajó como presidente de la aceleradora de startups Y Combinator para convertirse en CEO de OpenAI).
Pero más que nada, el estado sin fines de lucro de OpenAI hizo una declaración. Será importante tener una institución de investigación líder que pueda priorizar un buen resultado para todos por encima de su propio interés, el anuncio dijo . Se alentará enfáticamente a los investigadores a publicar su trabajo, ya sea como artículos, publicaciones de blog o código, y nuestras patentes (si las hay) se compartirán con el mundo. Aunque nunca hizo explícitas las críticas, la implicación fue clara: otros laboratorios, como DeepMind, no podían servir a la humanidad porque estaban limitados por intereses comerciales. Mientras estuvieran cerrados, OpenAI estaría abierto .
En un panorama de investigación que se había vuelto cada vez más privatizado y centrado en ganancias financieras a corto plazo, OpenAI estaba ofreciendo una nueva forma de financiar el progreso en los problemas más grandes. Fue un faro de esperanza, dice Chip Huyen, un experto en aprendizaje automático que ha seguido de cerca el viaje del laboratorio.
En la intersección de las calles 18 y Folsom en San Francisco, la oficina de OpenAI parece un almacén misterioso. El edificio histórico tiene paneles grises monótonos y ventanas polarizadas, con la mayoría de las persianas bajadas. Las letras PIONEER BUILDING, los restos de su dueño pasado, Pioneer Truck Factory, envuelven la esquina en pintura roja descolorida.
En el interior, el espacio es amplio y luminoso. El primer piso tiene algunos espacios comunes y dos salas de conferencias. Uno, de un tamaño saludable para reuniones más grandes, se llama A Space Odyssey; la otra, más parecida a una cabina telefónica glorificada, se llama Infinite Jest. Este es el espacio al que estoy restringido durante mi visita. Tengo prohibido visitar el segundo y tercer piso, que albergan los escritorios de todos, varios robots y casi todo lo interesante. Cuando llega el momento de sus entrevistas, la gente viene a mí. Un empleado entrena un ojo vigilante sobre mí entre reuniones.
El edificio pionero. wikimedia commons / tfinc
En el hermoso día de cielo azul en que llego para encontrarme con Brockman, se ve nervioso y cauteloso. Nunca antes le habíamos dado tanto acceso a alguien, dice con una sonrisa tentativa. Viste ropa informal y, como muchos en OpenAI, luce un corte de pelo sin forma que parece reflejar una mentalidad eficiente y sencilla.
Brockman, de 31 años, creció en una granja de pasatiempos en Dakota del Norte y tuvo lo que él describe como una infancia tranquila y enfocada. Ordeñó vacas, recolectó huevos y se enamoró de las matemáticas mientras estudiaba por su cuenta. En 2008, ingresó a Harvard con la intención de obtener una doble especialización en matemáticas e informática, pero rápidamente se inquietó por ingresar al mundo real. Abandonó los estudios un año después, ingresó al MIT y luego volvió a abandonar en cuestión de meses. La segunda vez, su decisión fue definitiva. Una vez que se mudó a San Francisco, nunca miró hacia atrás.
Brockman me lleva a almorzar para sacarme de la oficina durante una reunión de toda la empresa. En el café de enfrente, habla sobre OpenAI con intensidad, sinceridad y asombro, y a menudo establece paralelismos entre su misión y los logros históricos de la historia de la ciencia. Es fácil apreciar su carisma como líder. Contando pasajes memorables de los libros que ha leído, se concentra en la narrativa favorita del Valle, la carrera de Estados Unidos hacia la luna. (Una historia que realmente me encanta es la historia del conserje, dice, haciendo referencia a un cuento famoso pero probablemente apócrifo. Kennedy se le acerca y le pregunta: '¿Qué estás haciendo?' y él dice: 'Oh, estoy ayudar a poner a un hombre en la luna!') También está el ferrocarril transcontinental (En realidad fue el último megaproyecto hecho completamente a mano... un proyecto de inmensa escala que era totalmente arriesgado) y la bombilla incandescente de Thomas Edison (Un comité de distinguidos expertos dijo ' Nunca va a funcionar', y un año después envió).
Greg Brockman, cofundador y CTO. Reloj Christie Hemm
Brockman es consciente de la apuesta que ha asumido OpenAI, y es consciente de que evoca cinismo y escrutinio. Pero con cada referencia, su mensaje es claro: la gente puede ser escéptica todo lo que quiera. Es el precio de atreverse mucho.
Quienes se unieron a OpenAI en los primeros días recuerdan la energía, el entusiasmo y el sentido de propósito. El equipo era pequeño, formado a través de una estrecha red de conexiones, y la gerencia se mantuvo relajada e informal. Todos creían en una estructura plana donde las ideas y el debate serían bienvenidos por parte de cualquiera.
Musk jugó un papel importante en la construcción de una mitología colectiva. La forma en que me lo presentó fue 'Mira, lo entiendo. AGI puede estar muy lejos, pero ¿y si no es así?’, recuerda Pieter Abbeel, profesor de UC Berkeley que trabajó allí, junto con varios de sus alumnos, en los primeros dos años. '¿Qué pasa si hay solo un 1% o un 0,1% de posibilidades de que suceda en los próximos cinco a 10 años? ¿No deberíamos pensarlo con mucho cuidado? Eso resonó conmigo, dice.
Pero la informalidad también condujo a cierta vaguedad en la dirección. En mayo de 2016, Altman y Brockman recibieron la visita de Dario Amodei, entonces investigador de Google, quien les dijo que nadie entendía lo que estaban haciendo. En una cuenta publicada en el neoyorquino , tampoco estaba claro que el propio equipo lo supiera. Nuestro objetivo en este momento... es hacer lo mejor que se pueda hacer, dijo Brockman. Es un poco vago.
No obstante, Amodei se unió al equipo unos meses después. Su hermana, Daniela Amodei, había trabajado anteriormente con Brockman y ya conocía a muchos de los miembros de OpenAI. Después de dos años, a pedido de Brockman, Daniela también se unió. Imagínese: empezamos sin nada, dice Brockman. Simplemente teníamos este ideal de que queríamos que AGI fuera bien.
A lo largo de nuestro almuerzo, Brockman recita los estatutos como una escritura, una explicación de cada aspecto de la existencia de la empresa.
Para marzo de 2017, 15 meses después, el liderazgo se dio cuenta de que era hora de concentrarse más. Entonces, Brockman y algunos otros miembros principales comenzaron a redactar un documento interno para trazar un camino hacia AGI. Pero el proceso rápidamente reveló una falla fatal. A medida que el equipo estudiaba las tendencias dentro del campo, se dieron cuenta de que permanecer como una organización sin fines de lucro era financieramente insostenible. Los recursos computacionales que otros en el campo estaban usando para lograr resultados innovadores se estaban duplicando cada 3,4 meses . Quedó claro que para seguir siendo relevantes, dice Brockman, necesitarían suficiente capital para igualar o superar este incremento exponencial. Eso requería un nuevo modelo organizativo que pudiera acumular dinero rápidamente y, al mismo tiempo, mantenerse fiel a la misión.
Sin el conocimiento del público, y de la mayoría de los empleados, fue con esto en mente que OpenAI lanzó su estatuto en abril de 2018. El documento rearticulaba los valores fundamentales del laboratorio, pero cambiaba sutilmente el lenguaje para reflejar la nueva realidad. Junto con su compromiso de evitar los usos habilitadores de IA o AGI que dañen a la humanidad o concentren indebidamente el poder, también enfatizó la necesidad de recursos. Anticipamos la necesidad de reunir recursos sustanciales para cumplir con nuestra misión, dijo, pero siempre actuaremos diligentemente para minimizar los conflictos de intereses entre nuestros empleados y partes interesadas que podrían comprometer un amplio beneficio.
Pasamos mucho tiempo iterando internamente con los empleados para lograr que toda la empresa aceptara un conjunto de principios, dice Brockman. Cosas que tenían que permanecer invariables aunque cambiáramos nuestra estructura.
De izquierda a derecha: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (miembro del personal técnico), Greg Brockman, Alec Radford (líder del equipo de lenguaje técnico), Christine Payne (miembro del personal técnico), Ilya Sutskever y Chris Berner (jefe de infraestructura). Christie Hemm Klok
Ese cambio de estructura ocurrió en marzo de 2019. OpenAI se despojó de su estado puramente sin fines de lucro al establecer un brazo de ganancias limitadas, con fines de lucro con un límite de 100 veces en los rendimientos de los inversores, aunque supervisado por una junta que es parte de una entidad sin fines de lucro. Poco después, anunció la inversión de mil millones de dólares de Microsoft (aunque no reveló que se dividió entre efectivo y créditos para Azure, la plataforma de computación en la nube de Microsoft).
Como era de esperar, la medida desencadenó una ola de acusaciones de que OpenAI estaba retrocediendo en su misión. en una publicación en Noticias de piratas informáticos Poco después del anuncio, un usuario preguntó cómo un límite de 100 veces sería una limitación: los primeros inversores en Google han recibido un rendimiento de su capital de aproximadamente 20 veces, escribieron. ¿Su apuesta es que tendrá una estructura corporativa que devuelve órdenes de magnitud más que Google... pero no quiere 'concentrar indebidamente el poder'? ¿Cómo funcionará esto? ¿Qué es exactamente el poder, sino la concentración de recursos?
La medida también inquietó a muchos empleados, quienes expresaron preocupaciones similares. Para mitigar el malestar interno, el liderazgo redactó una sección de preguntas frecuentes como parte de una serie de documentos de transición altamente protegidos. ¿Puedo confiar en OpenAI? una pregunta hecha. Sí, comenzó la respuesta, seguida de un párrafo de explicación.
La carta es la columna vertebral de OpenAI. Sirve como trampolín para todas las estrategias y acciones del laboratorio. A lo largo de nuestro almuerzo, Brockman lo recita como una escritura, una explicación de cada aspecto de la existencia de la empresa. (Por cierto, aclara a la mitad de una recitación, supongo que sé todas estas líneas porque pasé mucho tiempo estudiándolas detenidamente para que quedaran exactamente bien. No es como si estuviera leyendo esto antes de la reunión).
¿Cómo se asegurará de que los humanos continúen viviendo vidas significativas a medida que desarrolle capacidades más avanzadas? Como escribimos, creemos que su impacto debería ser dar a todos libertad económica, permitirles encontrar nuevas oportunidades que hoy no son imaginables. ¿Cómo se estructurará para distribuir uniformemente el AGI? Creo que una utilidad es la mejor analogía para la visión que tenemos. Pero, de nuevo, todo está sujeto a la carta. ¿Cómo competir para llegar primero a AGI sin comprometer la seguridad? Creo que existe absolutamente este importante acto de equilibrio, y nuestra mejor oportunidad es lo que está en la carta.
9 DE ABRIL DE 2018 LECTURA DE 5 MINUTOS OpenAI
Para Brockman, la adherencia rígida al documento es lo que hace que la estructura de OpenAI funcione. La alineación interna se considera primordial: todos los empleados de tiempo completo deben trabajar en la misma oficina, con pocas excepciones. Para el equipo de políticas, especialmente para Jack Clark, el director, esto significa una vida dividida entre San Francisco y Washington, DC. A Clark no le importa; de hecho, está de acuerdo con la mentalidad. Son los momentos intermedios, como la hora del almuerzo con colegas, dice, los que ayudan a mantener a todos en la misma página.
En muchos sentidos, este enfoque está funcionando claramente: la empresa tiene una cultura impresionantemente uniforme. Los empleados trabajan muchas horas y hablan incesantemente de sus trabajos a través de comidas y horas sociales; muchos van a las mismas fiestas y suscriben la filosofía racional de altruismo efectivo . Hacen chistes utilizando terminología de aprendizaje automático para describir sus vidas: ¿De qué depende tu vida? ¿Para qué estás optimizando? Todo es básicamente una función minmax. Para ser justos, a otros investigadores de IA también les encanta hacer esto, pero las personas familiarizadas con OpenAI están de acuerdo: más que otros en el campo, sus empleados tratan la investigación de IA no como un trabajo sino como una identidad. (En noviembre, Brockman casado su novia de un año, Anna, en la oficina contra un fondo de flores dispuestas en un logotipo de OpenAI. Sutskever actuó como oficiante; una mano robótica era el portador del anillo.)
Pero en algún momento a mediados del año pasado, la carta se convirtió en algo más que forraje de conversación a la hora del almuerzo. Poco después de cambiar a una ganancia limitada, el liderazgo instituyó una nueva estructura salarial basada en parte en la absorción de la misión de cada empleado. Junto a columnas como experiencia en ingeniería y dirección de investigación en una pestaña de hoja de cálculo titulada Escalera técnica unificada, la última columna describe las expectativas relacionadas con la cultura para cada nivel. Nivel 3: Entiendes e interiorizas la carta de OpenAI. Nivel 5: se asegura de que todos los proyectos en los que usted y sus compañeros de equipo trabajen sean consistentes con el estatuto. Nivel 7: Usted es responsable de mantener y mejorar el estatuto y responsabilizar a otros en la organización por hacer lo mismo.
La primera vez que la mayoría de la gente escuchó hablar de OpenAI fue el 14 de febrero de 2019. Ese día, el laboratorio Anunciado impresionante nueva investigación: un modelo que podría generar ensayos y artículos convincentes con solo presionar un botón. Aliméntalo con una oración de El Señor de los Anillos o el comienzo de una noticia (falsa) sobre el robo en una tienda de Miley Cyrus, y escupía párrafo tras párrafo de texto en la misma línea.
Pero también había una trampa: el modelo, llamado GPT-2, era demasiado peligroso para liberarlo, dijeron los investigadores. Si una tecnología tan poderosa cayera en las manos equivocadas, podría convertirse fácilmente en un arma para producir desinformación a una escala inmensa.
La reacción violenta entre los científicos fue inmediata. OpenAI estaba haciendo un truco publicitario, dijeron algunos. GPT-2 no estaba lo suficientemente avanzado como para ser una amenaza. Y si lo fuera, ¿por qué anunciar su existencia y luego excluir el escrutinio público? Parecía que OpenAI estaba tratando de sacar provecho del pánico en torno a la IA, dice Britt Paris, profesor asistente en la Universidad de Rutgers que estudia la desinformación generada por IA.
Jack Clark, director de políticas. Reloj Christie Hemm
En mayo, OpenAI revisó su postura y anunció planes para un lanzamiento por etapas. Durante los meses siguientes, lanzó sucesivamente versiones cada vez más potentes de GPT-2. Mientras tanto, también se comprometió con varias organizaciones de investigación para analizar el potencial de abuso del algoritmo y desarrollar contramedidas. Finalmente, lanzó el código completo en noviembre, después de haber encontrado, decía , no hay pruebas sólidas de uso indebido hasta el momento.
En medio de continuas acusaciones de búsqueda de publicidad, OpenAI insistió en que GPT-2 no había sido un truco. Fue, más bien, un experimento cuidadosamente pensado, acordado después de una serie de discusiones y debates internos. El consenso fue que incluso si hubiera sido un poco exagerado esta vez, la acción sentaría un precedente para manejar investigaciones más peligrosas. Además, la carta había predicho que las preocupaciones de seguridad obligarían gradualmente al laboratorio a reducir nuestra publicación tradicional en el futuro.
Este fue también el argumento que el equipo de políticas expuso cuidadosamente en su publicación de blog de seguimiento de seis meses , que discutieron mientras me sentaba en una reunión. Creo que definitivamente es parte del marco de la historia de éxito, dijo Miles Brundage, un científico investigador de políticas, destacando algo en un documento de Google. El encabezado de esta sección debería ser: Hicimos algo ambicioso, ahora algunas personas lo están replicando, y aquí hay algunas razones por las que fue beneficioso.
Pero la campaña mediática de OpenAI con GPT-2 también siguió un patrón bien establecido que ha hecho desconfiar a la comunidad de IA en general. A lo largo de los años, los anuncios de investigación grandes y ostentosos del laboratorio han sido acusados repetidamente de alimentar el ciclo de exageración de la IA. Más de una vez, los críticos también han acusado al laboratorio de hablar de sus resultados hasta el punto de caracterizarlos erróneamente. Por estas razones, muchos en el campo han tendido a mantener OpenAI a distancia.
Las imágenes de portada de los lanzamientos de investigación de OpenAI cuelgan en la pared de su oficina. Christie Hemm Klok
Esto no ha impedido que el laboratorio siga invirtiendo recursos en su imagen pública. Además de los trabajos de investigación, publica sus resultados en publicaciones de blog de la empresa de gran producción para las que hace todo internamente, desde la redacción hasta la producción multimedia y el diseño de las imágenes de portada para cada lanzamiento. En un momento, también comenzó a desarrollar un documental sobre uno de sus proyectos para rivalizar una película de 90 minutos sobre AlphaGo de DeepMind . Eventualmente convirtió el esfuerzo en una producción independiente, que Brockman y su esposa, Anna, ahora están financiando parcialmente. (También acepté aparecer en el documental para brindar una explicación técnica y un contexto del logro de OpenAI. No recibí compensación por esto).
Y a medida que ha aumentado el retroceso, también lo han hecho las discusiones internas para abordarlo. Los empleados se sienten frustrados por las constantes críticas externas, y al liderazgo le preocupa que socave la influencia y la capacidad del laboratorio para contratar a los mejores talentos. Un documento interno destaca este problema y una estrategia de divulgación para abordarlo: para tener influencia en las políticas a nivel gubernamental, debemos ser vistos como la fuente más confiable en investigación de ML [aprendizaje automático] y AGI, dice una línea debajo de la Política sección. El amplio apoyo y respaldo de la comunidad investigadora no solo es necesario para ganar tal reputación, sino que amplificará nuestro mensaje. Otro, en Estrategia, dice: 'Trate explícitamente a la comunidad de ML como una parte interesada de las comunicaciones. Cambiar nuestro tono y mensajes externos para que solo los antagonicemos cuando elegimos hacerlo intencionalmente.'
Había otra razón por la que GPT-2 había desencadenado una reacción tan aguda. La gente sintió que OpenAI estaba una vez más retractándose de sus promesas anteriores de apertura y transparencia. Con la noticia de la transición con fines de lucro un mes después, la investigación retenida hizo que la gente sospechara aún más. ¿Podría ser que la tecnología se haya mantenido en secreto en preparación para obtener una licencia en el futuro?
Ilya Sutskever, cofundador y científico jefe. Christie Hemm Klok
Pero la gente no sabía que esta no era la única vez que OpenAI había elegido ocultar su investigación. De hecho, había mantenido otro esfuerzo completamente en secreto.
Existen dos teorías técnicas predominantes sobre lo que se necesitará para alcanzar AGI. En uno ya existen todas las técnicas necesarias; es solo una cuestión de descubrir cómo escalarlos y ensamblarlos. En el otro, debe haber un paradigma completamente nuevo; el aprendizaje profundo, la técnica dominante actual en IA, no será suficiente.
La mayoría de los investigadores se encuentran en algún lugar entre estos extremos, pero OpenAI siempre se ha sentado casi exclusivamente en el extremo del espectro de escalar y ensamblar. La mayoría de sus avances han sido producto de la inversión de recursos computacionales dramáticamente mayores en innovaciones técnicas desarrolladas en otros laboratorios.
Brockman y Sutskever niegan que esta sea su única estrategia, pero la investigación estrictamente protegida del laboratorio sugiere lo contrario. Un equipo llamado Foresight realiza experimentos para probar hasta qué punto pueden impulsar las capacidades de IA mediante el entrenamiento de algoritmos existentes con cantidades cada vez mayores de datos y potencia informática. Para el liderazgo, los resultados de estos experimentos han confirmado sus instintos de que la estrategia integral basada en computación del laboratorio es el mejor enfoque.
Durante aproximadamente seis meses, estos resultados se ocultaron al público porque OpenAI ve este conocimiento como su principal ventaja competitiva. A los empleados y pasantes se les instruyó explícitamente que no los revelaran, y aquellos que se fueron firmaron acuerdos de confidencialidad. Fue solo en enero que el equipo, sin la fanfarria habitual, publicó en silencio un papel en una de las principales bases de datos de código abierto para la investigación de IA. Las personas que experimentaron el intenso secreto en torno al esfuerzo no sabían qué hacer con este cambio. Notablemente, otro papel con resultados similares de diferentes investigadores se había publicado unos meses antes.
Christie There Klok
Al principio, este nivel de secreto nunca fue la intención, pero desde entonces se ha vuelto habitual. Con el tiempo, el liderazgo se alejó de su creencia original de que la apertura es la mejor manera de construir un AGI beneficioso. Ahora, la importancia de guardar silencio está grabada en aquellos que trabajan con o en el laboratorio. Esto incluye nunca hablar con los reporteros sin el permiso expreso del equipo de comunicaciones. Después de mis visitas iniciales a la oficina, cuando comencé a contactar a diferentes empleados, recibí un correo electrónico del jefe de comunicaciones que me recordaba que todas las solicitudes de entrevistas debían pasar por ella. Cuando me negué, diciendo que esto socavaría la validez de lo que la gente me decía, instruyó a los empleados para que la mantuvieran informada sobre mi alcance. Un mensaje de Slack de Clark, un ex periodista, más tarde elogió a las personas por mantener la tapa cerrada mientras un reportero husmeaba.
En una declaración en respuesta a este mayor secreto, un portavoz de OpenAI se refirió a una sección de su estatuto. Esperamos que las preocupaciones por la seguridad y la protección reduzcan nuestra publicación tradicional en el futuro, afirma la sección, mientras aumenta la importancia de compartir la investigación sobre seguridad, políticas y estándares. El portavoz también agregó: Además, cada uno de nuestros lanzamientos se ejecuta a través de un proceso de riesgo de información para evaluar estas compensaciones y queremos publicar nuestros resultados lentamente para comprender los riesgos e impactos potenciales antes de lanzarlos a la naturaleza.
Uno de los mayores secretos es el proyecto en el que OpenAI está trabajando a continuación. Las fuentes me lo describieron como la culminación de sus cuatro años anteriores de investigación: un sistema de IA entrenado en imágenes, texto y otros datos utilizando recursos computacionales masivos. Se asignó un pequeño equipo al esfuerzo inicial, con la expectativa de que otros equipos, junto con su trabajo, finalmente se incorporarán. El día que se anunció en una reunión de toda la empresa, no se permitió la asistencia de los pasantes. Las personas familiarizadas con el plan ofrecen una explicación: el liderazgo cree que esta es la forma más prometedora de llegar a AGI.
El hombre que impulsa la estrategia de OpenAI es Dario Amodei, el ex Googler que ahora se desempeña como director de investigación. Cuando lo conozco, me parece una versión más ansiosa de Brockman. Tiene una sinceridad y sensibilidad similares, pero un aire de energía nerviosa inestable. Parece distante cuando habla, con el ceño fruncido, una mano tirando distraídamente de sus rizos.
Amodei divide la estrategia del laboratorio en dos partes. La primera parte, que dicta cómo planea alcanzar capacidades avanzadas de IA, la compara con la cartera de apuestas de un inversor. Diferentes equipos en OpenAI están jugando diferentes apuestas. El equipo de idiomas, por ejemplo, apuesta por una teoría que postula que la IA puede desarrollar una comprensión significativa del mundo a través del mero aprendizaje de idiomas. El equipo de robótica, por el contrario, está presentando una teoría opuesta de que la inteligencia requiere una encarnación física para desarrollarse.
Como en la cartera de un inversor, no todas las apuestas tienen el mismo peso. Pero a los efectos del rigor científico, todos deben ser probados antes de ser descartados. Amodei señala a GPT-2, con sus textos autogenerados notablemente realistas, como un ejemplo de por qué es importante mantener una mente abierta. El lenguaje puro es una dirección de la que el campo e incluso algunos de nosotros éramos algo escépticos, dice. Pero ahora es como, 'Guau, esto es realmente prometedor'.
Con el tiempo, a medida que las diferentes apuestas superen a otras, atraerán esfuerzos más intensos. Luego se polinizarán de forma cruzada y se combinarán. El objetivo es tener cada vez menos equipos que finalmente colapsen en una sola dirección técnica para AGI. Este es el proceso exacto que supuestamente ya ha comenzado el último proyecto de alto secreto de OpenAI.
Dario Amodei, director de investigación. Reloj Christie Hemm
La segunda parte de la estrategia, explica Amodei, se centra en cómo hacer que estos sistemas de IA en constante avance sean seguros. Esto incluye asegurarse de que reflejen los valores humanos, puedan explicar la lógica detrás de sus decisiones y puedan aprender sin dañar a las personas en el proceso. Los equipos dedicados a cada uno de estos objetivos de seguridad buscan desarrollar métodos que se puedan aplicar en todos los proyectos a medida que maduran. Las técnicas desarrolladas por el equipo de explicabilidad, por ejemplo, pueden usarse para exponer la lógica detrás de las construcciones de oraciones de GPT-2 o los movimientos de un robot.
Amodei admite que esta parte de la estrategia es algo aleatoria, se basa menos en teorías establecidas en el campo y más en corazonadas. En algún momento vamos a construir AGI, y para ese momento quiero sentirme bien acerca de estos sistemas que operan en el mundo, dice. Cualquier cosa en la que actualmente no me sienta bien, creo y recluto un equipo para enfocarme en eso.
A pesar de toda la búsqueda de publicidad y el secreto, Amodei parece sincero cuando dice esto. La posibilidad de fracasar parece perturbarlo.
Estamos en la posición incómoda de: no sabemos cómo se ve AGI, dice. No sabemos cuándo va a suceder. Luego, con cuidadosa autoconciencia, agrega: La mente de cualquier persona es limitada. Lo mejor que he encontrado es contratar a otros investigadores de seguridad que a menudo tienen visiones que son diferentes a las que yo podría haber pensado. Quiero ese tipo de variación y diversidad porque esa es la única manera de captar todo.
La cuestión es que OpenAI en realidad tiene poca variación y diversidad, un hecho que me quedó claro en mi tercer día en la oficina. Durante el único almuerzo que se me concedió para mezclarme con los empleados, me senté en la mesa visiblemente más diversa por un amplio margen. Menos de un minuto después, me di cuenta de que las personas que comían allí no eran, de hecho, empleados de OpenAI. Neuralink, la startup de Musk que trabaja en interfaces computadora-cerebro, comparte el mismo edificio y comedor.
Daniela Amodei, jefa de operaciones de personas. Christie Hemm Klok
Según un portavoz del laboratorio, de los más de 120 empleados, el 25 % son mujeres o personas no binarias. También hay dos mujeres en el equipo ejecutivo y el equipo de liderazgo tiene un 30% de mujeres, dijo, aunque no especificó quiénes se contaban entre estos equipos. (Los cuatro ejecutivos de C-suite, incluidos Brockman y Altman, son hombres blancos. De más de 112 empleados que identifiqué en LinkedIn y otras fuentes, la gran mayoría eran blancos o asiáticos).
Para ser justos, esta falta de diversidad es típica en la IA. el año pasado un reporte del instituto de investigación AI Now, con sede en Nueva York, descubrió que las mujeres representaban solo el 18 % de los autores en las principales conferencias de IA, el 20 % de las cátedras de IA y el 15 % y el 10 % del personal de investigación en Facebook y Google, respectivamente. Definitivamente, todavía queda mucho trabajo por hacer en la academia y la industria, dijo el portavoz de OpenAI. La diversidad y la inclusión son algo que nos tomamos en serio y trabajamos continuamente para mejorar trabajando con iniciativas como WiML, Girl Geek y nuestro programa Scholars.
De hecho, OpenAI ha intentado ampliar su grupo de talentos. Comenzó su programa de becarios remotos para minorías subrepresentadas en 2018. Pero solo dos de los primeros ocho becarios se convirtieron en empleados de tiempo completo, a pesar de que reportaron experiencias positivas. La razón más común para negarse a quedarse: el requisito de vivir en San Francisco. Para Nadja Rhodes, una ex becaria que ahora es la ingeniera principal de aprendizaje automático en una empresa con sede en Nueva York, la ciudad tenía muy poca diversidad.
Pero si la diversidad es un problema para la industria de la IA en general, es algo más existencial para una empresa cuya misión es difundir la tecnología de manera uniforme para todos. El hecho es que carece de representación de los grupos con mayor riesgo de quedarse fuera.
Tampoco está nada claro solo cómo OpenAI planea distribuir los beneficios de AGI a toda la humanidad, como dice Brockman con frecuencia al citar su misión. El liderazgo habla de esto en términos vagos y ha hecho poco para concretar los detalles. (En enero, el Instituto del Futuro de la Humanidad de la Universidad de Oxford publicó un informe en colaboración con el laboratorio proponiendo repartir beneficios repartiendo un porcentaje de los beneficios. Pero los autores mencionaron problemas importantes no resueltos con respecto a... la forma en que se implementaría). Este es mi mayor problema con OpenAI, dice un ex empleado, que habló bajo condición de anonimato.
Christie There Klok
Están utilizando prácticas técnicas sofisticadas para tratar de responder a los problemas sociales con IA, se hace eco Britt Paris de Rutgers. Parece que realmente no tienen las capacidades para comprender realmente lo social. Simplemente entienden que ese es un lugar lucrativo para posicionarse en este momento.
Brockman está de acuerdo en que tanto la experiencia técnica como la social serán necesarias en última instancia para que OpenAI logre su misión. Pero no está de acuerdo en que los problemas sociales deben resolverse desde el principio. ¿Cómo se integra exactamente la ética o estas otras perspectivas? ¿Y cuándo los traes y cómo? Una estrategia que podría seguir es, desde el principio, tratar de hornear todo lo que pueda necesitar, dice. Yo no pensar que es probable que esa estrategia tenga éxito.
Lo primero que hay que averiguar, dice, es cómo se verá AGI. Solo entonces será el momento de asegurarse de que estamos comprendiendo las ramificaciones.
El verano pasado, en las semanas posteriores al cambio a un modelo de ganancias limitadas y la inyección de $ 1 mil millones de Microsoft, el liderazgo aseguró a los empleados que estas actualizaciones no cambiarían funcionalmente el enfoque de investigación de OpenAI. Microsoft estaba bien alineado con los valores del laboratorio y cualquier esfuerzo de comercialización estaría lejos; la búsqueda de cuestiones fundamentales seguiría estando en el centro de la obra.
Por un tiempo, estas garantías parecieron ser ciertas y los proyectos continuaron como estaban. Muchos empleados ni siquiera sabían qué promesas se habían hecho a Microsoft, si es que había alguna.
Pero en los últimos meses, la presión de la comercialización se ha intensificado, y la necesidad de producir investigaciones lucrativas ya no se siente como algo en un futuro lejano. Al compartir su visión de 2020 para el laboratorio en privado con los empleados, el mensaje de Altman es claro: OpenAI necesita ganar dinero para investigar, no al revés.
Esta es una compensación difícil pero necesaria, ha dicho el liderazgo, una que tuvo que hacer por falta de donantes filantrópicos ricos. Por el contrario, AI2, con sede en Seattle, una organización sin fines de lucro que avanza ambiciosamente en la investigación fundamental de IA, recibe sus fondos de un fondo de dinero autosuficiente (al menos en el futuro previsible) dejado por el difunto Paul Allen, un multimillonario mejor conocido por cofundar Microsoft.
Pero la verdad es que OpenAI se enfrenta a esta disyuntiva no solo porque no es rico, sino también porque tomó la decisión estratégica de tratar de llegar a AGI antes que nadie. Esa presión lo obliga a tomar decisiones que parecen alejarse cada vez más de su intención original. Se inclina hacia la exageración en su prisa por atraer financiamiento y talento, protege su investigación con la esperanza de mantener la ventaja y persigue una estrategia computacionalmente pesada, no porque se vea como la única forma de AGI, sino porque parece la más rápida. .
Sin embargo, OpenAI sigue siendo un bastión de talento e investigación de vanguardia, lleno de personas que se esfuerzan sinceramente por trabajar en beneficio de la humanidad. En otras palabras, todavía tiene los elementos más importantes y todavía hay tiempo para que cambie.
Cerca del final de mi entrevista con Rhodes, la antigua becaria remota, le pregunto algo sobre OpenAI que no debería omitir de este perfil. Supongo que en mi opinión, hay problemas, comienza vacilante. Algunos de ellos provienen quizás del entorno al que se enfrenta; algunos de ellos provienen del tipo de personas que tiende a atraer y otras personas que deja fuera.
Pero para mí, parece que están haciendo algo un poco bien, dice ella. Tengo la sensación de que la gente de allí lo está intentando con seriedad.
Actualizar: Hicimos algunos cambios en esta historia después de que OpenAI nos pidió que aclaráramos que cuando Greg Brockman dijo que no creía que fuera posible incorporar la ética... desde el principio, cuando se desarrolló la IA, pretendía que las cuestiones éticas no pudieran resolverse desde el principio, no es que no pudieran abordarse desde el principio. Además, después de abandonar Harvard, se transfirió directamente al MIT en lugar de esperar un año. Además, que no fue criado en una granja, sino 'en una granja de pasatiempos'. Brockman considera importante esta distinción.
Además, hemos aclarado que, si bien OpenAI efectivamente 'se despojó de su condición de organización sin fines de lucro', una junta que forma parte de una entidad sin fines de lucro todavía la supervisa, y que OpenAI publica su investigación en forma de publicaciones de blog de la empresa y, no en en lugar de trabajos de investigación. También hemos corregido la fecha de publicación de un artículo de investigadores externos y la afiliación de Peter Eckersley (ex director de investigación, no actual, de Partnership on AI, que dejó recientemente).