211service.com
Sí, nos preocupa el riesgo existencial de la inteligencia artificial
Oren Etzioni, un conocido investigador de IA, se queja de la cobertura de noticias sobre los posibles riesgos a largo plazo que surgen del éxito futuro en la investigación de IA (ver No, los expertos no piensan que la IA superinteligente es una amenaza para la humanidad). Después de señalar con el dedo directamente al filósofo de Oxford Nick Bostrom y su libro reciente, superinteligencia , Etzioni se queja de que la principal fuente de datos de Bostrom sobre el advenimiento de la inteligencia a nivel humano consiste en encuestas sobre las opiniones de los investigadores de IA. Luego examina las opiniones de los investigadores de IA, argumentando que sus resultados refutan los de Bostrom.
Es importante entender que Etzioni ni siquiera está abordando la razón superinteligencia ha tenido el impacto que él denuncia: su clara explicación de por qué la IA superinteligente puede tener consecuencias arbitrariamente negativas y por qué es importante comenzar a abordar el problema con mucha anticipación. boström no basa su caso en las predicciones de que los sistemas de IA sobrehumanos son inminentes. Él escribe: No es parte del argumento de este libro que estemos en el umbral de un gran avance en inteligencia artificial, o que podamos predecir con precisión cuándo podría ocurrir tal desarrollo.
Por lo tanto, desde nuestro punto de vista, el artículo de Etzioni distrae al lector del argumento central del libro y dirige un ataque ad hominem contra Bostrom con el pretexto de cuestionar los resultados de su encuesta. Creemos que es necesario corregir el registro. Uno de nosotros (Russell) incluso contribuyó a la encuesta de Etzioni, solo para ver que su respuesta fue completamente malinterpretada. De hecho, como nuestro análisis detallado muestra, los resultados de la encuesta de Etzioni son totalmente consistentes con los que cita Bostrom.
¿Cómo, entonces, llega Etzioni a su conclusión novedosa? Al diseñar un instrumento de encuesta que es inferior a Bostrom's y luego malinterpretando los resultados.
El subtítulo del artículo dice: Si le preguntas a las personas que realmente deberían saberlo, encontrarás que pocos creen que la IA es una amenaza para la humanidad. Entonces, se hace creer al lector que Etzioni hizo esta pregunta a las personas que realmente deberían saber, mientras que Bostrom no lo hizo. De hecho, lo contrario es cierto: Bostrom hizo pregúntele a la gente que realmente debería saber, pero Etzioni no le preguntó a nadie en absoluto. Bostrom encuestó a los 100 investigadores de IA más citados. Más de la mitad de los encuestados dijeron que creen que existe una posibilidad sustancial (al menos el 15 por ciento) de que el efecto de la inteligencia artificial a nivel humano en la humanidad sea malo o extremadamente malo (catástrofe existencial). La encuesta de Etzioni, a diferencia de la de Bostrom, no hizo ninguna pregunta sobre una amenaza para la humanidad.
En su lugar, simplemente hace una pregunta sobre Cuándo lograremos la superinteligencia. Como ya habrían predicho los datos de Bostrom, algo más de la mitad (67,5 por ciento) de los encuestados de Etzioni se esforzaron durante más de 25 años para lograr la superinteligencia; después de todo, más de la mitad de los encuestados de Bostrom dieron fechas más allá de los 25 años para una probabilidad del 50 por ciento. lograr una mera inteligencia a nivel humano. Uno de nosotros (Russell) respondió a la encuesta de Etzioni con más de 25 años, y el mismo Bostrom escribe, sobre sus propias encuestas: Mi propia opinión es que los números medios informados en la encuesta de expertos no tienen suficiente masa de probabilidad en fechas de llegada posteriores.
Ahora, después de haber diseñado una encuesta en la que se podía esperar que los encuestados eligieran más de 25 años, Etzioni lanza su trampa: afirma que 25 años está más allá del horizonte previsible y, por lo tanto, deduce que ni Russell ni el propio Bostrom creen que la IA superinteligente es una amenaza. a la humanidad Esto será una sorpresa para Russell y Bostrom, y presumiblemente para muchos otros encuestados en la encuesta. (De hecho, el titular de Etzioni podría haber sido fácilmente que el 75 por ciento de los expertos piensa que la IA superinteligente es inevitable). ¿Deberíamos ignorar los riesgos catastróficos simplemente porque la mayoría de los expertos piensan que están a más de 25 años de distancia? Según la lógica de Etzioni, también deberíamos ignorar los riesgos catastróficos del cambio climático y castigar a quienes los mencionan.
Contrariamente a las opiniones de Etzioni y algunos otros en el comunidad de IA , señalar los riesgos a largo plazo de la IA es no equivalente a afirmar que la IA superinteligente y los riesgos que la acompañan son inminentes. La lista de quienes han señalado los riesgos incluye luminarias como Alan Turing, Norbert Wiener, I.J. Bueno, y Marvin Minsky. Incluso Oren Etzioni ha reconoció estos desafíos . Hasta donde sabemos, ninguno de ellos afirmó jamás que la IA superinteligente fuera inminente. Tampoco, como se señaló anteriormente, Bostrom en superinteligencia .
Etzioni luego repite el dudoso argumento de que las predicciones pesimistas a menudo no consideran los beneficios potenciales de la IA para prevenir errores médicos, reducir los accidentes automovilísticos y más. El argumento ni siquiera se aplica a Bostrom, quien predice que el éxito en el control de la IA resultará en un uso compasivo y jubiloso de la dotación cósmica de la humanidad. El argumento también es una tontería. Es como argumentar que los ingenieros nucleares que analizan la posibilidad de fusiones en las centrales nucleares no están considerando los beneficios potenciales de la electricidad barata, y que debido a que las centrales nucleares algún día podrían generar electricidad realmente barata, no deberíamos mencionar ni trabajar en la prevención. , la posibilidad de un colapso.
Nuestra experiencia con Chernobyl sugiere que puede ser imprudente afirmar que una tecnología poderosa no implica riesgos. También puede ser imprudente afirmar que una tecnología poderosa nunca llegará a buen término. El 11 de septiembre de 1933, Lord Rutherford, quizás el físico nuclear más eminente del mundo, describió la perspectiva de extraer energía de los átomos como nada más que un alcohol ilegal. Menos de 24 horas después, Leo Szilard inventó la reacción en cadena nuclear inducida por neutrones; diseños detallados para reactores nucleares y armas nucleares siguieron unos años más tarde. Seguramente es mejor anticipar el ingenio humano que subestimarlo, mejor reconocer los riesgos que negarlos.
Muchos destacados expertos en IA han reconocido la posibilidad de que la IA presente un riesgo existencial. Contrariamente a las tergiversaciones en los medios, este riesgo no tiene por qué surgir de una conciencia malévola espontánea. Más bien, el riesgo surge de la imprevisibilidad y la potencial irreversibilidad de implementar un proceso de optimización más inteligente que los humanos que especificaron sus objetivos. Este problema lo planteó claramente Norbert Wiener en 1960, y aún no lo hemos resuelto. Invitamos al lector a apoyar los esfuerzos en curso para hacerlo.
Allan Dafoe es profesor asistente de ciencias políticas en la Universidad de Yale.
Stuart Russell es profesor de informática en la Universidad de California, Berkeley.
Respuesta de Oren Etzioni, 2 de noviembre de 2016:
Estoy encantado de que los profesores Dafoe & Russell y parece que estoy de acuerdo en tres asuntos críticos. Uno, debemos abstenernos de los ataques ad hominem. Aquí, tengo que ofrecer una disculpa: no debería haber citado al miembro anónimo de AAAI que comparó al Dr. Bostrom con Donald Trump. No quise prestar mi voz a esa comparación; Me disculpé sinceramente con Bostrom por este paso en falso por correo electrónico, una disculpa que él aceptó amablemente. Dos, como científicos, necesitamos evaluar las declaraciones sobre el riesgo de la IA. basado en datos Ese fue el punto clave de mi breve artículo , y el artículo ofrecía datos únicos sobre este tema. En tercer lugar, también coincidimos en que los medios de comunicación han tergiversado las implicaciones del trabajo de Bostrom, un tema de gran preocupación que fue mitigado en cierta medida por el Informe de la Casa Blanca sobre IA . Por supuesto, diferimos en muchos de los detalles y las complejidades de los argumentos, pero el tiempo lo dirá.