211service.com
¿Cómo podemos estar seguros de que la IA se comportará? Tal vez observándolo discutir consigo mismo.
Blog de IA abierta
Algún día, podría ser perfectamente normal ver cómo un sistema de IA lucha contra sí mismo.
El concepto proviene de investigadores de IA abierta , una organización sin fines de lucro fundada por varias luminarias de Silicon Valley, incluido el socio de Y Combinator, Sam Altman, el presidente de LinkedIn, Reid Hoffman, el miembro de la junta de Facebook y fundador de Palantir, Peter Thiel, y el director de Tesla y SpaceX, Elon Musk.
Los investigadores de OpenAI han demostrado previamente que los sistemas de IA que se entrenan a sí mismos a veces pueden desarrollar hábitos inesperados e indeseados. Por ejemplo, en un juego de computadora, un agente puede descubrir cómo falla su camino hacia una puntuación más alta. En algunos casos, puede ser posible que una persona supervisar el proceso de formación . Pero si el programa de IA está haciendo algo imposiblemente complejo, esto podría no ser factible. Entonces, los investigadores sugieren tener dos sistemas que discutan un objetivo particular.
Creemos que este o un enfoque similar podría eventualmente ayudarnos a entrenar sistemas de IA para realizar tareas mucho más avanzadas cognitivamente de las que los humanos son capaces de hacer, sin dejar de estar en línea con las preferencias humanas, escriben los investigadores en una entrada de blog esbozando el concepto.
Tomemos, por ejemplo, un sistema de IA diseñado para defenderse contra piratas informáticos humanos o de IA. Para evitar que el sistema haga algo dañino o poco ético, puede ser necesario desafiarlo para que explique la lógica de una acción en particular. Esa lógica puede ser demasiado compleja para que una persona la comprenda, por lo que los investigadores sugieren que otra IA debata la sabiduría de la acción con el primer sistema, usando lenguaje natural, mientras la persona observa. Más detalles aparecen en un trabajo de investigación .
Hacer que los programas de IA discutan entre sí requiere una tecnología más sofisticada que la que existe actualmente. Hasta ahora, los investigadores de OpenAI solo han explorado la idea con un par de ejemplos extremadamente simples. Uno involucra dos sistemas de inteligencia artificial que intentan convencer a un observador sobre un personaje oculto al revelar lentamente píxeles individuales.
Los investigadores han creado una página web donde dos personas cualquiera pueden intentar desempeñar los roles de los sistemas de IA de debate, mientras que un tercero actúa como juez. Los dos participantes compiten para convencer al juez sobre la naturaleza de una imagen mientras resaltan partes de ella. Eventualmente se vuelve más fácil para el observador saber quién está siendo honesto.
Vincent Conitzer , un investigador de la Universidad de Duke que estudia cuestiones éticas relacionadas con la IA, dice que el trabajo se encuentra en una etapa inicial pero es prometedor. La creación de sistemas de IA que puedan explicar sus decisiones es una agenda de investigación desafiante, dice. Si tiene éxito, puede contribuir en gran medida al uso responsable de la IA.
Tal como está, y a pesar de algunos extravagante declaraciones de personas como Elon Musk (un financiador de OpenAI y hasta hace poco miembro de su junta), todavía estamos muy lejos de tener sistemas de IA capaces de engañarnos y ser más listos que nosotros en el tipo de escenario representado en películas como ex machina y Ella .
Aún así, algunos investigadores de IA están explorando formas de garantizar que la tecnología no se comporte de manera no deseada. Esto puede volverse más importante a medida que los programas de IA se vuelven más complejos e inescrutables (ver El oscuro secreto en el corazón de la IA).
Creo que la idea de la alineación de valores a través del debate es muy interesante y potencialmente útil, dice Ariel Procaccia , profesor de informática en CMU que estudia la toma de decisiones con sistemas autónomos.
Sin embargo, Procaccia señala que el trabajo es muy preliminar y que el concepto puede incluso contener una contradicción fundamental. Para debatir cuestiones cargadas de valores de una manera que sea comprensible para un juez humano, los agentes de IA pueden necesitar tener una comprensión sólida de los valores humanos en primer lugar, dice. Entonces, podría decirse que el enfoque es poner el carro delante del caballo.
Iyad Rawan , un investigador del laboratorio de medios del MIT, agrega que los investigadores deberían tener cuidado de que un par de IA no entren en una discusión circular. Creo que abordarán algunos problemas muy complicados muy rápidamente, dice. El primero es cómo automatizar la argumentación en lenguaje natural, que aún es un problema sin resolver.