Una IA está capacitando a consejeros para tratar con adolescentes en crisis

Sra. Tecnología | Unsplash, Pexels

Los consejeros que se ofrecen como voluntarios en Trevor Project deben estar preparados para su primera conversación con un adolescente LGBTQ que puede estar pensando en suicidarse. Así que primero, practican. Una de las formas en que lo hacen es hablando con personajes ficticios como Riley, una joven de 16 años de Carolina del Norte que se siente un poco deprimida. Con un miembro del equipo que hace el papel de Riley, los aprendices pueden profundizar en lo que está sucediendo: pueden descubrir que el adolescente está ansioso por salir del armario con la familia, recientemente se lo dijo a sus amigos y no salió bien, y ha experimentado pensamientos suicidas antes, si no en el momento.

Ahora, sin embargo, Riley no está siendo interpretado por un empleado de Trevor Project, sino que está siendo impulsado por IA.

Al igual que la persona original, esta versión de Riley, entrenada en miles de transcripciones anteriores de juegos de roles entre consejeros y el personal de la organización, todavía necesita ser persuadida un poco para que se abra, presentando una situación que pueda probar lo que los aprendices han aprendido. sobre las mejores maneras de ayudar a los adolescentes LGBTQ.

Se supone que los consejeros no deben presionar a Riley para que salga. El objetivo, en cambio, es validar los sentimientos de Riley y, si es necesario, ayudar a desarrollar un plan para mantenerse a salvo.

Las líneas directas de crisis y los servicios de chat los convierten en una promesa fundamental: comuníquese y lo conectaremos con un ser humano real que puede ayudarlo. Pero la necesidad puede superar la capacidad incluso de los servicios más exitosos. El Proyecto Trevor cree que 1,8 millones de jóvenes LGBTQ en Estados Unidos consideran seriamente el suicidio cada año. Los 600 consejeros existentes para sus servicios basados ​​en chat no pueden manejar esa necesidad. Es por eso que el grupo, como un número cada vez mayor de organizaciones de salud mental, recurrió a herramientas impulsadas por IA para ayudar a satisfacer la demanda. Es un desarrollo que tiene mucho sentido, al mismo tiempo que plantea preguntas sobre qué tan bien puede funcionar la tecnología de inteligencia artificial actual en situaciones donde la vida de las personas vulnerables está en juego.

Asumir riesgos y evaluarlos

El Proyecto Trevor cree que entiende este equilibrio y enfatiza lo que Riley no hace.

No nos propusimos y no nos proponemos diseñar un sistema de IA que reemplace a un consejero, o que interactúe directamente con una persona que podría estar en crisis, dice Dan Fichter, director de IA y de la organización. Ingeniería. Esta conexión humana es importante en todos los servicios de salud mental, pero podría ser especialmente importante para las personas a las que sirve el Proyecto Trevor. Según la propia investigación de la organización en 2019, los jóvenes LGBTQ con al menos un adulto que los aceptaba en su vida eran 40% menos probable reportar un intento de suicidio en el año anterior.

El juego de roles de capacitación impulsado por IA, llamado simulador de contacto de crisis y respaldado con dinero y ayuda de ingeniería de Google, es el segundo proyecto que la organización ha desarrollado de esta manera: también utiliza un algoritmo de aprendizaje automático para ayudar a determinar quién está en mayor riesgo. de peligro (Probó varios otros enfoques, incluidos muchos que no usaban IA, pero el algoritmo simplemente dio las predicciones más precisas sobre quién estaba experimentando la necesidad más urgente).

La evaluación de riesgos impulsada por IA no es nueva en los servicios de prevención del suicidio: el Departamento de Asuntos de Veteranos también utiliza el aprendizaje automático para identificar a los veteranos en riesgo en sus prácticas clínicas, como El New York Times informó a finales del año pasado.

Las opiniones varían sobre la utilidad, la precisión y el riesgo de usar la IA de esta manera. En entornos específicos, la IA puede ser más precisa que los humanos al evaluar el riesgo de suicidio de las personas, argumenta Thomas Joiner, profesor de psicología en la Universidad Estatal de Florida que estudia el comportamiento suicida. En el mundo real, con más variables, la IA parece funcionar tan bien como los humanos. Sin embargo, lo que puede hacer es evaluar a más personas a un ritmo más rápido.

Por lo tanto, es mejor usarlo para ayudar a los consejeros humanos, no para reemplazarlos. El Proyecto Trevor todavía depende de los humanos para realizar evaluaciones de riesgo completas en los jóvenes que usan sus servicios. Y después de que los consejeros terminen sus juegos de roles con Riley, un ser humano revisa esas transcripciones.

Cómo funciona el sistema

El simulador de contacto de crisis se desarrolló porque los juegos de rol consumen mucho tiempo del personal y se limitan a las horas normales de trabajo, aunque la mayoría de los consejeros planean ser voluntarios durante los turnos de noche y de fin de semana. Pero incluso si el objetivo era capacitar más rápido a más consejeros y adaptarse mejor a los horarios de los voluntarios, la eficiencia no era la única ambición. Los desarrolladores aún querían que el juego de roles se sintiera natural y que el chatbot se adaptara ágilmente a los errores de los voluntarios. Algoritmos de procesamiento de lenguaje natural , que recientemente se había vuelto muy bueno imitando conversaciones humanas, parecía encajar bien en el desafío. Después de probar varias opciones, el Proyecto Trevor se decidió por Algoritmo GPT-2 de OpenAI .

Historia relacionada

El nuevo generador de lenguaje GPT-3 de OpenAI es sorprendentemente bueno y completamente insensato

La IA es el modelo de lenguaje más grande que se haya creado y puede generar un texto increíble similar al humano bajo demanda, pero no nos acercará a la verdadera inteligencia.

El chatbot usa GPT-2 para sus habilidades conversacionales básicas. Ese modelo se entrena en 45 millones de páginas de la web, lo que le enseña la estructura básica y la gramática del idioma inglés. Luego, el Proyecto Trevor lo entrenó más en todas las transcripciones de conversaciones anteriores de juegos de rol de Riley, lo que le dio al bot los materiales que necesitaba para imitar a la persona.

A lo largo del proceso de desarrollo, el equipo se sorprendió de lo bien que se desempeñó el chatbot. No hay una base de datos que almacene detalles de la biografía de Riley, pero el chatbot se mantuvo constante porque cada transcripción refleja la misma historia.

Pero también existen ventajas y desventajas al usar IA, especialmente en contextos sensibles con comunidades vulnerables. Se sabe que GPT-2 y otros algoritmos de lenguaje natural similares incorporan ideas profundamente racistas, sexistas y homofóbicas. Más de un chatbot ha sido desviado desastrosamente de esta manera, siendo el más reciente un chatbot de Corea del Sur llamado Lee Luda que tenía la personalidad de un estudiante universitario de 20 años. Después de ganar popularidad rápidamente e interactuar con más y más usuarios, comenzó a usar insultos para describir las comunidades queer y discapacitadas.

El Proyecto Trevor es consciente de esto y diseñó formas de limitar la posibilidad de problemas. Si bien Lee Luda estaba destinado a conversar con los usuarios sobre cualquier cosa, Riley tiene un enfoque muy limitado. Los voluntarios no se desviarán demasiado de las conversaciones en las que han sido entrenados, lo que minimiza las posibilidades de un comportamiento impredecible.

Esto también facilita la prueba exhaustiva del chatbot, lo que Trevor Project dice que está haciendo. Estos casos de uso altamente especializados y bien definidos, y diseñados de manera inclusiva, no representan un riesgo muy alto, dice Nenad Tomasev, investigador de DeepMind.

humano a humano

Esta no es la primera vez que el campo de la salud mental intenta aprovechar el potencial de la IA para brindar asistencia ética e inclusiva sin dañar a las personas a las que está diseñada para ayudar. Investigadores han desarrollado formas prometedoras de detectar la depresión a partir de una combinación de señales visuales y auditivas. Los bots de terapia, aunque no equivalen a un profesional humano, están siendo lanzadas como alternativas para aquellos que no pueden acceder a un terapeuta o son incómodos confiar en una persona.

Cada uno de estos desarrollos, y otros similares, requieren pensar en cuánta agencia deben tener las herramientas de IA cuando se trata de tratar a personas vulnerables. Y el consenso parece ser que, en este momento, la tecnología no es realmente adecuada para reemplazar la ayuda humana.

Aún así, Joiner, el profesor de psicología, dice que esto podría cambiar con el tiempo. Si bien reemplazar a los consejeros humanos con copias de IA actualmente es una mala idea, eso no significa que sea una restricción permanente, dice. Las personas tienen amistades y relaciones artificiales. con servicios de IA ya . Mientras no se engañe a las personas para que piensen que están discutiendo con un ser humano cuando están hablando con una IA, dice, podría ser una posibilidad en el futuro.

Mientras tanto, Riley nunca se enfrentará a los jóvenes que envían mensajes de texto al Proyecto Trevor: solo servirá como una herramienta de capacitación para voluntarios. La conexión de persona a persona entre nuestros consejeros y las personas que se comunican con nosotros es esencial para todo lo que hacemos, dice Kendra Gaunt, líder de productos de datos e IA del grupo. Creo que eso nos hace realmente únicos y algo que no creo que ninguno de nosotros quiera reemplazar o cambiar.

Corrección: Modificamos una oración que decía que Trevor Project probó dos algoritmos para su chatbot. Probó varios.

esconder