¿Preocupado por la ética de IA de su empresa? Estas nuevas empresas están aquí para ayudar.

Getty

El trabajo de Rumman Chowdhury solía implicar muchas traducciones. Como líder responsable de IA en la consultora Accenture, trabajaría con clientes que luchan por comprender sus modelos de IA. ¿Cómo sabían si las modelos estaban haciendo lo que se suponía que debían hacer? La confusión a menudo se debía en parte a que los científicos de datos, los abogados y los ejecutivos de la empresa parecían hablar idiomas diferentes. Su equipo actuaría como intermediario para que todas las partes pudieran estar en la misma página. Era ineficiente, por decir lo menos: auditar un solo modelo podía llevar meses.

Entonces, a fines de 2020, Chowdhury dejó su puesto para comenzar su propia empresa. Llamado IA de paridad , ofrece a los clientes un conjunto de herramientas que buscan acortar el proceso a unas pocas semanas. Primero les ayuda a identificar cómo quieren auditar su modelo (¿es por sesgo o por cumplimiento legal?) y luego proporciona recomendaciones para abordar el problema.

Parity se encuentra entre una creciente cosecha de nuevas empresas que prometen a las organizaciones formas de desarrollar, monitorear y corregir sus modelos de IA. Ofrecen una gama de productos y servicios, desde herramientas de mitigación de sesgos hasta plataformas de explicabilidad. Inicialmente, la mayoría de sus clientes provenían de industrias fuertemente reguladas como las finanzas y la atención médica. Pero una mayor investigación y atención de los medios sobre cuestiones de sesgo , la privacidad y la transparencia han cambiado el foco de la conversación. Los nuevos clientes a menudo simplemente están preocupados por ser responsables, mientras que otros quieren prepararse para el futuro antes de la regulación.

Muchas empresas realmente se enfrentan a esto por primera vez, dice Chowdhury. Casi todos ellos están pidiendo ayuda.

Del riesgo al impacto

Cuando trabaja con nuevos clientes, Chowdhury evita usar el término responsabilidad. La palabra es demasiado blanda y mal definida; deja demasiado espacio para la falta de comunicación. En cambio, comienza con una jerga corporativa más familiar: la idea de riesgo. Muchas empresas tienen brazos de riesgo y cumplimiento y procesos establecidos para la mitigación de riesgos.

La mitigación de riesgos de IA no es diferente. Una empresa debe comenzar por considerar las diferentes cosas que le preocupan. Estos pueden incluir riesgo legal, la posibilidad de infringir la ley; riesgo organizacional, la posibilidad de perder empleados; o riesgo reputacional, la posibilidad de sufrir un desastre de relaciones públicas. A partir de ahí, puede trabajar hacia atrás para decidir cómo auditar sus sistemas de IA. Una compañía financiera, que opera bajo las leyes de préstamos justos en los EE. UU., querría verificar sus modelos de préstamos en busca de sesgos para mitigar el riesgo legal. Una empresa de telesalud, cuyos sistemas se entrenan con datos médicos confidenciales, podría realizar auditorías de privacidad para mitigar el riesgo reputacional.

Parity incluye una biblioteca de preguntas sugeridas para ayudar a las empresas a evaluar el riesgo de sus modelos de IA.

PARIDAD

La paridad ayuda a organizar este proceso. La plataforma primero le pide a una empresa que construya una evaluación de impacto interna, en esencia, un conjunto de preguntas de encuesta abiertas sobre cómo funcionan sus sistemas comerciales y de inteligencia artificial. Puede optar por escribir preguntas personalizadas o seleccionarlas de la biblioteca de Parity, que tiene más de 1000 indicaciones adaptadas de las pautas de ética de la IA y la legislación relevante de todo el mundo. Una vez que se crea la evaluación, se alienta a los empleados de toda la empresa a completarla en función de su función laboral y sus conocimientos. Luego, la plataforma ejecuta sus respuestas de texto libre a través de un modelo de procesamiento de lenguaje natural y las traduce teniendo en cuenta las áreas clave de riesgo de la empresa. La paridad, en otras palabras, sirve como el nuevo intermediario para que los científicos de datos y los abogados estén en sintonía.

A continuación, la plataforma recomienda un conjunto correspondiente de acciones de mitigación de riesgos. Estos podrían incluir la creación de un tablero para monitorear continuamente la precisión de un modelo, o implementar nuevos procedimientos de documentación para rastrear cómo se entrenó y ajustó un modelo en cada etapa de su desarrollo. También ofrece una colección de marcos y herramientas de código abierto que pueden ayudar, como el de IBM. IA Equidad 360 para monitoreo de sesgo o Tarjetas modelo de Google para la documentación.

Chowdhury espera que si las empresas pueden reducir el tiempo que les lleva auditar sus modelos, serán más disciplinadas para hacerlo con regularidad y frecuencia. Con el tiempo, espera, esto también podría abrirlos a pensar más allá de la mitigación de riesgos. Mi objetivo furtivo es en realidad hacer que más empresas piensen en el impacto y no solo en el riesgo, dice ella. El riesgo es el lenguaje que la gente entiende hoy, y es un lenguaje muy valioso, pero el riesgo a menudo es reactivo y receptivo. El impacto es más proactivo, y esa es en realidad la mejor manera de enmarcar lo que deberíamos estar haciendo.

Un ecosistema de responsabilidad

Mientras que Parity se centra en la gestión de riesgos, otra startup, Violinista , se centra en la explicabilidad. El CEO Krishna Gade comenzó a pensar en la necesidad de una mayor transparencia en la forma en que los modelos de IA toman decisiones mientras se desempeñaba como gerente de ingeniería del equipo de News Feed de Facebook. Después de las elecciones presidenciales de 2016, la empresa hizo un gran esfuerzo interno para comprender mejor cómo sus algoritmos clasificaban el contenido. El equipo de Gade desarrolló una herramienta interna que luego se convirtió en la base del ¿Por qué estoy viendo esto? característica .

Historia relacionada

Cinco formas de hacer de la IA una mayor fuerza para el bien en 2021 Hay más atención que nunca sobre la influencia de la IA. Hagamos que cuente.

Gade lanzó Fiddler poco después, en octubre de 2018. Ayuda a los equipos de ciencia de datos a rastrear el rendimiento en evolución de sus modelos y crea informes de alto nivel para ejecutivos de negocios basados ​​en los resultados. Si la precisión de un modelo se deteriora con el tiempo o muestra comportamientos sesgados, Fiddler ayuda a depurar por qué podría estar sucediendo. Gade ve los modelos de monitoreo y la mejora de la explicabilidad como los primeros pasos para desarrollar e implementar la IA de manera más intencional.

Arturo , fundada en 2019, y Pesos y sesgos , fundada en 2017, son dos empresas más que ofrecen plataformas de monitoreo. Al igual que Fiddler, Arthur enfatiza la explicabilidad y la mitigación de sesgos, mientras que Weights & Biases rastrea los experimentos de aprendizaje automático para mejorar la investigación. reproducibilidad . Las tres empresas han observado un cambio gradual en las principales preocupaciones de las empresas, desde el cumplimiento legal o el desempeño del modelo hasta la ética y la responsabilidad.

Mi parte cínica estaba preocupada al principio de que veríamos a los clientes entrar y pensar que podían simplemente marcar una casilla asociando su marca con otra persona que hiciera IA responsable, dice Liz O'Sullivan, vicepresidenta de IA responsable de Arthur, quien también se desempeña como director de tecnología del Proyecto de Supervisión de Tecnología de Vigilancia, una organización activista. Pero muchos de los clientes de Arthur han buscado pensar más allá de las soluciones técnicas para sus estructuras de gobierno y enfoques para el diseño inclusivo. Ha sido muy emocionante ver que realmente están interesados ​​en hacer lo correcto, dice ella.

O'Sullivan y Chowdhury también están emocionados de ver más nuevas empresas como la suya en línea. No hay una sola herramienta o una sola cosa que debas hacer para hacer una IA responsable, dice O'Sullivan. Chowdury está de acuerdo: va a ser un ecosistema.

esconder