211service.com
Probamos las herramientas de entrevista de IA. Esto es lo que encontramos.
Después de más de un año de la pandemia de covid-19, millones de personas están buscando empleo en los Estados Unidos. El software de entrevistas impulsado por IA afirma ayudar a los empleadores a examinar las solicitudes para encontrar a las mejores personas para el trabajo. Empresas especializadas en esta tecnología informaron un aumento en los negocios durante la pandemia.
Pero a medida que aumenta la demanda de estas tecnologías, también lo hacen dudas sobre su precisión y fiabilidad . En el último episodio del podcast In Machines We Trust de MIT Technology Review, probamos el software de dos empresas especializadas en entrevistas de trabajo de IA, Mi entrevista y cosa curiosa . Y encontramos variaciones en las predicciones y puntajes de coincidencia de trabajos que plantean preocupaciones sobre qué están evaluando exactamente estos algoritmos.
llegar a conocerte
MyInterview mide los rasgos considerados en el Big Five Personality Test, una evaluación psicométrica que se usa a menudo en el proceso de contratación. Estos rasgos incluyen apertura, escrupulosidad, extroversión, amabilidad y estabilidad emocional. Curious Thing también mide los rasgos relacionados con la personalidad, pero en lugar de los Cinco Grandes, los candidatos se evalúan según otras métricas, como la humildad y la resiliencia.
Esta captura de pantalla muestra el puntaje de coincidencia y el análisis de personalidad de nuestro candidato en MyInterview después de responder todas las preguntas de la entrevista en alemán en lugar de inglés.
HELKE SCHELLMANNLos algoritmos analizan las respuestas de los candidatos para determinar los rasgos de personalidad. MyInterview también compila puntajes que indican qué tan cerca un candidato coincide con las características identificadas por los gerentes de contratación como ideales para el puesto.
Para completar nuestras pruebas, primero configuramos el software. Subimos una publicación de trabajo falsa para un administrador/investigador de oficina tanto en MyInterview como en Curious Thing. Luego, construimos nuestro candidato ideal eligiendo rasgos relacionados con la personalidad cuando el sistema lo solicitaba.
En MyInterview, seleccionamos características como la atención al detalle y las clasificamos por nivel de importancia. También seleccionamos preguntas de la entrevista, que se muestran en la pantalla mientras el candidato graba las respuestas en video. En Cosa curiosa, seleccionamos características como la humildad, la adaptabilidad y la resiliencia.
Uno de nosotros, Hilke, luego solicitó el puesto y completó entrevistas para el papel tanto en MyInterview como en Curious Thing.
Nuestro candidato completó una entrevista telefónica con Cosa curiosa. Primero hizo una entrevista de trabajo regular y recibió un 8.5 de 9 en competencia en inglés. En un segundo intento, la entrevistadora automática hizo las mismas preguntas y respondió a cada una de ellas leyendo la entrada de Wikipedia sobre psicometría en alemán.
Sin embargo, Cosa curiosa le otorgó un 6 de 9 en competencia en inglés. Volvió a completar la entrevista y recibió la misma puntuación.
Una captura de pantalla muestra el puntaje de competencia en inglés de nuestra candidata en el software de Curious Thing después de que respondió todas las preguntas en alemán.
HELKE SCHELLMANNNuestro candidato recurrió a MyInterview y repitió el experimento. Leyó la misma entrada de Wikipedia en voz alta en alemán. El algoritmo no solo arrojó una evaluación de personalidad, sino que también predijo que nuestra candidata encajaría en un 73 % con el trabajo falso, colocándola en la mitad superior de todos los solicitantes a los que habíamos pedido que postularan.
MyInterview proporciona a los gerentes de contratación una transcripción de sus entrevistas. Cuando inspeccionamos la transcripción de nuestra candidata, encontramos que el sistema interpretó sus palabras en alemán como palabras en inglés. Pero la transcripción no tenía ningún sentido. Las primeras líneas, que corresponden a la respuesta proporcionada anteriormente, dicen:
|_+_|no coincidentes
En lugar de calificar a nuestra candidata según el contenido de sus respuestas, el algoritmo extrajo rasgos de personalidad de su voz, dice Clayton Donnelly , un psicólogo industrial y organizacional que trabaja con MyInterview.
Pero la entonación no es un indicador confiable de los rasgos de personalidad, dice fred oswald , profesor de psicología organizacional industrial en Universidad de arroz . Realmente no podemos usar la entonación como datos para la contratación, dice. Eso simplemente no parece justo, confiable o válido.
El uso de preguntas abiertas para determinar los rasgos de personalidad también plantea desafíos importantes, incluso cuando, o quizás especialmente cuando, ese proceso está automatizado. Es por eso que muchas pruebas de personalidad, como Big Five, brindan a las personas opciones para elegir.
El punto final es que la personalidad es difícil de descubrir en este sentido abierto, dice Oswald. Hay oportunidades para la IA o los algoritmos y la forma en que se hacen las preguntas para que sean más estructuradas y estandarizadas. Pero no creo que estemos necesariamente allí en términos de datos, en términos de los diseños que nos brindan los datos.
El cofundador y director de tecnología de Curious Thing, Han Xu , respondió a nuestros hallazgos en un correo electrónico, diciendo: Esta es la primera vez que nuestro sistema se prueba en alemán, por lo tanto, es un punto de datos extremadamente valioso para que investiguemos y veamos si revela algo en nuestro sistema.
La paradoja del sesgo
El desempeño en las entrevistas impulsadas por IA a menudo no es la única métrica que los posibles empleadores usan para evaluar a un candidato. Y estos sistemas pueden reducir el sesgo y encontrar mejores candidatos que los entrevistadores humanos. Pero muchas de estas herramientas no se prueban de forma independiente, y las empresas que las crearon son reacias a compartir detalles de cómo funcionan, lo que dificulta que los candidatos o los empleadores sepan si los algoritmos son precisos o qué influencia deberían tener en la contratación. decisiones
marca gris , que trabaja en una plataforma danesa de administración de propiedades llamada Adecuado , comenzó a usar entrevistas en video de IA durante su puesto anterior de recursos humanos en la empresa de electrónica aireado . Dice que originalmente incorporó el software, producido por una empresa alemana llamada Retórica , en entrevistas para ayudar a reducir el sesgo humano que a menudo se desarrolla cuando los gerentes de contratación tienen conversaciones triviales con los candidatos.
Si bien Gray no basa las decisiones de contratación únicamente en la evaluación de Retorio, que también se basa en los rasgos de los Cinco Grandes, lo tiene en cuenta como uno de los muchos puntos de datos al elegir candidatos. No creo que sea una bala de plata para descubrir cómo contratar a la persona adecuada, dice.
El proceso de contratación habitual de Gray incluye una llamada de selección y una entrevista de Retorio, a la que invita a participar a la mayoría de los candidatos, independientemente de la impresión que hayan causado en la selección. Los candidatos exitosos luego avanzarán a una prueba de habilidades laborales, seguida de una entrevista en vivo con otros miembros del equipo.
Historia relacionada
La IA de búsqueda de empleo de LinkedIn estaba sesgada. ¿La solución de la empresa? Más IA. ZipRecruiter, CareerBuilder, LinkedIn: la mayoría de los sitios de búsqueda de empleo más grandes del mundo utilizan IA para relacionar personas con vacantes. Pero los algoritmos no siempre juegan limpio.
Con el tiempo, productos como Retorio y Retorio en sí mismo, todas las empresas deberían usarlo porque te brinda mucha información, dice Gray. Si bien hay algunos signos de interrogación y controversias en la esfera de la IA en general, creo que la pregunta más importante es, ¿somos mejores o peores jueces del carácter?
Gray reconoce las críticas en torno a las herramientas de entrevista de IA. Un investigación publicado en febrero por Bavarian Public Broadcasting descubrió que el algoritmo de Retorio evaluaba a los candidatos de manera diferente cuando usaban diferentes fondos de video y accesorios, como anteojos, durante la entrevista.
Co-fundador y director general de Retorio, cristobal hohenberger , dice que si bien no está al tanto de los detalles detrás de los métodos de prueba de los periodistas, la compañía no tiene la intención de que su software sea el factor decisivo al contratar candidatos. Somos una herramienta de asistencia, y se está utilizando en la práctica también junto con personas humanas del otro lado. No es un filtro automático, dice.
Aún así, hay tanto en juego para quienes buscan empleo que intentan navegar por estas herramientas que seguramente se justifica una mayor precaución. Para la mayoría, después de todo, asegurar el empleo no se trata solo de un nuevo desafío o entorno: encontrar un trabajo es crucial para su supervivencia económica.