211service.com
AI derrota a Hivemind
Mechancial Turk de Amazon es lo último en subcontratación casi anónima: cualquier tarea que se pueda completar en línea se puede lograr mediante la combinación de un mercado automatizado y trabajo humano. Aquellos que se inscriben para completar tareas - Turkers - se les paga salarios tan bajos como centavos por tarea para hacer todo, desde la entrada de datos hasta arte popular .
(cc) Jim Linwood
Mechanical Turk está diseñado para completar tareas que son fáciles para los humanos y difíciles para las máquinas, como categorizar o identificar el contenido de las imágenes. Sin embargo, el problema para Amazon y todos sus imitadores es que las máquinas están mejorando en muchas tareas, mientras que los humanos en Mechanical Turk, por razones que exploraré en la publicación de mañana, están empeorando.
Recientemente, por ejemplo, los investigadores que trabajan en el sitio de reseñas en línea Yelp lanzaron un papel (pdf) sobre su experiencia comparando miles de Turkers mecánicos con un algoritmo de aprendizaje supervisado .
Los resultados no fueron agradables: para encontrar una población de turcos cuyo trabajo fuera aceptable, los investigadores primero utilizaron Mechanical Turk para administrar una prueba a 4.660 solicitantes. Fue una prueba de opción múltiple para determinar si un Turker podía identificar la categoría correcta para un negocio (restaurante, compras, etc.) y verificar, a través de su sitio web oficial o por teléfono, su número de teléfono y dirección correctos.
79 aprobados. Esta fue una extremadamente básico prueba de opción múltiple. Hace que uno se pregunte cómo los otros 4.581 fueron lo suficientemente inteligentes como para operar un navegador web en primer lugar.
Estos 79 trabajadores de alta calidad se enfrentaron luego al problema de verificar la información comercial de tres en tres. Esto permitió a los investigadores tomar solo los resultados que una mayoría simple de Turkers estaban de acuerdo como correctos, o en algunos casos tomar el resultado elegido por Turker que históricamente había sido el más preciso.
Los investigadores lanzaron un clasificador Naive Bayes al mismo conjunto de problemas. Este es un tipo de algoritmo de aprendizaje supervisado; uno que, según una comparación de 2006 de estos sistemas , ni siquiera es el mejor que existe.
El clasificador de Bayes ganó cómodamente.
En casi todos los casos, el algoritmo, que se entrenó en un grupo de 12 millones de reseñas de Yelp enviadas por usuarios, identificó correctamente la categoría de un negocio un tercio más a menudo que los humanos. En la categoría automotriz, la computadora tenía el doble de probabilidades que las masas ensambladas de identificar correctamente una empresa.
Estos resultados no sugieren necesariamente que la categorización empresarial sea un problema como el ajedrez, donde la computadora humana finalmente ha sido superada por su contraparte mecánica. Más bien, sugieren que algo sobre Mechanical Turk en sí está roto, ya sea el sistema de incentivos o sus mecanismos para controlar la calidad. Se sabe desde hace mucho tiempo que los salarios de Mechanical Turk son bastante bajos: los trabajadores ganan, en promedio, entre dos y tres dólares la hora por su trabajo, y es probable que esto sea parte del problema. Los economistas apenas han comenzado a abordar la cuestión; más sobre eso mañana.
Sigue a Mims en Twitter o contáctalo por correo electrónico .