Cómo los turkers mecánicos crearon un enorme léxico de vínculos entre palabras y emociones

Una de las frases de moda asociadas con la web social es el análisis de sentimientos. Esta es la capacidad de determinar la opinión o el estado de ánimo de una persona mediante el análisis de las palabras que publica en Twitter, Facebook o algún otro medio.

Se ha prometido mucho con este método: la capacidad de medir la satisfacción con políticos, películas y productos; la capacidad de gestionar mejor las relaciones con los clientes; la capacidad de crear diálogos para juegos sensibles a las emociones; la capacidad de medir el flujo de emociones en novelas; y así.

La idea es automatizar por completo este proceso: analizar la gran cantidad de palabras producidas por los sitios web sociales utilizando técnicas avanzadas de minería de datos para medir el sentimiento a gran escala.

Pero todo esto depende de qué tan bien entendamos la emoción y la polaridad (ya sea negativa o positiva) que las personas asocian con cada palabra o combinación de palabras.

Hoy, Saif Mohammad y Peter Turney, del Consejo Nacional de Investigación de Canadá en Ottawa, revelaron una enorme base de datos de palabras y sus emociones y polaridad asociadas, que han reunido de forma rápida y económica utilizando el sitio web de crowdsourcing Mechanical Turk de Amazon. Dicen que este mecanismo de crowdsourcing permite aumentar el tamaño y la calidad de la base de datos de forma rápida y sencilla.

La mayoría de los psicólogos creen que hay esencialmente seis emociones básicas: alegría, tristeza, ira, miedo, disgusto y sorpresa, o como máximo ocho si se incluye la confianza y la anticipación. Entonces, la tarea de cualquier léxico palabra-emoción es determinar qué tan fuertemente una palabra está asociada con cada una de estas emociones.

Una forma de hacerlo es utilizar un pequeño grupo de expertos para asociar las emociones con un conjunto de palabras. Una de las bases de datos más famosas, creada en la década de 1960 y conocida como la base de datos General Inquirer, tiene más de 11.000 palabras etiquetadas con 182 etiquetas diferentes, incluidas algunas de las emociones que los psicólogos ahora piensan que son las más básicas.

Una base de datos más moderna es WordNet Affect Lexicon, que tiene algunos cientos de palabras etiquetadas de esta manera. Esto utilizó un pequeño grupo de expertos para etiquetar manualmente un conjunto de palabras iniciales con las emociones básicas. El tamaño de esta base de datos se incrementó drásticamente al asociar automáticamente las mismas emociones con todos los sinónimos de estas palabras.

Uno de los problemas con estos enfoques es el tiempo que lleva compilar una gran base de datos, por lo que Mohammad y Turney probaron un enfoque diferente.

Estos chicos seleccionaron alrededor de 10,000 palabras de un diccionario de sinónimos existente y los léxicos descritos anteriormente y luego crearon un conjunto de cinco preguntas para hacer sobre cada palabra que revelaría las emociones y la polaridad asociadas con ella. Eso es un total de más de 50.000 preguntas.

Luego hicieron estas preguntas a más de 2000 personas, o Turkers, en el sitio web Mechanical Turk de Amazon, pagando 4 centavos por cada conjunto de preguntas respondidas correctamente.

El resultado es un léxico completo de palabras y emociones para más de 10,000 palabras o frases de dos palabras que ellos llaman EmoLex.

Un factor importante en esta investigación es la calidad de las respuestas que da el crowdsourcing. Por ejemplo, algunos turcos pueden responder al azar o incluso ingresar deliberadamente respuestas incorrectas.

Mohammad y Turney han abordado esto insertando preguntas de prueba que utilizan para juzgar si el Turker está respondiendo bien o no. De lo contrario, se ignoran todos los datos de esa persona.

Probaron la calidad de su base de datos comparándola con las anteriores creadas por expertos y dijeron que se compara bien. Comparamos un subconjunto de nuestro léxico con los datos estándar de oro existentes para mostrar que las anotaciones obtenidas son de hecho de alta calidad, dicen.

Este enfoque tiene un potencial significativo para el futuro. Mohammad y Turney dicen que debería ser sencillo aumentar el tamaño de la base de datos de fechas y, al mismo tiempo, se puede adaptar fácilmente para crear léxicos similares en otros idiomas. Y todo esto se puede hacer a muy bajo costo: gastaron $ 2100 en Mechanical Turk en este trabajo.

La conclusión es que el análisis de sentimientos solo puede ser tan bueno como la base de datos en la que se basa. Con EmoLex, los analistas tienen una nueva herramienta para su caja de trucos.

Ref: arxiv.org/abs/1308.6297 : Crowdsourcing de un léxico de asociación palabra-emoción

esconder