211service.com
Estadísticas desenmascaran revisiones en línea falsas
Al buscar hoteles en ciudades que nunca han visitado, las personas a menudo recurren a las reseñas escritas por los clientes en sitios web como TripAdvisor. Pero, ¿cómo saben que esas reseñas no fueron escritas por el gerente del hotel o por alguien a quien se le pagó para publicar opiniones falsas en línea? La Comisión Federal de Comercio de EE. UU. Ha emitido multas cuando ha descubierto este tipo de spam de opinión, pero no hay una manera fácil de detectarlo.
Ahora, investigadores de la Universidad Estatal de Nueva York, Stony Brook, han ideado un método científico para detectar si alguien ha estado publicando reseñas falsas en línea. Su técnica, presentada en el Conferencia internacional sobre weblogs y redes sociales en Dublín, Irlanda, a principios de este mes, no identifica reseñas fraudulentas individuales. En cambio, analiza cómo las reseñas falsas distorsionan la distribución estadística de las puntuaciones de un hotel, una especie de análisis forense que muestra que está sucediendo algo divertido.
La técnica es capaz de identificar dónde están las densidades de críticas falsas para un hotel determinado, dice Yejin Choi , profesor asistente de ciencias de la computación en Stony Brook, quien llevó a cabo el trabajo con colegas.
Si las puntuaciones de las reseñas de cualquier producto, incluido un hotel, se trazan en un gráfico, naturalmente producirán un patrón que se parece más o menos a la letra J. Es decir, cuando algo se puntúa de una a cinco estrellas, debería tener una puntuación relativamente alta. cantidad de reseñas de una estrella, menos de dos, tres y cuatro, y luego una gran cantidad de calificaciones de cinco estrellas. Paul Pavou , profesor asociado de sistemas de gestión de la información de la Fox School of Business de la Temple University, que estudia comercio online, explica que esta distribución se debe a la tendencia de las personas a comprar cosas que les gustan y, por tanto, les gusta lo que compran. Además, dice, si una compra generalmente cumple con las expectativas, el comprador generalmente se siente menos movido a escribir una reseña que si la experiencia fuera extremadamente positiva o extremadamente negativa.
Pero las críticas falsas distorsionan esta forma normal. Para encontrar la distorsión y, por lo tanto, mostrar que había críticas falsas en la mezcla, el equipo de Stony Brook primero seleccionó a los revisores que creía que eran más confiables. Estos fueron aquellos que habían escrito al menos 10 reseñas, con más de uno o dos días de diferencia, y cuya calificación no se apartó escandalosamente del promedio de todos los hoteles.
Luego, los investigadores compararon las calificaciones de esos revisores con las calificaciones de revisores únicos para ver si ese segundo conjunto tenía un número inusualmente alto de revisiones de cinco estrellas. Los hoteles con mayores discrepancias entre estos dos grupos de revisores fueron etiquetados como más sospechosos. Choi también comparó la proporción de críticas positivas a negativas entre diferentes grupos de revisores. Y buscó ráfagas repentinas de actividad de revisión que podría ser parte de una campaña de marketing.
Para validar los hallazgos, Choi y sus colegas recurrieron al trabajo anterior que había hecho con un científico informático Jeff Hancock de la Universidad de Cornell. Habían contratado a personas para que escribieran reseñas de hoteles falsas; Luego, un algoritmo de aprendizaje automático analizó las reseñas falsas y detectó pistas textuales, como demasiados superlativos, que las distinguieron de las reseñas reales. Esta vez, hicieron que la computadora midiera el efecto que tenían las reseñas falsas conocidas en la forma de la distribución. Al comparar eso con los resultados del otro enfoque de Choi, encontró actividad fraudulenta el 72 por ciento de las veces.
Con esta técnica, un sitio como TripAdvisor podría aplicar una corrección a las calificaciones promedio de los hoteles. Y los resultados sospechosos podrían combinarse con otros enfoques, como el análisis textual, para obtener un hallazgo más confiable.
Choi admite que, debido a que es muy difícil estar seguro de qué reseñas son realmente falsas, el enfoque es imperfecto, pero el hecho de que sus resultados sean significativamente mejores que el azar significa que está funcionando. Es muy poco probable que alguna estrategia aleatoria logre un 72 por ciento de precisión, dice. Pavou, que no participó en la investigación, dice que el enfoque parece válido.
Choi dice que los críticos falsos podrían pensar que fue un crimen perfecto, pero la verdad es que distorsionaron la forma de los puntajes de las reseñas de sus propios hoteles, y eso deja una huella de la actividad engañosa, y cuanto más lo hacen, más fuerte. se vuelve.