211service.com
Un científico de datos de Twitter asume el menú completo de McDonald's y sobrevive
Edwin Chen es un científico de datos en Twitter al que le gusta compartir los secretos arcanos de su arte oscuro, lo cual es bueno considerando que probablemente sea el campo de más rápido crecimiento en los EE. UU.
Mmmm, ciencia de datos. (cc Evan Blaser )
(A continuación, he incluido la totalidad de una entrevista por correo electrónico que realicé con Chen, a la que tal vez desee pasar si está buscando una descripción general de su trabajo. Él revela, entre otras cosas, que ha considerado minar Twitter datos para ver si las personas comen o no comida rápida cuando están tristes).
La ciencia de datos es tan nueva que no hay libros de texto sobre el tema ni planes de estudios universitarios diseñados para producir científicos de datos. Sin embargo, es parte integral de todo, desde el comercio cuantitativo en Wall Street hasta la orientación de anuncios en la web y la optimización de las cadenas de suministro del mundo real.
Antes de extraer terabytes de tweets para obtener información que pudiera convertirse en visualizaciones interactivas, Chen perfeccionó sus habilidades para estudiar lingüística y matemáticas puras en el MIT. Eso es típicamente atípico para un científico de datos, que tiene experiencia en disciplinas matemáticamente rigurosas, sean las que sean. (En Twitter, por ejemplo, todos los científicos de datos deben tener al menos una maestría en un campo relacionado .)
Este es uno de los ejemplos más extravagantes de la versatilidad de la ciencia de datos, del propio blog de Chen. En una publicación con el título conmovedor Modelos de mezcla infinita con bayes no paramétricos y el proceso de Dirichlet , Chen profundiza en el problema de la agrupación. Es decir, ¿cómo se toma una gran cantidad de datos y se clasifica en grupos de elementos relacionados? Es un problema difícil, ¿cuántos grupos debería haber? ¿Cuáles son los criterios para clasificarlos? - y los detalles de cómo lo aborda están más allá de aquellos que no tienen experiencia en este tipo de análisis.
Para el resto de nosotros, Chen ofrece un ejemplo concreto y accesible: McDonald's
Al verter todo el menú de McDonald's en su caja de clasificación matemática, Chen descubre, por ejemplo, que no todas las salsas de McDonald's son iguales. Hot Mustard y Spicy Buffalo no caen en el mismo grupo que Creamy Ranch, que tiene más en común con el café helado con jarabe de vainilla sin azúcar de McDonald's que con la vinagreta balsámica baja en grasa de Newman's Own.
Aparecen otros grupos, incluidos todos los artículos de hamburguesa, alimentos para el desayuno y bebidas azucaradas. Hasta ahora, no es tan sorprendente, hasta que llegas al único grupo en el menú de McDonald's que contiene solo un artículo.
¿Qué tiene de especial McDonald's Fruit & Maple Oatmeal? Probablemente sea su contenido de fibra, niveles relativamente altos de nutrientes y niveles más bajos de azúcar, grasas trans y colesterol.
En otras palabras, cuando uno de los científicos de datos más nuevos de Twitter aplica su arte al menú de McDonald's, su algoritmo extrae automáticamente el único alimento que cualquiera de nosotros probablemente debería considerar comer. Avena: en McDonald's es verdaderamente único en su clase.
Aquí está la entrevista completa con Chen:
1. ¿Cuánto tiempo ha sido científico de datos en Twitter?
Llevo unos cuatro meses en Twitter.
2. ¿Qué hace un científico de datos en Twitter?
Trabajamos en todo, desde la creación de modelos de aprendizaje automático y la mejora de nuestros marcos de procesamiento de datos a gran escala, hasta la creación de visualizaciones de datos, la ejecución de análisis estadísticos y la búsqueda de mejores formas de comprender a nuestros usuarios y el gráfico de Twitter. Hay mucha variedad y realmente depende de las habilidades e intereses de cada persona.
En cualquier momento dado, por ejemplo, es probable que esté experimentando con nuevos algoritmos de orientación de anuncios, escribiendo trabajos de MapReduce para extraer terabytes de tweets (usando Scalding, nuestro lenguaje interno de MapReduce), creando visualizaciones interactivas para mostrar información en todos los recopilamos datos, redactamos un informe para explicar algunos hallazgos nuevos, realizamos un experimento en Mechanical Turk y mucho más.
3. ¿Su última publicación (sobre agrupación en clústeres) se inspiró en algo en lo que está trabajando en Twitter (que puede discutir)?
He estado trabajando un poco para agrupar a nuestros usuarios y anunciantes, inferir automáticamente categorías de temas en el texto y pensar en lo que podemos aprender de la comida en Twitter (por ejemplo, ¿los hombres y las mujeres, o los habitantes de San Francisco y Nueva York, difieren en ¿Qué comen? ¿Existe alguna relación entre lo que comen las personas y lo que tuitean? Por ejemplo, ¿es más probable que las personas coman comida chatarra cuando están tristes?). Entonces, si bien la publicación no se inspiró directamente en lo que estoy trabajando en Twitter, definitivamente está relacionada.
4. La ciencia de datos es una cosa ahora, pero (me han dicho) el campo es tan nuevo que no hay libros de texto o cursos universitarios específicos para él. ¿Estás de acuerdo / en desacuerdo?
Estoy de acuerdo, pero depende de su definición de ciencia de datos (¡con la que muchas personas no están de acuerdo!). Para mí, la ciencia de datos es una combinación de tres cosas: análisis cuantitativo (para el rigor necesario para comprender sus datos), programación (para que pueda procesar sus datos y actuar de acuerdo con sus conocimientos) y narración de historias (para ayudar a otros a comprender cuál es el problema). medios de datos). Por lo tanto, las habilidades útiles para un científico de datos podrían incluir:
* Estadísticas, aprendizaje automático (en el lado del análisis cuantitativo). Por ejemplo, es imposible extraer significado de sus datos si no sabe cómo distinguir sus señales del ruido. (Sin embargo, enfatizaré que creo que cualquier tipo de habilidad cuantitativa sólida está bien; mi propia experiencia fue originalmente en matemática pura y lingüística, y muchas de las otras personas aquí provienen de campos como la física y la química. Siempre puedes elegir las herramientas específicas que necesitará).
* Capacidad de programación general, más conocimiento de áreas específicas como MapReduce / Hadoop y bases de datos. Por ejemplo, un patrón común para mí es que codificaré un trabajo de MapReduce en Scala, realizaré algunas operaciones simples en la línea de comandos sobre los resultados, pasaré los datos a Python o R para un análisis más detallado, extraeré de una base de datos para obtener algunos datos adicionales. campos, y así sucesivamente, a menudo integrando lo que encuentro en algunos modelos de aprendizaje automático al final.
* Programación web, visualización de datos (en el lado de la narración). Por ejemplo, me parece extremadamente útil poder lanzar una aplicación web rápida o un panel que permita a otras personas (¡incluido yo mismo!) Interactuar con los datos; cuando me comunico con personas técnicas y no técnicas, una buena visualización de datos es a menudo es mucho más útil y esclarecedor que un número abstracto.
Si bien no hay muchos libros de texto o cursos que cubran las tres áreas (una excepción puede ser el curso de Jeff Hammerbacher y Mike Franklin en Berkeley: http://datascienc.es/ ), por supuesto, hay recursos que cubren cada habilidad por sí sola. (Sin embargo, la visualización de datos parece seguir siendo una habilidad subestimada, por lo que las clases en esa área son más raras).
