211service.com
Ciencia de Datos y Estadística: Oportunidades y Desafíos
proporcionado por Educación profesional del MIT
Ahora vivimos en un mundo donde parece que todo sobre nosotros es (o pronto será) rastreado y registrado: lo que comemos, lo que vemos, cómo socializamos, lo que nos gusta y lo que no nos gusta, nuestras estadísticas vitales de salud y la lista. sucede.
Este acceso sin precedentes a los datos personales presenta oportunidades potencialmente enormes para, por ejemplo, ayudar a los funcionarios gubernamentales a tomar mejores decisiones políticas, permitir que las empresas operen de manera más eficiente y rentable, optimizar el uso de los recursos públicos, respaldar un diseño de medicamentos y atención médica más personalizados y, de otro modo, mejorar la calidad de vida en general de nuestra sociedad. La clave para aprovechar estas oportunidades radica en nuestra capacidad para convertir los datos disponibles en decisiones importantes.
Ciencia de Datos y Estadística: Oportunidades y Desafíos
Este nuevo curso en línea de 6 semanas comienza el 4 de octubre.
¡Regístrese hoy!
Un próximo curso en línea de educación profesional del MIT de seis semanas, Ciencia de datos: de datos a conocimientos , ofrecido en asociación con el MIT Institute for Data, Systems, and Society ( IDSS ), se centrará en el análisis. Pero también abordará preocupaciones como las últimas tendencias en aprendizaje automático: cómo extraer información y preferencias significativas de los datos de los clientes en general y cómo hacer las preguntas correctas para tomar mejores decisiones comerciales.
El reto
Durante las últimas décadas, hemos construido una infraestructura que puede almacenar y procesar cantidades masivas de datos. Sin embargo, todavía carecemos de la capacidad crítica para unir sin problemas varios datos para hacer predicciones significativas que conduzcan a decisiones de alto impacto. Dadas las infinitas oportunidades que se pueden desbloquear al abordar esta deficiencia, creo que este es uno de los desafíos definitorios de nuestro tiempo.
Las instituciones educativas pueden desempeñar un papel de liderazgo para abordar este importante desafío. En el MIT, el IDSS y su nuevo Centro de Estadística y Ciencia de Datos ( SDSC ) ayudará a abordar el desafío de convertir los datos en decisiones del mundo real con un enfoque doble:
- Educando a nuestros alumnos poder trabajar con grandes cantidades de datos y utilizar las herramientas para extraer información significativa de ellos. Dicho de otra manera, debemos educar a los estudiantes en todas las disciplinas para que sean científicos de datos y estadísticos Esto requiere que las instituciones diseñen un programa educativo interdisciplinario y simplificado que incluya elementos de la ingeniería, las ciencias matemáticas y las ciencias sociales.
- Desarrollo de un programa de investigacin que eventualmente produce un sistema de procesamiento de datos estadísticos que puede usarse fácilmente para hacer todo tipo de predicciones precisas. Dicho sistema necesita trabajar con fuentes de datos heterogéneas, operar a escala y generar predicciones que puedan interpretarse de manera efectiva. Este ambicioso programa podría ayudar a movilizar un esfuerzo intelectual interdisciplinario y emocionante en ciencia de datos y estadísticas para la próxima década o más allá.
Pensando en decisiones
Consideremos cómo se toman las decisiones. En una organización típica, las tareas operativas básicas dependen de decisiones sobre cómo invertir los recursos disponibles entre diferentes opciones en competencia, con la vista puesta en uno o más objetivos.
Por ejemplo, el gobierno de los Estados Unidos toma tales decisiones mientras desarrolla su presupuesto. Una empresa comercial invierte dinero en diferentes instrumentos financieros para crear carteras con altos rendimientos y, potencialmente, riesgos bien entendidos. Una organización minorista toma decisiones sobre qué compras de mercancías generarán altos ingresos y ganancias. Un hogar toma decisiones sobre cómo aprovechar al máximo los ingresos familiares. Un individuo racional toma decisiones sobre qué comer (y qué no comer) para obtener suficiente energía y mantenerse saludable.
Todas esas decisiones, en pocas palabras, se reducen a hacer predicciones y luego emprender ciertas actividades de optimización usando esas predicciones.
Cómo funciona: un ejemplo minorista
Ahora veamos un ejemplo concreto que involucra a un minorista de ropa. El principal problema operativo del minorista es determinar qué productos exhibir para los clientes, dadas las diversas restricciones operativas, como su presupuesto para comprar inventario, los límites en el espacio de anaquel de sus tiendas y los horarios de sus proveedores. La cuestión de elegir qué productos exhibir surge en diferentes momentos para diferentes tipos de decisiones, como decidir qué productos comprar en toda la cadena de tiendas, cuáles enviar a varios lugares desde los centros de distribución, qué productos descontar, cuáles promocionar a través de correo electrónico y cuáles mostrar a los clientes cuando visitan tiendas o sitios de comercio electrónico.
Todas estas preguntas, en esencia, requieren una comprensión de lo que le gusta y lo que no le gusta a la gente. Algunos sistemas existentes brindan esta información y podrían indicar, por ejemplo, que las camisas azules están de moda mientras que los pantalones cortos rojos han dejado de venderse. Pero, ¿cómo convertimos estos conocimientos en acción?
Toma de decisiones basada en datos
Conceptualmente, la toma de decisiones basada en datos requiere conectar variables de decisión y opciones a los datos, y luego resolver un problema de optimización con diferentes objetivos. Desde el punto de vista operativo, esto requiere construir un sistema de procesamiento de datos que podría ser de una escala extremadamente grande y que podría necesitar operar en tiempo real con tres componentes de alto nivel: interfaces, infraestructura y algoritmos.
Interfaces. Estos proporcionan formas de entregar información a los clientes finales y sensores para recopilar información. Por ejemplo, las interfaces basadas en web (navegador) o las aplicaciones móviles permiten recopilar información sobre las actividades de los clientes en línea. De manera similar, dichas interfaces pueden ayudar a un tomador de decisiones en una organización minorista a interactuar con datos e información, así como a obtener apoyo para la toma de decisiones. La estandarización de tales interfaces ha permitido una innovación masiva en este dominio durante la última década.
Infraestructura. El papel de la infraestructura es proporcionar un medio para almacenar y procesar sin problemas grandes cantidades de datos. La necesidad de dicha infraestructura surgió naturalmente a fines de la década de 1990 cuando la era de Internet se aceleró. No sorprende que las empresas de búsqueda web hayan sido pioneras en innovaciones básicas. Curiosamente, la búsqueda web, una característica aparentemente simple, ha llevado al desarrollo de una infraestructura de computación y almacenamiento escalable genérica. Eso, a su vez, ha sido la razón principal de las recientes e interesantes innovaciones en computación escalable y procesamiento de datos.
Algoritmos. Los algoritmos de procesamiento de datos transforman los datos sin procesar recopilados en información y decisiones valiosas. Se utilizan modelos apropiados para conectar esos datos con las variables de decisión. Por ejemplo, cuando las personas generan datos sin procesar, puede tener sentido utilizar un modelo de comportamiento para conectar los datos observados con las variables de decisión. Los algoritmos resultantes utilizan la infraestructura de computación y almacenamiento, en función de los datos obtenidos a través de la interfaz, y producen resultados finales que se pueden entregar al usuario final a través de la interfaz.
Sin embargo, un gran desafío es permitir el desarrollo de algoritmos de procesamiento de datos para todos. A diferencia de la disponibilidad de interfaces estandarizadas o una arquitectura genérica de computación y almacenamiento, estamos lejos de tener una arquitectura algorítmica genérica de procesamiento de datos.
Repasemos el ejemplo de venta minorista anterior. Específicamente, considere la tarea de decisión de qué productos mostrar a los clientes cuando visitan el sitio de comercio electrónico, es decir, cómo podemos personalizar la experiencia de cada cliente? Naturalmente, esto depende de los datos sobre el cliente específico, así como de los datos recopilados sobre otros.
Esos datos se recopilan a través del historial de navegación de un cliente y los clics en el sitio web de comercio electrónico, las compras anteriores y otra actividad en línea recopilada a través de nuestras interfaces web y móvil. Es probable que esté almacenado en una infraestructura de almacenamiento. Se transforma en decisiones personalizadas en tiempo real a través de algoritmos de procesamiento de datos potencialmente sofisticados que utilizan modelos de comportamiento de las ciencias sociales, junto con métodos de estadísticas matemáticas y aprendizaje automático. Los algoritmos de procesamiento de datos utilizan la infraestructura de cómputo para poder tomar tales decisiones en tiempo real. De esta forma, se entregan decisiones personalizadas al cliente a través de la interfaz.
La clave para construir este tipo de sistema de personalización o recomendación es tener acceso a un equipo calificado de científicos de datos y estadísticos que puedan identificar métodos estadísticos y modelos de comportamiento apropiados para desarrollar algoritmos de procesamiento de datos. Luego pueden diseñar interfaces fáciles de usar que pueden recopilar datos útiles y, posteriormente, tomar decisiones. Si bien esta es una empresa costosa, algunos de los minoristas más grandes ya han tomado esta ruta.
Por otro lado, el sistema de personalización/recomendación tiene funciones específicas que adoptan una forma muy similar en todas las organizaciones. Esa similitud ha permitido el desarrollo de sistemas de recomendación genéricos. Por lo tanto, muchos minoristas terminan comprando dichos sistemas a proveedores externos que simplemente conectan el sistema de personalización a través de las interfaces.
Cerrando el ciclo
Como se discutió anteriormente, un gran desafío es pasar de los datos a las decisiones. Ya tenemos muchos datos, y tenemos una buena infraestructura para almacenarlos y procesarlos, pero tenemos que averiguar cómo procesalo. La discusión del sistema de personalización/recomendación explica precisamente los dos enfoques que podemos usar simultáneamente para abordar este desafío.
Primero, debemos permitir que las organizaciones construyan su equipo de científicos de datos calificados. En segundo lugar, debemos desarrollar una arquitectura algorítmica genérica de procesamiento de datos. Específicamente, esta arquitectura de procesamiento de datos debe centrarse en desarrollar un sistema de predicción genérico. Eso es porque un sistema de toma de decisiones básicamente tiene dos componentes: predecir las incógnitas y usar las predicciones para realizar la optimización. En las últimas décadas, se han logrado avances significativos en el desarrollo de la teoría y la práctica de la optimización. Sin embargo, todavía no podemos definir cuál es el problema de predicción genérico y universal.
IDSS, SDSC y 'Ciencia de datos'
El MIT lanzó el IDSS para abordar las cuestiones sociales que surgirán durante el próximo siglo. Si bien muchos de estos problemas involucran múltiples disciplinas, todos están conectados a través de un desafío común: decisiones basadas en datos. Para desarrollar un programa educativo y permitir la investigación en ciencia de datos y estadísticas en el IDSS, el MIT creó el SDSC bajo el paraguas del IDSS.
Ayudaremos a abordar el desafío de transformar datos en decisiones al habilitar los dos enfoques que he descrito a través de SDSC e IDSS. Específicamente, el SDSC educará a científicos y estadísticos de datos sofisticados a través de programas educativos interdisciplinarios. El IDSS proporcionará un entorno de investigación interdisciplinario que permitirá a sus miembros emprender ambiciosos programas de investigación en estadística y ciencia de datos.
Mientras tanto, nuestro nuevo curso en línea de seis semanas, Ciencia de datos: de datos a conocimientos , que comienza el 4 de octubre, compartirá la información más reciente sobre formas de aplicar técnicas de ciencia de datos para abordar de manera más efectiva los muchos desafíos de su organización. Para obtener más información sobre cómo crear el futuro del análisis de datos de su empresa, visite la página de registro del curso .
Agradecimientos: El autor agradece a Munther Dahleh y Philippe Rigollet por sus comentarios sobre una versión anterior de este artículo, ya Stefanie Koperniak y Myriam Joseph por corregirlo y editarlo.
Devavrat Shah, codirector del curso Data Science: Data to Insights, es profesor en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT, director del SDSC y miembro principal del cuerpo docente del IDSS. También es miembro del Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT y del Centro de Investigación de Operaciones (ORC).