211service.com
¿Qué sigue para los algoritmos de Netflix?
Cuando el Premio Netflix fue premiada el mes pasado, terminó tres años de intensa competencia destinada a encontrar un mejor algoritmo para predecir las preferencias de películas de los usuarios.
El equipo ganador, El caos pragmático de BellKor , fue el primero en pronosticar las calificaciones de películas de los clientes de Netflix con un 10 por ciento más de precisión que el sistema interno de la compañía, una hazaña que muchos expertos creían que sería imposible cuando se anunció el premio de un millón de dólares. Netflix planea ofrecer un Segundo premio , esta vez para algoritmos que predicen las preferencias de películas utilizando más información del usuario, como sexo, edad y código postal. Pero los expertos dicen que el verdadero desafío es encontrar formas de aplicar las lecciones aprendidas a través del desafío original de Netflix a otros sistemas de recomendación.
A finales de octubre, expertos en la materia se reunirán en el Conferencia ACM sobre sistemas de recomendación en la ciudad de Nueva York para preguntar, entre otras cosas, qué se ha aprendido del Premio Netflix.
Los participantes en la competencia original de Netflix entrenaron sus algoritmos utilizando una enorme colección de datos: más de 100 millones de calificaciones que cubren casi 18,000 títulos de casi medio millón de suscriptores. Para probar sus resultados, sus algoritmos se probaron en un conjunto de datos mantenidos por Netflix y se mantuvieron en secreto de los concursos para evitar trampas.
Los datos de Netflix presentaron varios obstáculos formidables, explica Nicolás Ampazis , profesor asistente en el departamento de ingeniería financiera y de gestión de la Universidad del Egeo en Grecia, cuyo equipo, El conjunto , terminó el concurso en segundo lugar. El conjunto de datos era enorme, pero también escaso, lo que significa que los clientes generalmente calificaron alrededor del 1 por ciento de las películas que vieron. Por lo tanto, romper la barrera del 10 por ciento significó empujar los límites de las técnicas de modelado existentes en un grado significativo, dice Ampazis.
Pero los desafíos presentados por los datos de Netflix también hicieron que la competencia fuera muy valiosa, según Estos Bertino , otro miembro de The Ensemble. Los investigadores suelen tener el lujo de elegir conjuntos de datos y de tener más información sobre esos datos. En el concurso de Netflix, los concursantes se vieron obligados a aplicar todos los algoritmos al mismo conjunto de datos del mundo real frustrantemente desiguales. Debido a que las personas tenían que usar un conjunto de datos fijo, tenían que lidiar no solo con las ventajas de un método en particular, sino también con sus debilidades, dice Bertino. No podías escapar de él.
Gavin Potter , quien ganó reconocimiento por romper el top 10 del premio Netflix en 2008 bajo el nombre Just a guy in a garage, dice que algunas realizaciones clave permitieron que los algoritmos ganadores alcanzaran el objetivo. Primero, se optimizó un poderoso algoritmo para buscar patrones en conjuntos de datos, una técnica conocida como filtrado colaborativo, para que pudiera usarse en el gran conjunto de datos de Netflix. En segundo lugar, los participantes aprendieron a prestar atención a ciertos tipos nuevos de detalles, por ejemplo, el hecho de que pedir una película indica alguna preferencia por ella, incluso si el cliente no la calificó. La información de fecha y hora también resultó significativa. Pero la mayor constatación, señala Potter, fue que la combinación de una variedad de enfoques produjo los mejores resultados.
La combinación de diferentes enfoques ha recibido mucha atención en las autopsias de la competencia, pero John Riedl , profesor de informática en la Universidad de Minnesota, dice que tiene sentimientos encontrados al respecto. La gente como yo hemos estado buscando ideas que nos den una idea de la estructura de la solución, dice, donde realmente entendemos algo nuevo no solo sobre qué solución funciona bien, sino por qué funciona bien.
Los modelos ganadores, sin embargo, no han arrojado tal conocimiento. Lo que sí sugieren, según Riedl, es que combinar muchos algoritmos con técnicas de aprendizaje automático podría ser un buen enfoque para manejar grandes conjuntos de datos en general. Sin embargo, incluso eso queda por probar. A muchos de nosotros nos preocupa que este enfoque no sea tan fructífero en otros lugares, agrega.
Lo que está claro es que muchas industrias podrían beneficiarse de los tipos de modelos construidos para la competencia. Además de otros sistemas de recomendación en línea, Ampazis sugiere que dichos algoritmos podrían aplicarse en el comercio de mercado, la detección de fraudes, la lucha contra el spam y la seguridad informática. Bertino dice que los miembros de The Ensemble están considerando la mejor manera de usar la tecnología que generaron en el transcurso de la competencia.
Potter está trabajando para aplicar su propia investigación para el premio al sitio de citas en línea. Sí No MayoB , que emplea algoritmos de recomendación bidireccionales para encontrar usuarios que deseen conocerse. En particular, espera utilizar los conocimientos del Premio Netflix para hacer predicciones basadas en las preferencias implícitas de los usuarios, como las páginas que cargan.
El Premio Netflix centró mucha atención en los sistemas de recomendación y produjo grandes avances en el campo. Es probable que la segunda competencia haga lo mismo. Pero Riedl cree que otros componentes de los sistemas de recomendación pueden quedar atrás en el proceso. Ahora es el momento de que nosotros, como campo, pensemos en qué otros aspectos pueden haberse descuidado, dice, y cómo los investigadores pueden avanzar en esos aspectos de una manera que tenga implicaciones para la industria.
Por ejemplo, Riedl ve la necesidad de algoritmos que permitan que los sistemas de recomendación utilicen conjuntos de datos cada vez más grandes, sistemas que expliquen al usuario por qué se hizo una recomendación en particular y mejores interfaces de usuario. También señala que, si bien la competencia de Netflix logró avances impresionantes en la interpretación de datos escasos, en algunos casos puede tener sentido aprender a diseñar sitios para alentar a los usuarios a brindar más datos. Espera que la próxima reunión en Nueva York ayude a definir un conjunto más amplio de preguntas que los investigadores deben abordar.