211service.com
Por qué y cómo Baidu hizo trampa en una prueba de inteligencia artificial
El deporte de entrenar software para que actúe inteligentemente acaba de tener su primer escándalo de trampas. El mes pasado, la empresa de búsqueda china Baidu anunció que su software de reconocimiento de imágenes había superado al de Google en una prueba estandarizada de precisión. El martes la empresa admitió que logró esos resultados al romper las reglas de esa prueba.
Los expertos académicos que sostienen esa prueba dicen que hace que las afirmaciones de Baidu de vencer a Google no tengan sentido . Ren Wu, el investigador de Baidu que dirigió el trabajo en el software en cuestión, se disculpó y dijo que la compañía está revisando sus resultados. La compañía tiene modificó un documento técnico lanzó en su software.
No sabemos si esta fue la acción de un individuo o una estrategia del equipo en su conjunto. Pero por qué una corporación multimillonaria podría molestarse en hacer trampa en una oscura prueba operada por académicos de forma voluntaria es bastante claro.
Baidu, Google, Facebook y otras importantes empresas informáticas han invertido mucho en los últimos años para crear grupos de investigación dedicados al aprendizaje profundo, un enfoque para crear software de aprendizaje automático que ha logrado grandes avances en el reconocimiento de voz e imágenes. Estas empresas han trabajado arduamente para contratar expertos líderes en el campo pequeño, a menudo entre sí (consulte ¿Google está acaparando el mercado en aprendizaje profundo?). Un puñado de pruebas estandarizadas desarrolladas en la academia son la moneda por la cual estos grupos de investigación comparan el progreso de los demás y promueven sus logros al público.
Baidu obtuvo una ventaja injusta al explotar el diseño de la prueba. Para que su software califique en ImageNet Challenge, primero lo entrena con un conjunto estandarizado de 1,5 millones de imágenes. Luego, envía el código al servidor ImageNet Challenge para que se pueda probar su precisión en una colección de 100 000 imágenes de validación que el software nunca antes había visto.
Las reglas del Desafío establecen que solo debe probar su código dos veces por semana, porque hay un elemento de probabilidad en los resultados.
Baidu admitió que usó varias cuentas de correo electrónico para probar su código aproximadamente 200 veces en poco menos de seis meses, más de cuatro veces lo que permiten las reglas.
Oren Etzioni, director general de la Instituto Allen de Inteligencia Artificial , compara lo que hizo Baidu con la compra de varios boletos de lotería. Si puede comprar dos boletos a la semana, tiene una cierta posibilidad, si compra 200 a la semana, tiene más posibilidades, dice. Además de eso, probar un código ligeramente diferente en muchas pruebas podría ayudar a un equipo de investigación a optimizar su software para las peculiaridades de la colección de imágenes de validación que no se reflejan en las fotos del mundo real.
Tal es el éxito del aprendizaje profundo en esta prueba en particular que incluso una pequeña ventaja podría marcar la diferencia. Baidu había informado que logró una tasa de error de solo 4,58 por ciento, superando el mejor anterior de 4,82 por ciento, reportado por google en marzo. De hecho, algunos expertos han notado que los pequeños márgenes de victoria en la carrera por mejorar en esta prueba en particular la hacen cada vez más insignificante. Que Baidu y otros sigan pregonando sus resultados de todos modos, e incluso pueden estar dispuestos a romper las reglas, sugiere que ser el mejor en aprendizaje automático les importa mucho.