Los diminutos modelos de IA podrían sobrecargar la autocorrección y los asistentes de voz en su teléfono

Categoría: Inteligencia artificial Al corriente Oct 04

Los investigadores han reducido con éxito un modelo de lenguaje gigante para usarlo en aplicaciones comerciales.

¿Quién está contando? En el último año, los modelos de lenguaje natural se han vuelto dramáticamente mejores a expensas de volverse dramáticamente más grandes. En octubre del año pasado, por ejemplo, Google lanzó un modelo llamado BERT que pasó un punto de referencia de comprensión de lectura de larga data en el campo. La versión más grande del modelo tenía 340 millones de parámetros de datos, y entrenarlo solo una vez costó suficiente electricidad para alimentar un hogar estadounidense durante 50 días.

Cuatro meses después, OpenAI lo superó rápidamente con su modelo GPT-2. El modelo demostró una habilidad impresionante para construir una prosa convincente; también utilizó 1.500 millones de parámetros. Ahora, MegatronLM, el último y más grande modelo de Nvidia, ha 8.300 millones de parámetros . (Sí, las cosas se están saliendo de control).

Lo grande, lo malo, lo feo: Los investigadores de IA están cada vez más preocupados por las consecuencias de esta tendencia. En junio, un grupo de la Universidad de Massachusetts, Amherst, mostró el costo climático del desarrollo y entrenamiento de modelos a una escala tan grande. Calcularon que entrenar BERT emitía casi tanto carbono como un vuelo de ida y vuelta entre Nueva York y San Francisco; GPT-2 y MegatronLM, por extrapolación, probablemente emitirían mucho más.

La tendencia también podría acelerar la concentración de la investigación de IA en manos de unos pocos gigantes tecnológicos. Los laboratorios con recursos insuficientes en la academia o los países con menos recursos simplemente no tienen los medios para usar o desarrollar modelos tan costosos desde el punto de vista computacional.

Cariño, encogí la IA: En respuesta, muchos investigadores se centran en reduciendo el tamaño de los modelos existentes sin perder sus capacidades. Ahora, dos nuevos documentos, publicados con un día de diferencia, lo han logrado con éxito en la versión más pequeña de BERT, con 100 millones de parámetros.

El primer papel, de investigadores de Huawei, produce un modelo llamado TinyBERT que es menos de una séptima parte del tamaño del original y casi 10 veces más rápido. También funciona casi tan bien en la comprensión del lenguaje como el original. El segundo, de los investigadores de Google, produce otro que es más pequeño por un factor de más de 60, pero su comprensión del idioma es ligeramente peor que la versión de Huawei.

Cómo lo hicieron: Ambos documentos utilizan variaciones de una técnica de compresión común conocida como destilación de conocimiento. Implica usar el modelo de IA grande que desea reducir (el maestro) para entrenar a un modelo mucho más pequeño (el estudiante) a su imagen. Para hacerlo, alimenta las mismas entradas en ambos y luego ajusta al estudiante hasta que sus salidas coincidan con las del profesor.

Fuera del laboratorio: Además de mejorar el acceso a la IA de última generación, los modelos diminutos ayudarán a llevar los últimos avances en IA a los dispositivos de los consumidores. Evitan la necesidad de enviar datos de los consumidores a la nube, lo que mejora tanto la velocidad como la privacidad. Específicamente para los modelos de lenguaje natural, la predicción de texto y la generación de lenguaje más potentes podrían mejorar innumerables aplicaciones como el autocompletado en su teléfono y asistentes de voz como Alexa y Google Assistant.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.