Facebook tiene una red neuronal que puede hacer matemáticas avanzadas

Aquí hay un desafío para los que tienen inclinaciones matemáticas entre ustedes. Resuelva la siguiente ecuación diferencial para y :

Tienes 30 segundos. ¡Rápido! Sin perder el tiempo.

La respuesta, por supuesto, es:

Si no pudo encontrar una solución, no se sienta tan mal. Esta expresión es tan engañosa que incluso varios potentes paquetes de software matemático también fallaron, incluso después de 30 segundos de procesamiento de números.

Y, sin embargo, hoy, Guillaume Lample y François Charton, de Facebook AI Research en París, dicen que han desarrollado un algoritmo que hace el trabajo con solo pensarlo un momento. Estos chicos han entrenado una red neuronal para realizar el razonamiento simbólico necesario para diferenciar e integrar expresiones matemáticas por primera vez. El trabajo es un paso significativo hacia un razonamiento matemático más poderoso y una nueva forma de aplicar redes neuronales más allá de las tareas tradicionales de reconocimiento de patrones.

Primero, algunos antecedentes. Las redes neuronales se han vuelto enormemente exitosas en tareas de reconocimiento de patrones, como reconocimiento de rostros y objetos, ciertos tipos de procesamiento de lenguaje natural e incluso juegos como ajedrez, Go y Space Invaders.

Pero a pesar de mucho esfuerzo, nadie ha sido capaz de entrenarlos para hacer tareas de razonamiento simbólico como las matemáticas. Lo mejor que han logrado las redes neuronales es la suma y multiplicación de números enteros.

Tanto para las redes neuronales como para los humanos, una de las dificultades con las expresiones matemáticas avanzadas es la taquigrafía en la que se basan. Por ejemplo, la expresión x 3 es una forma abreviada de escribir x multiplicado por x multiplicado por x . En este ejemplo, la multiplicación es una abreviatura de suma repetida, que a su vez es una abreviatura del valor total de dos cantidades combinadas.

Es fácil ver que incluso una simple expresión matemática es una descripción muy condensada de una secuencia de operaciones matemáticas mucho más simples.

Así que no sorprende que las redes neuronales hayan tenido problemas con este tipo de lógica. Si no saben lo que representa la taquigrafía, hay pocas posibilidades de que aprendan a usarla. De hecho, los humanos tienen un problema similar, a menudo inculcado desde una edad temprana.

Sin embargo, en el nivel fundamental, procesos como la integración y la diferenciación aún implican tareas de reconocimiento de patrones, aunque ocultos por la taquigrafía matemática.

Ingrese a Lample y Charton, quienes han ideado una forma elegante de descomprimir la taquigrafía matemática en sus unidades fundamentales. Luego enseñan a una red neuronal a reconocer los patrones de manipulación matemática que son equivalentes a la integración y la diferenciación. Finalmente, dejan que la red neuronal dé rienda suelta a expresiones que nunca ha visto y comparan los resultados con las respuestas derivadas de solucionadores convencionales como Mathematica y Matlab.

La primera parte de este proceso es descomponer las expresiones matemáticas en sus partes componentes. Lample y Charton hacen esto representando expresiones como estructuras en forma de árbol. Las hojas de estos árboles son números, constantes y variables como x ; los nodos internos son operadores como la suma, la multiplicación, la diferenciación con respecto a, etc.

Por ejemplo, la expresión 2 + 3 x (5+2) se puede escribir como:

Y la expresión

es:

Y así.

Los árboles son iguales cuando son matemáticamente equivalentes. Por ejemplo,
2 + 3 = 5 = 12 - 7 = 1 x 5 son todos equivalentes; por lo tanto, sus árboles también son equivalentes.

Muchas operaciones matemáticas son más fáciles de manejar de esta manera. Por ejemplo, la simplificación de expresiones equivale a encontrar una representación equivalente más corta de un árbol, dicen Lample y Charton.

Estos árboles también se pueden escribir como secuencias, tomando cada nodo consecutivamente. De esta forma, están listos para ser procesados ​​por un enfoque de red neuronal llamado seq2seq.

Curiosamente, este enfoque también se usa a menudo para la traducción automática, donde una secuencia de palabras en un idioma debe traducirse a una secuencia de palabras en otro idioma. De hecho, Lample y Charton dicen que su enfoque esencialmente trata las matemáticas como un lenguaje natural.

La siguiente etapa es el proceso de capacitación, y esto requiere una enorme base de datos de ejemplos para aprender. Lample y Charton crean esta base de datos ensamblando aleatoriamente expresiones matemáticas de una biblioteca de operadores binarios como la suma, la multiplicación, etc.; operadores unarios como cos, sin y exp; y un conjunto de variables, números enteros y constantes, como π y e. También limitan el número de nodos internos para evitar que las ecuaciones se vuelvan demasiado grandes.

Incluso con un número relativamente pequeño de nodos y componentes matemáticos, el número de posibles expresiones es enorme. Luego, cada ecuación aleatoria se integra y diferencia utilizando un sistema de álgebra computacional. Cualquier expresión que no se pueda integrar se descarta.

De esta forma, los investigadores generan un conjunto de datos de entrenamiento masivo que consiste, por ejemplo, en 80 millones de ejemplos de ecuaciones diferenciales de primer y segundo orden y 20 millones de ejemplos de expresiones integradas por partes.

Al analizar este conjunto de datos, la red neuronal aprende a calcular la derivada o la integral de una expresión matemática dada.

Finalmente, Lample y Charton pusieron a prueba su red neuronal alimentándola con 5000 expresiones que nunca antes había visto y comparando los resultados que produce en 500 casos con los de solucionadores disponibles comercialmente, como Maple, Matlab y Mathematica.

Estos solucionadores utilizan un enfoque algorítmico desarrollado en la década de 1960 por el matemático estadounidense Robert Risch. Sin embargo, el algoritmo de Risch es enorme y se ejecuta en 100 páginas solo para la integración. Entonces, el software de álgebra simbólica a menudo usa versiones reducidas para acelerar las cosas.

Las comparaciones entre estos y el enfoque de redes neuronales son reveladoras. En todas las tareas, observamos que nuestro modelo supera significativamente a Mathematica, dicen los investigadores. En la integración de funciones, nuestro modelo obtiene una precisión cercana al 100%, mientras que Mathematica apenas alcanza el 85%. Y los paquetes Maple y Matlab funcionan peor que Mathematica en promedio.

En muchos casos, los solucionadores convencionales son incapaces de encontrar una solución en absoluto, con 30 segundos para intentarlo. En comparación, la red neuronal tarda alrededor de un segundo en encontrar sus soluciones. El ejemplo en la parte superior de esta página es uno de esos.

Un resultado interesante es que la red neuronal a menudo encuentra varias soluciones equivalentes al mismo problema. Esto se debe a que, por lo general, las expresiones matemáticas se pueden escribir de muchas maneras diferentes.

Esta habilidad es algo así como un misterio tentador para los investigadores. La capacidad del modelo para recuperar expresiones equivalentes, sin haber sido entrenado para hacerlo, es muy intrigante, dicen Lample y Charton.

Eso es un avance significativo. Hasta donde sabemos, ningún estudio ha investigado la capacidad de las redes neuronales para detectar patrones en expresiones matemáticas, dice la pareja.

Ahora que lo han hecho, el resultado claramente tiene un enorme potencial en el cada vez más importante y complejo mundo de las matemáticas computacionales.

Los investigadores no revelan los planes de Facebook para este enfoque. Pero no es difícil ver cómo podría ofrecer su propio servicio de álgebra simbólica que supera a los líderes del mercado.

Sin embargo, es poco probable que los competidores se queden quietos. Espere una gran batalla en el mundo de las matemáticas computacionales.

Ref: arxiv.org/abs/1912.01412 : aprendizaje profundo para matemáticas simbólicas

esconder