La minería de datos revela un patrón fundamental del pensamiento humano

En 1935, el lingüista estadounidense George Zipf hizo un descubrimiento notable. Zipf tenía curiosidad por la relación entre las palabras comunes y las menos comunes. Así que contó con qué frecuencia aparecen las palabras en el lenguaje ordinario y luego las ordenó según su frecuencia.

Esto reveló una notable regularidad. Zipf descubrió que la frecuencia de una palabra es inversamente proporcional a su lugar en las clasificaciones. Entonces, una palabra que ocupa el segundo lugar en el ranking aparece la mitad de veces que la palabra más común. La palabra en tercer lugar aparece con un tercio de frecuencia y así sucesivamente.

En inglés, la palabra más popular es el, que constituye alrededor del 7 por ciento de todas las palabras, seguido de y , que ocurre el 3,5 por ciento de las veces, y así sucesivamente. De hecho, alrededor de 135 palabras representan la mitad de todas las apariciones de palabras. Por lo tanto, algunas palabras aparecen a menudo, mientras que la mayoría casi nunca aparecen.

¿Pero por qué? Una posibilidad intrigante es que el cerebro procese las palabras comunes de manera diferente y que estudiar la distribución de Zipf debería revelar información importante sobre este proceso cerebral.

Sin embargo hay un problema. No todos los lingüistas están de acuerdo en que la distribución estadística de la frecuencia de las palabras sea el resultado de procesos cognitivos. En cambio, algunos dicen que la distribución es el resultado de errores estadísticos asociados con palabras de baja frecuencia, que pueden producir distribuciones similares.

Lo que se necesita, por supuesto, es un estudio más amplio en una amplia gama de idiomas. Un estudio a gran escala de este tipo sería estadísticamente más poderoso y capaz de separar estas posibilidades.

Hoy, tenemos un estudio de este tipo gracias al trabajo de Shuiyuan Yu y sus colegas de la Universidad de Comunicación de China en Beijing. Estos muchachos han encontrado la Ley de Zipf en 50 idiomas tomados de una amplia gama de clases lingüísticas, que incluyen indoeuropeo, urálico, altaico, caucásico, chino-tibetano, dravidiano, afroasiático, etc.

Yu y compañía dicen que las frecuencias de palabras en estos idiomas comparten una estructura común que difiere de la que producirían los errores estadísticos. Es más, dicen que esta estructura sugiere que el cerebro procesa las palabras comunes de manera diferente a las poco comunes, una idea que tiene importantes consecuencias para el procesamiento del lenguaje natural y la generación automática de texto.

El método de Yu y compañía es sencillo. Comienzan con dos grandes colecciones de texto llamadas British National Corpus y Leipzig Corpus. Estos incluyen muestras de 50 idiomas diferentes, cada muestra contiene al menos 30.000 oraciones y hasta 43 millones de palabras.

Los investigadores encontraron que las frecuencias de palabras en todos los idiomas siguen una Ley de Zipf modificada en la que la distribución se puede dividir en tres segmentos. Los resultados estadísticos muestran que las leyes de Zipf en 50 idiomas comparten un patrón estructural de tres segmentos, y cada segmento demuestra propiedades lingüísticas distintivas, dice Yu.

Esta estructura es interesante. Yu y compañía han intentado simularlo utilizando una serie de modelos para crear palabras. Un modelo es el modelo del mono en una máquina de escribir, que genera letras aleatorias que forman palabras cada vez que aparece un espacio.

Este proceso genera una distribución de ley de potencias como la Ley de Zipf. Sin embargo, no puede generar la estructura de tres segmentos que han encontrado Yu y compañía. Esta estructura tampoco puede ser generada por errores asociados a palabras de baja frecuencia.

Sin embargo, Yu y compañía pueden reproducir esta estructura utilizando un modelo de la forma en que funciona el cerebro llamado teoría del proceso dual. Esta es la idea de que el cerebro funciona de dos maneras diferentes.

El primero es el pensamiento intuitivo rápido que requiere poco o ningún razonamiento. Se cree que este tipo de pensamiento ha evolucionado para permitir que los humanos reaccionen rápidamente en situaciones amenazantes. Por lo general, brinda buenas soluciones a problemas difíciles, como el reconocimiento de patrones, pero puede ser engañado fácilmente por situaciones no intuitivas.

Sin embargo, los humanos son capaces de un pensamiento mucho más racional. Este segundo tipo de pensamiento es más lento, más calculador y deliberado. Es este tipo de pensamiento el que nos permite resolver problemas complejos como acertijos matemáticos, etc.

La teoría del proceso dual sugiere que palabras comunes como el, y, si y así sucesivamente son procesados ​​por el pensamiento rápido e intuitivo y por lo tanto se utilizan con más frecuencia. Estas palabras forman una especie de columna vertebral para las oraciones.

Sin embargo, palabras y frases menos comunes como hipótesis y Ley de Zipf requieren una reflexión mucho más cuidadosa. Y debido a esto ocurren con menos frecuencia.

De hecho, cuando Yu y compañía simulan este proceso dual, conduce a la misma estructura de tres segmentos en la distribución de frecuencia de palabras que midieron en 50 idiomas diferentes.

El primer segmento refleja la distribución de palabras comunes, el último segmento refleja la distribución de palabras poco comunes y el segmento medio es el resultado del cruce de estos dos regímenes. Estos resultados muestran que la Ley de Zipf en los idiomas está motivada por mecanismos cognitivos como el procesamiento dual que gobiernan los comportamientos verbales humanos, dicen Yu y compañía.

Es un trabajo interesante. La idea de que el cerebro humano procesa la información de dos maneras diferentes ha cobrado un impulso considerable en los últimos años, sobre todo gracias al libro Pensando, Rápido y Lento por el psicólogo ganador del Premio Nobel Daniel Kahneman, quien ha estudiado esta idea en detalle.

Un problema bien conocido que se utiliza para desencadenar el pensamiento rápido y lento es el siguiente:

Un bate y una pelota cuestan $1.10 en total. El bate cuesta $1.00 más que la pelota. ¿Cuánto cuesta la pelota?

La respuesta, por supuesto, es 5 centavos. Pero casi todo el mundo tiene la inclinación inicial a pensar en 10 centavos. Eso es porque 10 centavos se siente bien. Es el orden de magnitud correcto y lo sugiere el encuadre del problema. Esa respuesta proviene del lado rápido e intuitivo de tu cerebro.

Pero está mal. La respuesta correcta requiere la parte más lenta y calculadora de tu cerebro.

Yu y compañía dicen que los mismos dos procesos están involucrados en la generación de oraciones. El parte de pensamiento rápido de tu el cerebro crea el estructura basica de El oración ( el palabras aquí marcado en audaz). El otras palabras requieren el Más lento, más parte de calculo de tu cerebro.

Es este proceso dual el que conduce a la Ley de Zipf de tres segmentos.

Eso debería tener consecuencias interesantes para los informáticos que trabajan en el procesamiento del lenguaje natural. Este campo se ha beneficiado de grandes avances en los últimos años. Estos provienen de algoritmos de aprendizaje automático, pero también de grandes bases de datos de texto recopiladas por empresas como Google.

Pero generar lenguaje natural sigue siendo difícil. No tienes que chatear con Siri, Cortana o el Asistente de Google por mucho tiempo para enfrentarte a sus límites de conversación.

Entonces, una mejor comprensión de cómo los humanos generan oraciones podría ayudar significativamente. Zipf seguramente habría estado fascinado.

Ref: arxiv.org/abs/1807.01855 : Ley de Zipf en 50 idiomas: su patrón estructural, interpretación lingüística y motivación cognitiva

esconder