Este algoritmo navega por Wikipedia para generar automáticamente libros de texto

Wikipedia

Aprendizaje automático: la guía completa es un tomo pesado. Con más de 6000 páginas, este libro es una introducción completa al aprendizaje automático, con capítulos actualizados sobre redes neuronales artificiales, algoritmos genéticos y visión artificial.

Pero esta no es una publicación ordinaria. Es un Wikibook, un libro de texto al que cualquiera puede acceder o editar, compuesto por artículos de Wikipedia, la gran enciclopedia en línea.

Esa es una fortaleza. La información colaborativa se actualiza constantemente con los últimos avances y se edita constantemente para corregir errores y ambigüedades.

Pero también es una debilidad. Wikipedia es enorme. Decidir qué incluir en un libro de texto de este tipo es una tarea difícil, quizás por eso el libro es tan grande. Con más de 550 capítulos, no es una lectura ligera.

Eso plantea una pregunta interesante. Dados los avances en inteligencia artificial en los últimos años, ¿hay alguna forma de editar automáticamente el contenido de Wikipedia para crear un todo coherente que sea útil como libro de texto?

Ingrese Shahar Admati y sus colegas de la Universidad Ben-Gurion del Negev en Israel. Estos muchachos han desarrollado una forma de generar Wikilibros automáticamente utilizando el aprendizaje automático. Llaman a su máquina Wikibook-bot. La novedad de nuestra técnica es que está dirigida a generar un Wikilibro completo, sin intervención humana, dicen.

El enfoque es relativamente sencillo. Los investigadores comenzaron identificando un conjunto de Wikilibros existentes que pueden actuar como un conjunto de datos de entrenamiento. Comenzaron con 6.700 Wikilibros incluidos en un conjunto de datos que Wikipedia puso a disposición para este tipo de estudio académico.

Dado que estos Wikilibros forman una especie de estándar de oro tanto para la capacitación como para las pruebas, el equipo necesitaba una forma de garantizar su calidad. Elegimos concentrarnos en los Wikilibros que fueron vistos al menos 1000 veces, basándonos en la suposición de que los Wikilibros populares tienen una calidad razonable, dicen.

Eso dejó 490 Wikilibros que filtraron aún más, en función de factores como tener más de 10 capítulos. Eso dejó 407 Wikilibros que el equipo usó para entrenar sus máquinas.

Luego, el equipo dividió la tarea de crear un Wikilibro en varias partes, cada una de las cuales requiere una habilidad diferente de aprendizaje automático. La tarea comienza con un título generado por un ser humano, que describe un concepto de algún tipo, como Aprendizaje automático: la guía completa .

La primera tarea es clasificar todo el conjunto de artículos de Wikipedia para determinar cuáles son lo suficientemente relevantes como para incluirlos. Esta tarea es desafiante debido al gran volumen de artículos que existen en Wikipedia y la necesidad de seleccionar los artículos más relevantes entre millones de artículos disponibles, dicen Admati y compañía.

Para ayudar con esta tarea, el equipo utilizó la estructura de red de Wikipedia: los artículos a menudo apuntan a otros artículos mediante hipervínculos. Es razonable suponer que es probable que el artículo vinculado sea relevante.

Entonces comenzaron con un pequeño núcleo de artículos que mencionan el concepto de semilla en el título. Luego identificaron todos los artículos que están hasta a tres saltos de distancia de estas semillas en la red.

Pero, ¿cuántos de estos artículos vinculados deben incluirse? Para averiguarlo, comenzaron con los títulos de los 407 Wikilibros creados por humanos y realizaron el análisis de tres saltos. Luego calcularon qué parte del contenido de los libros creados por humanos se incluyó en el enfoque automatizado.

Resulta que el enfoque automatizado a menudo incluía gran parte del contenido original de Wikibook, pero además mucho más. Por lo tanto, el equipo necesitaba alguna otra forma de reducir aún más el contenido.

Una vez más, la ciencia de redes entra en juego. Cada wikilibro generado por humanos tiene una estructura de red propia, determinada por la cantidad de enlaces que apuntan desde otros artículos, la cantidad de enlaces que apuntan, la lista de clasificación de páginas de los artículos incluidos, etc.

Entonces, el equipo creó un algoritmo que analizó cada artículo seleccionado automáticamente para un tema determinado y luego determinó si incluirlo en un Wikibook haría que la estructura de la red fuera más similar a los libros generados por humanos o no. Si no, el artículo se omite.

El siguiente paso es organizar los artículos en capítulos. Esta es esencialmente una tarea de agrupamiento; mirar la red formada por todo el conjunto de artículos y averiguar cómo dividirla en grupos coherentes. Varios algoritmos de agrupamiento están disponibles para este tipo de tarea.

El paso final es determinar el orden en que los artículos deben aparecer en cada capítulo. Para hacer esto, el equipo organiza los artículos en parejas y utiliza un modelo basado en redes para determinar cuál debe aparecer primero. Al repetir esto para todas las combinaciones de pares de artículos, el algoritmo determina un orden preferido para los artículos y, por lo tanto, para los capítulos.

De esta forma, el equipo pudo producir versiones automatizadas de Wikilibros que ya habían sido creados por humanos. Es difícil juzgar qué tan bien se comparan estos libros automatizados con los generados por humanos. Ciertamente contienen gran parte del mismo material, a menudo en un orden similar, lo cual es un buen comienzo.

Pero Adamti y compañía tienen un plan para determinar la utilidad de su enfoque. Planean producir una gama de Wikilibros sobre temas que aún no están cubiertos por libros generados por humanos. Luego monitorearán las páginas vistas y las ediciones de estos libros para ver cuán populares se vuelven y cuánto se editan, en comparación con los libros generados por humanos. Esta será una prueba del mundo real para nuestro enfoque, dicen.

Es un trabajo interesante que tiene el potencial de producir valiosos libros de texto sobre una amplia gama de temas, e incluso de crear otros textos, como actas de congresos. Aún no se ha determinado qué tan valiosos serán para los lectores humanos. Pero estaremos atentos para averiguarlo.

Ref: arxiv.org/abs/1812.10937 : Wikibook-Bot—Generación automática de un libro de Wikipedia

esconder