211service.com
Cómo digitalizar un millón de libros
Quince meses después de que Google anunciara un proyecto de escaneo de libros de proporciones bíblicas, un esfuerzo por digitalizar todas las colecciones de libros de la Biblioteca Pública de Nueva York y las bibliotecas de la Universidad de Harvard, entre otras, la compañía aún mantiene el secreto sobre cómo están resolviendo problemas técnicos clave. y no dirá cuánto han logrado hasta ahora.
Sin embargo, un proyecto similar, aunque más pequeño, el Proyecto Million Book en la Universidad Carnegie Mellon en Pittsburgh, ha estado en marcha durante unos siete años. Podría proporcionar algunas pistas. El director del proyecto, el científico informático Raj Reddy, dice que él y sus colegas no tienen más conocimiento sobre los métodos o el progreso de Google que cualquier otra persona, pero están abordando muchos de los mismos desafíos.
El objetivo de la Búsqueda de libros de Google es hacer que todos los libros sin conexión, actualmente invisibles para los ojos de Google, se puedan buscar. Esto significa escanear físicamente cientos de millones de páginas encuadernadas entre las portadas de aproximadamente 18 millones de libros, reconocer alrededor de 430 idiomas y todo tipo de fuentes, hacer que los resultados estén disponibles para búsquedas de texto y replicar la experiencia de navegación tradicional de la biblioteca cuando todo esté terminado. Daniel Clancy, director de ingeniería de Google Book Search, dice que no puede comentar sobre lo que la empresa ha logrado hasta ahora.
En el proyecto CMU, sin embargo, la tecnología de escaneo está lista para usar. Están usando fácilmente disponibles Minolta PS 7000 escáneres de libros instalados en 40 estaciones de escaneo en India y China, donde los gobiernos locales están ayudando a mantener bajos los costos del proyecto sin fines de lucro. En esta configuración, los trabajadores pasan manualmente cada página. Siete años después de iniciado el proyecto, se han escaneado alrededor de 600.000 libros (en su mayoría obras de dominio público enviadas desde todo el mundo) y cada día se unen otras 100.000 páginas al corpus digital. A este ritmo, podría llevar algo menos de cinco años completar el proyecto CMS.
Por el contrario, Clancy dice que Google ha desarrollado su propia tecnología de escaneo. Pero la compañía no dice nada sobre los detalles técnicos del hardware, el software de reconocimiento óptico de caracteres (OCR) y la velocidad de escaneo en sus cinco centros de escaneo cerca de las bibliotecas asociadas en Harvard, Stanford, la Universidad de Michigan, la Universidad de Oxford y Nueva York. Biblioteca Pública.
Reddy dice que está disponible comercialmente software para reconocer el inglés funciona bien para Million Book Project. Los desafíos que enfrentan con el OCR están siendo abordados por sus socios chinos, quienes están desarrollando software específico para reconocer mejor las fuentes no convencionales y las escrituras caligráficas que a menudo se encuentran en libros más antiguos. Además, sus socios en Egipto están desarrollando OCR para árabe. En este momento, dice Reddy, OCR es un área de investigación activa en la que muchos países están contribuyendo con su experiencia.
Una vez que se escanean los libros y se puede acceder a sus textos, el mayor desafío es hacer que el texto sea útil para la búsqueda. La inconsistencia en la calidad física de los libros puede causar problemas, dice Clancy, en particular, con la numeración de páginas. Por ejemplo, pueden faltar páginas completas o las esquinas dobladas pueden revelar un número de página incorrecto. Y si la paginación es incorrecta en una parte del libro, el error se propaga a lo largo del trabajo.
Este problema se está superando, dice Reddy de CMU, mediante el diseño de software que no se basa en números de página. En cambio, crea metadatos estructurales, que son básicamente etiquetas que resumen el significado de la información dentro de un libro, de modo que los investigadores puedan vincular palabras en la tabla de contenido con los capítulos correspondientes. Además, los términos indexados se pueden vincular a los pasajes correctos. Desafortunadamente, dice Reddy, el establecimiento de enlaces sigue siendo un proceso manual; nadie ha desarrollado software que pueda establecer estos hipervínculos con más del 90 por ciento de precisión. Sin embargo, si la técnica se puede perfeccionar, podría hacer que las búsquedas de texto sean más significativas.
En última instancia, dice Clancy, a Google le gustaría que la Búsqueda de libros ofreciera el mismo resultado que alguien que va a una biblioteca, busca en sus estantes y encuentra por casualidad un libro que es interesante o útil. Una forma de hacer esto sería vincular los libros entre sí por categorías y temas, sugiere. Sin embargo, la tarea se complica al vincular obras de Virginia Woolf, por ejemplo, con críticas a su trabajo, obras que la inspiraron o autores que escribieron durante la misma época. Diseñar algoritmos que puedan organizar eficazmente toda esta nueva información, dice Clancy, es uno de los grandes desafíos y llevará muchos años.
Reddy dice que los investigadores de CMU están tratando de abordar este desafío utilizando un enfoque estadístico para organizar la información. En este enfoque, las oraciones de flujo de conciencia de Virginia Woolf, por ejemplo, serían analizadas por un algoritmo que encontraría patrones basados en la longitud, estructura y puntuación de la oración. Esta técnica podría encontrar una obra de James Joyce, una de las influencias de Woolf, o la de un autor oscuro cuyos escritos de otra manera nunca se hubieran encontrado.
Mientras tanto, los investigadores están buscando atajos para buscar entre autores, libros y géneros, dice Reddy. De manera similar a la forma en que el filtrado colaborativo en Amazon usa las compras anteriores de las personas para ayudar a otros a encontrar compras potenciales, los usuarios de la Búsqueda de libros podrían ayudarse entre sí. El enfoque basado en la comunidad es una idea que Google no ha anunciado, dice Clancy, pero podría agregar otra capa a la búsqueda en los libros y crear entusiasmo en las bases sobre el proyecto.
Ciertamente, mantener sus cartas cerca no es nuevo para Google. Son reservados sobre casi todo lo que hacen ... esto es muy común en las empresas de Silicon Valley, dice Reddy en CMU. En el caso de la Búsqueda de libros, dice, Google quiere tener una solución cautiva para todas las bibliotecas. Aun así, Reddy está entusiasmado con el proyecto de Google y cree que eventualmente complementará su investigación. Estoy seguro de que en algún momento tendrán un puntero hacia nuestros libros, dice.
Mientras tanto, Google tiene que lidiar con el problema no técnico de los titulares de derechos de autor descontentos que los arrastran a los tribunales. El Author's Guild y varios editores los han demandado, alegando que el proyecto de Google viola la ley de derechos de autor. (El profesor de Stanford Lawrence Lessig ha realizado una video sobre la controversia legal.)
Pero si se pueden superar los desafíos legales y técnicos, los libros físicos digitalizados podrían superar con creces los miles de millones de páginas web existentes en amplitud y profundidad de información. De hecho, un único catálogo de fichas en línea completo para millones de libros del mundo tiene el potencial de crear un capítulo completamente nuevo en la era de la información.