Pulsa "Enter" para saltar al contenido

Cómo se obtuvieron los datos de Teseo, aspectos a considerar y nuevas acciones

En primer lugar quiero agradecer la gran difusión y acogida que ha tenido la iniciativa de poner a disposición de la comunidad científica, la base de datos de Tesis Doctorales Teseo. Mi intención en este trabajo es proporcionar los datos disponibles desde el sitio web de Teseo [https://www.educacion.gob.es/teseo]. Dado lo impactante de los resultados obtenidos, quiero explicar con detalle algunos aspectos a considerar y el método de obtención de los datos, con el objetivo de certificar la metodología.

Aspectos a considerar sobre Teseo

Para obtener los registros de la base de datos Teseo, sin tener acceso al servidor de la fuente de los datos, puede emplearse el método de crawling basado en permalinks con número correlativo de registro. Todas las tesis disponibles desde el buscador de Teseo, disponen de un marcador o permalink con un número de referencia que hace mención a su ficha. Por ejemplo, mi tesis doctoral tiene el marcador “https://www.educacion.gob.es/teseo/mostrarRef.do?ref=933534“. Por tanto es posible desarrollar un programa que analice todos los enlaces correlativos desde un determinado número, por ejemplo la referencia 1 hasta la referencia 5 millones. De esta forma se puede asegurar que todos los registros de la base de datos, si están publicados y disponibles desde la web de Teseo podrán ser descargados.

Por otra parte hay que tener en consideración que existen muchas entradas duplicadas. De hecho la mayor parte de los registros disponen de una o más duplicaciones. Sin ir más lejos, la ficha correspondiente a mi Tesis Doctoral, titulada “Aplicaciones de la Sindicación para la Gestión de Catálogos Bibliográficos” puede encontrarse duplicada en las referencias “933534” y “933535“. Si observamos el primer registro disponible en Teseo, las referencias “3“, “4” y “5” se observa el mismo efecto por triplicado, y como este caso, pueden citarse centenares. La duplicación observada en muchos registros y entradas puede deberse a múltiples factores de los que sólo podemos añadir algunas hipótesis: a) Que cada modificación de los datos en un registro de Teseo produce una duplicación como si fuera un control de versiones; b) Existe algún problema de duplicación indefinido al actualizar los registros de la base de datos Teseo; c) Podría ejecutarse algún tipo de sistema de redundancia de los datos, para asegurar su presencia desde múltiples entradas. En todos los escenarios posibles, las duplicaciones invalidarían el objetivo de los marcadores o permalinks de Teseo, como método de identificación unívoca.

Aunque el método que se ha aplicado para la obtención de los registros de la base de datos de Teseo tiene en cuenta todos estos factores, tal como se explicará a continuación, también tienen que tenerse en consideración algunos aspectos que han podido influir en los resultados obtenidos. Con esto quiero incidir en que los medios que se han dispuesto para esta importante operación de recopilación han sido muy limitados. En concreto un equipo portátil de reducida capacidad y una conexión a Internet que ha podido tener algún tipo de interrupción durante el proceso. Estos factores sí han podido influir en la obtención de los resultados y puedo admitir que los datos pudieran ser distintos a los presentados. Por consiguiente, estoy desarrollando un segundo análisis para confirmar y en caso necesario, corregir, los resultados obtenidos hasta el momento. Mi intención en todo caso es proporcionar información real y estoy abierto a sugerencias y aportaciones constructivas para lograr una base de datos lo más idéntica posible a Teseo.

Sistema de recopilación automática de Teseo

Dicho todo esto, quiero compartir el método automatizado de recopilación de la base de datos Teseo. El código en cuestión es el que se muestra a continuación.

A pesar de resultar un programa sencillo, puede resultar bastante complejo si no se está familiarizado con el lenguaje de programación PHP. Por ello, procedo a realizar una descripción detallada del funcionamiento del crawler.

El programa está diseñado para recuperar todas las páginas web de Teseo que tengan el patrón de enlace “https://www.educacion.gob.es/teseo/mostrarRef.do?ref=NNNN” donde “NNNN” es un número que varía correlativamente entre “1” y “5.000.000”. El valor numérico de la referencia del enlace, permite recuperar todo el espectro de registros posible en la base de datos Teseo. Ello puede comprobarse en el bucle “for($i=0; $i<=5000000; $i++)” en la línea 23. Por tanto, el programa rastrea 5 millones de marcadores de la base de datos Teseo y obtiene sus códigos fuente en formato HTML, mediante las funciones cURL que se muestran entre las líneas 27 y 47.

Para facilitar el proceso de filtrado de la información disponible en las fichas que se han descargado en formato HTML, se crea un objeto DOM (Document Object Model) que sirve para realizar un mapeado de todos los nodos de la estructura de las fichas en formato HTML, véase líneas 49 a 51.

El siguiente paso es la extracción de los elementos que contienen la información de la ficha, tales como el título, autor, universidad, fecha de lectura, director/es, miembros del tribunal, descriptores y resumen. La extracción de los datos de la ficha puede comprobarse desde la línea 53 hasta la 229, en las que se observa el empleo de consultas de tipo XPath para la selección de los contenidos. También se pueden apreciar mecanismos de decodificación de set de caracteres (función utf8_decode), preparación de texto (función preg_replace), eliminación de espacios y tabulaciones extras que dificultan el procesamiento de los datos (función trim), logrando una normalización del texto (funciones mb_strtolower, ucfirst y ucwords). En adición a los mecanismos de preparación del texto, el programa es capaz de detectar algunos errores frecuentes de posicionamiento de los contenidos y reubicar la información en las variables correctas, utilizando para ello funciones basadas en expresiones regulares como [preg_match(“/(presidente|vocal|secretario)/”,…)].

En las líneas 231 a 235 se comprueba si existe algún tipo de duplicación de los datos recopilados en referencia a la base de datos de volcado, destinataria del almacenamiento de la información. De esta forma se evitan los problemas de duplicación de Teseo, permitiendo asegurar que todos los registros insertados sean únicos, puesto que sus títulos siempre serán diferentes.

Si el título de la Tesis Doctoral no está presente, o no figura en la tabla destinataria del volcado, denominada tabla “catalogoteseo”, entonces se ejecutan las instrucciones que figuran en las líneas 236 a 240, que corresponden a la inserción de los datos obtenidos de la ficha de Tesis Doctoral.

El último paso del programa es eliminar todas las variables y arrays de datos que se han empleado, para evitar residuos en el próximo ciclo del bucle. Todo el proceso descrito se repite varios millones de veces hasta alcanzar el marcador “https://www.educacion.gob.es/teseo/mostrarRef.do?ref=5000000” a partir del cual el programa finaliza y escribe en pantalla la palabra “FIN”.

Consideraciones finales

Teseo es una base de datos viva que puede variar y de hecho varía a diario.

Es posible que Teseo no muestre todas las Tesis Doctorales de que dispone en realidad y sólo se publiquen las fichas de aquellas, de las que sí se posean unos datos mínimos básicos. Ello explicaría las diferencias entre los datos obtenidos y los oficiales, disponibles en [http://www.mecd.gob.es/educacion-mecd/areas-educacion/universidades/estadisticas-informes/estadisticas/tesis-doctorales.html]

También cabe la posibilidad de que existan lagunas en algunos rangos cronológicos de Teseo y que éstos no queden patentes en las fichas públicas, aunque sí existan en terceras bases de datos o registros, en cuyo caso no se dispondría del acceso necesario y sería imposible su volcado o descarga.

Por otra parte, si Teseo dispone de más de 5 millones de referencias entre sus marcadores, también cabría la posibilidad de que existan registros fuera del rango analizado por el crawler. En ese caso, sólo se requeriría especificar un rango mayor que abarcara los registros restantes de Teseo. Ésta posibilidad, aunque improbable, se está estudiando para ser confirmada o descartada.

En caso de obtener nuevos datos sobre los datasets de Teseo, puedo asegurar que informaré puntualmente y se actualizarán tanto en las referencias de las entradas del portal mblazquez [ref1] y [ref2] como del proyecto publicado en sourceforge [https://sourceforge.net/projects/teseo-database/] para que la información siempre sea lo más precisa posible.

Agradecimientos

Finalmente quiero agradecer nuevamente todo el apoyo recibido y la confianza depositada en el trabajo que vengo desarrollando. He intentado ser lo más transparente y fiel a la realidad con las herramientas y medios disponibles. Aprovecho para transmitir un afectuoso saludo a todos los lectores y seguidores de mblazquez.es

Relación de artículos de Teseo

4 Comments

  1. Alberto
    Alberto 11 noviembre, 2015

    Hola Manuel. Mi más sincera enhorabuena por este trabajo, y mi agradecimiento por hacer accesible de esta manera tanto la base de datos, como el código para recopilar la información. Seguro que ambos serán útiles a mucha gente en el futuro y harán posibles estudios muy interesantes.

    Sobre el tema de los duplicados, yo no los habría considerado como tales. Según he visto (sin dedicarle mucho tiempo) es que por alguna razón, en Teseo han decidido asignar los IDs saltándose dos números entre un ID y otro: 3, 6, 9… 933534, 933537, 933540… y además, por defecto, si intentas acceder a un registro que no existe (4, 5, 7, 8, 933535, 933536, 933538, 933539…) te dirige automáticamente al registro existente con un ID inferior más cercano. De esta manera, aunque te metas en el registro que correspondería a 933535 (algo que por otra parte en condiciones normales no debería ocurrir), el código que aparece en el campo marcador sigue siendo 933534, es decir, el del registro de tu tesis, y todos los demás campos son exactamente idénticos (no son, por ejemplo, el registro original, y una versión modificada). Sería diferente si cuando te intentaras meter en 933535, el campo marcador también reflejara el código 933535, y más todavía si hubiera diferencias en algunos de los campos. En ese caso, la identificación unívoca del documento se perdería, pero tal y como están las cosas, parece que eso no es un problema. Está claro que para descargar la base de datos era necesario comprobar ese rango de números al completo (pues no se sabe de antemano lo que te vas a encontrar), pero gracias a ese campo marcador, no hay ningún problema para quedarnos con lo que nos interesa.

    De nuevo te transmito mi enhorabuena. Un saludo!

    • mblazquez
      mblazquez 11 noviembre, 2015

      Muchas gracias Alberto, por tus comentarios y por seguir esta investigación. Es un placer contar con tus aportaciones.

      Sobre lo que indicas, la verdad es que resulta un tanto extraño el baile de identificadores. Desde luego parece claro que una ficha puede tener 1 o más identificadores próximos, aunque unos sean válidos y otros no. Ignoro si la base de datos en origen dispone de dichas entradas. Lo que está claro es que se hace necesario un control de datos duplicados para procesar todos los permalinks o marcadores y creo que el método aplicado responde a esa situación. De todos modos seguiré informando de avances y actualizaciones que se produzcan. Gracias nuevamente, Saludos!

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *