• El colegio Tajamar de Madrid nos cuenta el recuerdo que conserva de las pruebas PISA 2018 en las que participó: los alumnos estaban cansados, algunos terminaron muy pronto y ninguno estaba acostumbrado a ese tipo de examen.
• “Es una prueba interesante, pero habría que preparar a los alumnos un tiempo para que la afronten con un razonamiento al que no están acostumbrados”, opina un profesor que presenció la prueba.
• Los investigadores españoles Pau Balart y Antonio Cabrales sostienen que «el mal rendimiento de los estudiantes españoles en PISA podría ser, sobre todo, consecuencia de una cierta carencia de habilidades no cognitivas relacionadas con la perseverancia y la constancia”.

Los resultados españoles en PISA 2018 sumieron en el desconcierto a las autoridades educativas y a la propia OCDE, que tardará meses en descifrar las causas de aquel «patrón de respuesta anómalo» de parte de los estudiantes de nuestro país.

Descartados de entrada los problemas técnicos, la sombra de la duda planea sobre la representatividad de los resultados en un examen en el que los estudiantes no se juegan nada y en el que la motivación es una variable incontrolable. Si no es la misma en todos los alumnos de los diferentes países, ¿son equiparables sus resultados? ¿Y si los nuestros contestaron ‘a boleo’, sin fijarse, y por eso tardaron tan poco tiempo en responder?

A falta de las explicaciones que arrojen los microdatos de PISA (Programme for International Student Assessment), hemos recurrido al dato más empírico posible. Hemos preguntado a uno de los colegios que participó en PISA 2018, el colegio Tajamar de Madrid, por los recuerdos que conserva del día de la prueba. Fue el 25 de mayo de 2018.

Un total de 53 alumnos de 15 años realizaron el examen en Tajamar. Fueron de los últimos en hacerla, ya que el periodo de ejecución era de mediados de abril a final de mayo.

La mayoría de los alumnos estaban en 4º de ESO, pero una pequeña parte eran repetidores de cursos inferiores, como suele ocurrir en todos los centros que participan. La lista de estudiantes a examinar le fue entregada al director unas horas antes de la prueba.

Manos a la obra. A primera hora del 25 de mayo, llegaron al Tajamar los trabajadores de TYPSA, la empresa adjudicataria para realizar PISA en España. Instalaron, en dos aulas, los 42 ordenadores específicos en los que los alumnos habrían de contestar a las preguntas. Después, los estudiantes fueron sacados de sus clases habituales y conducidos a las aulas de examen. Los llamados «aplicadores de la prueba» les explicaron la estructura del examen y los mecanismos de preguntas y respuestas. Todo se respondió en los ordenadores. Tiempo máximo: dos horas.

Lo que más nítidamente recuerda Alfonso Hernando, hoy director de Tajamar, entonces profesor, no es la logística de aquel día, sino la sensación de agotamiento en docentes y alumnos a esas alturas del curso.

Gymkana de pruebas externas

Era principios de mayo. Faltaba poco para los exámenes finales. La maquinaria, a pleno rendimiento para el esfuerzo final. Cansancio y tensión. Hernando recuerda ese año como el primero en el que ya no había exámenes de septiembre en Madrid y la convocatoria de exámenes finales se había adelantado a finales de mayo para que la segunda fuera a final de junio.

Además, venían de hacer recientemente, a finales de abril, la evaluación externa de la Comunidad de Madrid en las pruebas CDI a 3º y 6º de Primaria y a 4º de la ESO: una prueba censal, que realizan todos los alumnos de la comunidad para comprobar el nivel de adquisición de las competencias lingüística, matemática y de ciencia y tecnología.

Y también, las pruebas externas de bilingüismo de la Comunidad de Madrid, que evalúan y acreditan el nivel del alumnado en esta lengua extranjera.

“La sensación era de estar haciendo una gymkana. Porque cada prueba externa requiere a un colegio mucha movilización y muchos ajustes en los horarios de la plantilla”, recuerda el director. «Decíamos: ‘Por favor, que llegue un día normal’”. Y eso que en este colegio son «partidarios de las pruebas externas para conocer bien cómo están los alumnos en comparación con el resto en la comunidad, con el de otras comunidades, o con el de otros países”. “No entrenamos a los alumnos para hacerlas porque nos interesa de verdad saber cómo están con lo que aprenden en el colegio”, asegura Hernando.

Algunos pudieron no tomárselo en serio

Le preguntamos al director del Tajamar si los alumnos se tomaron en serio la prueba. “Supongo que aquellos a los que no les cuesta trabajar sí se la tomarían en serio; pero a los que les cuesta estoy convencido de que quisieron quitársela de encima cuanto antes”, responde con sinceridad.

Alfonso Hernando recuerda que algún profesor presente en las aulas del examen comentó que, sorprendentemente, algunos habían terminado enseguida. “Ahora bien, no podemos saber si es porque contestaron sin pensar, o porque les pareció fácil”, reconoce.

Nadie pudo saber si los alumnos se habían esforzado o no. Tampoco nadie les había preparado para aquello: apenas dos días antes ensayaron con exámenes PISA de ediciones anteriores en los ordenadores de la sala de Informática para que conocieran el tipo de prueba al que se iban a enfrentar, su estructura y el soporte.

“El día del examen sólo les pedimos seriedad”, cuenta el director. “Pero, claro, esto no es como las CDI, que luego te llegan los resultados al colegio y los pueden consultar los padres. También hay alumnos a los que les importa su colegio y se sienten responsables de la imagen que demos en esas pruebas”.

En PISA no hay feedback y el colegio no sale retratado. Según apunta en esta entrevista Ismael Sanz, ex director del Instituto Nacional de Evaluación Educativa del Ministerio de Educación y ex Director General de Becas y Ayudas de la Comunidad de Madrid, la difusión de resultados a los colegios no es la práctica habitual, pero se ha dado el caso de que algún país lo ha pedido alguna vez y se le ha permitido.

El director del Tajamar se pregunta: “¿Cómo puede saberse si los alumnos han hecho el examen en condiciones, si se han esforzado o no?”.

Desconcertados ante un examen “raro”

Y tras la prueba, ¿qué dijeron los alumnos?, ¿qué impresión les dio aquello?

“Les pareció raro”, señala. “Decían que no tenía nada que ver con lo que estaban acostumbrados. No había preguntas directas; se les pedía que hicieran aportaciones propias… Yo tengo la impresión de que algunos no conectaron con aquello; no entendían lo que se les estaba pidiendo”, valora el director.

Imagen sacada de uno de los ejercicios planteados en PISA 2018. Las pruebas liberadas pueden consultarse aquí.

Y aquí está la experiencia y la opinión de David Arranz, profesor que estuvo en una de las aulas con la mitad de los examinados. Constata que algunos terminaron bastante antes de las dos horas estipuladas, aunque no sabría precisar cuánto. Pero recuerda que, al oír después los comentarios de los chavales, pensó que “no le encontraron mucho sentido a aquello”.

“Creo que la mayoría la hizo y se esforzó”, manifiesta, “pero algunos se dijeron: ‘¿Esto en qué me repercute? En nada’. Y, de entrada, lo vieron difícil y no se molestaron en prestarle atención”. Especialmente tuvo esa sensación con los repetidores.

“Desde luego, es una prueba interesante para marcar un estándar, pero habría que preparar a los alumnos un tiempo para que puedan hacerla en condiciones, para que sepan atender a un tipo de razonamiento al que no están acostumbrados. Pero como el examen en sí no aborda contenidos, tampoco puedes integrar ese tipo de pruebas en tu horario lectivo ni hacer exámenes así para evaluar si han alcanzado los objetivos de la programación”.

Falta de perseverancia y malos resultados

Microdatos aparte, la experiencia de este colegio abre muchas preguntas sobre si la prueba PISA puede ser representativa de lo que saben y no saben, y de lo que son capaces o no, los alumnos de un país. Otra cosa es que mida la capacidad de los futuros profesionales de un país para afrontar retos.

“Algunos estudios recientes señalan que las habilidades no cognitivas pueden resultar tan importantes como las cognitivas para el futuro personal y profesional de los estudiantes”, señalan los investigadores Pau Balart y Antonio Cabrales en su artículo ‘La maratón de PISA: la perseverancia como factor del éxito en una prueba de competencias’, publicado por la Fundación Europea Sociedad y Educación en ‘Reflexiones sobre el sistema educativo español’ (acceso al documento íntegro).

Lo que demuestran estos investigadores con los resultados de PISA 2009 es que España es uno de los países donde más decae el porcentaje de aciertos en el examen conforme avanza el tiempo de la prueba. Empiezan con un 63% de aciertos y terminan con un 54%.

“El decaimiento en el rendimiento podría ser un elemento importante en los malos resultados cosechados habitualmente por España en la prueba PISA y una posible vía de mejora”, sostiene el estudio. Y, a su vez, “el mal rendimiento medio de los estudiantes españoles en PISA podría ser, sobre todo, consecuencia de una cierta carencia de habilidades no cognitivas relacionadas con la perseverancia y la constancia”.

“Cualidades como la motivación, la perseverancia o la concentración son susceptibles de manifestarse a través de un mayor decaimiento. El problema, matizan, es la imposibilidad de observación directa y de identificaciones de esas habilidades”, dicen Balart y Cabrales.

De la influencia de la motivación intrínseca hablaba en esta entrevista Ismael Sanz, ex director del Instituto Nacional de Evaluación Educativa del Ministerio de Educación y responsable de la participación de España en PISA 2012 y PISA 2015.

Los investigadores españoles también demuestran en su análisis que el sexo del alumnado, hacer la prueba en lengua materna y el estatus socioeconómico son, por ese orden, los factores más determinantes en el decaimiento del rendimiento a lo largo de la prueba PISA. Es notable el menor descenso de rendimiento en las alumnas hasta el punto de concluirse que “las chicas son más competentes a la hora de llevar a cabo una actividad intelectual continuada”.