Ismael Sanz, sobre PISA 2018: «Si la nota de Lectura está contaminada, afecta a la de Matemáticas y Ciencias al menos 5 puntos»

Google+ Pinterest LinkedIn Tumblr +

La incapacidad de muchos países para mejorar posiciones en el ranking de PISA, incluido España, la bajada de la media en el conjunto de países que evalúa la OCDE y las anomalías detectadas en la prueba española de 2018 nos han hecho preguntarnos sobre la idoneidad de PISA como herramienta de valoración de los sistemas educativos y sobre su verdadera utilidad. Por ello hemos hablado con Ismael Sanz, sabio de la estadística aplicada a educación y una de las personas que más ha hecho por arraigar las pruebas PISA al sistema educativo español, carente de mecanismos de evalución estatal.

Experto en sistemas de evaluación educativa, Ismael fue el responsable del desarrollo de PISA en sus ediciones de 2012 y 2015, ya que era el director del Instituto Nacional de Evaluación Educativa del Ministerio de Educación. Y también fue miembro del Grupo de Desarrollo Estratégico de PISA de la OCDE (2014-15). De 2017 a 2019 fue Director General de Becas y Ayudas al Estudio de la Comunidad de Madrid. Y hoy ejerce de profesor titular en la Universidad Rey Juan Carlos.

Estudioso de los microdatos de PISA desde sus comienzos en España y de toda la estadística educativa internacional, Ismael Sanz es uno de los divulgadores de investigaciones sobre educación más prolíficos en redes sociales. En esta entrevista nos desgrana algunos entresijos de las pruebas PISA que ayudan a entender su relevancia, pero que también abren la puerta a dudar de la validez de los resultados de España en PISA 2018. En los microdatos está la respuesta y él la va a buscar.

P.– ¿Para qué sirve PISA?
R.–
Nos da idea de las habilidades de los alumnos de 15 años de muchos países en las áreas de Matemáticas, Ciencias y comprensión lectora, y últimamente en otras competencias como resolución de problemas y trabajo en equipo, que son cada vez más importantes en un mundo globalizado; incluso en 2021 va a evaluar también pensamiento crítico y creatividad. Por supuesto que no abarca todo el sistema educativo, pero sí es una fuente de información relevante. Si no fuera por PISA, habría cosas importantes de los sistemas educativos que no conoceríamos, que es la situación de aprendizaje de nuestros jóvenes en relación con jóvenes de la misma edad de otras comunidades autónomas y de otros países. En educación muchas veces se trabaja con ideas, proyectos, metodologías que no están contrastadas y es importante ponerle números, compatibilizar los aspectos cualitativos y cuantitativos, y que la evidencia pueda guiar las políticas educativas.

P.– ¿Hasta qué punto reflejan la realidad esos números de PISA teniendo en cuenta que es una prueba muestral que se hace sólo un día, durante dos horas, a final de curso? ¿Su fiabilidad es coherente con la trascendencia que se le da?
R.–
PISA es una fuente de información, pero hay más. Un docente es el que más sabe de sus alumnos y eso nunca se ha puesto en cuestión. Pero el docente no tiene por qué saber el nivel de los alumnos de otros centros educativos ni de otros países. Las evaluaciones estandarizadas tienen un sentido en sí mismo, que es ése. La muestra de PISA es realmente amplia y el resultado de las pruebas es una foto que sirve para hacer un diagnóstico de un sistema educativo en comparación con otros. El problema que ha habido este año ha sido sólo con España y la seriedad de la OCDE se ve, precisamente, en que no ha querido publicarlo.

P.– La OCDE ha considerado que la incidencia de esa anomalía en Lectura no determina nuestro resultado de Ciencias y Matemáticas, pero es difícil creerlo puesto que aún no ha esclarecido las causas de esa anomalía. ¿Hasta que punto le parecen a usted fiables los resultados de Ciencias y Matemáticas?
R.–
Es verdad que queda por ver la medida en la que esos problemas que ha habido en Lectura han podido contaminar en la evaluación de matemáticas y ciencias. Es una pregunta que ha quedado abierta y el trabajo para poder responderla va a llevar meses. Gracias a que la OCDE publica los microdatos de lo que ha hecho cada uno de los 36.000 alumnos, podrá investigarse y verse la tasa de acierto en todos ellos y el tiempo de respuesta en todos ellos. Por ejemplo, gracias a las investigaciones de Pau Balart e Ildefonso Méndez, sabemos que la tasa de acierto en PISA decae a medida que pasa el tiempo de la prueba por efecto del cansancio. Se detecta una falta de perseverancia porque la prueba no tiene efectos académicos para el alumno. En 2015, nuestros alumnos empezaban con la tasa de acierto de Corea y, según pasaba el tiempo de la prueba, la tasa de aciertos de España caía mucho más que en Corea. También pudo comprobarse que caía más la tasa de acierto en los alumnos que en las alumnas. Así que en el caso de este año, vamos a poder contrastar la trayectoria de la tasa de aciertos de los alumnos en Matemáticas y Ciencias, con la de otros años, de manera que podremos ver si este año concreto ha habido algún tipo de problema que otros años no ha habido.

P.– He leído a algún analista de PISA sostener que su gran agujero es que no puede controlar la motivación de los alumnos a la hora de contestar. ¿La motivación del alumnado puede condicionar mucho los resultados de un país? Es más, ¿cree que puede estar detrás de las anomalías detectadas en España? ¿Puede que nuestros alumnos hayan contestado a boleo porque no les apetecía contestar?

R.– La motivación influye en cualquier prueba y hay estudios que lo demuestran. Hay que recordar que hacer PISA no influye en los resultados académicos del alumno. No hay motivación extrínseca. Lo que ocurre en este caso es que la motivación intrínseca ya es una habilidad no cognitiva importante, y eso también forma parte de la realidad de un país y de la educación que reciben sus estudiantes. Que un alumno llegue y piense «esto es una prueba que cuesta dinero, que es importante para la toma de decisiones, todo el mundo se va a enterar del resultado que saque mi comunidad autónoma» denota un grado de compromiso, de responsabilidad y de determinación por hacer las cosas bien que otros pueden no tener. Eso también determina el funcionamiento de un país. Como demuestra el estudio de Balart y Méndez, la perseverancia también es clave en el logro. En España hasta el año 2015 no se detectaron problemas en ese sentido. Pero vamos a ver qué ha pasado en 2018.

P.– ¿Cuánto dura la prueba?
R.– Dos horas.

P.– Y si el alumno no ha terminado, ¿la tiene que dejar?
R.– Sí. A las dos horas se deja.

P.– ¿Cuál es el orden de ejecución de las pruebas? ¿Se hace primero Lectura y después Matemáticas y luego Ciencias?
R.– Como este año, PISA se centraba en Lectura, todos los alumnos han hecho la prueba de Lectura. Luego, más o menos un 50% hizo Matemáticas y el otro 50% Ciencias. También hicieron otra prueba que se llama Competencia Global, cuyos resultados se publicarán en febrero-marzo. No empiezan todos por Lectura. Algunos empiezan por Matemáticas, otros por Ciencias, pero el mayor número de alumnos ha empezado este año por Lectura.

P.– ¿Está diciendo que no todos los alumnos se han examinado de Matemáticas y Ciencias?
R.– Sí. Ése es uno de los problemas. Para calcular la media de un país, y de las comunidades autónomas en el caso de España, la OCDE tiene en cuenta tanto a los que han hecho la prueba de Matemáticas como a los que no. En el caso de los que no la han hecho, la OCDE estima qué nota habría sacado ese alumno en Matemáticas teniendo en cuenta la nota de Lectura y los datos de su condición socioeconómica y su género. Lo mismo para la nota de Ciencias de cada territorio. Entonces, si la nota de Lectura estaba contaminada, eso afectaría a la nota global de Matemáticas y Ciencias. Es como para tener un impacto al menos de 5 puntos en cada una de ellas.

P.– Entonces, en la nota de Matemáticas y de Ciencias este año hay una parte que es real, pero otra es una estimación que depende de la de Lectura? Entonces es una nota fantasma.
R.– Lo bueno es que gracias a los microdatos vamos a saber cómo ha influido. Yo mismo voy a investigarlo con Ildefonso Méndez. A ver si podemos dar con lo que haya podido suceder.

P.– Me hablaba antes de la importancia que tienen las evaluaciones estandarizadas para que el profesor tenga una referencia del nivel que hay fuera de su aula. Pero en el caso de PISA, el destinatario no es el docente, sino los gobiernos. Y los gobiernos pueden aprovechar todos el material que genera PISA y llevar a cabo políticas educativas que mejoren el aprendizaje de sus alumnos, o no. Y en el caso de que pongan en marcha políticas educativas, sus efectos se notarán a largo plazo. ¿Por qué esa obsesión en ver cada 3 años si mejoran los países? ¿Por qué la responsable de la OCDE que presentó los datos en España ponía el acento en la incapacidad de muchos países para mejorar?
R.– El valor de PISA es que, si no fuera por PISA, no podríamos saber eso. Muchas veces se hacen inversiones y se llevan a cabo políticas educativas que no mejoran la educación. Gracias a PISA podemos saber que mejorar las ratios no tiene por qué ser, por sí solo, tan determinante. O que hacer políticas que den más autonomía a los centros, para diseñar sus proyectos e incluso para contratar profesorado, sí que está relacionado con una mejora de los resultados. Son cuestiones que es importante conocer. También gracias a PISA podemos saber que, se haga lo que se esté haciendo, la competencia lectora global de los alumnos no está mejorando, sino empeorando. Podemos ver cómo la nota de Lectura en 2018 es más baja que la de 2000.

P.– Pero esa es una conclusión que parte de la base de que PISA hace un reflejo intachable de la realidad. ¿No cabe preguntarse si la OCDE se equivoca con el diseño de PISA? ¿No se pregunta la OCDE si debe reformular la prueba y los criterios de evaluación?
R.–
Ante ese duda, siempre es importante tener en cuenta también otro tipo de evaluaciones, como TIMMS y PIRLS, que se llevan a cabo en 4º de Primaria y en 2º de la ESO (aunque España no participa en ésta) y que no dependen de la OCDE, sino de la asociación internacional IEA (Evaluación del Logro Educativo). A mí me parece importante tenerlas en cuenta porque, además, estas pruebas se centran más en conocimientos, mientras que PISA se centra más en competencias. Y luego hay que completarlo siempre con otras fuentes de información como la tasa de abandono, la Encuesta de Población Activa…

PISA no mide todo, aunque está intentando medir nuevas competencias. Lo que no puede ser es que nos agarremos al argumento de ‘como no evalúa todo, pues no evaluamos nada’. Aunque Matemáticas, Ciencias y Lectura no es lo único que tiene que enseñarse en un centro educativo, sí son importantes. Y, ojo, que parece que siempre se pone en contraposición saber más de todo eso con tener niños menos felices, y se mira a China y a Japón. Pero en Finlandia, en Estonia, en Polonia, en Países Bajos, los alumnos rinden mucho más que en España y son más felices que aquí. No se puede contraponer aprender más a ser feliz.

P.– PISA evalúa competencias, pero la programación curricular de nuestro sistema educativo tiene con un grave déficit de competencias y sobrecarga de contenidos. Es como si PISA hablara un idioma que nosotros sólo chapurreamos, como ir a hacer un examen de lengua española en inglés. ¿Es coherente hacer una prueba de competencias a un sistema que flaquea en competencias?
R.– PISA marca una guía, basada en un consenso de 79 países, entre ellos los más desarrollados, y apoyada en marcos teóricos de expertos punteros procedentes de Berkley, Standford y otras universidades prestigiosas. Y evalúa competencias, pero también conocimientos. Las competencias se construyen sobre los conocimientos. Y PISA tiene un enfoque equilibrado en ese sentido. Como suele decir Andreas Schleiser, PISA evalúa lo que sabes y lo que sabes hacer con lo que sabes. Las pruebas están muy bien diseñadas.

 

 

Comparte.