/Las sombras de PISA: ¿hay que creerse el informe tras los errores detectados?

Las sombras de PISA: ¿hay que creerse el informe tras los errores detectados?

Los resultados sobre el desempeo acadmico de 600.000 estudiantes -36.000 espaoles- se presentan este martes en 79 pases en plena polmica por las sospechas que ha avivado la Comunidad de Madrid sobre la fiabilidad de los resultados del todopoderoso Informe PISA. La OCDE no va a presentar los datos obtenidos por los alumnos de Espaa en Lectura porque al menos un 5% de los estudiantes respondi de forma «inverosmil» en este apartado. Pero s publicar los de Matemticas y Ciencias, pese a que el Gobierno madrileo denuncia que tambin estn «contaminados».

Qu ha pasado? Cmo llega una administracin autonmica a desafiar a un gigante mundial como la OCDE? Ya no hay que dar credibilidad a, informe PISA? He aqu las respuestas.

Preguntas fciles

La OCDE admite «anomalas» en la forma en que respondieron los alumnos espaoles a un nuevo cuestionario que tena unas preguntas de fluidez lectora que, si se miran bien, son bastante raras. Los cros de 15 aos tenan que responder s o no a si le vean sentido a oraciones que en el examen piloto fueron las siguientes. «Los aviones estn hechos de perros», «El estudiante feliz ley el libro anoche» o «El hombre que es ms alto agradece a la mujer y el nio es ms bajo que ambos». Todo apunta a que los alumnos pudieron creer que estas preguntas, de tan fciles que eran, no formaban parte del examen, sino que eran un entrenamiento previo.

Por qu se incluyeron? Segn las fuentes consultadas, hace unos aos la OCDE puso en marcha el programa PISA for Development, adaptado a los pases en vas en desarrollo, pero estos gobiernos no podan pagar las tarifas exigidas y no funcion. Este edicin ha incorporado aspectos de este programa y un buen nmero de nuevos pases, incluyendo preguntas muy fciles para alumnos con bajos niveles de comprensin lectora. Los alumnos espaoles han podido no entender el sentido de este cuestionario y han respondido al tuntn, provocando una bajada en Lectura.

Las subcontratas

Madrid ha sealado a la empresa Typsa, subcontratada por el Ministerio de Educacin en la poca del PP, como la responsable de aplicar las pruebas y coordinar a nueve equipos examinadores que se han desplazado por varias comunidades. Sostiene que tres de estos equipos pudieron dar instrucciones confusas a los alumnos, pues estos examinados tienen el triple de errores que los otros. Fuentes de la OCDE denuncian que este organismo «est perdiendo el control de las pruebas» porque delega en empresas subcontratadas el grueso de las tareas y el grupo que directamente trabaja en este rea es «muy reducido».

«Ha habido problemas en otros pases con la baja calidad de las empresas que hacen el muestreo, analizan y filtran los datos. Unas veces las preguntas se han traducido mal y otras se ha producido un mal tratamiento de los datos», sealan estas fuentes. En Madrid reconocen que la actuacin de los equipos subcontratados ha sido «catica».

«Falta de transparencia»

El pasado 15 de noviembre la OCDE inform de que paralizaba los datos espaoles de Lectura y, desde entonces, no ha dado explicaciones. Tampoco lo ha hecho el Ministerio de Educacin, dirigido en funciones por Isabel Cela, que se ha encogido de hombros y ha recordado que las pruebas se hicieron en la primavera de 2018, con el PP. «Andreas Schleicher [el director de Educacin de la OCDE] tiene un frreo control sobre la informacin y nadie dice nada. Pero falta transparencia. Es esencial saber si PISA ha fallado, porque esto le cuesta mucho dinero a Espaa. No puede ser que se tapen los errores», expresan las fuentes consultadas.

Ausentes con un cero

A 70 alumnos madrileos que no hicieron el examen se les puso un cero, cuando se les tena que haber incluido en la categora de no presentados. En la OCDE dicen que «70 alumnos de una muestra de 5.000 no bajan los resultados», pero otras fuentes aseguran que esto es una «irregularidad». La OCDE inicialmente dijo que «no se ha apreciado ningn error tcnico ni manipulacin de los datos», pero parece que s lo hay. Tambin asegur que los resultados de Matemticas y Ciencias parecan «estar afectados» por «este comportamiento anmalo» detectado en Lectura, aunque en «mucha menor medida». Ahora dice que no se han encontrado anomalas en estos datos y que por eso pueden publicarse.

Sucede, sin embargo, que en PISA la nota de Matemticas y Ciencias del 60% de los alumnos se ha calculado a partir de la de Lectura, en una extrapolacin que es considerada por algunos expertos como «una chapuza». Segn fuentes de la Comunidad de Madrid, «un mtodo tan burdo de determinacin de estas notas pone de manifiesto el declive de estas pruebas».

Otra operacin cuestionada en esta edicin es la adaptabilidad de una parte de la prueba de Lectura -no la de fluidez lectora-, por la que los alumnos llegan a distintos itinerarios en funcin de sus respuestas: a los que responden correctamente al principio se les van haciendo preguntas cada vez ms difciles, mientras que los que contestan mal tienen un examen ms fcil. Las fuentes consultadas se preguntan cmo se puede comparar entre pases o regiones si hay tantos grupos de alumnos y tantos modelos de exmenes.

Las comunidades autnomas

Adems de Madrid, hay ms regiones afectadas, pero la OCDE no ha dicho cules son. El consejero madrileo Enrique Ossorio, que exige transparencia y explicaciones porque ha pagado 300.000 euros por la realizacin de las pruebas, asegura que hay otras tres comunidades perjudicadas. Recientemente, se han mostrado crticos Castilla y Len y Castilla-La Mancha, cuyo presidente, Emiliano Garca-Page, ha deslizado que los impulsores de PISA slo «vienen a pedir dinero». En 2016, Andaluca tambin cuestion la validez de los datos.

El ‘pisaescepticismo’

Madrid ha puesto el dedo en la llaga y ha abierto el debate, por primera vez en Espaa, sobre la fiabilidad de los resultados, dando as legitimidad al creciente movimiento de pisaescpticos que cuestionan que, como se le da demasiada importancia a la prueba, esto ha llevado a que en algunos pases se entrene a los alumnos o se hayan relegado la Historia o las Ciencias Sociales, porque no son evaluadas.

Hay, por ejemplo, un equipo de expertos daneses que cada vez es ms crtico con esta evaluacin. Lo que est claro es que PISA no mide todo y que hay margen para la mejora. La consultora britnica Valerie Hannon opina que «los tests actuales son muy estrechos y son insuficientes para evaluar el sistema» y, sobre todo, atender a las nuevas habilidades que se demandan en el siglo XXI. Por eso, este ao se va a celebrar en Pars, de forma paralela a la presentacin de los resultados, una conferencia con nuevas visiones de lo que se debe aprender, en la que participan el multimillonario Richard Branson y el fundador de Alibaba, Jack Ma. Para 2021, la OCDE quiere evaluar tambin la creatividad y otras competencias.

Es fiable en informe?

Los expertos que conocen los entresijos de la prueba dicen que, pese a todo, es una evaluacin slida. Adems, es la nica de este tipo que tenemos que nos permite comparar resultados entre comunidades autonomas. «Podemos y debemos seguir findonos de PISA porque es uno de los procedimientos cientficos ms rigurosos que existen», asegura Julio Carabaa, catedrtico de Sociologa en la Universidad Complutense de Madrid y autor del libro La inutilidad de PISA para las escuelas.

«No hay en el mundo empresa cientfica del mbito de la educacin, la sociologa o la economa comparable a PISA, ni siquiera Eurostat», sostiene. Seala que los fallos denunciados por Madrid no repercutirn de forma estadsticamente significativa en el conjunto de Espaa.

Conforme a los criterios de

The Trust Project

Saber más