La sinrazón de PISA

En la anterior entrada expliqué el conflicto de intereses que rodeaba la creación de PISA, así como la futilidad pedagógica de su existencia. Como este último punto no quedó suficientemente claro, entraré a detallar por qué PISA no tiene ningún sentido o utilidad pedagógica, ya que es un supuesto instrumento de evaluación de políticas educativas que, en realidad, no puede evaluar los “outcomes” o la “performance” de los sistemas educativos, porque ambas variables son creadas, precisamente, por el investigador gracias a los test PISA y son inexistentes o intangibles sin las mediciones paramétricas creadas ad hoc por el investigador.

En primer lugar, es necesario explicar qué es un test estandarizado y para qué sirve. Se trata de pruebas objetivas que mediante preguntas tipo test de respuesta múltiple o de respuesta cerrada (la respuesta debe crearse, pero no exige una gran explicación o desarrollo, sino la identificación de un ítem que debe reproducirse) permiten estimar de forma más precisa las competencias o conocimientos de los estudiantes. Su principal ventaja es que permiten una rápida corrección, una evaluación sin sesgos subjetivos del profesor (sí, existen e influyen mucho en las notas) y una comparación fácil de resultados. Su principal utilidad es de dos tipos: pedagógica y socioeconómica. La pedagógica consiste en poder estimar de forma certera si se ha producido una progresión en el rendimiento de los estudiantes. Es decir, es muy pertinente que un profesor al inicio del curso pase a sus estudiantes una prueba estandarizada de comprensión lectora o competencia en matemáticas y antes de finalizar el curso otra. Esto permitirá saber si los alumnos están progresando en dichas competencias y estimar si se trata de una gran progresión o más bien de un estancamiento. Esto es útil, porque permite distinguir la adaptación del estudiante a las rutinas del curso (memorización del manual, imitación superficial de las prácticas de los mejores estudiantes…) de una mejora de sus competencias de comprensión y de resolución de problemas. Por otra parte, el sesgo de la motivación no supone un problema, porque si al inicio del curso el estudiante sacó una nota baja por falta de interés y al final de curso ésta mejoró, el tema de si la baja nota se debe a incapacidad innata o falta de motivación es del todo irrelevante, porque haber logrado esa motivación ya es un éxito del profesor. Por lo tanto, éste es un uso correcto de los tests estandarizados, pero debe notarse que se evalúa al mismo estudiante en un breve periodo de tiempo y lo realmente importante no es el número de la nota obtenido, ya que el valor de éste es arbitrario y asignado por el profesor, sino si se ha producido una progresión. Por el contrario, PISA jamás evalúa al mismo estudiante dos veces y menos aún en un breve periodo de tiempo. PISA evalúa una abstracción: a las Naciones.

En segundo lugar, los tests estandarizados son una herramienta empleada cuando se trata de redistribuir oportunidades o bienes escasos por su supuesta objetividad y neutralidad. Como solía explicar a mis alumnos de la universidad, según el libre mercado la forma más eficiente de asignar las Matrículas de Honor sería su pública subasta entre el alumnado. Esto puede parecer un chiste, pero la existencia del MIR es nuestro método de evitar que esto ocurra. Desde un punto de vista clínico, el MIR es una absurdidad porque no evalúa ninguna de las competencias o requisitos que debería tener un médico. Es un complejísimo examen memorístico tipo test que no evalúa si los candidatos poseen las aptitudes que requiere cada especialidad. Sin embargo, lo usamos porque, en caso contrario, las plazas de especialidad se obtendrían mediante la compra y venta de cursos, másters o favores que ofertarían los hospitales. El mercado asignaría las plazas mediante la realización de cursos de elevado coste que darían más oportunidades de poder quedarse como titular en dicho hospital como especialista de X. Un mercado que, además, debería completarse con redes personales de favores y un largo etcétera… En definitiva, que la sanidad funcionaría como la abogacía o el resto de profesiones y en un tema tan serio como la salud los economistas todavía no han logrado que haya el mismo nivel de corrupción y competencia que hay en otras áreas (en breve lo conseguirán).

El problema aquí es que PISA tampoco sirve, en teoría, para asignar recursos o plazas en una universidad. Los estudiantes no tienen ninguna motivación o incentivo para hacer el test y el test no nos sirve para determinar ninguna asignación. Por lo tanto, en este caso, PISA tampoco estaría justificado.

Esto significa que los defensores de PISA deben explicar para qué sirve y nos dirán que para comparar el nivel de competencia educativa de los estudiantes de 15 años de distintos países. ¿Esto sirve para algo? Si miramos este gráfico del informe PISA 2012 sí (pág. 27 http://www.oecd.org/pisa/keyfindings/PISA2012_Overview_ESP-FINAL.pdf):

Como podemos ver, los profesores que más cobran no son los que mejor resultados obtienen en matemáticas. Ya podemos bajarles los salarios, porque esto va de imponer la management culture a la educación. Va de usar un indicador cuantitativo simplón para medir el éxito educativo y condicionar todo el sistema educativo para lograr puntuar alto en esos índices. Y como explicamos en la anterior entrada, el grupo Pearson facturará millones para lograr ese bien común que es un puntaje alto en PISA.

El problema es que ni tan siquiera nos han explicado qué significa ese puntaje. En España estamos alarmados por los resultados tan bajos que obtenemos en PISA y en el debate público eso se usa como prueba de qué malo es nuestro sistema educativo. El problema es que sólo tenemos datos desde 2000 y, por eso mismo, es imposible comparar el sistema educativo con el pasado. No sabemos si en 1990 eran peores. No sabemos si ha habido progresión o regresión según los parámetros de PISA, porque estos existen sólo desde el año 2000. Pero, es más, veamos los resultados de España en el PISA matemático:

Es decir, después de 12 años nos movemos en una horquilla máxima de nuevo puntos. ¿Perfecto, qué son nueve puntos de comprensión en matemáticas según PISA? No lo sabemos, porque, en realidad, nueve puntos no son nada según PISA. De hecho, sus autores no emplean una escala numérica para evaluar las competencias en matemáticas, emplean seis supuestos niveles que se sitúan entre distintos puntajes. Si empleamos el informe PISA de 2003(http://www.oecd.org/pisa/39732493.pdf), el que mejor explicaba la construcción de estos niveles de competencia, nos encontramos que el nivel 0 está por debajo de los 358.3 puntos, mientras que los niveles I-V se sitúan entre dicho número y el de 687, por encima de éste está el nivel VI. Por lo que respecta a España, se encuentra entre los límites del nivel II y III, cuya separación se coloca en el 482. ¡Tragedia! No logramos que nuestros chavales de media sean un nivel III… pero qué diantre es un nivel III. Veamos cómo lo resumen en el citado documento (pág. 47):

En el nivel 2, los alumnos saben interpretar y reconocer situaciones en contextos que sólo requieren una inferencia directa. Saben extraer información pertinente de una sola fuente y hacer uso de un único modelo representacional. Los alumnos de este nivel pueden utilizar algoritmos, fórmulas, procedimientos o convenciones elementales. Son capaces de efectuar razonamientos directos e interpretaciones literales de los resultados.

En el nivel 3, los alumnos saben ejecutar procedimientos descritos con claridad, incluyendo aquellos que requieren decisiones secuenciales. Pueden seleccionar y aplicar estrategias de solución de problemas sencillos. Los alumnos de este nivel saben interpretar y utilizar representaciones basadas en diferentes fuentes de información y razonar directamente a partir de ellas. Son también capaces de elaborar breves escritos exponiendo sus interpretaciones, resultados y razonamientos.

¿No les ha quedado claro? Pero si PISA es pura ciencia exacta. Miren, esto es el nivel 6: En el nivel 6, los alumnos saben formar conceptos, generalizar y utilizar información basada en investigaciones y modelos de situaciones de problemas complejos. Pueden relacionar diferentes fuentes de información y representaciones y traducirlas entre ellas de una manera flexible. Los estudiantes de este nivel poseen un pensamiento y razonamiento matemático avanzado. Estos alumnos pueden aplicar su entendimiento y comprensión, así como su dominio de las operaciones y relaciones matemáticas simbólicas y formales y desarrollar nuevos enfoques y estrategias para abordar situaciones nuevas. Los alumnos pertenecientes a este nivel pueden formular y comunicar con exactitud sus acciones y reflexiones relativas a sus descubrimientos, argumentos y su adecuación a las situaciones originales.

Mhm… No parece que esto de PISA pueda aportar una evidencia irrefutable. ¿No debería ser el proceso de ejecución de estos tests un tema de debate público? ¿No debería haber más transparencia en su resolución? ¿Antes de que la política educativa de todos los países esté sometida a su dictado no deberíamos saber más sobre su sentido y fiabilidad? Sí, pero los responsables de PISA ya se encargan de que su método sea lo más opaco posible, para evitar que sea sometido al escrutinio público y pierdan toda la autoridad mística que les rodea. Veamos qué dice el informe de 2012 sobre su realización (pág. 3 http://www.oecd.org/pisa/keyfindings/PISA2012_Overview_ESP-FINAL.pdf)

Se utilizaron pruebas realizadas sobre papel con una duración de dos horas. En algunos países y economías se utilizaron 40 minutos adicionales para las pruebas con ordenador en matemáticas, lectura y resolución de problemas.

Cada unidad de la prueba constaba tanto de preguntas que requerían que los estudiantes formulasen sus propias respuestas como de preguntas con respuesta múltiple. Las unidades estaban organizadas en grupos basados en pasajes que exponían una situación de la vida real. La prueba se administró durante un total de 390 minutos, durante los cuales distintos estudiantes realizaron distintas combinaciones de unidades de la prueba.

Los estudiantes respondieron a un cuestionario de contexto, para el que tenían 30 minutos y en el que se les solicitaba información sobre ellos mismos, sus hogares, su escuela y sus experiencias de aprendizaje. A los directores de escuela se les proporcionó un cuestionario para completar en 30 minutos, que trataba sobre el sistema escolar y el entorno de aprendizaje. En algunos países y economías se distribuyeron cuestionarios opcionales para los padres, a quienes se les pidió que proporcionasen información sobre sus percepciones e implicación en la escuela de sus hijos, su apoyo al aprendizaje en el hogar y las expectativas sobre el futuro profesional del niño, concretamente en matemáticas. Los países podían elegir otros dos cuestionarios para los estudiantes: en uno se preguntaba a los estudiantes sobre su familiaridad y uso de tecnologías de la información y de la comunicación, y en el segundo se solicitaba información sobre su educación hasta la fecha, como por ejemplo acerca de cualquier interrupción en su escolarización o si estaban preparándose para una carrera futura y de qué manera.

Una duda matemática: la realización de la prueba exige 390 minutos (no queda claro si eso incluye los tests de información personal, que pueden ser otros 60 minutos), pero, en teoría, cada estudiante podía estar un máximo de 120 minutos realizando tareas, más 40 si empleaban ordenador, pero se supone que se repartían las tareas, porque un estudiante no realizaba todas las pruebas. ¿Qué están midiendo? ¿La competencia de distintos estudiantes de distintos centros a todas las pruebas o su competencia parcial? ¿La prueba no es excesiva y la recolección de datos no está sometida a sesgos? ¿Cómo sabemos que los profesores de los países que han hecho de estar arriba de PISA un motivo de orgullo nacional no están garantizando que en ese reparto de ejercicios los mejores estudiantes hagan más ejercicios que los peores? ¿Cómo sabemos si estamos midiendo el éxito de los sistemas educativos o la presión paterna sobre sus hijos para que estén mejor preparados para carreras técnicas? Es relevante que se pregunte por si estaban preparándose para una carrera futura y de qué manera, porque es muy probable que el éxito de muchos países se debe a que tienen unos estudiantes más excelentes, ya que sus padres mandan a sus hijos de 15 años a academias preparatorias para escuelas de ingenieros que exigen un nivel de matemáticas propio de la universidad y, esto, por cierto, no se exige por razón educativa o pedagógica, es simple exigencia competitiva derivada del objetivo de la OCDE de hacer de nuestras sociedades un espacio más competitivo e individualista. ¿Qué estoy exagerando? Así defienden la importancia de las matemáticas en el mismo informe página 6:

Los países de la OCDE invierten en sus escuelas anualmente más de 230 mil millones de dólares estadounidenses para educación en matemáticas. Esto supone una inversión significativa, pero la rentabilidad es muchas veces mayor. El nuevo estudio de la OCDE sobre competencias de la población adulta revela que las competencias básicas en matemáticas tienen un gran impacto sobre las probabilidades de éxito en la vida de los individuos. El estudio muestra que unas capacidades pobres en matemáticas limitan de forma considerable el acceso de la gente a trabajos mejor remunerados y más gratificantes; a nivel global la desigualdad en la distribución de las competencias en matemáticas entre la población está estrechamente relacionada con la forma en que se distribuye la riqueza dentro de un país. Además, el estudio muestra que las personas con una sólida formación matemática tienen más probabilidad de ofrecerse voluntarios, de verse a sí mismos como actores en lugar de como objetos de procesos políticos, y es incluso más probable que confíen en otros. La equidad, la integridad y la inclusión de las políticas públicas dependen también, por tanto, de las competencias de los ciudadanos.

Según los expertos de PISA y la OCDE la pobreza existe, porque los pobres no saben suficientes matemáticas. Cuando todos los pobres sepan muchas matemáticas, los problemas de redistribución terminarán. Puro idiotismo ilustrado de la economía neoclásica. Por favor, paremos PISA. No sirve de nada, cuesta muchos recursos públicos y significa someter nuestros sistemas educativos a los intereses comerciales del grupo Pearson. No hay más.

Sin embargo, esto no significa que no podamos intentar estimar o “medir el rendimiento” de nuestros sistemas educativos. Sí se puede hacer, pero ésta no es la forma. Cualquiera de estas iniciativas debe surgir de abajo a arriba. Deben ser sistemas, en origen, locales y que se vertebren a un ámbito nacional. Pero no tiene ningún sentido que sean de alcance internacional, porque la comparativa entre países no dice nada significativo desde un punto de vista pedagógico. Este proyecto tecnocrático impuesto de arriba abajo por una elite de burócratas sólo atiende a las necesidades del grupo Pearson como se explicaba en el post anterior y a las necesidades de una pléyade de académicos que debe justificar su existencia mediante el paper making.

NOTA: Por si alguien duda de que la OCDE es una panda de tecnócratas que cobran de las empresas privadas, en este podcast explicamos cómo se inventaron lo de la “educación financiera” y lo han introducido en el currículum escolar de tapadillo para recibir gratificaciones de la banca y las aseguradoras: http://www.ivoox.com/mala-educacion-financiera-ampliando-debate-audios-mp3_rf_4186429_1.html. También puede consultar las condiciones para participar en PISA: http://www.oecd.org/pisa/aboutpisa/howtojoinpisa.htm

NOTA SOBRE PEARSON: Esto es lo que dicen sobre ellos mismos: Pearson is committed to measure our performance in improving people’s lives through learning with the same clarity that we measure product sales and corporate profits today. The pursuit of better learner outcomes is our responsibility and our mission. (http://efficacy.pearson.com/)

NOTA sobre el debate PISA en Reino Unido: Por si alguien todavía piensa que esto son quejas de profesores españoles con pocas ganas de trabajar, una crítica a la metodología de PISA proveniente de Reino Unido: https://www.tes.co.uk/article.aspx?storycode=6344672