El test PISA o el negocio de Pearson

El proyecto PISA de la OCDE es un instrumento de ingeniería social que entusiasma a nuestros académicos tecnócratas por, principalmente, aportarles una gran cantidad de datos que pueden usar para producir pseudos estudios científicos que justifican su existencia y les permiten creer que su labor tiene algún tipo de utilidad social. Del mismo modo, el diseño y ejecución de estas pruebas supone movilizar tal cantidad de recursos que ven como sus oportunidades laborales en organismos internacionales o en las empresas subcontratadas se disparan. Por esta razón, los economistas, los politólogos o los estadísticos, que se colocan como “analistas”, defienden con su habitual violencia y agresividad la supuesta necesidad vital del plan PISA contra cualquier crítica que otros académicos intenten hacer.

Por otra parte, los medios de comunicación logran un indicador cuantitativo y fácil de comprender que les permite escribir sobre temas complejos como los sistemas educativos con una gran rapidez, contundencia y seguridad, mientras que los tertulianos tienen con una pequeña cifra toda la “evidencia” que necesitan para justificar sus prejuicios y tópicos habituales. De este modo, se generan unas dinámicas perversas en la opinión pública que hacen imposible un auténtico debate sobre la educación y todos nos vemos atrapados por el efecto Campbell, que consiste en la perversión de los indicadores. Si, en un principio, PISA intenta medir ciertas competencias intelectuales para saber si nuestro sistema educativo de primaria y secundaria funciona, al final lo que ocurre es que la nota obtenida en PISA es el grado de eficiencia del sistema educativo y el objetivo pasa de ser conseguir unos buenos sistemas educativos a lograr tener una nota alta en el ranking de PISA, porque eso es un buen sistema educativo. Esto significa que la finalidad es subir puntuaciones en PISA a todo coste, aunque eso vaya en detrimento, precisamente, de los objetivos asumidos por el sistema educativo. Sacar un buen puntaje, como explicaremos en detalle, no prueba que el sistema educativo funcione, pero se pretende reformar todo el sistema para cumplir ese objetivo externo al propio sistema e impuesto desde un opaco organismo internacional con preocupantes conflictos de intereses. La filosofía educativa del sistema debe resumirse con el teaching to the test. Es decir, la educación debe devenir en mero training.

Esto explica la gran cantidad de atención dedicada a PISA sin que nadie se haya molestado en cuestionar cómo se realiza PISA. Al igual que ocurrió con el PIAAC, los expertos no quieren saber cómo se toman los datos, porque eso podría invalidarlos e impedir que los usen para su paper making. Si se comportan éticamente y se interrogan sobre su validez y objetividad, se quedan sin publicar tres o cuatro artículos por año gracias a sus tablas o regresiones y, como estos expertos son precisamente economistas, queda claro que carecen de ética y su única motivación es el propio interés egoísta. Por lo tanto, no hay discusión posible: PISA es perfecto, porque eso me conviene a mí. Esto ha impedido que se exija a PISA una mayor transparencia sobre su metodología de trabajo que, hasta hace unos pocos meses, era completamente secreta. De hecho, pocos son los afortunados que han visto un test PISA completo.

Sin embargo, la OCDE al final ha colgado una pequeña recopilación de preguntas pertenecientes a pruebas de anteriores convocatorias que puede servirnos para hacernos una idea. Es aconsejable su lectura para todas aquellas personas que no han parado de machacarnos con su alarmismo sobre los 14 o 15 puntos que nos faltan para estar por encima del país X y que creen que PISA es una prueba fácil, sencilla e irrefutable que mide la competencia de nuestros jóvenes y la eficacia de nuestro sistema educativo. Les vendría bien hacer algunas pruebas para que se hagan una idea de qué mide PISA en realidad y comprueben que ellos lo harían mucho peor. Descubrirán un test largo, tedioso y difícil, pero, además, deberían echar también un vistazo a los formularios de casi 60 preguntas que los chavales de 15 años deben contestar sobre su vida privada y procesos personales de aprendizaje. Unas tareas que requieren concentración, esfuerzo y, principalmente, motivación.

Aquí hemos llegado al auténtico problema de PISA, que no mide lo que pretende medir. En un primer momento, PISA debería estimar la competencia lectora y capacidad de resolver problemas matemáticos, pero, en realidad, está evaluando la obediencia, disciplina y abnegación de los estudiantes. Ellos no tienen ninguna razón para esforzarse haciendo ese test más allá de cumplir con lo que la autoridad externa les exije. Por lo que a mí respecta, no tengo ninguna duda sobre qué hubiese hecho a los 15 años: me habría negado a contestar. Habría ganado unas horas de mi vida para hacer algo realmente útil y significativo y no habría colaborado en una prueba demencial cuyo principal objetivo es lograr que los burócratas se agencien injustificadamente el dinero público. En este sentido, si uno quiere ahorrarse la confrontación con la autoridad tiene la opción de contestar rápidamente el test sin esforzarse y con el objetivo de ser de los primeros en terminar y poder salir al recreo.

Esto es lo que lleva, en realidad, evaluando PISA todos estos años y sus conclusiones son las esperables: los estudiantes españoles lo hacen peor en PISA, porque nuestro sistema educativo no pivota sobre el test, sobre la prueba estandarizada y supuestamente objetiva. Nuestros estudiantes no están entrenados para hacer tests y, por eso, lo hacen peor que los estudiantes de aquellos países que tienen sistemas educativos que los entrenan para hacer tests, habituados a su esfuerzo, a su carácter reiterativo y tedioso y, principalmente, disciplinados para obedecer a la autoridad. Nuestro sistema educativo no entrena para hacer tests, por eso somos menos eficaces y competitivos. Es más, como nuestros estudiantes están más cansados porque duermen menos, abandonan antes. PISA no está midiendo bien lo que pretende medir.

Sin embargo, esto no significa que estemos en contra de la posibilidad de estimar el aprendizaje o algunas competencias intelectuales. Estamos afirmando que PISA no es la forma correcta de hacerlo porque medir la competencia lectora siempre exige una escala paramétrica, ya que no sabemos qué es el techo máximo de comprensión lectora y cuál el mínimo. Esto significa que nosotros decidimos subjetiva y discrecionalmente cuáles son los techos y, por lo tanto, no podemos olvidar que 10 puntos de comprensión lectora no equivalen a 10 cm o 10 horas, porque no es una magnitud que podamos medir directamente. La estimamos indirectamente y, en consecuencia, la comparación entre países para determinar cómo influyen esos 10 puntos en el crecimiento del PIB es, simplemente, un absurdo. Las escalas paramétricas nos pueden servir para hacer comparaciones intertemporales con los mismos sujetos de estudio que revelen si hay progresión en la mejora de sus competencias, pero no para hacer comparaciones intersubjetivas sincrónicas de sus capacidades como hace PISA. Asimismo, no tiene ningún sentido que esta metodología deba ser de ámbito internacional y aspire a una supuesta universalidad neutra. No hay ninguna necesidad pedagógica en imponer esta forma de análisis y esto sólo obedece a las presiones ejercidas por el grupo Pearson por razones económicas.

De hecho, la metodología PISA no es universal, es de origen estadounidense. PISA imita el SAT, la selectividad yanqui. Esta consiste en tres pruebas, una de comprensión lectora, otra de capacidades matemáticas y otra de escritura crítica y fue creada en 1926 con el propósito de lograr una medición neutra y objetiva del “mérito” de los estudiantes. En su obsesión pragmatista y meritocrática, sus universidades optaron por supuestas pruebas neutrales y objetivas para decidir sobre la admisión de los estudiantes, mientras que en Europa el sistema educativo siguió orientado hacia el ensayo filosófico cualificado mediante conceptos tan vagos como Sobresaliente o Notable. Por el contrario, en Estados Unidos necesitaban un umbral de ambigüedad menor si querían promover una auténtica cultura de la competición y debía ser posible determinar diferencias menores del 1% para determinar quién podía ir a Harvard y quién no (a día de hoy, el SAT tiene una escala de 600 a 2.400 puntos). No obstante, este siempre ha sido el ideal, porque el SAT sí tiene sesgos. El primero es que la parte de “escritura crítica” no se ha podido objetivizar jamás e incluye una subjetividad en la evaluación que incomoda. Además, el SAT es una prueba privada realizada por una empresa privada (hay que pagar para hacerla) independientemente de las instituciones públicas y, en su búsqueda de la eficiencia económica, ha sufrido escándalos al descubrirse que los evaluadores solían carecer de formación universitaria o reglada. Para la parte de los tests no era un problema, porque sólo debían pasar la pistola láser por la plantilla, pero en la calificación del ensayo crítico el tema se volvía más complicado. Por otra parte, el SAT no evalúa contenidos, de tal forma que la secundaria, en origen, no estaba condicionada por el SAT. Se suponía que estudiar Historia mejoraba la comprensión lectora y la capacidad escritora y, por lo tanto, no debía darse un entrenamiento específico para los estudiantes. Esto, empero, marcaba una diferencia de origen socioeconómico, porque las familias con padres con estudios tenían unos hijos con mejores competencias de este tipo. Es decir, otro problema de PISA o del SAT es que supone que el sistema educativo es capaz de preparar o montar estudiantes perfectos como si fuesen una fábrica, pero las escuelas o los institutos no son fábricas y no deben funcionar de ese modo. Detrás de su supuesto igualitarismo, sólo se consigue aumentar la presión competitiva de tal forma que las diferencias en hábitos educativos adquiridos en el hogar familiar se transforman en fundamentales y marcan la diferencia.

Los efectos de ese aumento de exigencia se han notado en el sistema educativo norteamericano. Como suelen comentarme mis alumnos de la State University of New York, la secundaría se ha transformado en un teaching to the test continuo. La introducción de los métodos de evaluación de los profesores mediante test y la vinculación de sus complementos salariales o incluso de su supervivencia laboral a los resultados obtenidos ha forzado a los profesores a dedicar todas sus clases a hacer tests con sus alumnos. La secundaría ya es sólo una larga y tediosa preparación para el SAT, porque obtener un puntaje elevadísimo en el SAT es vital para entrar en una universidad de prestigio. El problema es que como estas competencias tienen techo y no son infinitas, el SAT es cada vez más tramposo y absurdo para lograr ser realmente eficaz en la criba. Esto a su vez ha permitido la proliferación de preparadores y entrenadores privados que ayudan a mejorar tu performance en el SAT y de este modo intentar compensar la falta de contactos personales que sí son fundamentales para entran en un centro elitista. Por si alguien considera que exagero, aquí dos videos promocionales y explicativos del SAT de un preparador bastante honesto.

Por lo tanto, desde la OCDE se está intentando condicionar todos los sistemas educativos para que imiten el modelo norteamericano e introducir su forma de funcionar y evaluar para normalizarlo hasta el punto que se considere universal, racional o natural. Esto obedece, en parte, a la simple miopía de los burócratas y economistas que conforman dicho organismo y que, evidentemente, desconocen por completo qué es eso de la pedagogía, aunque se han erigido en sus planificadores. Sin embargo, también hay razones más espurias, como los intereses del grupo Pearson, dueño del 50% de Penguin, de Longman, del Financial Times y del 50% de The Economist. En 2006, Pearson compró la National Evaluation Series, la primera empresa norteamericana dedicada al testing y se posicionó a nivel mundial como los principales expertos en medir la eficacia educativa. No es un hecho menor, especialmente si tenemos en cuenta que Pearson es el responsable de… el test PISA. Algunos dirán que eso no es importante, porque para el volumen de negocio que facturan, la realización del test es algo muy marginal en su negocio. No obstante, si leemos la información de Estrategias y Prioridades de Pearson (https://www.pearson.com/social-impact/strategy-and-priorities.html) descubrimos que lograr el monopolio de la medición de la eficacia del sistema educativo es su principal objetivo comercial. Como ellos mismos dicen: midiendo el éxito en educación (https://www.pearson.com/about-us/measuring-success-in-education.html). Es decir, gracias a PISA, Pearson decidirá qué es el éxito en educación y, al mismo tiempo, serán los máximos proveedores de materiales y cursos complementarios para lograr ese éxito. ¿No es un gran negocio? Por si alguien tiene dudas, Pearson en su web también deja muy claro cuáles son sus prioridades pedagógicas: los accionistas (https://www.pearson.com/investors/shareholder-information.html)

Por lo tanto, ya se pueden hacer una idea de qué va realmente el test PISA y para quiénes están trabajando nuestros ministros de educación de forma más o menos consciente. Es posible que tengan dudas o que esta entrada les parezca muy sesgada, pero, por si quieren saber más, aquí un artículo de 2012 de The Guardian sobre cómo Pearson estaba marcando toda la política educativa en el Reino Unido. También les aconsejo que lean con detenimiento su web y entenderán qué negocio más suculento es eso de tener el monopolio de la medición del talento, el mérito o el éxito.

NOTA 8/3/2015: Algún lector del blog ha tenido la amabilidad de compartir este post vía meneame.net y en su foro un tal “chisqueiro” ha escrito: Las excusas que pone sobre que nuestros estudiantes no están entrenados para hacer tests son de risa. En Finlandia creo que tampoco se entrenan para ello, es más, no se entrenan para PISA y los exámenes estandarizados creo que no existen. Lamento comunicarle a “chisqueiro” que los test standarizados en Finlandia sí existen. De hecho, el examen más importante (su reválida y selectividad) es el Matriculation Examen y es un examen tipo test (https://www.ylioppilastutkinto.fi/fi/english). Por lo tanto, “chisqueiro”, no lamento que seas tan atrevido, lamento que seas tan ignorante. Un saludo.