Debate entre Brookings y OCDE con relación a Shanghái en PISA 2009 y 2012. Tercera parte

Brookings versus OCDE sobre PISA y Shanghái. Tercera Parte.

Por Eduardo Andere M.

Continúa la historia en el debate entre el profesor Tom Loveless (entre otros) y Andreas Schleicher director de PISA en la OCDE. Tanto en PISA 2009 como en PISA 2012, los estudiantes de 15 a 16 años de edad del municipio o provincia de Shanghái muestran resultados por encima, a veces, muy por encima (quizá hasta tres años de escolaridad para el promedio OCDE), de otros países asiáticos y de Finlandia.

Independientemente del error metodológico de la OCDE de colocar en el mismo nivel comparable a una ciudad, municipio o provincia con otros países o naciones, el punto más debatido, es la base de la muestra en Shanghái.

El argumento no sólo es metodológico sino profundamente ideológico y político. En el terreno del método estadístico Loveless y otros, han sostenido que la base de la muestra de Shanghái para PISA excluye a los niños inmigrantes. De acuerdo con la política China de “Hukou” (ver notas anteriores en este mismo Blog), los niños de provincias diferentes no pueden recibir los servicios educativos que los niños que han alcanzado el status de la provincia a la que inmigran. Loveless argumenta, convincentemente, que la base de la muestra está subestimada al no considerar a los niños inmigrantes que en teoría son más pobres y reciben menos servicios que los ciudadanos de la provincia de Shanghái, una de las más ricas y prósperas de toda China. Y que por tanto, los resultados publicados en la prueba PISA, no sólo sobreestiman el nivel de desempeño de dicha población, sino que justifican una de las tragedias de derechos humanos más dolorosas de las últimas décadas en el mundo.

En respuesta, la OCDE, principalmente a través de Andreas Schleicher director de PISA, ha mencionado que los críticos no han leído bien los reportes de la Organización y que la muestra ha sido correcta; y que los niños de Shanghái saben más matemáticas, lectura y ciencias que los niños de cualquier otra parte del mundo.

Por supuesto que Shanghái ha atraído la atención de los ministros de educación en el mundo, pero también de los medios. Y este debate ha recorrido importantes medios mundiales. El sistema de información de la BBC publicó hace un par de semanas una nota que refleja la visita de la Ministra de Educación de Inglaterra Elizabeth Truss, en donde se resalta una vez más el mencionado debate (http://buff.ly/1cMW2Vh).

Al día siguiente de la nota de la BBC, se publicó, en febrero 25 de 2014, una columna en el popular Financial Times (por cierto propiedad de Pearson, una fuerte proponente de las pruebas estandarizadas) en la que se resalta la crítica a PISA en el asunto de Shanghái (http://buff.ly/1cMYzP8) y se menciona con toda intención la dicotomía entre una educación eficientista y una educación pedagógica. Tema que yo he tratado ampliamente en mis últimas conferencias y seminarios y que continuaré exponiendo en diversos medios.

Quizá como respuesta a la visibilidad mediática del debate, Andreas Schleicher, aceptó en el transcurso de una conferencia y ante la pregunta de un ministro del parlamento inglés, por primera vez, que la base de la muestra es “pequeña aun para los estándares de la OCDE”. Con todo y ello, Schleicher sostuvo el punto de que los hijos de los trabajadores domésticos en Shanghái obtienen mejores resultados que los niños de familias profesionales en el occidente (http://buff.ly/1cN1eZ9). Es una fuerte afirmación que seguro será criticada aún más por quienes defienden una educación más progresista y menos dictatorial y una evaluación más holística y menos estandarizada, entre los que me encuentro yo, y muchos más como la profesora Diane Ravitch de la Universidad de Nueva York, y quizá la investigadora educativa con más seguidores en el mundo en su multimillonariamente visitado Blog (http://dianeravitch.net).

En el fondo de todo esto está un fuerte debate epistemológico de la educación en el siglo XXI. Por un lado, quienes buscan un modelo educativo que movilice conductas basado en motivación extrínseca (premios y castigos) y, por el otro, quienes defienden un modelo educativo menos racional y más pedagógico, donde lo que estimule al ser humano en formación, sea la motivación intrínseca y no el pago externo. Esto último quizá esté bien para adultos con cerebros ontogénicamente maduros, pero no para niños ni jóvenes con funciones ejecutivas cerebrales en ciernes.

Se desata debate sobre Shanghái y la inadecuada presentación de resultados de PISA de la OCDE

Los resultados de PISA 2012 se publicaron el pasado 3 de diciembre. Al igual que 2009 la OCDE publica el ranking de los países  o economías del mundo participantes. Para PISA 2012 se publicaron los resultados de 65 países o economías. Entre ellos destaca Shanghái, al que la OCDE lo coloca al mismo nivel educativo que el resto de los países participantes; solo que Shanghái no es país, ni región administrativa autónoma, ni representa a China. Shanghái es una ciudad, provincia o municipio de 23-24 millones de habitantes en un país de 1350 millones de habitantes. Si las provincias de China quieren participar en PISA, los resultados debieran darse en listas de regiones y no de países como sucede con otros países como Bélgica, Gran Bretaña o Italia. Comparar a un municipio con un país es un error en educación comparada. La OCDE no debería hacer eso y derivar lecciones para una comparación técnicamente incorrecta. La presentación de resultados viola los principios mínimos de  comparabilidad. Un aperitivo del debate por el lado académico lo pueden encontrar aquí: http://www.brookings.edu/blogs/brown-center-chalkboard/posts/2013/10/09-pisa-china-problem-loveless; otro aquí´en una publicación de la revista TIME: http://world.time.com/2013/12/04/china-is-cheating-the-world-student-rankings-system/. Acto seguido la OCDE respondió con un duro artículo por parte del director de PISA a los críticos académicos: http://oecdeducationtoday.blogspot.fr/2013/12/are-chinese-cheating-in-pisa-or-are-we.html. Y finalmente el Think Tank Brookings responde con una crítica severa a PISA OECD señalando el acuerdo especial de OCDE-CHINA como poco transparente, desordenado y surrealista: http://www.brookings.edu/blogs/brown-center-chalkboard/posts/2013/12/11-shanghai-pisa-scores-wrong-loveless?rssid=brown&utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+BrookingsRSS%2Fcenters%2Fbrown+(Brookings+Centers+-+Brown+Center+on+Education+Policy). Yo creo, como lo he mencionado en otras ocasiones, que en el mejor de los casos las cifras de China-Shanghái no son comparables, y en el peor de los casos erróneas, derivadas de un muestreo equivocado por parte de la OCDE. Esta es una historia que de comprobarse podría sacudir las estructuras más profundas de PISA en la OCDE.

Resultados de PISA 2012

Los resultados de la ronda de la prueba PISA 2012 cuya área de concentración (más reactivos o ítems) fue matemáticas (como sucedió en PISA 2003) se darán a conocer por la mañana del próximo martes 3 de diciembre. Es preciso estar atentos, más que otra cosa por la importancia que las personas en el gobierno y la prensa le obsequian a los mismos, que por las lecciones que los redactores del informe tratan de trasladar a todos los sistemas educativos del mundo como si fuera verdad absoluta.

PISA (como en su momento lo fue ENLACE) es un prueba estática, medición en un tiempo determinado, de conocimientos con preguntas redactadas en forma de problemas prácticos, o de compresión lectora, para jóvenes entre 15 y 16 años de edad. PISA nos da información limitada sobre los conocimientos y habilidades de jóvenes respecto de lo que los expertos consideran que deben saber para enfrentar problemas nuevos o diferentes, ya sea en estudios más avanzados, en el trabajo o en la vida. A veces se dice que PISA es la prueba del siglo XXI porque está basada en habilidades para responder preguntas complejas más que en conocimientos directos de materias curriculares.

Independientemente que la prueba PISA ha sido muy criticada desde el punto de vista de metodológico, lo más criticable se deriva de la interpretación de sus resultados por parte de expertos de la OCDE o de los países participantes. El tema es mucho más complejo de lo que los expertos en pruebas estandarizadas nos tratan de explicar. Si la comparabilidad de los datos arrojados por PISA es limitada, la transferibilidad es aún más limitada. Como bien lo señala la literatura académica de educación comparada, y en concreto, la literatura especializada sobre exportación/importación de políticas, procesos y prácticas, nada se puede transmitir sin una traducción cultural, semántica, contextual y política de las cosas.