Los maestros: ¿evaluarlos o no evaluarlos?

Los maestros: ¿evaluarlos o no evaluarlos?

Por Eduardo Andere M.

La evaluación de los maestros es un tema de moda. La idea de que los maestros deban ser evaluados no es nueva; la feroz insistencia de que lo sean sí es nueva. Tres preguntas: 1) ¿Debemos evaluar a los maestros? 2) ¿Cómo evaluar a los maestros? 3) ¿Qué es ser un buen maestro?IMG_0478

Primera pregunta: Mi opinión es que sí debemos evaluar a los maestros, como también debemos evaluar a los políticos, a los médicos, a los policías, a los funcionarios. El problema es ¿cómo?

Segunda pregunta: No existe un método adecuado de evaluación que arroje más luz que oscuridad o penumbra. Hace un par de meses, más o menos, un alto funcionario de la SEP, durante un seminario me preguntó sobre el método de valor añadido o agregado (VAM) para medir a los maestros. Ese es quizá el método más utilizado en el mundo por los políticos y administradores de políticas públicas que siguen fielmente la filosofía detrás de las pruebas estandarizadas, de los currículos estandarizados y de la rendición de cuentas detrás de esos resultados. La propuesta de VAM se sintetiza en: “dime cómo les va a tus estudiantes y te diré quién eres”. El problema con este método es que es muy limitado porque el tema del desarrollo infantil o de los aprendientes es tan complejo que no podemos “controlar” por todas las variables que influyen sobre el resultado de los alumnos para aislar el efecto del maestro; nos gustaría pero no podemos. En un mundo obsesionado por la “datalización” quisiéramos reducir todo a un número para iluminar las decisiones, pero desgraciadamente no se puede ni se podrá nunca; a menos que seamos capaces de organizar a los seres humanos como colonias de hormigas o abejas, es decir con una capacidad de respuesta perfecta a estímulos externos. Las hormigas saben genéticamente lo que tienen que hacer siempre; pero no saben para qué hacen lo que hacen. Tienen rumbo pero no destino. El ser humano, en cambio, no tiene rumbo pero sí destino.

Por un lado, las mediciones estandarizadas (que deben hacerse si técnicamente están bien elaboradas porque proveen de cierta información) miden aspectos muy reducidos y de corto plazo del aprendizaje de los niños; por otro lado, las variables o combinación de ellas que influyen en el supuesto aprendizaje de los niños, son incontables, infinitas. Lo que la evidencia sugiere es que los mejores maestros son aquellos suertudos que tienen en su aula a los mejores niños y no al revés. En otras palabras, si la prueba estandarizada sólo me obsequia información de un panorama muy estrecho y reducido de ciertas habilidades cognitivas, ¿cómo es posible que de este mundo tan compacto se tomen decisiones que afectan el desarrollo integral del niño? Hay que elaborar y aplicar buenas pruebas estandarizadas pero hay que ponerlas en su lugar.

La evidencia también dice que maestros y escuelas que en un año muestran resultados maravillosos en sus alumnos, en otro año secuencial o aislado revelan resultados desastrosos. Entonces, atar la rendición de cuentas a mediciones tan imprecisas o engañosas es inadecuado, injusto e incompetente. Este problema crece cuando premios y castigos son enlazados con los resultados de las evaluaciones. Además de que los premios y castigos atados a resultados de pruebas estandarizadas promueven muchas conductas antipedagógicas y corruptas, alimentan una cultura humana donde mi única razón para hacer algo positivo (trabajo, esfuerzo, dedicación, concentración, etc.) es porque “me pagan” y no porque “me conviene, me gusta, me supera, me ennoblece”).

Esto no quiere decir que no evaluemos a los maestros. Lo que quiere decir es que lo hagamos de otra manera. La evaluación magisterial debe realizarse mucha más en la trinchera de la acción que en el escritorio del funcionario o en el CPU de la computadora.

El día 13 de mayo de 2014, se publicó un artículo en una influyente revista científica (EEPA de AERA) que llega a varias conclusiones devastadoras: 1) políticas que tienden a mejorar la instrucción de los maestros no son un buen camino para influir sobre el aprendizaje de los estudiantes; 2) no sabemos todavía, a pesar de décadas de investigación, lo que realmente es importante en la instrucción; 3) la correlación entre medidas para mejorar la instrucción y medidas de valor agregado basadas ya sea en pruebas estandarizadas o lo que es peor, evaluaciones holísticas, es muy pequeña o cercana a cero, lo que desafía a las populares medidas de valor agregado; o sea, no sabemos qué realmente ocasiona que algunos estudiantes mejoren y otros empeoren, ni con los métodos más sofisticados de evaluación; 4) las bajas correlaciones cuestionan la evaluación de valor agregado de alto impacto pero también las evaluaciones de mejora de la instrucción de bajo impacto; 5) es quizá inútil que los maestros utilicen los resultados de estas mediciones de valor agregado para informarles sobre qué o cómo cambiar su instrucción; 6) las pruebas estandarizadas estatales no son un buen indicador para diferenciar a los buenos de los malos maestros si por definición de maestro efectivo se entiende como la mejora estudiantil futura de la instrucción actual. Además, de acuerdo con un artículo publicado por el Washington Post con entrevista a los autores, el estudio también encuentra que tampoco las evaluaciones holísticas son certeras: que maestros considerados como buenos, tienen estudiantes con resultados pobres en pruebas estandarizadas y viceversa, malos maestros tienen buenos estudiantes; ¡uy!

Este estudio se suma a un rosario de evaluaciones y metaevaluaciones sobre las mediciones de la efectividad de los maestros que apuntan en la misma dirección. Una lista de dichos estudios es la siguiente:

 

Título Fuente
Focusing on short-term achievement gains fails to produce long-term gains http://dx.doi.org/10.14507/epaa.v22n5.2014
Non-cognitive ability, test scores, and teacher quality; evidence from 9th grade teachers in North Carolina http://www.nber.org/papers/w18624
Comments on the Department of Education’s proposal on the race to the top fund http://www.nap.edu/catalog.php?record_id=12780
The long term impacts of teachers: Teacher value-added and student outcomes in adulthood Este artículo es quizá el que más ruido ha hecho para apoyar las evaluaciones de VAM:http://obs.rc.fas.harvard.edu/chetty/value_added.html

La lista completa de artículos será proporcionada a los asistentes del SEMINARIO SOBRE AMBIENTES PODEROSOS DE APRENDIZAJE el día 7 de junio de 2014. SEMINARIODEEDUARDO

 

 

 

Pero todavía existe por atender la tercera pregunta: ¿qué es un buen maestro? Esta es quizá la más difícil. Como lo documenté en mi libro The Lending Power of PISA l5_medpublicado en 2008/2009 por la Universidad de Hong Kong (y traducido como El Poder de PISA) existen muchas variables: un buen maestro es el que motiva, pero también el que sabe disciplinar con ruido constructivo, y el que sabe construir, crear; el que sabe interactuar; el que abre las puertas; el que sabe que hacer lo incorrecto es hacer lo correcto, o que lo que parece malo no necesariamente es malo, como se relata en la extraordinaria historia de un joven atribulado y desorientado que robaba libros y tiendas, y que un día su maestra de inglés le dejó robar un libro de la biblioteca y en lugar de detenerlo compró más libros del mismo autor para que misteriosamente aparecieran en los mismos estante y anaquel socorridos por el ladronzuelo. Este joven destinado para una vida de cárcel, muerte o miseria, agarró la lectura y con ello, se tituló de abogado, ascendió a juez y terminó como ministro de corte de apelaciones en Arkansas. Su hija recibió un doctorado en genética. A veces los resultados de un buen maestro, que aparentemente tomó una decisión cuestionable en el mundo purista de un prurito, se ven 30 años después.l2_med

Por supuesto que hay malos maestros; pero también hay buenos maestros. Por cada mal y mal intencionado maestro debe haber miles de buenos y bien intencionados maestros.

Un buen maestro no lo define el marco de la teoría, sino la práctica del contexto. ¿Por qué? Porque todas las teorías se basan en historias, y todas las acciones en futuros. Los investigadores vivimos en el mundo del a posteriori (analizar lo que ya pasó) y los maestros en el mundo del a priori, lo que todavía no sucede.

 

El autor: Es profesor investigador visitante de la Universidad de Nueva York. http://eduardoandere.net

Curso online: “¿Cómo es la Mejor Educación en el Mundo?”

EduMund UdemyAnunciamos la publicación del curso en línea “¿Cómo es la Mejor Educación en el Mundo?”.

Acompaña al Dr. Eduardo Andere, analista y escritor, especialista en educación comparada, en su viaje alrededor del mundo para estudiar los sistemas educativos de los países con más alto desempeño en PISA. En este curso se analizará la utilidad y alcance de las pruebas estandarizadas internacionales. Así mismo, se presentarán las características más relevantes de los sistemas educativos de alto desempeño y su ubicación en la geografía de la educación mundial. Las personas que vean este curso podrán brevemente conocer la enorme diferencia en culturas, políticas y procesos educativos, y aprenderán que la educación comparada en el nivel intencional juega un papel doble: por un lado es un terreno fértil de experiencias; por otro, una oportunidad de reflexión sobre la complejidad de los temas educativo y de aprendizaje. No hay un camino sino varios de elevar la calidad educativa. Nadie tiene un fórmula secreta de la calidad de la educación. Dicho en términos coloquiales: “there is more than one way to skin a cat”. (“Hay más una manera de esquilar un gato”).

El curso breve tiene un costo regular de 48 USD. Para los amables lectores de este blog, existe un precio especial de 38 USD. Pueden registrarse al curso en este enlace.

Esta conferencia pretende ser una breve introducción al tema de educación comparada, para conocer las mejores prácticas educativas a nivel mundial. En el futuro, se ofrecerán cursos más detallados y amplios sobre diferentes países y temas.

Dirigido a maestros, estudiantes, educadores, directores de escuela, supervisores, autoridades educativas, padres de familia, y en general personas interesadas en la educación.

Metas y Objetivos del curso:

* Conocer la utilidad de las pruebas estandarizadas de desempeño educativo que se aplican a nivel internacional, especialmente PISA.

* Comprender qué nos dice (y qué no nos dice) PISA en el marco de la educación comparada.

* Obtener una visión general de las mejores prácticas educativas a nivel mundial.

* Conocer los principales temas debatidos en el mundo de la educación comparada internacional.

* Disfrutar de un breve recorrido por nueve de los países con alto desempeño en PISA y con extraordinarios ambientes de aprendizaje.

El portal educativo Udemy es el lugar donde se aloja este curso.

En total, el curso se divide en cuatro módulos, 19 lecciones y casi 90 minutos de conferencias en video y material adicional en PDF. Una de las enormes ventajas del curso en línea es que puede ser llevado en los propios tiempos y ritmo de cada participante, y volver a ver las sesiones cuantas veces se quiera. Una vez inscrita una persona, el curso permanece para siempre en su cuenta de Udemy. Además, es posible hacer preguntas dentro del mismo portal,  ver las preguntas y respuestas de otros estudiantes e interactuar con ellos.

Para tener acceso, es necesario crear una cuenta en Udemy. Con ese mismo usuario y contraseña, es posible volver a entrar cuantas veces se desee al curso y a cualquier otro al que se inscriban dentro del portal, muchos de ellos con acceso gratuito de tiempo en tiempo.

Contenido del curso:

Sección 1: Presentación del curso

Clase 1. Presentación.

Clase 2. ¿Quién es Eduardo Andere?

Sección 2: La mejor educación en el mundo.

Clase 3:  Introducción. La Educación alrededor del Mundo.

Clase 4: Evaluaciones internacionales: PISA, TIMSS y PIRLS

Clase 5: ¿Para qué sirve PISA?

Clase 6: ¿Cómo es la mejor educación en el mundo?

Clase 7: ¿Aprendizaje o Desempeño?

Sección 3. Visión general.

Clase 8: Visión general: Finlandia, Corea del Sur, Singapur, China, Nueva Zelanda y Escocia

Clase 9: Visión general: otros países

Sección 4: Sistemas educativos del mundo

Clase 10: Finlandia

Clase 11: Inglaterra

Clase 12: Escocia

Clase 13: Bélgica – Flandes

Clase 14: Singapur

Clase 15: Australia

Clase 16: Corea del Sur

Clase 17: Estados Unidos

Clase 18: Canadá

Clase 19: Palabras finales

Evaluación Educativa según Sergio Sarmiento

Tengo el honor de que el día de ayer (abril 3, 13) Sergio Sarmiento haya publicado en su conocida columna Jaque Mate un comentario sobre mi. En mi opinión Sergio Sarmiento es la pluma periodística más profunda y objetivamente analítica de México. Para leer la columna de Sergio Sarmiento enlace a: http://eduardoandere.net/publicaciones/articulos/columnas-periodisticas/evaluacion_de_sergio_sarmie.pdf

Intenciones, acciones y errores de la reforma educativa

Publicado también en el portal Educación a Debate

Es loable querer recuperar la conducción total e intransferible de la política educativa. La Ley General de Educación, atribuye la esencia de la función social educativa a la SEP (Artículo 12).

En diversas ocasiones desde 2003 he insistido en la inconveniencia de la relación Gobierno-SNTE y de las asimetrías de negociación. Pero también he afirmado que el duopolio educativo que ha mantenido al SNTE involucrado en la política educativa es producto de decisiones del Gobierno y del Estado. El colmo de la relación quizá se alcanzó en el sexenio pasado con la firma de la Alianza por la Calidad de la Educación, donde de manera política y jurídicamente inapropiada el Gobierno Federal compartió las principales decisiones (y su implementación) de la política educativa que sólo le correspondían a la SEP.

El 10 de diciembre pasado el Presidente Peña, en un acto histórico para la historia de la política de la educación en México, envió una Iniciativa de Reforma educativa que manda un mensaje claro de divorcio. Habrá que ver cómo reacciona la contraparte.

Yo leo la Iniciativa con dos intenciones: 1) tratar de modificar las relaciones de poder; 2) tratar de mejorar la calidad educativa.

Respecto de la primera intención el paso inicial se ha dado. Sin embargo, como en todos los juegos estratégicos, este no es el último paso.

Con relación a la segunda intención, es preciso analizar, con criterio objetivo, y sin inclinación ideológica, si dicha Reforma en realidad mejorará la educación. Me preocupa que la Iniciativa esté elaborada con base en un diagnóstico equivocado. Por ejemplo, el texto de la Iniciativa menciona que “el desempeño del docente es el factor más relevante de los aprendizajes (…) y que el liderazgo de quienes desempeñan funciones de dirección y supervisión resulta determinante” (página 4). La literatura de factores asociados al aprendizaje sostiene, desde hace más de 50 años, que los factores propios del estudiante y el capital cultural de la escuela (sumatoria de los capitales culturales de los estudiantes) son los factores que explican con mucha mayor fuerza la varianza de los resultados en pruebas estandarizadas de los aprendizajes. Lo que quizá se quiso decir en la Iniciativa es que de los factores propios de la escuela—que tienen menos peso que los factores propios del estudiante—el elemento más importante es el maestro, seguido del director.

Esto quiere decir que la calidad de la educación o los aprendizajes, son una función de una compleja y misteriosa red de factores tan mezclados e interconectados que es imposible separar para precisar una relación causal e inequívoca. Lo que sí sabemos es que lo que sucede fuera de la escuela, hogar y sociedad, es tan importante o más importante, que lo que sucede dentro de la escuela, para mejorar el aprendizaje.

La redacción de algunos párrafos de la introducción de la Iniciativa, contiene elementos que admiten la complejidad del tema educativo, pero desgraciadamente ese reconocimiento no se refleja en el cuerpo de reformas y adiciones constitucionales.

La Iniciativa tiene dos propuestas esenciales y cuatro colaterales. Las propuestas esenciales son: la elevación jerárquica de la autonomía del INEE y la creación de la carrera profesional docente. Las colaterales son: crear un sistema de información educativa; la autonomía de gestión de las escuelas; el establecimiento de escuelas de tiempo completo; y la prohibición de la comida chatarra.

Veamos cada punto.

Autonomía del INEE. Los legisladores y El Ejecutivo Federal deben estar conscientes de que la forma en que está redactada la Iniciativa, aumenta la centralización de la política educativa y se debilita el federalismo, a pesar de que la Iniciativa sostiene lo contrario. La autonomía de cualquier órgano o persona que realice evaluación educativa es plausible. Sin embargo, convertir en ley o mandato de autoridad los resultados de evaluaciones educativas, aunque fueran autónomas, es ir demasiado lejos. Sobre todo, porque las conclusiones de los resultados de evaluación educativa, pueden ser muy imprecisas o equívocas.

Es encomiable que la autoridad y el Estado quieran incorporar a los expertos en el tema de evaluación; pero convertir a los expertos en autoridad puede dar origen a muchas acciones de política pública inadecuadas. No es lo mismo debatir las conclusiones de expertos en una sociología académica del conocimiento que transferir sus conclusiones como órdenes de gobierno, cuando la ciencia de la evaluación educativa nos indica cautela, en todos los casos, por la dificultad de generalizar en temas de enseñanza-aprendizaje.

Entre más “humildes” sean las funciones del INEE mejor será su aportación a la educación. Nadie se beneficiaría con la institución de un órgano estatal de evaluación con capacidad plenipotenciaria. El INEE Estatal sólo debería facilitar la evaluación, no imponerla. El legislador constitucional debe pensar con mucho cuidado que la desaparición o dilución de otras prácticas o instituciones de evaluación, le harían mucho daño a la educación. En la pedagogía no puede haber una “máxima autoridad en materia de evaluación”. El tema es tan complejo, que ni los expertos saben con precisión qué pasa dentro de la “caja negra” del proceso de aprendizaje.

El INEE nació en 2002, se recreó en 2012, y ahora se refunda, con mayor jerarquía. La distancia de poder entre los evaluadores y los evaluados aumentará.

Servicio profesional docente (SPD). Por muy poderoso que sea el SPD, nunca podrá sustituir a una poderosa formación docente con todo y la atracción a la carrera profesional por parte de los mejores egresados de la educación media superior. Debemos pensar en estos dos temas (atracción y formación) si lo que se quiere es un cambio en la calidad de la educación.

La Iniciativa no pone en peligro a los trabajadores de la educación; no podría, derivado del principio de no retroactividad consagrado en la constitución. Sin embargo, la Reforma sí exige que cualquier nuevo ingreso o promoción sea sometido al mecanismo de “concurso de oposición”. El legislador constituyente debe ser humilde también en este tema. No siempre el mecanismo de “concurso de oposición”, como lo mandataría la reforma a la fracción III del artículo 3º Constitucional, es el mejor método para identificar al mejor maestro y al mejor director. Entronizar este método de identificación de los “mejores” en una norma constitucional es eliminar de tajo la posibilidad de elección por grupos de pares, por designación de narrativas de comunidades, por méritos no medibles, por decisión de las personas directamente afectadas.

En tres párrafos la Iniciativa se lee taciturna: por un lado, la permanencia de los trabajadores de la educación está asegurada, por el otro, su permanencia no está asegurada, y por uno más, la “evaluación sólida y confiable”, servirá para premiar y reconocer. Si esta rendija resulta ser una puerta, no puede haber experto en educación, que considere que es pedagógicamente viable una evaluación centralizada que premie y promueva. La Iniciativa, de aprobarse, corre el peligro, de dar una fuerza descomunal, para que las prácticas de “enseñar para el examen” y las trampas se adhieran con pegamento Constitucional en la conducta del individuo en busca del estímulo.

Sistema de Información y Gestión Educativa. Siempre ha sido un anhelo de los investigadores contar con buena y suficiente información estadística. Nada mejor que acudir al experto en México, el INEGI, para asesorar en el diseño de dicho sistema. Pero de allí a incluir un párrafo específico para pedirle al INEGI la realización de un censo de escuelas, maestros y alumnos, es adelantarse a la creación del Sistema. Quizá, lo que el legislador podría hacer, es acelerar el funcionamiento del Sistema y que sea en el seno del sistema donde se decida lo más adecuado y procedente.

Autonomía de Gestión de las Escuelas. Es otro tema que no tiene que ver con la esencia de la Reforma y que da la imagen de una Iniciativa que arroja cachivaches al cuarto de los trebejos constitucional. Además, me parece que ésta adición, como casi todas las del Transitorio Quinto de la Iniciativa, carecen de técnica legislativa. Para empezar no deberían incluirse consideraciones sustantivas y permanentes en un artículo transitorio.

Escuelas de Tiempo Completo. El legislador debe saber que no existe evidencia de que las escuelas de tiempo completo impacten positivamente el aprendizaje. Lo que la evidencia parece apuntar es que es más importante la calidad que la cantidad de las horas escolares para impactar en el aprendizaje.

Comida Chatarra. Su prohibición a nivel Constitucional, es innecesaria y desmedida. Lo que uno come tiene que ver más con los hábitos culturales y la crianza, que con las imposiciones legales. Lo más probable es que esta prohibición propicie la proliferación de vendedores ambulantes y el comercio “ilegal” dentro y alrededor de las escuelas. Sería más prudente trabajar el tema con esquemas de educación escolar, comunicación y concientización social y familiar.

Conclusiones:

Somos observadores de un fuerte juego estratégico, no de los actores educativos a que se refiere la Iniciativa, sino de los jugadores políticos. Somos testigos de los intentos de distribución del poder en la Alta Política Educativa. ¿Qué surgirá de este juego? Es algo que depende de la reacción de tres jugadores fuertes: el Ejecutivo Federal, el SNTE, y algunos empresarios organizados. Los gobernadores y legisladores serán piezas instrumentales pero no están invitados en esta gesta.

De manera adjetiva, en el intercambio de acciones y amenazas se han incluido reformas de Media Política Educativa, como la creación del INEE y el SPD. En la forma en la que están diseñadas las reformas me da la impresión que no obtendrán el propósito de elevar la calidad educativa y sí se corre el riesgo de hacer el sistema educativo mucho más centralizado de lo que ya es, y mucho más orientado al estímulo externo que a la motivación intrínseca.

Si la intención de la Iniciativa era terminar con la corrupción en la asignación de plazas, suficiente habría sido la modificación a un par de artículos de la legislación laboral y reglamentaria de las relaciones laborales y escalafonarias. No obstante eso, la corrupción no desaparece por Decreto como tampoco la calidad educativa se asegura por Mandato Constitucional. Los mismos actores que durante 60 años encontraron la forma y mecanismos para darle la vuelta a la ley o camuflar prácticas indebidas, encontrarán vericuetos para hacerlo de nuevo.

El gran problema de la calidad educativa en México y de la evaluación, no está en meter en olla de presión al magisterio. La masa crítica del magisterio actual, formado por el mismo Estado, no da para tanto. Si la evaluación fuera estricta y criterial, con parámetros académicos, muy pocos maestros aprobarían. Aún así, supongamos que el Estado es eficaz y logra someter a todos los maestros a esa evaluación; nos quedaríamos sin maestros. Para formar una nueva generación de maestros de alto calibre se necesitarían, además de tiempo, dos cosas: excelentes candidatos para ingresar a la carrera universitaria docente, y excelente formación universitaria. No tenemos ninguna de las dos. Entonces, no sirve de mucho una evaluación de un cuerpo magisterial que sabemos no está formado como debiera estarlo para una tarea tan compleja. ¿No habría sido mucho mejor empezar por el principio y utilizar toda la fuerza del Estado para establecer las condiciones que gesten la formación de un nuevo maestro de gran calidad?

Además, los males educativos de México no se explican sólo por la pobreza magisterial (que hay que corregir); o las relaciones de poder (que hay que democratizar y transparentar); o la devolución del poder de decisión (que hay que distribuir); o las pruebas estandarizadas (que hay que aplicar con moderación e inteligencia).

La verdadera solución se encuentra en arreglar la descomposición social (pobreza) y económica (desigualdad y monopolización); en combatir la corrupción y transformar la cultura de anti-aprendizaje del mexicano que prefiere la pachanga en lugar del trabajo; el descanso en lugar del esfuerzo; la televisión en lugar de la lectura; el ruido en lugar del silencio; la fiesta en lugar del estudio. El problema educativo en México se superará cuando los hijos de los trabajadores, policías, empleados domésticos, choferes y pepenadores, vayan a las mismas escuelas que los hijos de los empresarios y políticos; es decir, no importa a qué escuela acudan los niños, todos deberían recibir el mismo nivel de educación de calidad