Notas

Nota informativa Nº 2

El lunes 17 de febrero, en un evento organizado por el Instituto de Investigaciones para el Desarrollo de la Educación de la Universidad Iberoamericana y Mexicanos Primero, Andreas Schleicher, coordinador mundial del Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés), impartió la conferencia “Preparando a los estudiantes mexicanos para su futuro, no para nuestro pasado”.

Comienza la conversación

El pasado 3 de diciembre se publicaron los resultados de la edición 2018 de PISA, evaluación en la que México participa desde su primera aplicación, en el año 2000. El objetivo de PISA es evaluar, cada tres años, las competencias para la vida en diversos campos (lectura, matemáticas y ciencias), además de recopilar datos sobre el contexto de los estudiantes de 15 años en los países participantes, a través de una muestra estadísticamente representativa por territorio. El diseño, aplicación, análisis y difusión internacional de PISA es responsabilidad de la Dirección de Educación y Competencias de la Organización para la Cooperación y el Desarrollo Económicos (OCDE); en su última aplicación participaron 79 países.

En esta nota informativa, el Faro Educativo del INIDE recupera los puntos centrales de la conferencia impartida por Andreas Schleicher, así como de los comentarios previos y posteriores a su presentación, en un diálogo que fue moderado por Stefano Sartorello, director e investigador del INIDE-UIA.

La primera en participar fue Sylvia Schmelkes, vicerrectora académica de la UIA, quien ofreció algunas ideas de encuadre y describió el programa PISA. Para ello, Schmelkes hizo un recuento de la historia de la implementación de esta evaluación en México y reflexionó sobre la importancia de esta prueba y de conocer el nivel dominio de las y los estudiantes en las habilidades superiores que mide, más allá de los conocimientos memorizados, pues son estas competencias las que “sirven para la vida”. Señaló que los bajos resultados obtenidos en México y compartidos por los distintos países de América Latina llevan a la pregunta: “¿qué hay en nuestra matriz educativa que no alcanzamos a desarrollar en la mayoría de nuestros alumnos lo que PISA está midiendo […] esto ocurre, incluso, con los alumnos de alto nivel socioeconómico de nuestros países”. Al respecto, comentó que preocupa lo poco que ha mejorado México entre una evaluación y otra desde el año 2000: “en términos generales, podríamos decir que, a pesar de reformas curriculares y de política educativa, la situación de aprendizajes está estancada en México y, en general, en América Latina.”

La vicerrectora señaló que el valor de las pruebas PISA no reside únicamente en la medición de los niveles de competencias que poseen los egresados de educación básica en México, sino también en la recolección y análisis de datos de contexto, y en el cruce de sus resultados con los de otras evaluaciones y estudios (como TALIS, el Estudio Internacional sobre Enseñanza y Aprendizaje de la OCDE). Todo esto, dijo, permite contar con una interpretación más completa de la información obtenida y conocer realidades de los sistemas educativos, en donde es claro que “no sólo el financiamiento es lo que explica el mejor logro o la mejora, porque hay países que dedican menos a la educación que otros y tienen, sin embargo, mejores resultados de aprendizaje”. Schmelkes aprovechó su participación para externar su preocupación por el futuro incierto del programa PISA en México en tanto que “el que exista PISA, de alguna manera, marca un antes y un después de lo que sabemos de los sistemas educativos en el mundo y de la educación en el mundo, en general.”

Enseguida, Andreas Schleicher expuso los principales resultados arrojados por PISA desde su primera aplicación hasta la más reciente en 2018, e hizo énfasis en el desempeño mostrado por los estudiantes en México a lo largo de este tiempo, el cual, remarcó, se ha caracterizado por ser bajo y relativamente estable (o estancado), pese a la cada vez más aguda demanda de competencias transferibles en diversas áreas de la vida. Schleicher también habló de los principales factores que explican dichos hallazgos para, después, dibujar algunas líneas de política que contribuyen a que los sistemas educativos sean verdaderamente innovadores.

El expositor inició con una presentación de las relaciones entre algunas características del contexto mundial con las cualidades y resultados de PISA. En el ámbito del trabajo, habló del alto riesgo de automatización laboral al que se enfrentan la mayoría de los trabajadores en México. Se trata de un escenario en el que, desde 1960, se han hecho cada vez más prescindibles las tareas manuales y cognitivas rutinarias, así como las manuales no rutinarias; mientras que las tareas analíticas no rutinarias e interpersonales no rutinarias han incrementado exponencialmente su valor. Así, dijo, resulta fundamental el aprender los fundamentos de las disciplinas que poseen el potencial de ser aplicados –como en el caso de las competencias evaluadas por PISA–, por encima de los datos desarticulados. En lo tecnológico, Schleicher mencionó que el alfabetismo hoy trasciende el poder descifrar signos, pues consiste en saber construir conocimiento y triangular información, y señaló con preocupación que, pese al veloz desarrollo de las tecnologías y el volumen de información que nos rodea, los resultados mundiales de lectura en PISA no han mejorado al mismo ritmo. A este respecto comentó que actualmente únicamente 10% de los estudiantes de la OCDE pueden distinguir entre hechos y opinión –¡ y sólo el 0.7% de los estudiantes mexicanos pueden hacerlo!–. Sin embargo, Schleicher aclaró que no todo está perdido, pues se pueden lograr cambios en los resultados obtenidos en, aproximadamente, diez años, siempre que haya un cambio de enfoque, en el que se preste atención a los factores que explican parte de estos resultados.

Entre los principales factores que dificultan la mejora se encuentra la baja inversión en educación, cuyas pérdidas son mucho mayores que aquellas que se perciben al destinar recursos a ella. Aunque Schleicher mencionó que, contrario a lo que se cree, en México las escuelas públicas son las que acentúan más las brechas y no forzosamente las privadas. Esto se debe, dijo, a que la mejora de los sistemas no se basa, necesariamente, en una mayor cantidad de recursos, ni en pasar más tiempo en la escuela. Al respecto, cito los casos de Finlandia, Alemania y Suiza, países en donde se pasa menor tiempo en la escuela, pero se obtienen mejores resultados, al hacer de ese tiempo uno más productivo. Por el contrario, México se encuentra en el grupo de países, junto con Colombia, Costa Rica, Montenegro, Perú, Tailandia, República Dominicana, entre otros, en los que se pasa mayor tiempo en las aulas sin el nivel equivalente de rendimiento.

Schleicher resaltó también que uno de los obstáculos más poderosos para innovar la educación de las nuevas generaciones es justamente la educación y hábitos conservadores de generaciones mayores. Dijo: “el status quo tiene muchos protectores: todos apoyan la reforma –excepto para sus propios hijos–”; además de que los más privilegiados, a quienes denominó “los sapos”, “rara vez limpian el pantano”. También señaló que suele priorizarse la evasión de los costos que se ven inmediatos y ciertos, sobre los beneficios que, inevitablemente, son inciertos y a largo plazo; como político, dijo, “puedes perder una elección por ella, pero no ganas una por la educación”.

Ahora bien, entre los factores más importantes para obtener buenos resultados, Schleicher nombró a la mentalidad, el entusiasmo y la resiliencia, tanto de los alumnos, como de sus docentes; de ahí la importancia de los ambientes escolares. En el caso específico de los maestros, dijo que resulta sorprendente que su satisfacción se relaciona menos con el tamaño de los grupos, y más, precisamente, con su ambiente laboral –cuando éste es más autónomo, colaborativo y profesionalizante–, además del status social de su profesión y su participación en actividades de desarrollo profesional y esquemas de mentoría.

A lo largo de su presentación y al final de la misma, Schleicher perfiló algunas líneas para hacer más efectivos los sistemas educativos. En primer lugar, enlistó elementos necesarios para hacer más atractiva la profesión docente: 1) Confianza pública en la docencia y sus practicantes; 2) Preparación y aprendizaje profesional; 3) Apropiación colectiva de la práctica; 4) Decisiones acordes a los saberes de la profesión; 5) Responsabilidad y rendición de cuentas a la profesión misma.

En segundo lugar, contrastó los “sistemas industriales” con los “sistemas de clase mundial”, siendo el segundo tipo de sistemas el que se consideran más efectivos para el futuro de los estudiantes. Precisó que los países mejor evaluados no forzosamente implementan todos los cambios de este segundo tipo de sistemas, pero sí son los que ponen énfasis en, al menos, una de sus características. La comparación versó en torno a cinco ejes:

Inclusión: en los sistemas industriales sólo algunos estudiantes logran altos niveles de aprendizaje, mientras que en los de clase mundial todos los alumnos lo logran;
Curriculum, enseñanza y evaluación: en los sistemas industriales se valoran las competencias cognitivas rutinarias, pero en los de clase mundial se impulsan las formas complejas de pensar y trabajar;
Rol de los maestros: en los sistemas industriales hay estandarización y conformidad entre los docentes, mientras que en los sistemas de clase mundial los maestros son altamente profesionales;
Organización del trabajo: mientras que en los sistemas industriales se privilegia la organización “tayloriana”, en los de clase mundial hay una organización horizontal, colegiada y emprendedora;
Rendición de cuentas: mientras que en los sistemas industriales está dirigida a las autoridades, en los de clase mundial se rinden cuentas a los pares y a las partes involucradas.

En tercer lugar, Schleicher mencionó algunas lecciones que se desprenden de los “sistemas de alto desempeño”, a saber: 1) Rigor, foco y coherencia; 2) Visión interdisciplinaria que incluya el conocimiento de y sobre las disciplinas; 3) Foco en las áreas con mayor valor de transferencia; 4) Trabajo co-creativo basado en problemas; y 5) Aprendizaje por inmersión directa en el campo del que emergen los conocimientos.

Al término de la conferencia impartida por el coordinador mundial de PISA, Eduardo Backhoff Escudero, presidente del Consejo Directivo de Métrica Educativa, y David Calderón, co-fundador y presidente ejecutivo de Mexicanos Primero, hicieron varios comentarios. Eduardo Backhoff habló de los alcances y las limitaciones de PISA. Habló primero de las bondades de PISA en tres dimensiones concretas: 1) Cuestiones técnicas, como el rediseño permanente del proyecto y de sus instrumentos, junto con la participación de profesionales de alto prestigio en estos procesos, así como el hecho mismo de tratarse de una evaluación externa, incluso, al país; 2) El tipo de información recuperada, como los datos “duros” y a lo largo del tiempo sobre los aprendizajes de los estudiantes y de las variables que contribuyen a su explicación; y 3) Los posibles usos de la evaluación: desde la rendición de cuentas a la sociedad civil, hasta la mejora en la toma de decisiones de política pública.

Al comentar sobre las limitantes de diseño y del tipo de información recopilada por PISA, Backhoff señaló que esta evaluación mide competencias que se adquirieron no solamente en el espacio escolar, por lo que no pueden, ni deben, atribuirse los logros, retrocesos o estancamientos únicamente al sistema educativo. En este sentido, apuntó, la prueba es un indicador de capital cultural y conocer lo que se aprende en cada espacio continúa siendo un misterio. Aunado a ello, dijo que, aunque en PISA se evalúan aspectos importantes, se dejan de lado las prácticas y estrategias didácticas, lo que considera que es “el gran reto que tiene PISA”, además de mejorar los cuestionarios de contexto pues, desde su perspectiva, éstos arrojan resultados que no coinciden con la realidad observable.

En cuanto a las limitaciones para el uso de los resultados de la evaluación en cuestión, el ex consejero del extinto Instituto Nacional para la Evaluación de la Educación, dijo: “No está claro que este tipo de pruebas, y me refiero a PISA, PLANEA, TIMSS, tengan un efecto inmediato sobre la calidad de los sistemas educativos; primero porque [PISA] no es una evaluación formativa, no tiene ese sentido; además de que su diseño no permite detectar las fallas del sistema con un nivel de detalle suficiente para poder intervenir”, lo que deja a los países con dos grandes interrogantes: 1) ¿Qué hacer con los resultados obtenidos?, y 2) ¿Cómo incorporarlos de forma sustantiva a las políticas educativas para que no sirvan únicamente como insumos para declarar “buenas intenciones”?

Otra gran limitante de los usos de PISA señalada por Backhoff es que los resultados de la evaluación suelen ser recuperados a manera de ranking –especialmente por los medios de comunicación–. Desde su perspectiva, esto no sólo aporta poco, sino que esconde realidades más complejas, como que México opera y se mueve como un sistema. “¿Podríamos esperar que México fuera muy bueno en educación y muy malo en salud?”, preguntó. Además, apuntó que nuestro país no obtiene resultados particularmente negativos si se le compara con naciones en condiciones similares. Incluso mencionó que, si participaran todos los países reconocidos por la ONU, México ocuparía, más o menos, el lugar 70 de 193 países. Como una última anotación, Backhoff comentó que para conocer el estado del sistema educativo no bastan las evaluaciones, también es importante usar la investigación educativa.

Por su parte, David Calderón comenzó su intervención diciendo que, desde un enfoque de derechos de las y los niños, es indignante y dolorosa la tragedia que representa el homicidio de Fátima (quien, con tan sólo 7 años de edad, fue secuestrada el 11 de febrero al salir de su escuela en la Ciudad de México y fue encontrada el día 15 del mismo mes torturada, violada, desnuda y asesinada en una bolsa negra de plástico). Calderón señaló que el ejercicio de reflexionar sobre herramientas como PISA sirve para que los adultos tengamos mejores capacidades para cuidar y acompañar a niñas y niños, especialmente en un proceso como el educativo que les permite a estos últimos, no sólo sobrevivir, sino tener una vida en abundancia.

Enseguida, el presidente ejecutivo de Mexicanos Primero enlistó cinco usos de los resultados de PISA que nos hablan de su importancia: 1) Saber cómo estamos y qué avance registran algunos logros de aprendizaje; 2) Identificar áreas prioritarias que se deben atender; 3) Analizar nuestras políticas y prácticas; 4) Trazar una ruta hacia delante; y, 5) Tomar decisiones que fortalezcan la garantía del derecho a aprender de cada niña, niño y joven. Posteriormente, recuperó algunos de estos resultados y remarcó los referidos a las desigualdades entre los estudiantes, pues mientras tres cuartas partes de los alumnos más ricos alcanzan los niveles de logro mínimo, sólo un tercio de los alumnos que provienen de los hogares más pobres lo hacen. A propósito de éste y otros hallazgos de la prueba, Calderón señaló que México necesita evaluaciones periódicas que tengan representatividad estatal e individual y emitió recomendaciones a diversos actores del sistema educativo.

A las autoridades educativas las incitó a: 1) Impulsar la continuidad de políticas y prácticas que promuevan el desarrollo integral; 2) Focalizar el apoyo a las comunidades escolares que presenten bajos niveles de desempeño, a partir de realizar un diagnóstico conjunto y darles seguimiento con equipos itinerantes; y, 3) Plantear metas concretas para reducir el número de estudiantes que obtienen resultados insuficientes en PISA. A las comunidades escolares las invitó a: 1) Identificar las barreras para el aprendizaje y la participación que presenta cada estudiante, y realizar esfuerzos para eliminarlas; y, 2) Usar el pequeño margen de decisión que tienen –en un marco de profunda centralización educativa– para involucrar a las familias a la vida escolar, y para destinar los apoyos a las necesidades reales que se presentan en la escuela. Por último, a la comunidad académica le recomendó: 1) Trabajar colaborativamente con otros actores del sistema educativo para “potenciar la generación de evidencia útil y desagregada de desempeño y prácticas.”; y, 2) Dialogar sobre la evaluación “de y para el aprendizaje”.

Finalmente, hubo un espacio para el diálogo entre Andreas Schleicher y los asistentes al evento. Después de escuchar una primera ronda de preguntas por parte del público, Schleicher comenzó por comentar las observaciones realizadas por Backhoff. Señaló que PISA ha partido, desde el inicio, de reconocer que la educación es una construcción social y que, justamente, una muestra de la intención de esta evaluación por no aislar los resultados ha sido aplicar cuestionarios de contexto. A la pregunta de si una sociedad puede aspirar a lograr competencias complejas en sus estudiantes si éstos no han logrado aprender los conocimientos más básicos, Schleicher respondió que las competencias pueden apoyar la adquisición de conocimiento y viceversa, pues no son elementos dicotómicos. Respecto a la inquietud expresada por uno de los asistentes sobre cómo hacer para mejorar la educación en un país que no aporta los recursos suficientes para lograrlo, Schleicher señaló que las comparaciones entre países como las que utiliza PISA han sido un incentivo para que algunos Estados aumenten su inversión en educación, aunque recalcó que, si bien la inversión es necesaria, no es suficiente. Habló de la necesidad de que exista continuidad en las políticas ya que la educación es un proyecto social y la incertidumbre no ayuda. Al respecto, refirió el caso del sistema educativo colombiano, en donde, independientemente de los partidos de izquierda o derecha, existen proyectos de largo plazo.

En cuanto a las preguntas de cómo salir de los métodos tradicionales reproducidos en las aulas y del “pasmo” que nos provocan los bajos resultados para tener una visión más constructiva que haga uso del conocimiento sobre las causas detrás de los buenos resultados, el coordinador mundial de PISA expresó su confianza en que en las sociedades democráticas se pueden lograr mejoras y recalcó que no es tanto un problema de las instituciones, sino de la cultura que se opone a las innovaciones. Schleicher compartió algunas prácticas exitosas que han surgido alrededor del mundo, como el poner en marcha cambios a partir de comunicar a los docentes el impacto futuro que tendrá cada acción y decisión del presente; el enfocar toda una lección en el análisis, desde diferentes ángulos, de un solo concepto; el articular componentes teóricos y prácticos en todas las clases; el abrir la posibilidad para que todos los miembros de las comunidades escolares, especialmente los estudiantes, puedan decidir sobre los gastos, necesidades, estrategias y mejoras de las instituciones; y, sin duda, el apostarle a la evaluación en educación porque “no podemos mejorar lo que no podemos ver”.

En una segunda ronda de preguntas, a la inquietud de si el Estado “realmente” puede hacer algo para mejorar la educación en México, Schleicher respondió que era su obligación, en tanto la educación es un bien público. Por último, a la pregunta de qué áreas de oportunidad tiene el dispositivo PISA, dijo que hay cuatro grandes áreas, compartidas por todas las evaluaciones, en las ya se está trabajando, y en las que se necesita dedicar más esfuerzos:

Evaluar la amplia gama de competencias que son valiosas. Al respecto, comentó que “en el pasado teníamos una buena excusa [para no hacerlo], en tanto no era posible trabajar estas cosas; hoy, en realidad, técnicamente, científicamente, mucho de esto es posible”;
Mejorar su capacidad de explicación, ya que “la evaluación es buena en la medida en la que conduce a mejoras efectivas: enseñar a mejores estudiantes, a mejores docentes, a mejores escuelas, a volverse más efectivos”;
Desagregar los promedios nacionales para dar retroalimentación inmediata, específica y significativa a las escuelas; de tal forma que éstas se vean reflejadas en el universo de los resultados y puedan encontrar una utilidad directa de los mismos; e,
Incrementar los vínculos entre el aprendizaje y la evaluación, cambiando el esquema actual de pausar un proceso para realizar el otro. Esto, dijo, es especialmente posible ahora gracias a las nuevas tecnologías –por ejemplo, la última aplicación computarizada de PISA–, puesto que permiten, incluso, registrar datos sobre cómo las y los estudiantes ponen en práctica sus competencias y abre la posibilidad de retroalimentarlos de forma inmediata.

Schleicher finalizó su intervención con una comparación entre las evaluaciones nacionales y las internacionales. Señaló que en las primeras se involucran demasiadas partes con muchos tipos de intereses, lo que deviene en posturas conservadoras en torno a la evaluación y se sacrifica la relevancia por la fiabilidad, así como la validez por el alcance de amplios números de personas. En este marco comentó que las evaluaciones internacionales como PISA “no se encuentra tan obstaculizada por ese tipo de cosas. PISA puede aventurarse a evaluar cosas que no están únicamente especificadas en el curriculum, entonces se trata de una gran oportunidad para avanzar en esa clase de fronteras.”

En el Faro Educativo nos importa mucho su opinión. Los invitamos a discutir cuál es la relevancia de evaluaciones como PISA y de las evaluaciones nacionales de aprendizaje, así como qué podemos hacer para aprovechar mejor sus resultados, de tal forma que logremos entender los retos del sistema educativo y enriquecer las propuestas y políticas públicas para mejorar la educación.

¡Acompáñenos a observar (y a discutir) los alcances de las políticas y de la evaluación educativa!



Síguenos en nuestras redes sociales