Durante 2019 y 2020, la Red de Acción Ciudadana por el Aprendizaje (PAL, por sus siglas en inglés) realizó el estudio Evaluación Internacional Común de Aritmética Básica (ICAN, por sus siglas en inglés), en 13 países. En México, la evaluación fue realizada por el Proyecto Medición Independiente de Aprendizajes (MIA), perteneciente a la Universidad Veracruzana (UV) y el Centro de Investigaciones y Estudios Superiores en Antropología Social (CIESAS-Golfo); MIA existe desde 2014 y es coordinado por Felipe Hevia.
El pasado 10 de noviembre, THE DIALOGUE, con apoyo del Proyecto MIA y la Oficina Regional de Educación para América Latina y el Caribe (OREALC-UNESCO) convocaron al evento “Evaluación de aprendizajes en tiempos de Covid-19: ICAN, una iniciativa de sociedad civil”. El foro fue moderado por Ariel Fiszbein, director del Programa de Educación del Diálogo Interamericano.
Claudia Uribe, directora de OREALC-UNESCO en Chile, inició hablando sobre la importancia de explorar opciones innovadoras para ayudar a comunidades escolares a encontrar soluciones útiles para enfrentar la pandemia. Entre éstas, dijo, se encuentra ICAN como una experiencia de evaluación valiosa al posibilitar, en un futuro próximo, el diseño de planes de respuesta y recuperación de aprendizajes.
Posteriormente, Felipe Hevia, investigador del CIESAS y co-responsable del Proyecto MIA, expuso sobre el marco, objetivos y resultados de la evaluación ICAN. El investigador señaló que la intención de esta evaluación es ofrecer una alternativa en la medición de aprendizajes desde la ciudadanía, pues, dijo, “la evaluación forma parte del proceso de enseñanza-aprendizaje […] específicamente su componente de retroalimentación es básico para seguir aprendiendo”. Mencionó que hay desafíos “enormes” para la evaluación de aprendizajes en el confinamiento, específicamente en dos sentidos; por un lado, de procedimientos, pues surgen preguntas sobre cómo asegurar la equidad y confiabilidad de las evaluaciones, cómo involucrar a las y los estudiantes, cómo medir procesos y no solamente resultados; y, por el otro lado, en cuanto a los usos de la evaluación de aprendizajes: retroalimentación, acreditación y orientación de sistemas educativos.
Frente a estos retos, ICAN emerge como un ejercicio ya realizado del que se puede aprender para atravesar una etapa como la actual. El coordinador de MIA dijo que ICAN es una alternativa desde la sociedad civil que posee cuatro características principales que la hacen profundamente relevante en este contexto: i) accesible por ser gratuito y aplicable por diversos actores; ii) robusto porque pasó por procedimientos para estimar validez y confiabilidad; iii) flexible para diferentes contextos y escalas; y iv) de uso fácil, en cuanto a aplicación uno a uno y retroalimentación inmediata. Asimismo, dijo que esta evaluación se encuentra alineada al indicador 4.1.1.a del objetivo de desarrollo sostenible n° 4, lo que, a su vez, explica su aplicación central en 2° y 3° de primaria, pues se busca conocer el nivel de dominio de las y los estudiantes sobre las competencias más básicas de la aritmética.
Hevia explicó también que el instrumento de evaluación se aplica uno a uno de forma oral –se leen las preguntas a los y las niñas–, lo que posibilita la aplicación por cualquier actor que tome una rápida capacitación y una retroalimentación inmediata. Simultáneamente a las pruebas, se aplican cuestionarios contextuales a tres actores: i) niños y niñas; ii) hogar; y, iii) comunidad. Especificó que ICAN se puede aplicar, tanto a pequeña escala como herramienta diagnóstica, de medición y evaluación de intervenciones educativas gubernamentales y no gubernamentales, como a gran escala para dar seguimiento a la agenda global en municipios, estados y países, acompañar a NNAJ dentro y fuera de la escuela; orientaciones para políticas educativas, e investigar sobre la equidad y factores asociados al logro educativo.
El expositor habló también sobre la creación de ICAN en un marco previo a la pandemia, pero con brechas visibles en el acceso a la educación y el logro de aprendizajes. Respecto al acceso, mencionó que en América Latina y el Caribe, 89% de la población termina la primaria –esto se reduce a 80% en los más pobres–, 81% concluye la secundaria –lo que se reduce a 65% entre la población más pobre–, y 59% termina el segundo ciclo de secundaria –lo que se ve reducido a 34% entre los más pobres–. En el caso de México, 92% de los más pobres acaban la primaria –vs el promedio de 96%–, 76% de la población en condiciones de pobreza acaba el primer ciclo de secundaria –vs el promedio de 88%–, y 31% de los más pobres acaba el segundo ciclo de secundaria –vs el 53% de la población en general–. A esto se suma el hecho de que se estima que 10% de las y los estudiantes en educación básica y 8% de aquellas y aquellos de educación media superior no volvieron a la escuela para el ciclo escolar actual, después de los cambios en el ciclo pasado derivados de la pandemia (datos de la SEP). En cuanto a los rezagos en el aprendizaje, los resultados del Tercer Estudio Regional Comparativo y Explicativo (TERCE) muestran que 39.5% de las y los estudiantes de 3° de primaria en América Latina se encuentra en rezago de aprendizajes en lectura, y 47.2% en matemáticas.
Así, llega ICAN, evaluación que se aplicó desde agosto de 2019 hasta julio de 2020, en 3 continentes, 13 países, 13 distritos rurales, 779 comunidades rurales, más de 15 mil hogares y con más de 20 mil niños. Cabe mencionar que la captura de datos concluyó en enero de 2020 –previo a la pandemia–. Entre los resultados más resaltables de ICAN se encuentran los siguientes:
- El acceso a la educación escolarizada sigue siendo limitado alrededor del mundo: más de 3 de cada 10 niñas y niños entre 6 y 10 años no van a la escuela; además, hay una gran variación entre los tipos de escuelas a las que asisten quienes sí se encuentran matriculados y matriculadas.
- En ningún distrito –de ningún país considerado– hay un mínimo de 75% de niñas y niños en 2° y 3° de primaria que pueden realizar tareas de cálculo numérico básico según el indicador 4.1.1 (a) de los objetivos de desarrollo sostenible (ODS); incluso en los grados 7° y 8° algunos niños y niñas no son capaces de realizar tales operaciones según los niveles esperados para grados inferiores (2° y 3° de primaria).
- En México las buenas noticias son que hay una alta matriculación y que la mayoría está en escuelas públicas; sin embargo, en el área rural –Veracruz como ejemplo–, sólo 72% de las y los niños de 2° y 3° pudo reconocer figuras simples como la línea recta y el triángulo. Además, entre los niños y niñas de este mismo contexto, sólo 11.3% de quienes se encuentran en 2° y 3° de primaria pudieron resolver una resta simple, lo cual no mejoró como se esperaría para los y las niñas de 4° a 6° de primaria, pues sólo 36.8% pudo resolver esta resta; ello significa que se entra a la secundaria con problemas para resolver operaciones aritméticas básicas. Otro ejemplo es que sólo 35% de las y los estudiantes de 4° a 6° de primaria pudo leer correctamente las manecillas del reloj.
- Todo esto es indicador de que no se está cumpliendo con el compromiso internacional de este ODS, siendo resaltable que estos datos se recogieron antes de la pandemia, por lo que se abre la incógnita de cómo apuntalar el cumplimiento de dicho objetivo durante y después de ella.
En su uso de la palabra, Carlos Henríquez Calderón, director del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE-UNESCO), dijo que ICAN es una alternativa que “nos llena de optimismo” frente a la enorme tarea de avanzar en la medición de aprendizaje, especialmente en el contexto de la pandemia, el cual puede, a su vez, ayudar a apuntalar mejoras. Henríquez dijo que el Estudio Regional Comparativo y Explicativo (ERCE) es la evaluación más antigua de aprendizajes –incluso anterior a PISA–, a la fecha se han incorporado 18 países y se constituye en un esfuerzo por entender –mas no establecer rankings– para avanzar; entre los principales resultados de la última aplicación de esta evaluación, TERCE, se encuentra que en Latinoamérica y el Caribe:
- 4 de 10 estudiantes en 3° de primaria no pueden localizar y relacionar información explícita en un texto.
- 4 de 5 estudiantes indígenas se ubican en el nivel más bajo de aprendizaje en matemáticas, vs 4 de 10 estudiantes no indígenas.
- 47% de estudiantes de 6° no pueden resolver problemas simples con números naturales, decimales y fracciones.
- 10 de 15 de los países evaluados muestran una desventaja significativa entre las mujeres de 6° grado respecto al logro en matemáticas.
- 55% de las diferencias en el logro de matemáticas se pueden explicar por la asistencia la preescolar; sin embargo, sólo 1 de 3 estudiantes de TERCE asistió a uno.
Henríquez dijo que estos datos develan un tema crítico: no podemos seguir avanzando si no tenemos información de las trayectorias y tampoco se puede avanzar en habilidades del siglo XXI sin estas habilidades básicas. En aras de avanzar en estos retos específicos, el panelista habló de la propuesta de la UNESCO en torno a un marco de referencia a manera de mecanismo integrado de evaluación escolar en el que diversos niveles y componentes requieren ser evaluados: a nivel sala de clases, se requiere la evaluación de aprendizajes de las y los estudiantes, así como la evaluación docente; la sala de clases, a su vez, es parte del nivel escuela, en el que suma la evaluación del entorno escolar y de los directivos; así, estos dos niveles, conforman un tercero, el nivel sistema, en el que se incorporan la evaluación de políticas o programas, la evaluación de sub-sistemas y la del sistema mismo. También comentó que se requieren políticas de evaluación para cada uno de estos tipos de evaluación y que todo debe orientarse a contribuir a los resultados de los estudiantes: “el foco debe ser que los hallazgos entreguen pistas para abordar los desafíos de aprendizaje en la región”.
Señaló que los sistemas de evaluación necesitan ampliar componentes de evaluación y conexión que permitan un uso ampliado de los resultados. Se trata de construir sistemas de evaluación nacionales que involucren desde las menores escalas (ej. el aula) hasta las mayores (ej. nacional), así como desde el propósito sumativo hasta el formativo. La combinación de estos dos ejes, generan cuatro cuadrantes que son tipos de evaluación a articular en los sistemas de evaluación: i) evaluación formativa, ii) evaluación diagnóstica; iii) evaluación estandarizada (nacionales o regionales), y, iv) evaluación sumativa.
En ese sentido, el panelista resaltó los siguientes elementos de ICAN que contribuyen a esta ampliación de los sistemas de evaluación:
- ICAN hace algo inédito al incluir tanto a los niños escolarizados como a los no escolarizados. Especialmente en América Latina esto es muy importante para visibilizar a los y las niñas que se están quedando atrás.
- Pese a que los resultados de ICAN todavía no son extrapolables a nivel nacional, dan atisbo de la magnitud de la desigualdad en el país, no con el fin de encontrar culpables, pero sí de hacernos cargo por compromisos realizados y por la ética misma.
- ICAN también ayuda a un diagnóstico temprano y aterrizado en torno a capacidades básicas, eso hace más amigable la evaluación para acompañar al niño y la niña para tener información que nutra la enseñanza de forma oportuna.
- La colaboración de ICAN con actores locales, lo que no suele suceder; esto permite una mayor legitimidad e incrementar las posibilidades de contribuir a la mejora.
- ICAN contribuye a un liderazgo transformador en todos los niveles y lugares.
- La función sumativa de la evaluación cumple un rol, pero hay un reto grande por hacer del bienestar y el aprendizaje el foco; cuestión que sí atiende ICAN.
Se propone una cultura distinta de la evaluación para la mejora escolar, en la que el centro sea el bienestar y los aprendizajes, de tal forma que se contribuya a que el esfuerzo realizado por diversos actores sea útil y tenga frutos. Para ello, también se busca que existan diversos momentos de evaluación intermedia, muchos más de evaluación formativa y muchos menos –aunque también importantes– de evaluación sumativa. Esta “cultura para los aprendizajes” parte de 4 supuestos: i) no es posible mejorar aquello que se desconoce; ii) la evaluación no es un fin, sino un medio para la mejora, a partir de la retroalimentación de las prácticas; iii) la evaluación conecta la enseñanza y el aprendizaje; y, iv) se requiere dejar el enfoque de enseñar para las pruebas, a utilizar éstas para asegurarse que las y los estudiantes están aprendiendo lo que se espera.
Para cerrar, el director del LLECE resaltó ciertas cuestiones a considerar, en aras de contribuir de manera decidida a la Agenda 2030 desde la evaluación: i) los niveles de desempeño mínimo (MPL) siguen siendo un reto de política pública en América Latina; ii) la evaluación es fundamental sólo si busca la mejora; y, iii) se deben estrechar los lazos entre la evaluación y los organismos dedicados a la educación.
Blanca Heredia, investigadora del Programa Interdisciplinario sobre Política y Prácticas Educativas del Centro de Investigación y Docencia Económicas (PIPE-CIDE), dijo que MIA es un esfuerzo que hace recordar el siguiente proverbio africano: “se requiere de una comunidad, de un pueblo, para que un niño crezca”, pues MIA e ICAN devuelven e involucran a la propia comunidad, lo que ha sido una pieza faltante en muchos esfuerzos y, dijo: “llevamos mucho tiempo evaluando, pero hemos avanzado más en medir que en cambiar, que en mejorar”. También resaltó que quienes participan en la medición de ICAN lo hacen de forma voluntaria, con el fin de entender dónde están los niños y niñas y que puedan tener la información necesaria para ver qué necesitan, por lo que abre un haz de luz sobre la amplia distribución del logro educativo, que los grandes ejercicios de evaluación global han sido “ciegos, al menos tuertos”; por ejemplo, PISA no es muy sensible para observar diferencias entre los niveles bajos de logro, mientras que ICAN “pone la lente justo en donde tenemos que ponerla los países más pobres”, llegando, incluso, a aquellos niños y niñas no escolarizadas.
Heredia mencionó que no hay una única definición de calidad educativa, ésta cambia por contexto y actor. Sin embargo, señaló:
“Ninguna posible definición de calidad educativa puede prescindir de incluir como parte central de esa definición, el que los niños, niñas, adolescentes y jóvenes puedan tener un manejo mínimo de los dos lenguajes de símbolos que nos hacen humanos: las letras y los números”.
En ese sentido, la investigadora dijo que, si bien es deseable ser exigentes y ambiciosos, ello no es posible sin las habilidades básicas, especialmente por la desigualdad que azota al país y el mundo, de forma que se mostró de acuerdo con el director de LLECE respecto a que es un tema, también, de ética. Mencionó que en la parte cognitiva estamos muy lejos de los mínimos indispensables, siendo ICAN y MIA una palanca para dar a las nuevas generaciones lo que necesitan para ser dueñas de su propio proceso, que las comunidades mismas se hagan dueñas de ello.
Por su parte, Ariel Fiszbein opinó que ICAN no es tanto una alternativa a los sistemas de evaluación, sino un complemento. Tomando eso como punto de partida, dijo que en la región de América Latina no se ha logrado que las pruebas internacionales sean un verdadero instrumento de gestión y de cambio. Comentó que estas han sido más exitosas como fuente de información para el análisis crítico de especialistas, que como instrumento para que las comunidades cambien la manera en la que hacen las cosas y, por tanto, logren resultados distintos. Es por eso, consideró, que iniciativas como ICAN resaltan porque, pese a la necesidad de pensar en su escalabilidad, el concepto de evaluación ciudadana es rescatable en tanto instrumento para movilizar a los actores en campo y no sólo a los investigadores que trabajan con los números.
También planteó que si bien existe una fuerte conciencia en la región respecto al alto costo de la pandemia en términos productivos –sus consecuencias–, “no hay la misma conciencia sobre el costo en términos del capital humano; durante este año habremos destruido más capital humano que nunca antes en la historia moderna de la región”. Fiszbein dijo que en ningún país pareciera existir esa conciencia y una acción acorde. A partir de ello, preguntó a las y los panelistas: ¿Qué rol pueden tener las mediciones de aprendizaje para realmente generar el shock social que lleve a recuperar al menos parte de las “pérdidas dramáticas” de aprendizaje por la pandemia?
Felipe Hevia inició su segunda intervención diciendo que todos los miembros de la red PAL, incluido el Proyecto MIA, tienen una historia común: “trabajar desde abajo y desde afuera”, es decir, sin interlocución con gobiernos. Por ello, reflexionó, lo realizado en ICAN son procesos de movilización social y populares, ya que en México se trabaja con 2,000 voluntarios –situación que calificó como “extraña” en un país con bajos índices de voluntariado–, y se busca poner en el centro el uso de las evaluaciones por las comunidades y, por tanto, su involucramiento en diversas etapas. Estas experiencias, dijo, muestran que, si se invita a otras personas a movilizarse en torno a la educación mediante formas accesibles y sencillas, se despierta el interés y se activa la movilización.
El coordinador de MIA se preguntó “¿cómo ligar evaluación con mejora?”; respondió que el paso suele ser dar recomendaciones de política y es difícil pasar ese punto. Estos instrumentos permiten articular evaluación con mejora a partir de intervenciones educativas, favorecidas por la velocidad en la retroalimentación, una ventaja, sostuvo Hevia, que no tienen todavía los sistemas grandes de evaluación. Sin embargo, dijo que la recomendación de política central para operar en el contexto actual sería “priorizar los aprendizajes básicos”; lo anterior a partir de aceptar que “no estamos en un año normal, estamos en un momento extraordinario”, por lo que se necesita una priorización curricular, e ICAN busca poner en el centro, precisamente, lo más básico desde una perspectiva de derechos humanos. Adelantó que se está buscando construir un instrumento en lectura para 3 continentes en 17 lenguas.
Carlos Henríquez Calderón retomó la pregunta de Fiszbein al decir que los ciudadanos todavía tenemos miedo a la pandemia, lo que explica que se priorice el bienestar sanitario; sin embargo, opinó que “se necesita regresar a las escuelas”. Recomendó que algo que podría hacer el gobierno para convencer a adultos a llevar a niñas y niños a los centros educativos es impulsar una cultura de cuidado de todas y todos. Mencionó que incluso los paquetes de recuperación de los gobiernos han destinado menos de 2% a otros ámbitos del bienestar, como la educación.
En cuanto a la vinculación entre la evaluación con la mejora, señaló que, específicamente, en México y Chile existen capacidades para implementar esa mejora en campo, ya que son países en los que las y los maestros conocen bien dónde se encuentran sus estudiantes y dónde podrían estar. Si las y los docentes no saben exactamente dónde están sus estudiantes, no hay movimiento, por eso la evaluación debe llegar ahí. Comentó que hay una cruzada desde el LLECE de sostener que la función sumativa de la evaluación tiene un rol, pero la formativo ayuda a centrarse en dónde está cada niño y niña para dotarla cada día de oportunidades relacionadas con lo que necesitará en su futuro.
Por último, Henríquez dijo que se necesita información y acciones para conocer las diversidades en pandemia que ya existían previa a ella, incluso al interior de una misma aula, pues mientras un grupo reducido de estudiantes avanza según lo proyectado, un grueso en el medio lleva un retraso equivalente a 3 o 6 meses, y otro grupo lleva hasta un año de retraso en términos de aprendizaje.
Blanca Heredia también recuperó la pregunta del moderador y concordó con los panelistas respecto a que será necesario recopilar un cuerpo grueso de datos que indiquen el estado del sistema educativo en y por la pandemia; particularmente, dijo que será importante saber qué se ha hecho con la libertad ejercida por figuras educativas para llegar a sus estudiantes. La investigadora del CIDE opinó que es “un poco temprano” para saber cuáles van a ser las pérdidas de aprendizaje, así como la posición de la escuela y de docentes; considera que “vamos a encontrar claroscuros”, por ejemplo, en términos de la creciente revalorización de las y los maestros.
Heredia también ofreció una metáfora de MIA como un oxímetro que se puede usar en el hogar, para hacer partícipe a miembros de la comunidad con el fin de ocuparse de quienes lo requieren. Dijo que “el gran eslabón perdido” es qué pasa entre la evaluación y la mejora, siendo una posibilidad que el vínculo se teja a nivel de comunidad, derivado de la libertad con la que cada agente educativo está haciendo lo que puede y considera en estos momentos de incertidumbre.
A manera de cierre, Claudia Uribe Salazar aclaró que, de ninguna manera, desde la UNESCO se piensa que esfuerzos como MIA e ICAN pueden reemplazar a instrumentos nacionales que permiten tener información comparativa y avanzar conjuntamente en agendas globales; más bien, señaló la directora de OREALC-UNESCO, es importante entender que cada instrumento tiene su lugar y su propósito.
Partiendo de ello, dijo que se hace imperativo conocer qué tanto han avanzado en este tiempo los y las estudiantes, pues la pandemia ha tenido efectos muy diversificados según su posición social. Algunos de ellos y ellas no han tenido avances en meses, mientras otras y otros han podido, incluso, avanzar en lo que no habían podido explorar en la escuela.
Si deseas profundizar en lo dicho por las y los panelistas, accede a la siguiente liga con la videograbación del evento: https://bit.ly/35JRoa4
Si quieres conocer más sobre lo que ha hecho el Proyecto Medición Independiente de Aprendizajes (MIA), visita su página web: https://www.medicionmia.org.mx/
Desde el Faro Educativo ofrecemos las siguientes preguntas para continuar con la reflexión:
- ¿Qué fortalezas y debilidades tienen los proyectos ciudadanos de evaluación de aprendizaje y las macro pruebas estandarizadas realizadas por organismos gubernamentales nacionales e internacionales? ¿Cómo podrían articularse para potenciar su uso para la mejora de los aprendizajes?
- ¿Cómo podemos escalar las características más resaltables de ICAN y otras evaluaciones de MIA (flexibilidad, involucramiento de la comunidad, retroalimentación inmediata, mapeo de la situación entre personas no escolarizadas, etcétera)? ¿Qué elementos y acciones concretas se requieren para lograrlo?
- Frente a los retos del sistema educativo previos, develados y exacerbados por la pandemia, ¿cuál vinculación podría emerger entre proyectos como MIA e ICAN, y MEJOREDU, en tanto organismo nacional con funciones constitucionales de evaluación diagnóstica, formativa e integral?
¡Acompáñanos a observar (y a discutir) las políticas educativas!
