Cómo Costa Rica transformó la forma de evaluar a sus estudiantes en inglés

En el 2018 el gobierno de Costa Rica se planteó una meta: graduar estudiantes de secundaria completamente bilingües.

¿Cuándo? A más tardar en el año 2040.

¿Cómo? Lograr este objetivo es una tarea compleja que necesita de la aplicación a muchas soluciones, todas resolviendo la necesidad de exponer a los estudiantes a una segunda lengua lo suficiente como para que puedan desenvolverse en gran cantidad de situaciones. Pero, como lo explica Manuel Rojas, asesor del Despacho Académico y coordinador de la Alianza para el Bilingüismo en el Ministerio de Educación Pública (MEP): “lo que no se evalúa no se mejora ni se controla”.

Es decir: si Costa Rica quería que sus estudiantes hablaran inglés, primero tenía que empezar a evaluar sus competencias lingüísticas. Eso era un reto grande en un país donde las pruebas pedían únicamente que los estudiantes contestaran preguntas escritas sin ningún tipo de referencia a algún estándar sobre dominio de la misma.

“Antes teníamos la prueba de bachillerato, de papel y lápiz, que realmente no permitía conocer lo que la persona puede hacer con el idioma”, dice Manuel. “Para eso se requiere un marco que permita conocer las competencias que tienen los estudiantes en las habilidades que desarrolla el programa de estudio”.

Ese marco que ha adoptado el MEP es el Marco Común Europeo de Referencia para las Lenguas (MCER) que a través de una clasificación en tres bandas (A, B y C), subdivididas en dos niveles cada una, puede ubicar el dominio de una segunda lengua de una persona. El marco mide la comprensión oral y escrita—es decir, escucha y lectura—y su producción oral y escrita—es decir, habla y escritura.

Según Manuel, el MEP tiene diferentes perfiles de salida para los estudiantes de secundaria: “Para unos colegios es B1 y para otros es B2 o superior, porque está vinculado al tiempo de exposición al idioma”.

El perfil de salida para los estudiantes de primaria es de A2.

Para evaluar ese marco en los estudiantes de Costa Rica, tanto de instituciones públicas como privadas, el MEP se alía con la Escuela de Lenguas Modernas (ELM) de la Universidad de Costa Rica (UCR).

“Hasta el 2018 [la UCR] venía haciendo pruebas estandarizadas en papel y lápiz, y en el 2018 nos contacta el MEP para ver la posibilidad de contribuir con pruebas digitales», recuenta Allen Quesada, director de la ELM e investigador del equipo del Programa de Evaluación y Certificación de la ELM. “En el 2019 fue la gran experiencia de transformar las pruebas estandarizadas en formato de computadora. Una innovación con la parte positiva de que son exámenes hechos a la medida y que tienen estándares internacionales del Marco Común Europeo e incorporamos elementos del programa de inglés. Ya no es que la prueba se gana o se pierde, sino que mide lo que el estudiante puede hacer con la lengua”.

El cambio implicaba entonces no sólo definir el marco para poder establecer el grado de dominio que los estudiantes tenían de la lengua, sino también considerar que se debía evaluar mucho más que comprensión de lectura. Era necesario considerar la comprensión oral y también la capacidad de producción oral y escrita del estudiante.

El proceso de crear esta prueba fue complejo, ya que ambas instituciones, después de estudiar y mapear la conectividad de los centros educativos a evaluar, debían crear formatos que se adaptaran a todas las posibles condiciones. Es así como desarrollaron tres formatos de aplicación de la prueba, un formato online, un formato offline, y un formato híbrido, estos dos últimos formatos requieren de la descarga previa del exámen en la computadora. En el 2021 sólo un 1% de la población evaluada realizó el exámen en formato online, 14% realizó el exámen en formato offline, y el 85% de la población lo hizo en formato híbrido, que básicamente permite enviar las respuestas del exámen de forma inmediata una vez que el estudiante termina el exámen en la computadora donde se descargó.

Además, existía la necesidad de probar que las pruebas que se están aplicando son realmente las que pueden acompañar el proceso de formación en una segunda lengua, para generar datos que el MEP pueda usar para ajustar planes y estrategias que permitan lograr la meta del bilingüismo.

“¿Qué es lo que hemos hecho en la academia? Hacer investigación sobre los instrumentos, [para demostrar] que realmente mida lo que nosotros decimos que está midiendo”, responde Allen cuando El Colectivo 506 le cuestiona si estas pruebas son realmente confiables, y hace referencia a los más de 30 años de experiencia de la ELM realizando pruebas de ubicación y certificación de dominio de la lengua.

“Hemos comprado licencias internacionales [de pruebas estandarizadas] y hemos evaluado estudiantes con ellas y después con nuestras pruebas, y hemos encontrado que hay una correlación muy alta [entre ambos resultados]” dice Allen. “En términos de validez, confiabilidad y qué tan práctica sea la prueba, tenemos datos científicos que respaldan lo robusto del instrumento”.

Pero además, el desarrollo de estas pruebas implicó considerar el trabajo que los docentes deben realizar en las aulas, según los planes de estudio establecidos por el MEP.

“Eso es importantísimo, tener un instrumento confiable que refleje lo que se hace en el aula y los estándares internacionales”, dice Allen.

Hasta el momento, la Prueba Estandarizada de Dominio Lingüístico (PDL) de la UCR sólo se ha aplicado en el 2019 y en el 2021, en ambas ocasiones a toda la población estudiantil de undécimo año. Además, en el 2021 se aplicó un Test of English for Young Learners (TEYL) o Prueba de Inglés para Estudiantes Jóvenes, a una muestra de estudiantes de primaria cursando el quinto grado, ya que son la generación que inició con los nuevos programas.

Una línea base decepcionante que inició el cambio

Desde afuera podría parecer que el hecho de cambiar las pruebas de un país no es tan complicado—parece ser más un asunto de firmar un acuerdo o cambiar una política. Pero perseguir el reto de medir cómo los docentes y estudiantes de Costa Rica hablan y entienden el idioma inglés ha requerido la perseverancia de personas a través del cambio de presidentes, ministros de educación, y consecuentemente sus respectivas iniciativas de enseñanza de las lenguas.

El año 2008 marca la línea base para poder entender qué está ocurriendo con la enseñanza de un segundo idioma, en particular del inglés, en la educación costarricense. Ese año, el MEP realizó una evaluación Test of English for International Communication o Prueba de Inglés para Comunicación Internacional (TOEIC) a casi la totalidad de sus docentes de inglés, la cuál demostró que sólo una tercera parte de estos funcionarios tenían dominio de la lengua en bandas B2 y C1, las cuales son necesarias para poder formar personas que alcancen este mismo nivel de dominio del idioma.

Ese mismo año, la iniciativa presidencial Costa Rica Multilingüe realizó una prueba diagnóstica de dominio del inglés a 705 estudiantes de secundaria (hoy representaría el 1% de esta población) que mostró que el 66% tenían un dominio de la lengua en la banda A1—usuario básico.

“Los datos que revelaron esta prueba nos ponen en una condición muy desfavorable”, dice Manuel sobre lo que ocurre en el 2008.

La primera reacción del MEP, según explica Manuel, fue redefinir los requisitos de contratación del personal docente para enseñar inglés, y además generar programas de desarrollo profesional en alianza con el Consejo Nacional de Rectores (CONARE), que permitieran mejorar el dominio de la lengua de los docentes y consecuentemente tener un impacto en la población estudiantil.

En el 2015 el MEP vuelve a evaluar a los docentes de inglés.

“La mejoría es palpable. La pirámide se invierte, y en esa prueba el 60% [de los docentes] se encontraban en los niveles esperados para enseñar”, dice Manuel, refiriéndose a las bandas B2 y C1.

Además de los cambios en la contratación y formación docente, el MEP implementó en el 2016 nuevos programas de estudio que buscan mejorar la enseñanza de una segunda lengua. Manuel explica que los nuevos programas se aplicaron de manera escalonada: es decir, los estudiantes de 1er grado y 7mo año del 2017 fueron los primeros en recibir su formación con estos programas, con la que han continuado. A partir de ahí todos los primeros ingresos a escuela o colegio reciben estos programas.

“En este momento no ha salido la primera generación desde que se cambió el programa por competencias”, dice Manuel refiriéndose a los estudiantes que en el 2017 ingresaron a primer grado y no será hasta el 2025 que se gradúen de la secundaria, y es ahí donde se podrán ver mejores resultados.

Pioneros regionales

“La prueba de la UCR evalúa de manera externa lo que estamos haciendo en el MEP”, dice Manuel. Allen concuerda y dice que es la forma de monitorear el cumplimiento de metas de los nuevos programas.

“Este cambio es un hito no sólo a nivel regional sino internacional. Somos de los primeros países que evalúa con una prueba de dominio lingüístico”, dice Manuel. “Lo hacemos porque lo que realmente necesitamos conocer es cuáles son las competencias que están logrando las personas estudiantes”.

Aunque los resultados aún no son los deseados, las PDL aplicadas a la totalidad de la población de undécimo año de Costa Rica muestran mejoras en el dominio del inglés de los estudiantes de secundaria.

“Si se hace una mirada seria y responsable, a mi me parece que tenemos que decir que a pesar de la pandemia hubo un avance”, dice Allen.

En el 2019 el 70% de los estudiantes estaba en la banda A2, y sólo un 1% en la banda A1, datos muy diferentes a los observados en el 2008 cuando el 66% de la muestra evaluada estaba en A1.

Para el 2021 los estudiantes en la banda A2 disminuyeron a un 57%, y los estudiantes en la banda B2 pasaron de un 4,3% a un 12%, además aparece un 2% de la población estudiantil en la banda C1.

Ahora bien, es importante mencionar que al igual que hubo mejoras entre el 2019 y el 2021, también hubo un retroceso, donde el 1% en la banda A1 del 2019 creció a un 7%.

Según el informe de la PDL del 2021, ese 7% “está compuesta por 4830 estudiantes de colegios nocturnos y CINDEAS principalmente”.

Igualmente, los resultados por provincia de la PDL muestran que la cantidad de estudiantes en A2 aumenta en hasta 12 puntos porcentuales en las provincias costeras del país, comparado con las cuatro provincias que integran la GAM.

“Tenemos una realidad en colegios tradicionales académicos y nocturnos. Son colegios que tienen reducción a la exposición, que son 3 lecciones en 3er ciclo y 5 en diversificada.
Aquí están la mayoría de los estudiantes en la banda A2”, explica Manuel al comparar estos colegios con otras modalidades como los Colegios Experimentales Bilingües, las secciones bilingües de colegios académicos, los colegios técnicos y los colegios privados.

¿Cómo puede el MEP cambiar esta realidad, en especial con poblaciones como la de colegios nocturnos que trabajan durante el día?

“Revisión de la maya curricular e innovar en modelos combinados donde los estudiantes puedan continuar por horas adicionales con plataformas digitales que le permitan estar expuestos fuera del tiempo de aula, por ejemplo cuando están en sus jornadas laborales y tienen su descanso”, dice Manuel.

Juan Carlos Aguilar Fernández tiene 28 años de trabajar como docente de inglés en la sección académica nocturna del Liceo de Paraíso, Cartago.

“La realidad de nuestra institución es muy diferente al resto de los colegios, porque la forma del trabajo es muy distinta”, dice Juan Carlos. “Muchos [estudiantes] han pasado 5, 10, 15, hasta 20 años desde que salieron de la escuela”.

Además, Juan Carlos señala cómo sus estudiantes tienen jornadas laborales durante el día, lo que les impide no sólo tener horarios lectivos más extensos, sino también tiempo para continuar con la formación en casa.

Juan Carlos cuenta que durante la realización de la prueba en el 2021 sus alumnos se encontraban nerviosos, pero a la vez motivados. Los resultados, dice, no sorprendieron, pero sabe que no eran los deseados.

“La gran mayoría de los estudiantes del nocturno estuvieron ubicados en la banda A2, algunos salieron en B1 y otros pocos en A1.”, dice. Para él este resultado es positivo, considerando las características del estudiantado y el formato del colegio nocturno.

Tanto las mejoras como los retrocesos que se observaron entre los resultados de la PDL del 2019 y el 2021 ocurrieron en medio de una pandemia, donde los estudiantes recibieron exposición a la formación docente mayoritariamente virtual, lo cual, según Allen y los investigadores de la UCR, pudo causar tanto la mejora como el empeoramiento.

“Por que [en pandemia] cuando se está aprendiendo un idioma es más difícil obtener recursos, y esos estudiantes que están comenzando [a aprender el idioma] tienen una afectación mayor que los que ya saben un poco de inglés”, dice Allen, quien también comparte dos de las hipótesis que manejan sobre las mejoras.

“Una hipótesis que toma fuerza es que los estudiantes a pesar de estar en pandemia y en forma remota, la exposición a dispositivos y a programas y a juegos, hizo que la exposición tuviera un impacto positivo.

“La otra hipótesis que sí es una realidad es que los profesores de inglés, como tenían recursos tecnológicos, por medio herramientas digitales, pudieron proveer de material audiovisual, de audio, videos que no se daban tanto antes. Eso ha favorecido”.

Por otro lado, en el 2021 se hizo ese monitoreo a una muestra de 3011 estudiantes de quinto grado de diferentes partes del país, que mostró que esta población se encuentra principalmente en la banda A1 (66%) y A1+ (25%), mientras que un 8,6% ya se encuentran en la banda esperada para salida de la escuela, A2.

El futuro de la PDL en la educación costarricense

La implementación de estas Pruebas de Dominio Lingüístico llegó para quedarse. El siguiente paso es poder evaluar más allá de la comprensión, es decir, evaluar la producción oral y escrita de los estudiantes. Allen y Manuel explican que para eso están por implementar una prueba estandarizada que utiliza inteligencia artificial (IA) desarrollada por la UCR.

“Este año ya queremos evaluar [producción] oral de manera sectorizada. Hay un tema de presupuesto que nos afecta”, dice Manuel sobre cómo van a implementar esta nueva evaluación y por qué no se aplicará a la totalidad de la población. “Ya evaluamos a estudiantes de secciones bilingües con IA y se comparó con un evaluador experto presencial de la UCR y se encontró un grado de relación muy alto, que quiere decir que la evaluación es atinente y está muy relacionada como si a usted lo evalúa un persona frente a frente. El afán es contar con esta prueba a la brevedad posible”.

“La idea es proporcionar retroalimentación completa a los estudiantes”, dice Allen sobre las pruebas de dominio en producción oral que han desarrollado en la UCR. “Si bien muchas pruebas orales automáticas brindan información sobre la pronunciación y la fluidez, optamos por brindar información sobre toda la gama de habilidades lingüísticas, es decir, la pronunciación, la fluidez, el vocabulario, la gramática y coherencia, tal como lo haría un evaluador humano calificado. En menos de 10 minutos se puede evaluar una persona con resultados en tiempo real”.

Además, el siguiente paso es fortalecer las PDL en las otras lenguas que ofrece el MEP y los colegios privados, especialmente Francés, Italiano y Alemán.

Pero la principal dificultad que enfrenta poder ampliar todas estas pruebas, además de la parte presupuestaria, es la conectividad en los centros educativos.

“Si tuviéramos conectividad nos permitiría tener los resultados de manera más rápida”, dice Manuel, “y poder apostarle a la IA en las otras dos habilidades. El tema de conectividad se convierte en un elemento fundamental para poder realizar esta y otras aplicaciones”. (Lea más sobre el reto de conectividad en las escuelas y colegios de Costa Rica en El Colectivo 506).

A nivel de primaria, la prueba de dominio lingüístico TEYL seguirá aplicándose a una fracción de la población estudiantil para tener datos estadísticos.

“Queremos realizar un mapeo para tomar decisiones ahí mismo”, dice Manuel. “Por un tema presupuestario no se puede hacer una evaluación en el total de primaria”.

Las proyecciones para graduar estudiantes bilingües

En este año 2022 ya se ha iniciado con la aplicación, y al igual que en el 2019 y 2022, para fin de año el total de los estudiantes de décimo año realizarán la prueba antes de graduarse. Las expectativas son muchas.

“Este año, el 2022, es la primera generación en sexto grado que podríamos medir los alcances del nuevo programa,” dice Allen.

“Digamos que en el 2022 el 41% de los estudiantes se encuentran en las bandas deseadas”, dice Manuel al extrapolar el avance mostrado entre el 2019 y el 2020 a futuro. “Si seguimos así, llegaríamos a la menta antes del 2040”.

Lo que sí está claro tanto para Allen como para Manuel, es que la aplicación de estas Pruebas de Dominio Lingüístico es un elemento indispensable para lograr la meta establecida.

“Esta evaluación nos permite ver hacia donde mirar y dónde establecer mejoras”, dice Manuel. “Tenemos mapeado hasta por colegio y eso nos permite hacer cambios personalizados para el centro educativo. Este es el valor que tiene este tipo de evaluación”.

“Es importantísimo, sin datos no se puede mejorar a ciegas”, dice Allen. “Necesitamos datos confiables de lo que está pasando en el país, en regiones, para hacer cambios, mejoras y poder apoyar a esos colegios y esas instituciones que de una u otra forma tienen debilidades”.