EL SABER EN EL DIAGNÓSTICO DE CONOCIMIENTOS Y AUTOEVALUACIÓN Y ESTUDIO DE ASIGNATURAS DEL BACHILLERATO DE LA UNAM
Línea TemÁtica: PrÁcticas para reducir el abandono (empleo de TIC).

MURILLO Villegas Patricia 1
OLIVER Navarro José Antonio 2
Dirección General de Evaluación Educativa /UNAM - MEXICO
Correo electrónico: [email protected]
1 Subdirectora de Desarrollo Educativo de la Dirección General de Evaluación Educativa (DGEE) de la Universidad Nacional Autónoma de México (UNAM). 2 Coordinador de asignatura en la Subdirección de Desarrollo Educativo, DGEE - UNAM.

Resumen. Una de las líneas rectoras del plan de trabajo del rector de la Universidad Nacional Autónoma de México para el periodo 2007 – 2011 fue: fortalecer el bachillerato y su articulación con los otros niveles de estudio. Esto dio lugar al Sistema de Exámenes de diagnóstico y Autoevaluación y estudio de asignaturas del bachillerato de la UNAM (SABER) desarrollado en la Dirección General de Evaluación Educativa. SABER comprende dos módulos: Exámenes de diagnóstico y Autoevaluación y estudio. El primero genera exámenes con fines diagnósticos y el segundo contiene lecciones con ejercicios interactivos y preguntas de autoevaluación. Los objetivos del módulo Exámenes de diagnóstico son: a) ofrecer a los profesores del bachillerato una herramienta en línea para realizar exámenes de diagnóstico del aprendizaje que han logrado sus alumnos, con el fin de disponer de información para planear acciones orientadas a mejorar el aprendizaje, b) proporcionar a los alumnos un diagnóstico de su grado de dominio de una asignatura con el propósito de saber qué temas deben estudiar más. El módulo Autoevaluación y estudio tiene como objetivos ofrecer a los alumnos: a) una herramienta en línea para conocer su dominio en una asignatura y b) lecciones con ejercicios interactivos y una autoevaluación. El contenido de las ocho asignaturas que integran el SABER  Álgebra, Geometría, Cálculo, Estadística, Español, Física I, Química y Biología  está basado en los planes de estudio de los subsistemas del bachillerato UNAM. Del sistema se ha evaluado su funcionamiento técnico; su contenido desde la perspectiva de profesores y alumnos y su utilidad para mejorar el aprendizaje, esto mediante un diseño cuasi- experimental con seis grupos (tres experimentales y tres de control) de alumnos de los subsistemas de bachillerato que contestaron un examen de diagnóstico de un tema de Estadística antes y después de la intervención, la cual consistió en el estudio de lecciones y la respuesta a preguntas de autoevaluación del tema del examen por parte de los participantes de los grupos experimentales, mientras que los estudiantes de los grupos de control sólo asistieron a sus clases. Los resultados mostraron que el grupo experimental que realizó la práctica durante más tiempo mejoró significativamente su desempeño respecto al grupo control. Los otros grupos experimentales también mejoraron su desempeño pero no significativamente, por tanto se concluyó que el tiempo de estudio tuvo un efecto importante.

Descriptores o Palabras Clave: Educación media superior, Tecnologías de la información y la comunicación, Retención, Autorregulación.

1. Introducción

Debido al alto índice de reprobación en algunas asignaturas del bachillerato de la UNAM, se desarrolló el sistema “Exámenes de diagnóstico y Autoevaluación y estudio de asignaturas del bachillerato de la UNAM”, al cual nos referiremos como Sistema de Aprendizaje Bachillerato en Red (SABER), que le permite a los profesores de la UNAM conocer con exactitud los temas en que sus estudiantes tienen deficiencias, y a éstos, una herramienta en línea para mejorar su desempeño.

SABER cuenta con dos módulos: “Exámenes de diagnóstico” y “Autoevaluación y estudio” a los que se les han realizado diferentes evaluaciones sobre su eficacia, utilidad y funcionamiento.

Este trabajo tiene como propósitos: explicar el origen del SABER, dar una breve descripción del sistema, mostrar el detalle de las evaluaciones a las que ha sido sometido y la atención a las recomendaciones, y por último, relatar las diferentes formas en que ha sido utilizado así como el estado actual del proyecto.

2. Contexto institucional

El Rector de la UNAM, el Dr. José Narro Robles, planteó en enero de 2008 los principales retos de la UNAM, dentro de los cuales se presentaron quince líneas rectoras para el cambio institucional. El desarrollo de una de ellas quedó a cargo de la Dirección General de Evaluación Educativa (DGEE).

Dicha línea rectora, “fortalecer el bachillerato y su articulación con los otros niveles de estudio”, se realiza a través de dos proyectos: i) “Impulsar la evaluación departamental diagnóstica, sin que sea obligatoria, a partir de herramientas diseñadas por académicos de la propia UNAM”. ii) “Ofrecer al estudiante la posibilidad de tener autoevaluaciones en todas las asignaturas del bachillerato, con la elaboración de un diagnóstico y de un plan remedial” (Narro, 2008).

La Subdirección de Desarrollo Educativo de la DGEE fue la encargada de coordinar estos proyectos por medio del SABER (ver apéndice I).

3. Descripción del SABER

Por ser las asignaturas con mayor índice de reprobación, se incluyen en el SABER: Álgebra, Geometría, Cálculo, Estadística, Español, Física I, Química, Biología, Física II, Historia de México e Historia Universal; las primeras ocho ya en línea para el uso de del público y las últimas tres en desarrollo.

El SABER comprende dos módulos: “Exámenes de diagnóstico” y “Autoevaluación y estudio” (ver apéndice II). El primero, le permite generar a los profesores de la UNAM exámenes con fines de diagnóstico y el segundo contiene lecciones interactivas y preguntas de autoevaluación para los estudiantes.

Para el desarrollo de los contenidos de ambos módulos participaron académicos de la Escuela Nacional Preparatoria (ENP), del Colegio de Ciencias y Humanidades (CCH), de los institutos de Matemáticas y de Investigaciones en Matemáticas Aplicadas y en Sistemas, y de las facultades de Ciencias y de Química. Tanto la coordinación y la supervisión de los contenidos, como la administración del SABER, se encuentran a cargo de la DGEE.

3.1. Objetivos del SABER

Los objetivos del módulo “Exámenes de diagnóstico” son: i) ofrecer a los profesores del bachillerato una herramienta en línea para realizar exámenes de diagnóstico del aprendizaje que han logrado sus alumnos al finalizar la enseñanza de una o más unidades o de todo el curso, con el fin de que dispongan de información para planear acciones orientadas a mejorar el aprendizaje, ii) proporcionar a los alumnos un diagnóstico de su grado de dominio de una asignatura determinada con el propósito de que sepan a qué temas deben dedicarle más estudio.

El módulo “Autoevaluación y estudio” tiene como objetivos ofrecer a los alumnos: i) una herramienta en línea para que conozcan su grado de dominio de los temas de una asignatura dada y los aprendizajes esperados correspondientes, ii) lecciones de los temas con ejercicios interactivos y una autoevaluación (Valle, 2012).

3.2. Elaboración del perfil de referencia, preguntas de evaluación y lecciones interactivas

El contenido de las asignaturas de los dos módulos tiene como marco de referencia los temas en común de los programas de la asignatura de la ENP y del CCH. Profesores de ambos subsistemas, designados por sus respectivos directores generales, conformaron la comisión para determinar el perfil de referencia que incluye las tablas de especificaciones con los temas, subtemas y resultados de aprendizaje, que sirven para diseñar las preguntas de evaluación de ambos módulos, así como las lecciones interactivas. Las preguntas miden el aprendizaje esperado del tema o subtema y la lección se diseña para que el alumno logre este objetivo.

Para el módulo de exámenes de diagnóstico se seleccionaron los resultados de aprendizaje esenciales para conformar su perfil de referencia.

Profesores expertos en cada asignatura elaboraron las preguntas de evaluación para ambos módulos y tres profesores los validaron sin conocer la identidad del elaborador.

Otros profesores realizan el guion instruccional para las lecciones, es revisado por tres pares y es la DGEE la encargada de conformar la lección interactiva con base en el guion.

3.3. Descripción de contenidos

Del proceso descrito en el apartado anterior, se obtuvieron los perfiles de referencia con sus resultados de aprendizaje, que son la base para realizar los reactivos y las lecciones por asignatura que se detallan en la Tabla 1 (SDE, 2012).

Tabla 1. Información general del contenido de las ocho asignaturas en línea.

Ra = Resultado de aprendizaje
R = Reactivo
Li = Lección interactiva

Como se puede observar, en Matemáticas y Español existe una lección interactiva por cada resultado de aprendizaje; en cambio, en Física I, Química y Biología se reunieron varios resultados de aprendizaje en una sola lección para tratar cada tema de manera integral.

El módulo de “Autoevaluación y estudio” tiene relacionados cuatro reactivos por aprendizaje, y el de “Exámenes de diagnóstico” cinco; lo que permite a los profesores crear de una hasta cinco versiones por examen.

3.4. Módulos del SABER

El módulo “Exámenes de diagnóstico” está destinado a los profesores de la UNAM, quienes generan un examen de la asignatura que desean evaluar, eligiendo los resultados de aprendizaje, el número de reactivos que desean y lo llevan a cabo en los centros de cómputo de sus planteles. Cuando el alumno termina de contestar las preguntas, puede revisarlas y cambiar sus respuestas en caso de ser necesario. Al concluir el examen, el SABER despliega un reporte de resultados que incluye el tema, subtema, resultado de aprendizaje y si la pregunta relacionada con éste la contestó de forma “correcta”, “incorrecta” o “no sé” (ver apéndice III). Al final de la aplicación el profesor puede descargar e imprimir tanto los reportes de grupo como los individuales.

En el módulo de “Autoevaluación y estudio” el alumno estudia los temas de las asignaturas que considera necesario repasar, para ello ingresa al módulo, selecciona la asignatura, elige entre dos opciones de uso (Estudio y autoevaluación que primero muestra la lección interactiva y después las preguntas de autoevaluación o Autoevaluación y estudio donde primero revisa las preguntas y de considerarlo necesario, estudia la lección), elige el tema, subtema y el aprendizaje que desea revisar (ver apéndice IV).

En un principio, el SABER estaba destinado sólo a estudiantes del bachillerato de la UNAM, pero en la actualidad el módulo de “Autoevaluación y estudio” está disponible a cualquier persona que desee utilizarlo ingresando a la página www.saber.unam.mx.

3.5. Lecciones interactivas

Las lecciones interactivas tienen la función de mejorar el aprendizaje de los estudiantes. Para cumplir con este fin, el bloque de Matemáticas fue diseñado con el software Arquímedes; a partir de la asignatura de Español se desarrolló en la DGEE un software llamado ENSAMBLE, que permite, por medio de plantillas, crear actividades que relacionan tareas cognitivas con acciones operativas realizadas en la computadora. La Tabla 2 es una muestra, no exhaustiva, que explica esta correspondencia (Stalmans, Valdés Pulido & Oliver Navarro, 2012).

Tabla 2. La diversidad de opciones interactivas del ENSAMBLE

La interactividad de las lecciones radica en que a cada acción del alumno hay una respuesta por parte de SABER. Es decir, que si el alumno responde correctamente alguna actividad se le informa que lo ha hecho de forma adecuada y se le brinda un refuerzo del conocimiento; si responde incorrectamente, se le da un indicio o ayuda para que pueda responder por sí mismo; y si no encuentra la solución, se le indica cuál es y cómo se llega a esa conclusión. La idea central es crear un diálogo virtual entre el alumno y el equipo creativo que participó en la elaboración de la lección.

La herramienta ENSAMBLE tiene nueve plantillas, pero las más utilizadas son las mostradas en la Tabla 2. Las demás fueron creadas para la asignatura de Español, pues tienen funciones específicas como ordenar y seleccionar textos o hacer diagramas de éstos. (Stalmans, Valdés Pulido & Oliver Navarro, 2012)

4. Informe de evaluación del SABER

En 2009, Ana María Durán Pérez, para obtener el grado de maestra en psicología, realizó el Informe de evaluación del sistema de exámenes de diagnóstico y autoevaluación y estudio 2009”. Para ello se empleó un diseño cuasi-experimental con tres grupos experimentales y tres controles, dos del CCH y uno de la ENP, cada uno de ellos con exámenes pre-test y post-test con el tema 1 de Estadística.

En la evaluación participaron 112 alumnos y la selección de los grupos fue aleatoria. Un mes después de realizar el post-test, se les solicitó a los grupos experimentales contestar un cuestionario de opinión en el que participaron 59 estudiantes.

Los exámenes generados por los profesores en el módulo de “Exámenes de diagnóstico”, comprendieron 22, 27, y 26 reactivos de opción múltiple.

4.1. Desempeño técnico del SABER

En el informe de evaluación, la Mtra. Durán Pérez reporta que el SABER funcionó de manera adecuada pues cumplió con los estándares de los navegadores de internet, que cuenta con la identidad institucional (UNAM) y que cuenta con los elementos de seguridad que evita a los usuarios no autorizados por la DGEE a vulnerar el sistema. También menciona que el desempeño de los servidores fue adecuado, lo que aseguró la transferencia de la información.

4.2. Resultados de la evaluación

En el cuestionario de opinión contestado por los alumnos de los grupos experimentales, 71% consideró que el módulo de “Autoevaluación y estudio” les sirvió mucho para identificar los temas que dominan menos y casi todos, tanto de la Escuela Nacional Preparatoria como del Colegio de Ciencias y Humanidades, que utilizarían el SABER para evaluar sus conocimientos antes de un examen y para repasar.

Del diseño cuasi-experimental con el que se evaluó el tema 1 de Estadística del módulo de “Autoevaluación y estudio”, se extrajo que el factor tiempo en el uso del SABER es importante, pues los grupos experimentales del CCH, que sólo lo emplearon dos semanas, no tuvieron una mejoría significativa; en cambio, el grupo de la ENP que practicó durante cinco semanas, sí la tuvo.

4.3. Recomendaciones generadas en el informe de evaluación

A continuación se presenta un resumen de las recomendaciones obtenidas de la evaluación realizada al SABER. i) Los resultados de la evaluación muestran que el módulo de “Exámenes de diagnóstico” es útil para evaluar el aprendizaje de los alumnos, por lo que se recomienda que la Dirección General de Evaluación Educativa difunda su uso entre los profesores, ya que les puede ayudar a identificar los temas que sus estudiantes dominan menos y así planear acciones que ayuden a mejorar el aprendizaje de dichos temas. ii) Los resultados de la evaluación indican que el uso del módulo de “Autoevaluación y estudio” es útil para mejorar el aprendizaje por medio de lecciones, ejercicios interactivos y de autoevaluaciones, por lo que se recomienda difundir la utilidad de esta herramienta en línea entre los profesores del bachillerato y sus alumnos. Para los profesores puede ser un recurso didáctico auxiliar en la enseñanza y para los alumnos un medio útil para estudiar, repasar, aclarar dudas o reforzar sus conocimientos. iii) Debido a que los resultados que se obtuvieron con la práctica en el módulo de “Autoevaluación y estudio” no son generalizables, se recomienda realizar más evaluaciones controladas con el objeto de verificar las conclusiones sobre su utilidad, determinar el tiempo óptimo de la práctica y la mejor forma de utilizarlo con alumnos repetidores (Durán Pérez, 2011).

5. Atención a las recomendaciones

A partir de las recomendaciones realizadas en la evaluación, a continuación se presentan los datos del uso del SABER en el período enero de 2012 a septiembre de 2013. Las cifras son producto de una intensa promoción (presentaciones a autoridades, profesores y alumnos, visitas a cada uno de los planteles del bachillerato, cursos de capacitación, inserciones en la Gaceta UNAM, cápsulas radiofónicas, trípticos, carteles, correos electrónicos) en todos los planteles de ambos subsistemas del bachillerato de la UNAM, a las autoridades, los profesores y los estudiantes.

5.1. Estadísticas del uso de los módulos

En primer lugar, en la Tabla 3, se muestra la frecuencia de uso del módulo de “Exámenes de diagnóstico”, donde se aprecia que Geometría tiene mayor cantidad de exámenes generados y de alumnos que los contestaron, a pesar de no ser la asignatura con mayor cantidad de profesores que la utilizan; esto podría deberse a que es la que tiene mayor cantidad de resultados de aprendizaje.

En promedio cada profesor realiza 4.6 exámenes que son contestados por 26 estudiantes. Estos datos implican la conveniencia encontrada por los profesores al realizarlos.

Las últimas tres asignaturas que fueron creadas (Física I, Química y Biología) tienen pocos exámenes, ya que a la fecha se está preparando su promoción y difusión en la cual se utilizarán los medios publicitarios que se utilizaron en las asignaturas anteriores y que probaron su eficacia (SDE, 2013).

Tabla 3. Cifras de uso del Módulo de Exámenes de diagnóstico

En segundo lugar, en la Tabla 4, se encuentra la utilización del módulo de “Autoevaluación y estudio”. En ella se observa que se han contestado más de un millón de preguntas de autoevaluación de enero de 2012 a la fecha, lo cual implica que una gran cantidad de alumnos tienen un conocimiento preciso de dónde se encuentran sus puntos débiles, sobre todo en Álgebra, Geometría y Español (SDE, 2013).

Tabla 4. Cifras de uso del Módulo de Autoevaluación y estudio

Es digno de llamar la atención el elevado número de preguntas de autoevaluación contestadas de las nuevas asignaturas, pues como se mencionó anteriormente, aún no se realiza su difusión. Esto podría deberse a la exploración del SABER por parte de los estudiantes que lo utilizan de forma regular para las demás materias, y también, por las evaluaciones que se han hecho de ellas de las cuales se habla en el siguiente apartado.

5.2. Otros ejercicios de evaluación

La tercera recomendación hace explícita la necesidad de seguir evaluando el sistema, puesto que sus resultados no son generalizables y queda como tarea pendiente investigar el tiempo óptimo para el uso del módulo de “Autoevaluación y estudio” y la mejor forma de utilizarlo.

5.2.1 Evaluación en la ENP

En marzo del presente año se realizó un estudio coordinado por la Mtra. Laura Mora Reyes, jefa del departamento de Matemáticas en la Dirección General de la Escuela Nacional Preparatoria. Se convocó a profesores de sexto año, de las áreas de Ciencias Físico Matemáticas y Ciencias Biológicas Químicas y de la Salud de los nueve planteles, quienes recibieron una capacitación por parte del personal de la DGEE para el uso del SABER. Se seleccionaron temas de la unidad 5 de Cálculo, “La integral”, en función de su relevancia y utilidad.

Participaron 18 profesores de los planteles 1, 3, 4, 5, 6, 8 y 9, con un total de 818 alumnos distribuidos en 20 grupos. Se les realizó un pre-test, una intervención que consistió en el estudio guiado de las lecciones interactivas de los temas elegidos y un post-test que fue contestado por 453 alumnos de 12 grupos.

Los resultados reportados fueron: i) una diferencia de medias de 1.4 puntos, ii) la diferencia de desviaciones estándar fue de 0.51 puntos, iii) un incremento de 24% de la calificación en promedio.

De lo anterior se infiere que el tiempo en el uso del módulo de “Autoevaluación y estudio” es, en efecto, de vital importancia para obtener resultados significativos. También se concluyó que la participación activa de los profesores influye en el uso de los estudiantes, lo que mejora su desempeño en el post-test.

5.2.2 Evaluación de Física I, Química y Biología

Con el propósito de evaluar la aceptación de las nuevas asignaturas, se realizó un estudio de una lección interactiva de cada materia. Para ello, se reunió en la sala de cómputo de su respectivo plantel al grupo participante. A cada uno de ellos, se le pidió estudiar una lección y después se le repartió un cuestionario de opinión donde, en general, los alumnos consideraron que las lecciones son útiles para mejorar su aprendizaje, que los ejercicios interactivos les ayudan a comprender mejor los conceptos y que las imágenes, animaciones, audios y videos les permiten simplificar su acercamiento al conocimiento.

Durante el ciclo escolar 2013 – 2014 se están desarrollando dos estudios controlados para las asignaturas de Física I y Biología.

6. Utilidad del SABER

SABER está en servicio desde 2009, al pasar de estos años, se ha encontrado que es utilizado para múltiples propósitos como preparar exámenes de diagnóstico, departamentales o extraordinarios, parte del programa institucional de tutorías, preparación para exámenes de ingreso al nivel superior, refuerzo de los conocimientos necesarios en los primeros años de licenciatura, diagnóstico para definir si se requiere algún curso propedéutico, así como preparar a los estudiantes para las Olimpiadas del conocimiento.

7. El SABER en la actualidad

La DGEE tiene en proceso las tres últimas materias que le fueron designadas para desarrollar: Física II, Historia de México e Historia Universal. La primera ya con un avance considerable y de las últimas dos se elaboran los perfiles de referencia en comisiones de profesores de ambos subsistemas del bachillerato de la UNAM.

8. Conclusiones

Desde su aparición en 2009, SABER ha puesto en línea, en la dirección www.saber.unam.mx, ocho asignaturas consideradas de alto índice de reprobación. Las evaluaciones que se le han realizado sugieren que la participación comprometida de un profesor, con el estudio regular en el módulo de “Autoevaluación y estudio” por parte del alumno, permiten crear una diferencia significativa en los resultados obtenidos entre un pre-test y un post-test.

Su eficiencia es notablemente mayor cuando el tiempo destinado al estudio de las lecciones interactivas es suficiente y la experiencia ha mostrado que es de, por lo menos, un mes por tema.

En el caso del módulo de “Exámenes de diagnóstico”, los profesores lo usan de manera regular, lo que implica su utilidad para identificar los temas en los que sus alumnos tienen deficiencias.

El SABER comenzó su historia en 2009, ahora, en el año 2013 ha tomado fuerza gracias a la participación de cientos de profesores, y como cada uno de nosotros sabe, el SABER no tiene fin.

Apéndice I

Pantalla de inicio de SABER

Apéndice II

Módulos de SABER

Apéndice III

Reporte de resultados global

Apéndice IV

Asignaturas y modos de estudio

Agradecimientos

Apreciamos la orientación que a lo largo del desarrollo del proyecto nos ha brindado la doctora Rosamaría Valle Gómez-Tagle.

Referencias

Durán Pérez, A. M. (2011). Informe de evaluación del sistema de exámenes de diagnóstico y autoevaluación y estudio 2009. México: UNAM.

Narro, J. (2008). Lineamientos para la elaboración de una propuesta académica para el período 2007-2011. . Recuperado el 12 de Diciembre de 2009, de www.dgi.unam.mx: http://www.dgi.unam.mx/rector/html/lineamientoimp. pdf

Stalmans, T., Valdés Pulido, T. & Oliver Navarro, J. A. (2012). Ensamble. Una plataforma multimedia para el desarrollo de actividades didácticas. México: VirtualEduca.

Subdirección de Desarrollo Educativo. (2012). Informe de actividades. Dirección General de Evaluación Educativa. México: UNAM.

Subdirección de Desarrollo Educativo. (2013). Informe de actividades. Dirección General de Evaluación Educativa. México: UNAM.

Valle, R. (2012). El sistema “Exámenes de diagnóstico y de autoevaluación y estudio de asignaturas del bachillerato de la UNAM". Revista mexicana de bachillerato a distancia (8).