Desarrollo y validación de un Generador Automático de Reactivos de respuesta construida para elaborar exámenes computarizados de ingreso a la educación superior
LÍnea TemÁtica: PrÁcticas para la reducciÓn del abandono. Acceso, integraciÓn y planificaciÓn

Eduardo Backhoff Escudero¹
Norma Larrazolo Reyna²
Felipe Tirado Segura^3
1Instituto Nacional para la Evaluación de la Educación (México)
²Universidad Autónoma de Baja California (México)
³Universidad Nacional Autónoma de México
Correo electrónico: [email protected]; [email protected]

Resumen. Las evaluaciones de gran escala se utilizan con muy diversos propósitos, entre los que destacan dos: exámenes de ingreso y de diagnóstico. Estos exámenes, por lo general, utilizan procedimientos estandarizados y automatizados que sean válidos y confiables, para lo cual se basan en el modelo de preguntas de opción múltiple y en la Teoría Clásica de la Medida. A pesar de su uso intensivo en las instituciones educativas, este modelo de examen tiene serias limitaciones, tales como: una gran complejidad para elaborar reactivos de calidad; limitaciones para valorar conocimientos complejos; distancia pedagógica con la forma en que se enseña y se evalúa en el salón de clases; sesgos ocasionados por la adivinación; y, desgaste rápido de los reactivos de los exámenes. En este trabajo se hacen dos planteamientos para superar las limitaciones de los exámenes tradicionales que se utilizan para el ingreso a las instituciones educativas: 1) evaluar a gran escala las competencias escolares alineadas al currículo, que logran los estudiantes con base en preguntas de respuesta construida (o abierta) o semi construida, que se puedan administrar y calificar con el uso de computadoras, 2) construir exámenes equivalentes, conceptual y métricamente, con base en un generador automático de ítems, y 3) utilizar los resultados de los exámenes de ingreso como diagnóstico académico. En este trabajo se presenta el desarrollo y resultados del diseño conceptual de las competencias académicas a evaluar, del editor y generador de reactivos, así como de la interfaz electrónica que administra y califica los diversos exámenes que permite el sistema. Se ofrecen ejemplos de los distintos tipos de ítems que se pueden diseñar, generar, administrar y calificar de manera automática, y se ofrecen ejemplos de su capacidad diagnóstica.

Descriptores o Palabras Clave: Generador Automático de Ítems, Exámenes de Gran Escala, Exámenes Computarizados de Ingreso, Evaluación Diagnóstica, Exámenes de Respuesta Construida.

Introducción

Hace más de 20 años desarrollamos el Examen de Habilidades y Conocimientos Básicos (Backhoff y Tirado, 1992) y el Sistema Computarizado de Exámenes (Backhoff, Ibarra y Rosas, 1993). Ambos desarrollos conforman un examen asistido por computadora que se utiliza para el ingreso al bachillerato y a las instituciones de educación superior, que se le conoce simplemente como EXHCOBA. Es sin duda el primer examen computarizado de gran escala en México, que ha sido utilizado en las últimas dos décadas por aproximadamente 20 instituciones educativas del país. En 2012,presentaron este examen 120 mil estudiantes, como parte del proceso regular para ingresar a distintas universidades estatales del país, de las que sobresalen por su prestigio y dimensiones las de universidades autónomas de: Baja California, Sonora, Nayarit, Guanajuato, Querétaro, Aguascalientes, y Ciudad Juárez.

El principal propósito de este examen es evaluar el aprendizaje escolar que adquieren los estudiantes durante su vida escolar (primaria, secundaria y bachillerato). Su filosofía se centra en evaluar aquellas habilidades y conocimientos básicos que dan soporte a otros aprendizajes que se adquirirán en los niveles educativos posteriores. Asimismo, pone énfasis en la compresión y aplicación del conocimiento, y trata de excluir los conocimientos puramente memorísticos.

Como la mayoría de los exámenes de gran escala, este examen utiliza elementos y procedimientos estandarizados y automatizados, que sean válidos y confiables. Uno de estos elementos es el modelo de reactivos de opción múltiple, que tiene muchas bondades pero también serias limitaciones. Entre sus bondades destacamos tres: 1) la objetividad y rapidez para calificar las respuestas, 2) la capacidad y versatilidad para evaluar múltiples habilidades intelectuales no- complejas (básicamente de memoria y comprensión) y 3) la confiabilidad y consistencia de los resultados.

Por otro lado, entre las limitaciones de los reactivos de opción múltiple se encuentran las siguientes: 1) la complejidad para elaborar buenos reactivos,incluyendo a sus distractores, 2) la rapidez con que se desgastan las preguntas y los exámenes, una vez utilizados, 3) las dificultades para valorar habilidades intelectuales y conocimientos complejos, 4) la distancia entre la forma de evaluar y la forma en que se enseña en el salón de clases, 5) la manera un tanto artificial de evaluar los conocimientos, habilidades y competencias, y 6) los sesgos ocasionados por la adivinación y la copia.

Considerando las limitaciones que imponen los reactivos de opción múltiple en la evaluación de los aprendizajes escolares, así como las potencialidades que brinda la tecnología digital, hacemos un nuevo planteamiento conceptual y tecnológico para generar exámenes de gran escala por computadora que midan competencias escolares que puedan ser calificados a través de reactivos de respuestas construidas o semiconstruidas.

2. Propósito y principios del Examen de Competencias Básicas Académicas

De acuerdo conNovak (1982), la mayor eficacia del aprendizaje significativo reside en tres grandes ventajas: producir una retención más duradera de la información, facilitar nuevos aprendizajes relacionados y producir cambios profundos que perduran más allá del olvido de detalles concretos.Para Pellegrino, Chudowsky y Glaser (2001), el modelo de aprendizaje subyacente tiene que servir como elemento unificador que brinde cohesión entre el currículo, la instrucción y la evaluación. Esta relación es crucial porque un examen no es un ente aislado, debe estar alineado al currículo y a la instrucción, con el propósito de apoyar nuevos aprendizajes. Afín a este pensamiento, el Excoba está organizado de acuerdo conlos currículos vigentes de la educación básica y media superior.

Las competencias escolares básicas son relativamente estables y de lento desenvolvimiento, y no cambian abruptamente en un período corto de tiempo; lo contrario ocurre con el conocimiento mal cimentado. Por lo anterior, resulta indispensable evaluar competencias escolares que sean básicas y estructurales. Por lo anterior, el Excoba pretende evaluar los aprendizajes significativos que tuvieron lugar tanto en la educación básica como en el bachillerato. El examen evalúa aquellos conceptos y procedimientos que el estudiante logró adquirir sustancialmente y que permanecieron en la estructura de su conocimiento de manera organizada.La evaluación de estos aprendizajes pone énfasis en las actividades que se realizan dentro de un contexto real, como es el salón de clases.

El Excoba trata de evaluar la comprensión de las ideas, plantear dilemas que evoquen procesos de pensamiento en los que se requiera entender, juzgar y crear respuestas. Los alumnos construyen sus respuestas en un formato de respuesta abierta, o bien, en uno que solicita clasificar, ubicar, acomodar o seleccionar varios elementos conceptuales de un campo del conocimiento.

El Excoba conserva, a grandes rasgos, la estructura de contenidos de su antecesor EXHCOBA, como se observa en la Figura 1. El nuevo instrumento evalúa 120 contenidos para el caso del ingreso al bachillerato: 40 pertenecientes a la educación primaria y 80 a la educación secundaria. Para el ingreso al nivel universitario, se agregan a estos 120 contenidos, 60 competencias relacionadas con la profesión a estudiar. El examen se organiza en tres secciones. La primera compuesta de las habilidades adquiridas durante la educación primaria y que se relacionan con el uso del lenguaje y las matemáticas. La segunda sección corresponde al nivel de secundaria, y está dividida en cuatro áreas: español, matemáticas, ciencias naturales y ciencias sociales. A su vez, el área de ciencias naturales se subdivide en biología, física y química, y ciencias sociales se reparte en historia de México e historia universal, geografía, y formación cívica y ética. La tercera sección incluye los conocimientos adquiridos en el bachillerato y está dividida en nueve áreas de especialidad: Lenguaje, Ciencias Sociales, Ciencias económico- administrativas, Comunicación, Humanidades, Matemáticas, Química, Física y Biología.

3. Modelos de reactivos

Denominamos a los ítems digitales del Excoba con el nombre de Reactivos Estructurales Constructivos (RESCO). El concepto de estructuralse debe a cada ítem apela a un campo del conocimiento y no, a un contenido puntual. Por lo tanto, el estudiante debe mostrar la capacidad para responder a un sistema de conceptos y conocimientos coherentemente enlazados y no a uno único y desarticulado. El nombre de constructivose refiere al constructivismo cognoscitivo, que pretende evaluar aprendizajes significativos del conocimiento, posición sustentada por Ausubel (2002) y al hecho de que al estudiante se le solicita construir su respuesta, más que seleccionarla.

Estos nuevos reactivos buscan adaptase a las exigencias de las competencias escolares a evaluar, por lo que los RESCO no se reducen a un solo formato. Así, muchos ítems de aritmética, física, química, geometría y álgebra, solicitan al estudiante escribir su respuesta en un formato completamente abierto, donde hay que escribir la solución numérica o algebraica a un problema. En otros casos, como son las competenciasgeográficas,se presentan mapas dondelos estudiantes deben ubicar los elementos que se les solicitan (como las coordenadas o puntos geográficos). En muchos ítems de ciencias sociales y ciencias naturalesse les pide alos alumnos que clasifiquen conceptos dentro de un esquema de categorías. Finalmente, para evaluar la escritura se utiliza un método de escritura indirecto, donde el estudiante debe construir un párrafo coherente con base en una serie de oraciones aisladas.

Otra particularidad de los REESCO es la cantidad de respuestas solicitadas por reactivo. Aunque existen ítems dicotómicos, como en el caso del cálculo de problemas matemáticos, la gran mayoría les requiere a los estudiantes dar de dos a cinco respuestas, que se califican parcialmente, con métodos especiales.

4. Tabla de contenidos y especificaciones de reactivos

La tabla de contenidos presenta la estructura general del examen; es decir, las competencias escolares que evalúa el Excoba, que en total suman 300 (ver figura 1).

Para cada contenido curricular seleccionado se elaboró un modelo de evaluación de la competencia escolar, que contiene dos grandes apartados: (1) la descripción del contenido a evaluar y (2) la plantilla o estrategia de evaluación. La información general de la competencia incluye, entre otros, los siguientes apartados: el eje temático, el tema, el subtema, el nombre y la definición del contenido, la justificación y la delimitación de la competencia a evaluar.

La Tabla 1 muestra un ejemplo del contenido conocido como reacciones Redox, de la asignatura de química,del nivel de secundaria, con la descripción del contenido escolar a evaluar. De esta tabla destacamos la delimitación del contenido, que es: identificar en una reacción química, que átomos pierden o ganan electrones en los procesos de oxidación y reducción.

Por su parte, en la plantilla o estrategia de evaluación se especifican todos los componentes conceptuales y gráficos que permitirán generar familias de ítems, ítems- padre e ítems-hijo, los cuales se presentarán y calificarán en un sistema computarizado. En la Figura 2 se muestra un ejemplo de plantilla para el caso de la competencia sobre las Reacciones Rodex, de la asignatura de Química del nivel secundaria. Para ello se presenta un listado de reacciones químicas que implican pérdida o ganancia de electrones, debiendo identificar si dicho cambio de carga corresponde a una reacción de oxidación o a una de reducción.

Con la información contenida en la plantilla, el generador automático de reactivos produce ítems-hijo(equivalentes) para evaluar la competencia deseada. La Figura 3 muestra el ejemplo de una reactivo para evaluar lacomprensión de las reacciones de oxidación y de reducción, basada en esta información.

Para capturar la información de las especificaciones de este tipo de reactivos se desarrolló unEditorde Reactivos que permite construir 20 modelos de ítems (aunque se pueden desarrollar los que sean necesarios) que se adecuan a las necesidades de cada competencia académica a evaluar. Cada modelo de ítem puede generar decenas o cientos de reactivos digitales equivalentes conceptualmente, según sea el caso. El Editor de Reactivos también permite generar una gran cantidad de exámenes de manera aleatoria y de versiones fijas de una prueba.

En la Tabla2 se muestra cómo se estructuran estos reactivos, utilizando elcaso de la competencia derepresentación de fracciones. En esta tabla se puede observar el ejemplo para evaluar fracciones con un modelo que contiene dos familias de ítems, cuatro ítems-padre (cada una) y, en total,cerca de 90 ítems-hijo.

5. Interfaz

Una vez cargados los ítems en el Editor de Reactivos, éste generará un ítem-hijo para cada competencia (o mayor número si fuera necesario), con lo que se conformará un examen en una interfaz computarizada,donde el alumno tendrá que responder a cada una de las preguntas. Las respuestas que se le solicitan al alumno pueden ser de cuatro tipos: 1) arrastre, donde el estudiante elige un elemento (figura o texto) y lo ubica en un lugar específico (por ejemplo, las coordenadas geográficas en un mapa); 2) selección, en la que el alumno elige una o varias opciones que se le presentan (por ejemplo, conceptos en un párrafo); 3) escritura, en la que el educando escribe libremente su respuesta (por ejemplo, una expresión algebraica), y 4) combinado, donde el estudiante proporcionar dos respuestas (por ejemplo, calcular el volumen de un cuerpo y elegir la unidad correspondiente).

La Figura 4 muestra la interfaz gráfica del Excoba, con los señalamientos que corresponden a cada uno de sus elementos. La interfaz es muy intuitiva y fácil de utilizar. Contiene los espacios para presentar los reactivos y responder a ellos;los elementos para navegar entre un reactivo y otro, así como las siguientes ayudas: indicador del número de reactivo que se responde, cronómetro, formulario, ayuda para responder, y calculadora.

6. Conclusiones

La evaluación de competencias escolares es un campo de la educación que cobra cada día mayor importancia, y que ha sido influenciada por la psicología del aprendizaje y las tecnologías digitales. En particular, la revolución cognoscitiva ha puesto énfasis en los procesos de razonamiento, en la construcción del conocimiento y en la solución de problemas; asimismo, se ha insistido en apegar la evaluación del aprendizaje a escenarios cercanos al salón de clase y a la vida real.

Por otro lado, la tecnología digital ofrece condiciones y facilidades que apenas hace una década eran impensables, las cuales están dando lugar a una nueva era en la evaluación educativa, donde la evaluación del aprendizaje es más auténtica y dinámica. El Excoba representa un buen ejemplo de la integración de la teoría cognitiva, la teoría de la medición y la tecnología digital para evaluar competencias escolares.Los principios utilizados por el Excoba pueden ser trasladados a otras áreas educativas: exámenes estatales, exámenes diagnósticos y de certificación, exámenes departamentales, exámenes en el aula, etcétera.Hoy por hoy, la evaluación asistida por computadora de los procesos cognoscitivos es uno de los campos más prometedores en el campo de la educación. Pasamos del modelo de un solo examen de opción múltiple a un generador de ítems y exámenes capaz de elaborar decenas o cientos de ítems y exámenes equivalentes conceptualmente; habrá que demostrar que también lo son empíricamente.

7. Referencias

Ausubel, D. (2002). Adquisición y retención del conocimiento: una perspectiva cognitiva. Barcelona: Paidós.

Backhoff E. y Tirado F. (1992). Desarrollo del Examen de Habilidades y Conocimientos Básicos. Revista de la Educación Superior, 21 (3), 95-118. Recuperado el 7 de diciembre de 2010, de http://www.exhcoba.mx/pdf/1992_Desarrollo_del_EXHCOBA.pdf

Backhoff, E., Ibarra, M. y Rosas, M. (1996). Desarrollo y validación del Sistema Computarizado de Exámenes SICODEX. Revista de la Educación Superior, 25 (1). 41-54. Consultado el 20 de noviembre de 2010, en: http://www.cesu.unam.mx/iresie/Revistas/REVISTAS/MX/REVEDUSUP/1996/V25N1(97)A1996/MX.REVEDUUP.1996.V25N1(97).P41-54.HTM

Novak, J.D. (1982): Teoría y práctica de la educación. Madrid, Alianza Editorial.

Pellegrino, J. W., Chudowsky, N. y Glaser, R. (Eds.). (2001). Knowing what students know: the science and design of educational assessment. Board on Testing and Assessment, Center for Education, National Research Council.Recuperado el 2 de diciembre de 2010, de http://www.nap.edu/catalog/10019.html

Anexos

Figura 1.
Estructura de Excoba

Figura 2
Información para generar ítems sobre la identificación de reacciones de oxidación y reducción

Figura 3
Ejemplo de un ítem-hijo para identificar reacciones de oxidación y reducción

Figura 4.
Interfaz gráfica del Excoba con la identificación de sus elementos