Progresión del estudiante en la Universidad de Talca: evaluación de la efectividad institucional para la gestión en docencia.

Pablo Opazo Bravo

Universidad de Talca
Dirección de Planificación y Análisis Institucional
Correo-e: [email protected]

Resumen

La Universidad de Talca, para efectos de conocer el comportamiento de sus indicadores de gestión en docencia y enfocar más eficientemente las políticas en pregrado, utiliza un mecanismo llamado “Análisis de Progresión del Estudiante”. El objetivo de este método es entender los principales procesos asociados a la gestión en docencia, los cuales se analizan profundamente en 7 informes, que corresponden a: 1.- selección, 2.- matrícula de primer año, 3.- matrícula total, 4.- deserción, 5.- aprobación y reprobación, 6.- titulación, y 7.- empleabilidad, permitiendo un análisis holístico de los aspectos asociados a la gestión docente y una mayor eficacia en la toma de decisiones. Las metodologías utilizadas van desde lo descriptivo a lo inferencial, utilizando análisis de frecuencias, test de hipótesis y regresión logística, entre otras.

Los principales resultados asociados a la implementación del análisis de progresión del estudiante corresponden a la mejora en la calidad de los estudiantes, eficiente cobertura de vacantes, coherencia en las decisiones de inversión, mejores resultados en los procesos de acreditación de carreras y mejoramiento sistemático de los indicadores propios del análisis de progresión del estudiante, entre otros.

Palabras Claves: Progresión, Análisis, Retención, Deserción, Aprobación, Titulación, Efectividad Institucional.

1.Situación inicial

Previo al desarrollo de los informes de Análisis de Progresión del Estudiante, la Universidad de Talca ya utilizaba indicadores de evaluación de la docencia. Sin embargo, éstos se realizaban de manera no sistemática, sin una definición clara y sin valor agregado en términos de los elementos dirigidos a mejorar la interpretación de los resultados. Eso implicaba que la interpretación de cada indicador y de sus variables condicionantes, fuera un esfuerzo subjetivo de cada directivo, lo que incrementaba la posibilidad de desaciertos en las decisiones y por tanto, se generaba una organización más ineficaz.

Para mejorar esta falencia y en el esfuerzo por sistematizar los indicadores de gestión asociados a la docencia de pregrado, se desarrollaron informes que analizaban algunos de sus aspectos específicos, los cuales basaban su metodología en la identificación del fenómeno (ejemplo: deserción, titulación) y el análisis de las variables que podrían condicionar su resultado. Esta actividad es muy importante dentro del desarrollo del análisis de progresión del estudiante, ya que establece mediciones orientadas a metas institucionales, contiene información sistematizada (variadas mediciones en periodos de tiempo) y permite interpretar los hallazgos en contextos y perfiles específicos de estudiantes (campus, perfil socioeconómico, entre otros) (Bauer, 2003). Como consecuencia de esta nueva perspectiva de análisis, el primer informe realizado, correspondió al proceso de admisión en 2005 y luego el informe de matrícula de primer año en 2006. Para el 2008, la institución ya contaba con lo que se llamaría “Análisis de Progresión del Estudiante”, realizando 6 informes de gestión, que eran los del proceso de 1.- selección, 2.- matrícula de primer año, 3.- matrícula total, 4.- deserción, 5.- aprobación de asignaturas, y 6.- titulación, los cuales se fueron consolidando paulatinamente. En 2010, se completa el análisis de progresión del estudiante con la creación del primer informe de empleabilidad. Con el último informe mencionado, es posible cerrar el círculo de los procesos académicos del estudiante, y por tanto, interpretar los resultados institucionales desde que el estudiante es seleccionado para su ingreso a la Universidad, hasta que está inserto en el mundo laboral.

2.Objetivos del Análisis de Progresión del Estudiante

Durante el desarrollo de este mecanismo de evaluación, es relevante mencionar los objetivos que movilizan esta iniciativa, los cuales responden directamente a las necesidades de información estratégica que define la Institución. A continuación se describen los objetivos:

Sistematizar los indicadores de evaluación del desempeño institucional para la gestión en docencia.

Entender holística y profundamente las principales condicionantes de los resultados asociados a la gestión en docencia.

Estos objetivos son secuenciales y permiten la mejora continua, ya que una vez difundidos los informes e internalizado el conocimiento generado a nivel institucional, esto permite retroalimentar para mejorar la definición de indicadores y la pertinencia de los análisis desarrollados para las versiones posteriores. La lógica planteada le da el carácter innovador a esta iniciativa, permitiendo una amplia variedad de usos a la información generad y denotando creatividad en los métodos de evaluación, aspectos necesarios para realizar una correcta evaluación institucional (Allen, McGee, 2004).

En consecuencia, el primer objetivo es crítico para lograr un proceso sistemático y ordenado de evaluación de indicadores de desempeño y el segundo es clave para lograr que todos los fenómenos asociados a la gestión en docencia, que en genérico son: la admisión (selección y matrícula), la eficiencia en la docencia (deserción y aprobación) y la eficacia en la docencia (la titulación y la empleabilidad); tengan un sentido institucional y una interpretación global, lo que da el carácter distintivo a este mecanismo de evaluación.

3.Acciones ejecutadas para su puesta en marcha

3.1 Lógica del Análisis de Progresión del Estudiante.

El análisis de progresión del estudiante en la universidad de Talca, es una metodología que se creó con el objetivo de desarrollar un análisis completo acerca de las condiciones y causas de los fenómenos más relevantes dentro del proceso formativo del estudiante en la universidad. La base conceptual para el análisis de progresión del estudiante está dentro de los procesos de gestión del conocimiento corporativo (Raich, 1999), representado gráficamente en la fig. 1, lo que se concretiza tanto en la estructura de los informes, como en sus mecanismos de difusión y retroalimentación, además, de la capitalización del conocimiento generado, en caso que sea pertinente.

Figura 1: Actividades del Proceso de Gestión del Conocimiento.

Dentro de las etapas descritas, los informes del análisis de progresión del estudiante se encuentran en la búsqueda o creación, en la distribución y en el desarrollo de conocimiento corporativo, mientras que la aplicación o protección de éste, se desarrolla en las unidades pertinentes, ya sea en las Vicerrectorías asociadas a los procesos docentes o en las unidades docentes propiamente tales (Facultades, Escuelas, etc.).

Como ya se mencionó, los informes de análisis de progresión del estudiante tienen, en uno de sus objetivos, entender profundamente las principales condicionantes de los resultados asociados a la gestión en docencia, y, dada esa condición, cada informe también refleja una etapa del proceso formativo. Por lo tanto, además de la profundización en el análisis de las causas de estos fenómenos, también se puede construir una línea de desarrollo del estudiante desde que este ingresa a la Universidad hasta que está inserto en el mundo laboral. La Figura 2 es una representación gráfica de esta iniciativa, mostrando el método y la lógica de trabajo detrás de la elaboración de los informes de análisis de progresión del estudiante.

En la fig. 2 se establecen 3 bloques: el primero representa las variables que se utilizan para modelar cada proceso asociado a la progresión del estudiante; el segundo muestra los 7 informes, clasificados según su posición dentro del proceso formativo, diferenciando los informes de evaluación del proceso y los informes de evaluación de la efectividad institucional; el tercer bloque tiene relación con las acciones y decisiones, que están basadas en la identificación objetiva de las relaciones y causas establecidas en los informes descritos. Además, en la parte inferior del diagrama se observan las instancias de difusión y retroalimentación, las cuales corresponden a entidades asociadas directamente a la toma de decisiones, y que, por tanto, son las principales responsables de los resultados institucionales asociados al proceso formativo y de retroalimentar respecto a las variables y metodologías utilizadas en la elaboración de cada informe.

Figura 2: Generación de los Informes de Análisis de Progresión del Estudiante. (Elaboración propia. Dirección de Planificación y Análisis Institucional. Universidad de Talca)

3.2 Estructura de los Informes de Análisis de Progresión del Estudiante

De acuerdo a la lógica mostrada anteriormente, en torno al desarrollo de un trabajo sistemático y replicable, se debe señalar que cada informe cuenta con:

Objetivo general: principales propósitos del informe.

Metodología: apropiada a las necesidades de información definidas para cada informe.

Glosario de términos para las variables e indicadores: principales definiciones.

Capítulo de resultados: tablas, gráficos, test y modelos de cada fenómeno.

Conclusiones del análisis: principales resultados y hallazgos del análisis.

Dentro de los beneficios asociados a la arquitectura de los informes, destaca el hecho que la estructura de estos informes es estándar y por tanto, permite establecer un patrón de diseño común, característica primordial en su condición de replicabilidad (Bers, Seybert, 1999). Otro beneficio importante, es el compromiso implícito de la unidad de generar un avance para cada informe nuevo, donde basados en la retroalimentación generada en las instancias de difusión, se realizan ajustes a los informes. Estos ajustes corresponden principalmente al uso de nuevas metodologías y a la adecuación de conceptos y definiciones para los indicadores.

Cabe señalar que dentro de la estructura de los informes, también se establecen los objetivos y las fechas en que serán desarrollados, esto permite a los directivos y a los principales clientes de esta información, programar sus solicitudes específicas, dado que el informe marca el hito que establece la generación de la información corporativa de carácter oficial. En la tabla 1 se presenta el objetivo de cada informe y la calendarización anual.

Tabla 1: Objetivos y calendario de los Análisis de Progresión del Estudiante.

Fuente: Elaboración Propia. Dirección de Planificación y Análisis Institucional. Universidad de Talca.

Las metodologías utilizadas para el desarrollo de los informes dependen del nivel de sofisticación de la respuesta que se busca para cada uno de ellos, y por tanto, tienen relación con el nivel de profundidad al que es necesario llegar en la evaluación de cada fenómeno. De acuerdo a esta condición, se utilizan preferentemente metodologías de carácter descriptivo, a través de análisis de gráficos, de frecuencias, estadísticos de tendencia central, entre otras. Sin embargo, y como consecuencia del proceso de mejora continua al que se somete cada informe, existen otras metodologías más adecuadas para responder a las nuevas preguntas asociadas a cada informe. Dado el nivel de madurez de los informes y la mayor complejidad de las preguntas a responder, se utilizan metodologías como:

test de hipótesis; para evaluar las variables más significativas que influyen en el fenómeno (caso del informe de titulación y de Aprobación y Reprobación).

regresión logística; para construir un modelo estadístico del fenómeno en estudio, con el objetivo de evaluar las condiciones del perfil de un estudiante asociado a un resultado del proceso formativo (caso del informe de deserción, donde se evalúa la probabilidad de desertar de cada estudiante).

Estas metodologías son utilizadas frecuentemente para el tipo de evaluaciones que se realizan en torno a indicadores de progresión en educación superior (Hinkle, Austin, McLaughlin, 1989; Huberty, Lowman, 1998).

Además, en la tabla 2 se describen en profundidad los indicadores y criterios utilizados para el cálculo y la interpretación de cada informe. Esta configuración obedece a la disponibilidad de información tanto de sistemas interno como de fuentes externa para efectos de realizar comparaciones y, esencialmente, se construye sobre la base de las medidas de apoyo a la calidad de la información (McLaughlin, Howard, Cunningham, Blythe, Payne, 2004).

3.3 Mecanismos de difusión de los informes

Dentro de la lógica de la gestión del conocimiento sobre la que se sustenta el método planteado, uno de los aspectos más relevantes tiene relación con las vías e instrumentos de difusión del conocimiento generado, tanto por su relevancia en términos de la internalización de la información entregada por parte de los directivos, como por la relevancia de los procesos de retroalimentación, que son críticos para la mejora continua de los informes.

Tabla 2: Características de los Informes de Progresión del Estudiante

Según lo expuesto anteriormente, el proceso de difusión tiene dos instancias, las internas y las externas:

Instancias de difusión internas.

Presentación en el Comité Consultivo: previo a la presentación oficial de los documentos, éstos son evaluados y mejorados en su forma y contenidos en un comité ad-hoc. El comité plantea sus observaciones, éstas se discuten con el equipo que desarrolla cada informe y dentro de un plazo establecido, se afinan los informes y se presentan oficialmente.

Difusión en Organismos Colegiados: dado que la información que entregan los informes de análisis de progresión del estudiante es de carácter transversal a la organización, estos son presentados en todas las instancias de toma de decisiones que consideren que la información es pertinente a su quehacer en gestión. Por tanto, los resultados obtenidos son presentados de manera presencial en los Consejos Académicos, en los Consejos de Facultad y en los Consejos de Docencia.

Difusión a Través de Medios Electrónicos: la Dirección de Planificación y Análisis Institucional cuenta con una página web (http://planificacion.utalca.cl), donde presenta la información relativa a su quehacer. Para el caso particular de los productos de análisis institucional, existe un espacio donde se publican todos los informes del análisis de progresión del estudiante, más otros documentos relevantes, los que están a disposición de la comunidad universitaria.

Información por unidad académica: dado que los informes de análisis de progresión del estudiante tienen un carácter global, es necesario entregar información particular a cada unidad académica con sus propios resultados. En este sentido, se elabora un set de información con los indicadores desarrollados en los informes, los que se entregan de manera particularizada a cada carrera.

Instancias de difusión externas.

Difusión en seminarios y eventos especializados: para efectos de lograr la capitalización del conocimiento generado y llegar a otras instancias de retroalimentación, la participación en seminarios y eventos especializados es clave. Asimismo, la unidad de Análisis Institucional participa activamente en dos redes de intercambio de datos, donde se sistematizan, a nivel interinstitucional, gran parte de los indicadores asociados al análisis de progresión del estudiante.

Visitas de otras universidades: en el mismo sentido anterior, se puede mencionar que la iniciativa desarrollada es parte de los contenidos que otras instituciones de educación superior han solicitado conocer y para los cuales existe una total apertura institucional hacia compartir la experiencia.

4. Resultados de la Implementación del Análisis de Progresión del Estudiante

Dentro de los resultados más destacables a nivel institucional se pueden mencionar los siguientes:

Mejora sustancial en los resultados de la admisión, pasando del 8º lugar en los rankings de puntajes de selección en 2006 al 4º lugar en 2011, lugar que se mantiene desde el 2009.

Equilibrio en las tasas de uso de vacantes, con resultados en torno al 100% de cobertura de vacantes desde el 2005.

Mejora en cantidad y calidad de las acreditaciones de carreras. Mientras en 2005 había 8 carreras acreditadas (38%) con 4,25 años de acreditación promedio, al 2009 hay 11 carreras acreditadas (52%) con un promedio de 5 años de acreditación 1.

Niveles de deserción controlados y más bajos que los valores promedio del sistema

1 El 2010 no se considera comparable, ya que es el año del terremoto en Chile y la Universidad de Talca suspende las postulaciones de carreras a las acreditaciones nacionales, dados los grabes daños sufridos en su infraestructura.

de Educación Superior Chileno. Si bien, para todos los niveles de deserción analizados (primer, segundo y tercer año) los niveles de deserción están bajo el promedio del sistema chileno, la deserción de primer año está casi en la mitad de lo que manejan las universidades de mejor desempeño en Chile. Estas diferencias son menores para las deserciones de segundo y tercer año, sin embargo, siguen siendo más bajas que las del sistema.

Desarrollo de instrumentos de evaluación de la estrategia modernos, a través de la implementación de Data Warehouse, ya que la rigurosa definición de indicadores permite la automatización de éstos.

Mayor control sobre los indicadores de progresión. Ejemplo de ello es que entre el 2002 y el 2005 las tasas de deserción de primer año estaban en torno al 17% y entre el 2006 y el 2010 están en torno al 11%, además, para el mismo periodo analizado anteriormente, los niveles de aprobación de asignaturas en primer año estaban en torno al 79%, mientras que actualmente se encuentran en torno al 86%, los promedios de notas de egreso de enseñanza media de los estudiantes estaban en torno al 6,1 y actualmente están en torno al 6,2 (pasando del 5° lugar a nivel nacional al 3° en cuanto a los seleccionados), entre otros resultados destacables. Lo anterior se podría atribuir a una mayor eficacia en las decisiones asociadas a mejorar cada indicador de desempeño institucional, dado un mayor conocimiento de los fenómenos analizados y de sus variables condicionantes.

También es posible identificar la relevancia de la información generada en los informes de análisis de progresión de estudiantes, en el hecho que son parte de los indicadores utilizados para la evaluación del Plan Estratégico Institucional. Además, son consultados frecuentemente para la toma de decisiones institucionales como definición de vacantes, proyectos de expansión, procesos de acreditación, presentación de proyectos y definición de políticas para mejorar el desempeño institucional en temas de gestión en docencia.

Externamente, este esfuerzo es reconocido como una fortaleza institucional por parte de las entidades acreditadoras nacionales, donde los pares evaluadores mencionan de manera positiva los procesos de medición y seguimiento de los indicadores docentes y explicitan que la sistematización de los indicadores y la calidad de la información generada es un factor distintivo de nuestra institución. A continuación se presenta una cita textual de una de las fortalezas identificadas por los pares evaluadores para la acreditación institucional: la Universidad de Talca cuenta con “una adecuada capacidad de análisis que le permite a la institución contar con información suficiente para la toma de decisiones, tales como indicadores de gestión a distintos niveles que son conocidos por las autoridades para tomar decisiones” (Informe Final de Pares Externos, Acreditación Institucional 2010).

5. Atributos destacados del Análisis de Progresión del Estudiante

Una importante innovación dice relación con la visión holística de los indicadores y que esto permite una mejor interpretación de los resultados de la gestión en docencia, con la consiguiente mejora en la eficacia de las decisiones. A lo anterior se suma el hecho que las metodologías desarrolladas desde la perspectiva de la gestión del conocimiento, permiten la generación de valor agregado a los indicadores, por lo que los indicadores de gestión en docencia (como la deserción, la titulación, entre otros) ya no son evaluados como un resultado particular, sino que son interpretados como una consecuencia, dado el comportamiento de una serie de variables que lo condicionan, lo que implica un avance implícito hacia procesos de toma de decisiones más eficaces.

Además, se destaca la capacidad de que este método de análisis sea sostenido en el largo plazo, lo que viene dado por tres condiciones:

Respaldo de la alta dirección: a nivel institucional existe un total respaldo a desarrollar y perfeccionar los informes de Análisis de Progresión del Estudiante, dado que se entiende su relevancia en la toma de decisiones a nivel estratégico.

Reconocimiento institucional: se observa que los directivos requieren de los informes de análisis de progresión del estudiante, tanto para su gestión cotidiana como para situaciones especiales (acreditación de carreras o la presentación de proyectos). Por tanto, la ejecución de la práctica impulsada desde la misma cultura de la institución, genera que ésta sea una necesidad permanente, garantizando su sostenibilidad.

Estructura de los informes: a pesar de la relevancia de las condiciones anteriores, si los informes no son replicables, entonces incluso el apoyo institucional resulta irrelevante. Para evitar esta situación, los informes de análisis de progresión del estudiante cuentan con una estructura definida, la que establece los requerimientos y alcances de cada informe (ver tablas 1 y 2).

En complemento de lo anterior y como otro atributo importante, la replicabilidad de la práctica propuesta es absoluta y no requiere de ajustes o modificaciones, dado que se desarrolla en la base de uno de los aspectos medulares de cualquier institución de educación superior, la docencia. Sin embargo, sí hay consideraciones respecto de los recursos utilizados (tanto humanos como de infraestructura) y de la cultura organizacional en la que se desarrolla. Estos aspectos deben ser considerados al momento de iniciar la implementación de la práctica, ya que la realización de estos informes necesita de un alto nivel de especialización técnica, de la disponibilidad de software (McLaughlin, Howard, Cunningham, Blythe, Payne, 2004) y de una institución en donde la evaluación de indicadores de desempeño, sea un factor relevante en la gestión.

7. Bibliografía

Allen M, McGee P. (2004). Measurement and Evaluation in Corporate Universities. New Directions for Institutional Research. N° 124, Winter 2004. pp. 81-92.

Bauer K. W. (2003). Assessment for Institutional Research: Guidelines and Resources. The Primer for Institutional Research. N° 14, pp. 9-23

Bers T. H., Seybert J. A. (1999). Effective Reporting. The Association of Institutional Research, N°12. Resources in Institutional Research.

Cabrera A. F. (1994). Logistic Regression Analysis in Higher Education: An Applied Perspective. Higher Education: Handbook of Theory and Research. Vol X, pp. 225-256.

Hinkle D. E., Austin J. T., McLaughlin G. W. (1989). Log-Linear Models: Applications in Higher Education Research. Higher Education: Handbook of Theory and Research, vol V, pp. 323-353.

Huberty C.J. Lowman L. L. (1998). Discriminant Analysis in Higher Education Research. Higher Education: handbook of Theory and Research, vol XIII, pp. 181-234.

McLaughlin G. W., Howard R. D., Cunningham L. B., Blythe E. W., Payne E. (2004). People, Processes, and Managing Data. Second edition. The Association of Institutional Research. N°15. Resources in Institutional Research.

OCDE, Banco Mundial (2009). Revisión de las Políticas nacionales de Educación: la Educación Superior en Chile.

Raich, M. (1999). Dirección de Empresas en la Economía basada en el Conocimiento” (del libro “Homo Faber, Homo sapiens: La Gestión del Capital Intelectual). Ediciones del Bronce. Barcelona, España.

Tinto, V. (1993). Leaving College; Rethinking the Causes and Cures of Student Attrition. Second Edition. Chicago. The University of Chicago Press.