Aplicación de Heurísticas de Usabilidad de Nielsen sobre la Plataforma Moodle 2.8.3 +Build 20150225 de la Institución Universitaria Colegio Mayor Del Caucap
APPLICATION OF NIELSEN USABILITY HEURISTICS ON THE MOODLE PLATFORM 2.8.3 + BUILD 20150225 OF THE COLEGIO MAYOR DEL CAUCA UNIVERSITY INSTITUTION
1Dayner Felipe Ordoñez López
2Alberto Bravo Buchelyclass
1,2Facultad de Ingenieria, Institución Universitaria Colegio Mayor del Cauca
RESUMEN- En este artículo se evidencia la realización de un estudio de usabilidad llevado a cabo por el grupo de Investigación HEVIR de la IUCMC sobre el sistema de aprendizaje en línea, Moodle. La realización de este estudio tiene como finalidad determinar si los problemas con los que cuenta este sistema son ocasionados al grad de usabilidad, para ello se selecciona las herramientas que considere adecuadas, se realiza la verificación del cumplimiento de los principios heurísticos mediante los instrumentos, y por último genera un conjunto de elementos de mejora.
Palabras claves Usabilidad-Moodle-Heurísticas-Educación-Laboratorio de Usabilidad.
Resumen-This article demonstrates the realization of a usability study carried out by IUCMC`s HEVIR research in the online learning system, Moodle. The objective of this study is to determine if the problems of this system are caused to the degree of usability, for this, select the tools that it considers appropriate, performs the verification of the compliance of the heuristic principles through the instruments, and by last one generates a set of elements of improvement.
Keywords: Usability-Moodle-Heuristics-Education- Laboratory of Usability
1. Introducción
Uno de los usos de la tecnología que quizás es de los más polémicos se funamenta en su aplicación en el área educative, ya que el manejo de la misma, la gran cantidad de información puede representar una salida fácil para el estudiante y evitarle la indagación personal. Las herramientas tecnológicas representan una ayuda para cualquier persona que recurra a ellas sin importar el propósito, es por esto que el estudiante contemporáneo tiene más caminos para desarrollar las actividades académicas y así aprobar de manera satisfactoria una asignatura. Aunque el uso incorrecto de medios tecnológicos puede representar otra alternativa para el estudiante poco dedicado, las herramientas de la tecnología también pueden facilitar el proceso educativo en gran medida.
Los entornos virtuales de aprendizaje son un ejemplo de ello. A través de una red se genera un canal de comunicación entre profesor y estudiantes, así estos pueden compartir conocimientos y despejar inquietudes con grandes ventajas[1].
1.2 Planteamiento del problema
La Institución Universitaria Colegio Mayor del Cauca cuenta con una plataforma virtual de aprendizaje establecida sobre Moodle version 2.8.3 +Build 20150225. Según un informe de utilización de la misma entre los años 2011 a 2016, se puede concluir que el uso de esta herramienta en la institución es demasiado bajo debido a que el porcentaje de estudiantes que hacen uso de esta herramienta es menor del 10%. Razón por la cual es importante plantearse la siguiente pregunta: ¿Es el grado de usabilidad de la plataforma Moodle en su versión 2.8.3 el responsable de los bajos niveles de uso en la Institución Universitaria Colegio Mayor del Cauca?
1.3 Objetivos
1.3.1 Objetivo general
Aplicar heurísticas de usabilidad de Nielsen sobre la plataforma Moodle 2.8.3 +Build20150225 de la Institución Universitaria Colegio Mayor del Cauca.
1.3.2 Objetivos específicos
Realizar un proceso de selección de las heurísticas declaradas por Jacob Nielsen que permitan establecer aportes y resultados significativos para el desarrollo óptimo del proyecto.
Especificar los instrumentos de medida de usabilidad necesarios y desarrollar un curso de prueba en la plataforma Moodle que permita hacer las respectivas pruebas de usabilidad.
Aplicar por medio de los instrumentos la evaluación heurística a una muestra de la población objetivo en la Institución Universitaria Colegio Mayor del Cauca.
2. Conceptos generales usabilidad
Cuando se habla de calidad se refiere generalmente al estado de algún producto o servicio, es común escuchar de calidad sobre todo en el ámbito de la mercadotecnia, pero ¿qué se define en realidad como calidad? y sobre todo ¿cómo se puede aplicar este concepto cuando se habla de algo tan relativo como la calidad de un producto software?
“La calidad se define como el grado en el que un conjunto de características inherentes cumple con los requisitos (entendiéndose por requisito necesidad o expectativa establecida, generalmente implícita u obligatoria)”[1], es decir que la calidad es un concepto que depende del cumplimiento de cierto número de sub características, una de ellas y sobre la cual se va a centrar este proyecto es la Usabilidad..
La inclusión de las tecnologías de la comunicación en el ámbito académico con el transcurso del tiempo se hizo cada vez más inminente, y con el fin de que los estudiantes desarrollaran las competencias, las instituciones de educación superior establecieron un vínculo combinando las herramientas de la educación tradicional con las que brinda internet. La RLTE (Revista Latinoamericana de Tecnología Educativa) (Vilaseca Requena, Meseguer Artola, Ficapal Cusí, Torrent Sellens Cortadas Guasch, 2006) resalta una necesidad de profundizar en una enseñanza científica y técnica, en la cual estén incorporadas las herramientas tanto de la educación presencial como las que ofrece internet.
Moodle es un Sistema de Gestión de Aprendizaje como se indica en la figura 1. Está basado en los sistemas de gestión de contenidos educativos[2] diseñado a través de principios pedagógicos, promueve la filosofía de constructivismo social usando las herramientas que brinda internet. Debido a su flexibilidad, también puede ser usado en distintos ambientes educativos.
Figura 1. Gráfico de funcionamiento de Moodle. Fuente:
La figura 2 proporciona unas pautas que pueden utilizarse como apoyo para la elección entre los diferentes productos o servicios software, cuando se han especificado los requisitos de Usabilidad frente a los objetivos propuestos, del contexto de utilización y los resultados de las medidas de eficacia, eficiencia y satisfacción que se van a utilizar[1].
Figura 2. Actividades de utilizabilidad y documentos asociados.
Fuente: ISO 9241-11, 1998.
La figura 3 muestra la estructura que ayuda a especificar los aspectos que hay que tener en cuenta en el momento de medir la usabilidad y sus interrelaciones.
Figura 3. Componentes de usabilidad. Fuente: ISO 9241-11,1998
3. La usabilidad aplicada a moodle
A lo largo de la trayectoria de Moodle, se han desarrollado una variedad de versiones adaptándose a las necesidades de la época, actualmente la última versión disponible es la
3.2.1, y aunque se han realizado diferentes estudios a las versiones, no se conoce un estudio que mida el grado de usabilidad[3] con el que esta plataforma cuenta, lo cual es preocupante ya que no se trata de un aplicativo al que se recurra por ocio, sino de un aplicativo para uso educativo.
Existen instrumentos como SIRIUS y WAMI que de manera automatizada realizan evaluaciones de usabilidad, las herramientas de este tipo están diseñadas generalmente para aplicativos web y muchas de ellas reúnen criterios de los autores más representativos, sin embargo, la precisión de los resultados obtenidos mediante el uso de estas herramientas pueden variar ya que estas están diseñadas con base en algoritmos computacionales que pueden dejar de lado factores importantes, en algunos casos no ofrecen los argumentos necesarios para considerar algo como un error, por ende sigue siendo más factible realizar una evaluación manual cuando se desean resultados de alto nivel.
Aunque los métodos de evaluación de usabilidad pueden ser clasificados actualmente no existe una patente que certifique su reglamentación[4], por tal razón los distintos autores e investigadores de esta materia, definieron sus propias clasificaciones de métodos para la realización de la evaluación de la usabilidad, para ello se basaron en el nivel de interacción de usuario, el escenario, las tareas a desarrollar etc.
4. Diseño del estudio
Actualmente en el centro de cualquier estrategia empresarial la experiencia del usuario es un factor representativo que es necesario tener en cuenta. La tecnología ha inferido de diferentes maneras en la comunicación que existe entre las organizaciones o instituciones y los usuarios. Por esta razón, las empresas han identificado que contar con espacios virtuales para fortalecer la comunicación con sus usuarios puede representar la diferencia[5]. Algunas páginas web y plataformas de aprendizaje como son LMS, se han visto obligados a crear estrategias para poder obtener las opiniones de los usuarios de una manera clara y concisa.
Para este caso en particular, se realiza un estudio en que se verifica el cumplimiento de las heurísticas planteadas por Jakob Nielsen en la plataforma Moodle, específicamente la versión que está siendo usada por la Institución Universitaria Colegio Mayor del Cauca, es por eso que es necesario dejar en claro las etapas del proceso evaluativo que orientaran al equipo técnico a conseguir resultados que se acerquen a la realidad.
4.1 Evaluación Heurística
En esta evaluación, se requiere de un grupo de evaluadores que sean expertos en las heurísticas escogidas. La realización de una prueba de usabilidad está compuesta por las siguientes etapas[6]:
Realización de un análisis de manera personal por parte de cada uno de los expertos, con el fin de encontrar problemas de acuerdo a un conjunto de heurísticas de referencia.
Socialización del análisis realizado.
Categorización de los problemas encontrados de acuerdo a las heurísticas.
Calificación de los problemas de acuerdo a una escala escogida.
Análisis de resultados.
Figura 4. Componentes de usabilidad. Fuente: Propia
La Figura 4 indica la desviación estándar que permite realizar un análisis más concreto de los resultados obtenidos[7]. En esta ilustración es posible visualizar tres columnas para cada problema, cada una corresponde a los criterios tenidos en cuenta para la realización de la prueba. El tamaño de la barra representa la desviación, es decir que entre más cerca este una barra del cero, la opinión de los expertos fue más unánime, por ende las barras de valores más altos representan el desacuerdo. Se aclara que en este estudio únicamente serán tenidos en cuenta los datos que se encuentren aproximados a un punto, ya que durante el desarrollo de la evaluación la diferencia promedio entre los datos obtenidos es equivalente a 1[8].
Tabla 1. Ranking de problemas según la criticidad
4.2 Conclusión general de la Evaluación
En la tabla 1 se evidencia que en los problemas P1y P3, los evaluadores están en total acuerdo, estos son problemas que requieren mayor atención por parte de los desarrolladores del aplicativo.
Los problemas P1 y P3 hacen referencia a los mensajes de error que genera la plataforma, y a la baja prioridad que el LMS le da a la información relevante. Por la severidad y frecuencia revelada en estos problemas se puede inferir que corregirlos es de prioridad alta.
En los problemas P2, P7 y P10 se revela que los evaluadores están en total acuerdo en la frecuencia en la que se dan estos problemas, sin embargo se puede inferir que en cuanto a la severidad y criticidad existe una desviación, sin embargo los problemas son de magnitud considerable y es necesario tenerlos en cuenta, corregirlos representa una mejora significativa en el aplicativo. Los problemas P2, P7 y P10 hacen referencia a la jerarquía en la que se organizan los cursos, la ausencia de combinación de teclas para agilizar tareas y la ausencia de indicadores que permitan completar acciones.
En los problemas P4 y P9 se revela que la frecuencia con la que se dan estos problemas alta, sin embargo los evaluadores no llegan a un acuerdo en cuanto a la severidad y por tanto la criticidad tampoco es concreta. Corregir este tipo de problemas es necesario, aunque es más importante darle prioridad a aquellos en los que la decisión de los evaluadores fue unánime.
Los problemas P4 y P10 hacen referencia a la dificultad que existe para la creación de cursos y personalización de la herramienta.
Con base en el ranking de criticidad los problemas que requieren de más atención son el P01, P03 y el P06, los cuales hacen referencia a los problemas en los mensajes de error generados, la poca visibilidad de los cursos y la ausencia de un panel de ayuda.
4.3 Soluciones propuesta
La tabla 2, ilustra las soluciones que se proponen para cada uno de los problemas detectados [9].
Tabla 2. Recomendaciones a la solucion de problemas
5. Test de usuario
Esta forma de evaluacion es la más usada en cuanto a estudios de usabilidad, sus rewsultados son considerado lo más precisos ya que no dependen del nivel del evaluador si no directamente del usuario. El test de usuario que se plantea para este estudio cuenta con las siguientes etapas:
Acuerdo de confidenciaidad
cuestionarios Pre - test
Curso de prueba
Cuestionario Post - Test
La norma ISO 9241-11 define la Usabilidad como el grado en el que se cumplen tres características específicas, la eficiencia, eficacia y satisfacción, figura 6, con el cual el entorno de un sistema garantiza en cierta medida que los usuarios podrán alcanzar los objetivos que se propongan, de esta manera la usabilidad ayuda tanto a los desarrolladores como a los usuarios, debido a que permite el cumplimiento de dichos objetivos y proporciona un grado de calidad en los productos[10].
Figura 6. Gráfico de componentes de usabilidad.
Fuente: ISO 9241-11
Para encontrar resultados más precisos en este estudio es necesario realizar la prueba tanto a profesores como a estudiantes, por ende, los resultados aquí expuestos serán divididos en los roles correspondientes. Los objetivos propuestos a desarrollar para cada una de las pruebas son los siguientes:
Estudiantes: Acceder a Moodle, Acceder al curso, Realizar un aporte en el foro, Editar el aporte que realizo en el foro, Regresar al curso, Subir documento
Profesores: Acceder a Moodle, Acceder al curso, Calificar una tarea, Proponer una nueva actividad, Regresar al curso, Subir documento
5.1 Desarrollo del test de usuario.
Con base en los elementos expuestos anteriormente se llevó a cabo el test de usuario en el laboratorio de usabilidad, Figura 7, para el óptimo desarrollo de la prueba se tuvo en cuenta los roles definidos.
Figura 7. Fotografía del laboratorio de usabilidad.
5.1.1 Eficiencia
La eficiencia es la precisión y grado de consecución con que los usuarios logran objetivos establecidos (ISO, 9241-11, 1998). Para medir la eficiencia en este estudio se utilizó el tiempo como recurso, por tanto, es necesario determinar un tiempo ideal para cada objetivo.
En síntesis si un evaluado tarda lo establecido o menos, se puede afirmar que su resultado está dentro del estándar, de igual manera si excede el tiempo ideal su resultado estaría por fuera del estándar, sin embargo realizar una valoración de esta manera no sería lo más conveniente, algunos datos significativos quedarían por fuera del resultado,por esto, el equipo propone una escala para asignar valores a los resultados de cada evaluado, de esta manera si un evaluado gasta algunos segundos de más realizando la prueba, su resultado no será el mismo a de aquel que gasta más de un minuto o quizás dos.
La tabla 3 muestra la escala de valoración en términos porcentuales, cualquier evaluado que se demore el tiempo ideal, o menos realizando un objetivo se le asigna el 100% del resultado, de la misma manera, si se tarda entre uno y treinta segundos más de lo establecido se le asigna el ochenta por ciento, mediante este esquema, serán asignados valores porcentuales menores a medida que el tiempo transcurrido se aleje del tiempo ideal.
Tabla 3. Escala de valoración por segundos
5.1.1.1 Eficiencia en estudiantes y Docentes
Con los resultados obtenidos durante el desarrollo de la prueba se generó la tabla 4 y 5, las cuales muestran el grado de eficiencia obtenido en estudiantes y docentes respectivamente.
Tabla 4. Promedio de éxito y eficiencia obtenida para estudiantes
Tabla 5. Promedio de exito y eficiencia obtenida para profesores.
Por lo ultimo de calcula la eficiencia total mediante el usso de los datos obtenidos en cada rol, los resultados quedan ponderados en la tablaa 6.
Tabla 6. Eficiencia obtenida
5.1.2 Eficacia
La eficacia es la relación entre los recursos empleados y la precisión y el grado de consecución con que los usuarios logran objetivos establecidos [11].
5.1.2.1. Eficacia en estudiantes y Profesores
Los datos obtenidos en durante el desarrollo de la prueba de los estudiantes y docentes se encuentran en la Tabla 7 y 8 respectivamente.
Tabla 7. Éxito y fracazo de los estudiantes.
Tabla 8. Exito y fracazo de los estudiantes
5.1.2.2 Grado de eficacia de Moodle
Mediante los resultados obtenidos por cada uno de los roles se realiza un cálculo de la media y se obtiene que el grado de eficacia de la plataforma según el estudio es del 78,33333%, como lo muestra la tabla 9.
Tabla 9. Grado de Eficacia obtenido
5.1.3 La Satisfación
La satisfacción es uno de los aspectos más relativos y más polémicos de medir, ya que para capturar las emociones de una persona y tabularlas es necesario romper la barrera de lo subjetivo y convertirlo en cuantitativo[12]. Para medir la satisfacción en este este estudio se utilizó la técnica del diferencial semántico, en la cual se establecen preguntas relacionadas con la satisfacción. La tabla 10 muestra los resultados obtenidos del post-test, este instrumento fue aplicado en las personas que fueron sometidas a la Evaluación, en ella A significa muy fácil hasta E que significa muy difícil.
Tabla 10. Resultados obtenidos del Post-test
La tabla 11 muestra el porcentaje de usuarios que escogieron cada una de las respuestas propuestas, para medir la satisfacción se toma el porcentaje de personas que escogieron las respuestas: “Muy fácil, fácil y Normal”.
Tabla 11 Porcentaje total de respuestas
Tabla 11. porcentaje total de respuestas
Suegun los datos obtenidos en la tabla 11 se puede inferir que el resultado que arrojo el estudio en cuanto a satisfacio es de 90%.
5.2 Resultado del test de usuario
Conforme a lo establecido en la norma ISO 9241 - 11, se realiza el calculo del promedio de los tres atributos obtenido mediante el test de usuario. La tabla 12 muestra los datos de los resultados de cada atributo y el promedio dando como promedio que segun el estudio realizado, la plataforma Moodle, version 2.8.3 cuenta con un grado de usabilidad del 80,388888889%.
Tabla 11 porcentaje de usabilidad obtenido
Mediante el la evaluación de usabilidad [13] a través del test de usuario se obtienen los datos porcentuales de cada uno de los atributos que componen a la Usabilidad, pero también cabe resaltar que este tipo de test ofrecen detalles muy puntuales a nivel de diseño que son necesarios resaltar, por ello se exponen las siguientes recomendaciones.
6. Recomendaciones y Conclusiones
La ubicación que se le dé al LMS dentro del sitio web de la institución es un factor que es inherente a las funcionalidades de Moodle, sin embargo, de él depende en gran medida el uso del LMS. Según se evidencia en las pruebas, se puede afirmar que el botón que direcciona a la plataforma virtual desde la web de la institución se encuentra en el acordeón que se despliega al pasar el cursor sobre la sección de estudiantes. No es posible encontrar otro acceso a la plataforma, es decir que el acceso al aplicativo está recluido únicamente en un acordeón animado de la barra de tareas. Se recomienda designar un espacio en el sitio web institucional exclusivo para la plataforma y que de esta manera sea fácilmente localizado por sus usuarios.
Uno de los problemas encontrados durante el estudio que más relevancia generó, fue el referente al diseño estético y minimalista, lamentablemente la versión 2.8.3 de Moodle cuenta con paneles laterales que están presentes durante toda la navegación, aunque la función principal de estos es permitir que el usuario navegue con facilidad, en realidad están ocasionando problemas, ya que son reiterativos, la información de algunos es la misma y opacan en todo momento el contenido de interés para el usuario, se recomienda la eliminación de estos paneles laterales o la opción de hacerlos invisibles. De esta manera el usuario podrá aprovechar el monitor de una mejor manera y evitara perderse en la cantidad de opciones que tiene actualmente.
Es importante tener en cuenta que un panel de ayuda y documentación puede facilitar a un usuario la realización de tareas y la familiarización con el entorno en donde va a trabajar. La versión 2.8.3, no evidencia la existencia de dicho apartado, razón por la cual los usuarios se enfrentan a los errores y a las particularidades del aplicativo por sí mismos.
La usabilidad es un atributo de la calidad que debe ser tenido en cuenta durante el desarrollo de cualquier aplicativo software. La usabilidad orienta a los equipos de desarrollo a hacer productos que sean entendibles, fáciles de manejar y configurar, por ende este atributo determina en gran medida el éxito y la relación de un producto de esta índole sobre una población.
Un estudio de usabilidad puede dar a conocer diferentes aspectos de un aplicativo software, estos generalmente son tomados a la ligera pero, según lo transcurrido
durante el desarrollo de este estudio, se evidenció que algunos detalles de diseño inherentes a la funcionalidad del aplicativo representan una diferencia considerable en el impacto que tiene sobre los usuarios.
Referencias
[1]. class="s5">Alva Obeso, M. E. (2005). Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos. Oviedo: UNIVERSIDAD DE OVIEDO.
[2]. class="s5">Guerrero, K. G. (2012). Formación del docente en contextos b-learning: implicaciones tecnológicas, investigativas y humanísticas. Virtual Universidad Católica del Norte, 48-74.
[3]. class="s5">Ferre Grau, X. (2001). Principios Básicos de Usabilidad para Ingenieros Software. Lapices de colores, 115-129.
[4]. class="s5">González, J. S. (2016). Métodos de Evaluación de Usabilidad para Sistemas de Información Web: Una revisión. Bogotá: Universidad Nacional de Colombia. Gonzáles, M. P., Pascual, A. Lorés, J. (2006).
[5]. class="s5">Evaluación Heurística. La Interacción Persona- Ordenador (págs.100 - 137). Zaragoza, España: Asociación Interacción Persona Ordenador (AIPO)..
[6]. class="s5">Nielsen, J. Molich, R. (1990). Heuristic evaluation of user interfaces. Proceedings of the ACM CHI 90 Human Factors in Computing Systems Conference (págs.249-256). Washington: CHI 90
PROCEEDINGS
[7]. class="s5">Lirola Sabater, F. Pérez Garcias, A. (2015). La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS. XVIII Congreso Internacional EDUTEC Educación y Tecnología desde una visión Trasnformadora (págs. 1-11). Riobanba- Ecuador:
Edutec
[8]. class="s5">Ortegón Cortázar, G. (2015). Optimización de sistemas de gestión académica. Una propuesta de gestión, medición y procesamiento de datos en un entorno virtual de aprendizaje para la toma de decisiones en instituciones educativas. Revista EAN, 1-2.
[9]. class="s5">Ontoria Peña, M. (2014). La plataforma Moodle: características y utilización en ele. En N. M. Contreras Izquierdo, La enseñanza del Español como LE/L2 en el siglo XXI (págs. 913-922). Jaén: Asociación para la Enseñanza del Español como Lengua Extranjera.
[10].class="s7">Camacho, J. E. Rojas, J. A. (2016). Diseño de experiencia de usuario con base a las características de usabilidad según iso 25010:2011 aplicado a la página web IUnimayor. Popayan: Colegio Mayor del Cauca.
Jakob Nielsen, H. L. (2000). Usabilidad priodidad en el diseño web.
href="http://www.hipertext.ne/" target="_blank">Hassan, Y., Fernández, F. J. Iazza, G. (2004). Diseño Web Centrado en el Usuario: Usabilidad y Arquitectura de la Información. Obtenido de Hipertext.net: http://www.hiperte href="http://www.hipertext.ne/" class="s16" target="_blank">xt.n href="http://www.hipertext.ne/" class="s15" target="_blank">e