Una propuesta metodológica para la Gamificación de pruebas psicométricas. Un caso práctico

Jose Angel Gonzalez Gill
Facultad de Ingeniería en Sistemas Computacionales
Universidad Tecnológica de Panamá
Ciudad de Panamá, Panamá
[email protected]

Resumen-Esta investigación tiene como objetivo desarrollar una propuesta metodológica para la Gamificación de pruebas psicométricas que miden un determinado estado psicológico. Se usó para el modelo un fuerte componente ingenieril el cual se fundamenta en las áreas de HCI e Ingeniería de Software. La evaluación del instrumento gamificado paso por un proceso de validación a través de las técnicas de psicometría (fiabilidad y validez del juego). Se usó la atención como parámetro inicial de evaluación de esta propuesta utilizando estudiantes de la Universidad Tecnológica como agentes de prueba de la instrumento.

Palabras claves: Atención; Análisis Factorial; Confiabilidad; Estados Psicológicos; Gamificación; KR-20; Validez; Videojuegos.

INTRODUCCIÓN

La medición psicológica es un proceso que le permite al psicólogo cuantificar características humanas y objetivizar procesos de evaluación.

Las pruebas psicométricas se hacen parte de un proceso general organizado para llegar a una impresión diagnóstica de un determinado estado psicológico de un paciente en un periodo determinado del tiempo pero no se pueden convertir en el único medio de información escrita para diagnosticar un determinado estado psicológico.

Cuando se aplica una prueba psicológica a un usuario, en la mayoría de los casos el tiempo que toma hacer la prueba hace que el proceso de desarrollo de la misma sea tediosa para quien está siendo evaluado, esto conlleva que las respuestas no seas las deseadas dando así valores equivocados.

La interrogante que surge es, ¿podemos gamificar una prueba psicométrica para hacerla más atractiva para los usuarios?.

Esta investigación tiene como objetivo proponer una metodología para la Gamificación de pruebas psicométricas de forma computacional con el fin de buscar otras alternativas más eficientes de aplicación de estas indicadores de estados psicológicos.

1.1 Hipótesis

A continuación se describen la hipótesis asumida para la realización de los objetivos. Esta hipótesis no sólo facilita la definición de los objetivos de la investigación sino que finalmente permitirán una correcta evaluación sobre su desarrollo. Para esta investigación se han propuesto la siguiente hipótesis de trabajo:

Hipótesis 1: Es posible evaluar aspectos del estado psicológico de una persona mediante una aplicación informática basada en juegos serios.

1.2 Objetivos

El objetivo principal de la investigación es desarrollar una metodología para la Gamificación de pruebas psicométricas.

El objetivo enunciado requiere una concreción mayor desde el punto de vista técnico. Para ser abordado desde un enfoque basado en la ingeniería se requiere establecer objetivos más específicos encaminados a ir solventando algunas de las necesidades detectadas en fases de estudio y que suponen carencias que trata de suplir el objetivo principal. Con los objetivos específicos se materializan técnicamente el objetivo principal. A continuación se realizará una enumeración de estos objetivos más concretos:

Definir los estados psicológicos a gamificar. El estado psicológico de una persona es algo inabarcable en líneas generales por lo que se requiere una concreción sobre qué aspectos en concreto se tendrán en cuenta. Para ello se consultó con expertos en el campo de la psicología.
Desarrollar y verificar un instrumento psicométrico que permita la obtención de los factores psicológicos previamente acordados.
Validar el instrumento mediante experimento. Se llevará a cabo un experimento orientado a su validación completa.

1.3 Justificación

En la actualidad se han diversificado enormemente los métodos de Gamificación como estrategia en diversos campos tales como (educacional, financiero, ocio, salud).

La rama de psicología está tomando interés en la Gamificación como herramienta de apoyo a sus terapias, ya que ha visto que la gran mayoría de los pacientes están identificados con los videojuegos que es la forma más representativa actualmente de esta técnica.

Y aunque este método no es nuevo, han cobrado mayor popularidad en los últimos años. Su importancia radica en el enriquecimiento de los procesos de enseñanza y la mejora en los resultados de aprendizaje.

Esta diversificación también provoca que los psicólogos puedan obtener nuevas herramientas para apoyar sus diagnósticos. Transformar de las pruebas psicométricas a juego serios podrían ser una herramienta de gran apoyo al especialista de esta área, ya que la mayoría de los usuarios son nativos con las tecnologías relacionadas con los videojuegos y les sería más fácil ver la prueba como un mecanismo de diversión que una prueba de evaluación.

1.4 Límites y Alcances

Para comprobar la efectividad del método, se limitó a un único factor psicológico a medir: la atención. La población de estudio quedo limitada a los estudiantes del campus central de la Universidad Tecnológica de Panamá. Las mediciones se realizarán una sola vez por sujeto de estudio. De esta forma no se establece una secuencia de entre diferentes fechas de los niveles de atención de cada individuo limitando el estudio a una evaluación de relación entre las variables que afectan a la atención.

II. METODOLOGÍA

2.1 Visión general de la estrategia

Debido al carácter multidisciplinar de la investigación necesaria para cumplir con los objetivos presentados para determinar si es efectiva esta propuesta metodológica, se utilizó una estrategia compuesta por distintas fases claramente diferenciadas. A su vez estas fases están definidas por el uso de métodos ampliamente aceptados en los distintos campos que son de aplicación. La mayoría de los métodos que han sido considerados para la creación del método final vienen del campo de la ingeniería y de la psicología. A continuación se describe detalladamente la estrategia seguida atraves de la Figura 1.

Figura 1. Método General.

2.2 Subfase 1.1 (Elección del factor a medir)

La estrategia se ha estructurado en tres fases secuenciales (Figura 1). La fase 1 está orientada a la obtención de un conjunto de juegos serios válidos para la medición de la atención y la correcta caracterización de éstos. Para ello se ha dividido esta fase 1 en dos subfases. La subfase 1.1 está relacionada con el desarrollo de los juegos de forma que puedan ser considerados como un instrumento psicométrico válido. La subfase 1.2 es la realización de un experimento que permita la identificación y caracterización de las distintas variables existentes en los juegos y que tengan que ver con la atención. Y la subfase 1.3 la evaluación del instrumento.

2.2 Subfase 1.1 (Elección del factor a medir).

2.2.1 Desarrollo del instrumento (juegos)

Como se comentó previamente el desarrollo del instrumento queda enmarcado en la subfase 1.1 (Figura 1). Esta subfase ha sido la más exigente de toda la investigación llevada a cabo lo que queda reflejado por el elevado número de tareas definidas así como la dependencia entre ella. A continuación se describen todas las tareas referidas en esta subfase, incidiendo en los aspectos más críticos para el buen funcionamiento de la investigación. Ver Figura 2.

2.2.2. Test psicométricos

La subfase 1.1 comienza con entrevistas abiertas con expertos relacionados con la psicometría. Estas reuniones, sin esquema previo definido, permiten obtener una información más precisa sobre las posibilidades de medición existentes. Tras las reuniones abiertas se procede al análisis por parte del grupo de ingeniería que evalúa las opciones disponibles en términos de diseño e implementación de los juegos.

Tras el análisis inicial se vuelve a tener reuniones con los expertos pero esta vez de forma más guiada.

Figura 2. Subfase 1.1.

Estas reuniones ya tienen un esquema definido y su principal objetivo es identificar el factor (o factores) que se tendrán en cuenta. Los resultados de las reuniones guiadas volverán a ser la base de un análisis de ingeniería. Este proceso se repitió tantas veces como fue necesario hasta obtener el factor o conjunto de factores que son objeto de medición, las condiciones de medición en entornos computacionales y las necesidades de validación.

Una vez obtenido el factor a medir (la atención tal y como se ha comentado previamente) y los requisitos en los cuáles se debe medir, el equipo de expertos proporcionaron un test psicométrico de medición de la atención acorde a una población con un rango de edades de 15 años a 60 años. Este test ha sido tomado como base para el desarrollo de los juegos.

Para la transformación del test en juegos, además del proceso de ludificación que se verá posteriormente, se obtuvieron una serie de recomendaciones de redacción del equipo de expertos:

-Utilizar el tiempo presente.
-Deben ser “relevantes”, en el sentido de que su contenido debe relacionarse claramente con el rasgo.
-Contenido claro, evitando excesiva generalidad. Frases cortas, simples e inteligibles.
-Evitar incluir dos contenidos en un ítem.
-Tener en cuenta que lo que se dice en la declaración pueda ser asumido por alguien, y no por todos.
-En escalas de actitudes, no plantear la existencia o no de hechos, sino el posicionamiento personal sobre la afirmación. Redactar ítems que discriminen entre los de actitud positiva y los de actitud negativa.
-Para minimizar la (tendencia a responder afirmativamente, independientemente del contenido por el que se pregunta) conviene redactar ítems de modo directo e inverso (declaraciones tanto en sentido positivo como en sentido negativo). Evitar el uso dobles negaciones (no, ninguno, nunca,...) y de universales (todo, siempre, nada,...).
-La idea principal del ítem debe estar en el enunciado.
-Simplicidad en el enunciado.

2.2.3 Requisitos de jugabilidad

De acuerdo con Huizinga, “El juego es el ejercicio más importante que el hombre puede hacer de su libertad”.

A raíz de esta definición se puede decir que el juego tiene diversas motivaciones en el ser humano como por ejemplo:
En las comunidades primitivas se originó frecuentemente con el ritual religioso de participación colectiva.
En otras veces surgió como aprendizaje y especialización de determinados trabajos y labores.
Además pueden ayudar a desarrollar cualidades y/o habilidades psicológicas, cognitivas, físicas y/o sociales.

Es por esto que en esta parte fundamental del proceso de la construcción del instrumento computacional en base a un test psicométrico, se ha decidido darle una connotación de una plataforma de juegos ya que para nuestro caso de estudio sería más interactivo y generaría menos estrés que un test psicométrico clásico ya que las personas tienden a poner resistencia a ser evaluadas.

2.2.4 Caracterización de los usuarios

Como se había explicado anteriormente, nuestros usuarios son los estudiantes del campus central de Universidad Tecnológica de Panamá, precisamente de las facultades de (Ciencia y Tecnología, Industrial, Eléctrica y Sistemas Computacionales).

2.2.5 Análisis de las necesidades de los usuarios

Se procedió a una serie de entrevistas abiertas con veinte estudiantes. En estas entrevistas se les mostraba el test obtenido por las expertas en psicología, y se les pedía su opinión de cómo podían ser implementados en forma de juegos. Se anotaron las sugerencias para ser implementadas en el diseño. La muestra de estudiantes fue aleatoria dentro de la Facultad de Sistemas Computacionales de la Universidad Tecnológica de Panamá.

2.2.6 Diseño y evaluación el artefacto

Tomando en cuenta las opiniones de los encuestados se procedió a crear un boceto preliminar de los ítems. Se crearon bocetos del diseño y se les presentaron a un conjunto de 38 estudiantes seleccionados aleatoriamente. Cada estudiante, de forma independiente, evaluó por separado los diseños (Figura 3).

Figura 3. Diseño de evaluación.

2.2.7 Validación por parte de los expertos

Tras el proceso de desarrollo se obtuvo una primera versión de la plataforma de juegos. Para validar la plataforma como instrumento psicométrico antes de la realización del experimento principal se diseñó un experimento orientado a este fin.

2.2.8 Requisitos de Ingeniería de Software

Ya teniendo los diseños escogidos para ser construidos se procedió, a desarrollar los mismos. Para esto se pidió la colaboración del grupo de Investigación Carpet Diem, CIDITIC de la Universidad Tecnológica de Panamá.

Subfase 1.2: Experimento medición de la atención

2.3 Sub Fase 1.2 (Obtención del Instrumento Fiable)

2.3.1 Pre-Experimento

Para realizar una primera validación global del instrumento se diseñó un experimento previo al experimento principal orientado a ese fin. En concreto los requisitos del experimento previo fueron:

-Se desea validar previamente el test desde un punto de vista psicológico y desde un punto de vista de la usabilidad.
-Muestra significativa tanto para realizar una validación previa psicológica como la de usabilidad.
-Aleatorización de los estudiantes involucrados.
-Únicamente se evaluarán los juegos. Como se verá posteriormente en el experimento principal, además de los juegos, se incluyen varios formularios orientados a obtener información sobre la relación entre la atención, la situación personal de los individuos, sus conductas y las nuevas tecnologías. Toda esta última parte de adquisición de información adicional a la investigación se elimina de esta prueba de validación.
-Se pone un tiempo límite para llevar a cabo los juegos. A diferencia de lo que ocurrirá posteriormente en el experimento principal, esta prueba no será de poder. Esto es debido a que una de los objetivos principales es la evaluación del nivel de comprensión del instrumento.
-Con estas premisas se llevó a cabo el experimento previo con un total de 83 individuos. Una vez realizado el test se pasó al proceso de validación psicológica y de usabilidad.

2.3.2 Proceso de validación psicológica

Dado que los juegos tienen una estructura similar a los test en términos de variables dependientes e independientes los expertos realizarán una validación análoga a la de los test. Una vez definido el constructo Las tres medidas fundamentales de validación de los test son la fiabilidad, la validez y la tipicidad de un test psicométrico. Ver figura 4.

-Fiabilidad: Es usado para instrumentos que tienen formatos de respuestas dicotómicas como el caso de los juegos diseñados. La técnica se establece en una correlación que es basada sobre la consistencia de respuestas a todos los ítems de un test que es administrado una vez. El mínimo aceptable del puntaje de KR20 es 0.70.

KR₂₀=(n(n-1))*(σ2-p*qσ2) (1)

Donde,
σ2 es la variación de las cuentas de la prueba.
n es el número total de ítems de la prueba
pi es la proporción de respuestas correctas al ítem i.

Índice de inteligencia = proporción de respuestas incorrectas al item.

Para el experimento realizado se considera un límite no inferior del 0.80 para que sea considerada confiable.

-Validez: La validez del constructo, se describe como un proceso en donde se acumula información, la cual sirve como evidencia con el propósito de obtener la precisión en la medición del estado psicológico a medir en base a las puntaciones obtenidas de la prueba. En la investigación llevada a cabo se concreta en la exactitud con que pueden hacerse medidas significativas y adecuadas con los juegos para determinado constructo (la atención). Dadas las características del experimento a llevar a cabo (que será transversal y con un objetivo fundamental de identificar las variables dependientes más relevantes) el estudio se ha centrado en analizar la validez del constructo. Este concepto se refiera a la exactitud con que pueden hacerse medidas significativas y adecuadas con un test a un determinado constructo.

Existen varias técnicas para realizar este análisis. Para esta investigación se ha optado por el análisis factorial.

-Tipicidad: Para el experimento previo no se realizó el test de tipicidad ya que no era un objetivo encontrar una muestra de población suficientemente significativa. Los expertos consultados comentaron que debido a la falta de antecedentes parecidos y que no era una validación de experimento final sino una validación anterior para afinar más el instrumento la muestra utilizada era suficiente.

Figura 4. Proceso de Validación Psicológica.

2.3.3 Modificación del instrumento

Una vez realizado el experimento previo se procede al análisis de los resultados obtenidos. Con ello se establecerán citas con las expertas en psicología y HCI y se procederá a iniciar de nuevo el proceso de desarrollo de los juegos con las variantes obtenidas.

Tras esa modificación no se realizará un nuevo proceso de validación psicológica previa al experimento debido a la imposibilidad por falta de recursos. Por lo tanto se procede al desarrollo del experimento.

2.4 Sub Fase 1.3 (Evaluación del Experimento)

2.4.1 Experimento de medición de la atención

Para llevar a cabo el experimento se realizó la planificación que puede verse en la Figura 5.

Figura 5. Planificación del experimento.

2.4.2 Objetivos y contexto del experimento

El experimento se ideó para cumplir diversos objetivos relacionados con el estudio. Sin embargo también se incorporaron otros objetivos adicionales relacionados con el entorno en el que se llevó a cabo o con otras futuras investigaciones. Los principales objetivos definidos son:

Medición transversal del estado de atención en estudiantes. Además se medirá con tres condiciones ambientales distintas: ruidoso, académico o natural.
-La muestra debe ser significativa en términos de validez del test.
-Caracterización de los elementos más interesantes de los juegos desde el punto de vista de control de acceso.
-Evaluación de cuestiones adicionales a la atención. La logística necesaria para implementar el experimento es elevada por lo que se aprovecharán los recursos movilizados para recabar más información que ayude a investigaciones posteriores.

El experimento se llevó a cabo en Universidad Tecnológica de Panamá, Víctor Levi Saso, en las facultades de Ingeniería en Sistemas Computacionales, Industrial, Eléctrica y Ciencia y Tecnología, en el periodo comprendido del lunes 31 de marzo al viernes 4 de abril del 2014.

2.4.3 Adaptación del instrumento a objetivos

Como se comentó previamente debido a la importante cantidad de recursos necesarios para llevar a cabo el experimento no solo se llevará a cabo la medición transversal de la atención sino que además se aprovechará la logística para obtener más información. Por un lado se solicitará al individuo que aporte datos personales y de hábitos que permitan un posterior análisis de los niveles de atención en función de varios aspectos. Por otro lado, tras finalizar los juegos, se realizará un test de usabilidad referente a los propios juegos.

2.4.4 Tipo de investigación asociada al experimento

El experimento realizado corresponde a un tipo de investigación denominada cuasi-experimental. Las investigaciones cuasi-experimentales se basan en la manipulación intencionada de las variables independientes con el propósito de observar y analizar el efecto que produce esta alteración sobre las variables dependientes. La asignación de los sujetos a los grupos de experimentación no se realiza al azar, siendo esta última característica la que los diferencia de los diseños verdaderos. Los cuasi experimentos difieren de los experimentos verdaderos en la equivalencia inicial de los grupos.

En nuestro caso de estudio, no es posible aplicar el diseño experimental, debido a la naturaleza de la investigación la cual es de índole psicológica al querer medir los niveles de atención a través de una plataforma de juegos serios. Además los grupos sujetos de investigación no fueron afectados por una distribución uniforme correcta tomando en cuenta la aleatoriedad de los sujetos en base a sexo, edades, estudios, condiciones familiares, sociales y económicas, etc.

Además de ser un estudio cuasi-experimental también es de tipo transversal. Los estudios transversales se caracterizan por:

-Los individuos son observados únicamente una vez, ya que no se aplica más de dos veces el instrumento al mismo individuo.
-Se utilizan cuando el objetivo es analizar los datos obtenidos de un grupo de sujetos. En este caso medimos los niveles de atención de los participantes al interactuar con la plataforma de juegos serios.
-El tiempo para la recolección de datos, no tiene límites ya que los sujetos de estudio, se le da la opción para que realicen la prueba a su ritmo.

En los estudios de tipo transversal todas las mediciones se hacen en una sola oportunidad por lo que no existen períodos de seguimiento. Con este diseño, se efectúa el estudio en un momento determinado de los niveles de atención de la muestra.

Además, la prueba se realizó en base al tipo de test de poder. Éste, mide el conocimiento del sujeto para desarrollar la prueba, sin la presión del tiempo. Los sujetos del estudio no tuvieron limitación temporal. Se les pide que hagan el mejor desempeño posible sin preocuparse en absoluto del tiempo que se gasta. La calificación se basa en la capacidad para responder correctamente las preguntas independientemente del tiempo.

2.4.5 Solicitud de permisos y código ético

La elaboración de un experimento del alcance presentado requiere, además de una cuidadosa planificación, la obtención de los permisos necesarios así como un cuidado código ético de obligado cumplimiento.

El código ético permite informar a las personas participantes en el estudio de las condiciones en las que se producirá la obtención de datos y su posterior tratamiento así como del objetivo perseguido. Además no solo es necesario enunciar adecuadamente estos principios directores del estudio sino que es necesario asegurarse que los individuos involucrados han entendido adecuadamente todas las cláusulas.

Con ese objetivo se creó un código ético que fue incluido en la aplicación final utilizada para realizar el experimento. El código es lo primero que los individuos participantes leen y deben entender y aceptar sus principios para poder seguir con el experimento.

III. RESULTADOS

3.1 Instrumento de medida (juegos)

3.1.1 Diseño inicial de los juegos: Uno de los hitos fundamentales en el proceso de desarrollo de los juegos fue la obtención de la primera versión sobre la que se realizaría un experimento previo de validación. Esta primera versión se llevó a cabo siguiendo los criterios psicológicos y de usabilidad expuestos en el capítulo de método. Inicialmente fueron desarrollados siete juegos distintos. Cada uno de los juegos medía, dentro de la atención, un constructo más específico. En concreto se crearon juegos para medir los siguientes constructos (algunos median más de uno y otros repetían el mismo constructo):

Atención general y resistencia a la fatiga
Atención visual o focal
Atención alternante
Atención selectiva
Atención sostenida

Además se impuso un tiempo límite para solucionar los juegos. A continuación se muestran capturas de pantalla de algunos juegos seleccionados.

Figura 6. Juego orientado a la atención sostenida y selectiva.

3.1.2 Validación de los juegos en experimento previo

El experimento previo fue validado desde el punto de vista de la psicología y también desde el punto de vista de la usabilidad. El objetivo del experimento previo era realizar una validación previa al experimento posterior y no la medición del constructo en sí. Por tanto la validación psicológica que se hizo debe ser entendida como elementos indicadores del grado de adecuación del instrumento que nos permitieron evaluar cuánto debíamos cambiar el diseño original.

La evaluación psicológica que se hizo fue similar a la presentada en el instrumento (puede ser consultada en el capítulo del método). En este sentido con una muestra de 83 individuos se obtuvieron unas medidas de KR₂₀de 0.3115 y una matriz de correlación que mostraba que los distintos juegos no estaban suficientemente relacionados. Si bien los resultados pueden ser engañosos por el tamaño de la muestra la realidad es que no se alcanzaron unas cotas mínimas aceptables para continuar con el experimento.

Tras este proceso se realizó una validación de usabilidad de forma conjunta por expertas en HCI y en psicología.

3.1.3. Modificaciones y versión final

Se modificaron dos juegos más de forma que su formulación queda mejor expresada (Figura 7).

Figura 7. Modificación de juegos tras la validación.

Tras este proceso, con el instrumento mejorado, se obtuvo en instrumento final con el que se realizó el experimento que será explicado posteriormente.

Un cambio importante fue eliminar el tiempo máximo para pasar los juegos.

3.1.4 Aplicación para la realización del experimento

Tras la validación del documento se llevó a cabo la aplicación final. Como se comentó en el capítulo del método, dada la envergadura del experimento, se incluyeron otro tipo de preguntas orientadas a realizar un análisis posterior de la relación de la tecnología con el nivel de atención de los estudiantes así como una validación de la aplicación final.

3.1.5 Fase de Juegos

Posteriormente se presenta al individuo los siete juegos orientados a evaluar su nivel de atención. Ya se han mostrado ejemplos en capítulos anteriores por lo que no se mostrarán más capturas.

3.1.6 Obtención de datos para evaluar la usabilidad

Finalmente se llevaron a cabo varias preguntas destinadas a evaluar la usabilidad del instrumento. Esta evaluación está fuera del alcance de esta investigación por lo que sus conclusiones no serán mostradas.

3.1.7 Resultados del experimento

El experimento se llevó a cabo en Universidad Tecnológica de Panamá, Víctor Levi Saso, en las facultades de Ingeniería en Sistemas Computacionales, Industrial, Eléctrica y Ciencia y Tecnología, en el periodo comprendido del lunes 31 de marzo al viernes 4 de abril del 2014.

Debido a la naturaleza de la investigación de índole cuasi experimental la distribución de la muestra no fue uniforme, a continuación se muestra en la Tabla 4como quedo distribuida la muestra a lo largo del experimento.

Tabla 1. Población Evaluada.

Como puede verse en la tabla 1, el número total de participantes en el experimento fue de 518 estudiantes. Este número es superior al tamaño de muestra calculado en el capítulo de método para un nivel de confianza del 98 % (472 individuos).

3.1.8 Validación de la confiabilidad psicológica del instrumento.

Como la muestra fue calculada anteriormente el instrumento quedará validado mediante su validad y fiabilidad.

Fiabilidad del instrumento.

Como se comentó en el capítulo relacionado con el método el cálculo de la fiabilidad (también llamada confiabilidad) da una idea de la ausencia de errores de medida a la hora de interpretar o inferir un determinado resultado. Dado que los distintos juegos tienen una respuesta dicotómica, la alfa de Cronchbach se particulariza a un valor que hace aplicable el cálculo del KR20 para la obtención de la fiabilidad. El cálculo de la fiabilidad con este procedimiento queda:

Fórmula general:

(2)

Tras la aplicación de este procedimiento el valor obtenido para el KR-20 es de 0,9520. Este valor supera al umbral mínimo impuesto en la planificación del experimento: 0,8. Con este valor se puede concluir que el diseño modificado de los juegos iniciales tras las sugerencias de los psicólogos y las recomendaciones del grupo de expertos de HCI ha mejorado la fiabilidad del sistema.

3.1.9 Validación de la Validez del instrumento.

Para el cálculo de la validez del instrumento se ha utilizado, tal y como se describió en el capítulo del método, un análisis factorial. En este análisis se han considerado siete variables independientes (una por juego) y el objetivo fijado es que exista una correlación elevada entre todas las variables (ya que todas miden el mismo constructo).

A continuación se muestra la matriz de correlaciones obtenida tras la ejecución del experimento:

Tabla 2. Matriz de correlaciones.

La correlación entre las distintas variables es elevada por lo que podemos concluir que para el objetivo buscado los juegos desarrollados son válidos. Como ha ocurrido en el caso de la fiabilidad, la medida de la validez ha superado a la llevada a cabo en el experimento previo tras las sugerencias de los psicólogos y las recomendaciones del grupo de expertos de HCI.

IV. DISCUSIÓN

La investigación llevada a cabo ha estado relacionada con la medición de las capacidades de atención de individuos y su aplicación a arquitecturas de control de acceso. Para ello se ha involucrado alrededor de 600 estudiantes de la Universidad Tecnológica de Panamá así como varios expertos de la rama de la psicología, HCI y seguridad telemática.

4.1.1. Validación de las hipótesis

Es posible evaluar algunos aspectos del estado psicológico de una persona mediante una aplicación informática basada en juegos serios.

Esta hipótesis es cierta, ya que se comprobó su veracidad a través del método global de toda la investigación.

En la fase de desarrollo del instrumento que mediría la atención en nuestro caso de estudio, en la sub fase de pre - experimentación, los indicadores de la fiabilidad y de validez, arrojaron datos del 31 % de fiabilidad, y la correlación de las variables era muy baja usando el método de análisis factorial que mide la validez del instrumento.

Al analizar las puntaciones de cada ítem por separado (juegos serios), se observó que las puntaciones obtenidas eran demasiadas de bajas, esto se debió al mal diseño de la interfaz gráfica. Además se les indico a los individuos que formaban parte del pre experimento, que terminaran las pruebas en el menor tiempo posible, con esta condición se trató de obtener un promedio general de los tiempos, en base a la rapidez con que respondían.

Se procedió entonces a modificar cada ítem en base a las sugerencias de los expertos de HCI (Ph.d Elba Valderrama y Ph. D Sussan Drey) y del grupo de expertos en psicología (Licda. Artemia Victoria y Licda. Rita Bello).

En la fase experimental de la investigación, tuvo como resultados satisfactorios, dado que los indicadores de indicadores de la fiabilidad y de validez, arrojaron datos del 95% de fiabilidad y la correlación de las variables era muy alta. Ya que se tomaron en cuenta las sugerencias de los expertos para las mejoras al instrumento.

Esto nos indica que los aspectos de HCI y de psicología son fundamentales para el desarrollo de interfaces, en desarrollo de plataformas de juegos serios que miden un determinado constructo.

Sin embargo hay que considerar, que dependiendo de la población que se pretende medir y de la tarea crítica, se deben desarrollar adecuadamente el instrumento (plataforma de juegos) para el caso de estudio.

Un aspecto que se debe resaltar en este punto, que solo se aplicaron dos veces el instrumento a diferentes muestras, y que a lo largo de la investigación se usó el modelo transversal para realizar las mediciones.

Esto fue debido a que el grupo de expertos en psicología nos recomendaron que, por cada vez que se aplicara un nuevo diseño del instrumento se usara una muestra distinta, ya que se podrían contaminar los resultados con los conocimientos relacionados previamente con el instrumento.

Pero en un ámbito real donde se aplica el instrumento para obtener datos de los usuarios que usan sistemas telemáticos en donde se desarrollan procesos críticos, se debe utilizar el modelo longitudinal para la recolección de las muestras.

V. CONCLUSIONES

Nuestros resultados muestran que es factible transformar pruebas psicométricas de la atención en implementaciones computacionales del tipo juegos serios y por tanto incluir los resultados de esta medida en un proceso computacional más complejo, como puede ser la autenticación en sistemas informáticos.

La utilización de juegos serios favorece la comprensión de las pruebas de medida planteadas debido a que los usuarios están familiarizados con el concepto de juego y utilizan dichos servicios de una forma intuitiva. Este tipo de prueba, además, establece una relación de confianza entre el usuario y la tarea que debe realizar debido a que tiene en cuenta el estado actual de la persona.

La transformación de las pruebas psicométricas de la atención en juegos serios permite computar los resultados de dichas pruebas e incluirlos en un sistema computacional complejo.

REFERENCIAS

[1] Diseño e implantación de arquitecturas informáticas seguras. Una aproximación práctica, 2006, pag 25, ISBN: 978-84-9849-884-X.

[2] http://problema.blogcindario.com/2008/10/00014-marco-teorico.html. Ultima fecha de actualización 17/8/2014.

[3] http://fcaenlinea1.unam.mx/apuntes/interiores/docs/2011/informatica/1/i nf ormatica_i.pdf. Ultima fecha de actualización 10/8/2014.

[4] http://diposit.ub.edu/dspace/bitstream/2445/30783/1/D.%20cuasi%20y% 2 0longitudinales.pdf. Ultima fecha de actualización10/4/2014.

[5] http://diposit.ub.edu/dspace/bitstream/2445/30783/1/D.%20cuasi%20y% 2 0longitudinales.pdf pag – 3. Ultima fecha de actualización 04/8/2014.

[6] http://diposit.ub.edu/dspace/bitstream/2445/30783/1/D.%20cuasi%20y% 2 0longitudinales.pdf pag – 4. Ultima fecha de actualización 01/8/2014.

[7] http://diposit.ub.edu/dspace/bitstream/2445/30783/1/D.%20cuasi%20y% 2 0longitudinales.pdf pag -6. Ultima fecha de actualización 07/07/2014.

[8] http://www.utp.ac.pa/documentos/2014/pdf/Cuadro03_1erSem14.pdf. Ultima fecha de actualización 17/04/2014.

[9] http://www.itu.int/itudoc/itu-t/85097-es.pdf pag -51. Ultima fecha de actualización 13/6/2014.