Eye QR-aplicación identificadora de objetos para personas con discapacidad visual

Eye QR-object identification application for people with visual impairment

Rodrigo Vejarano¹, Andrés Pitty¹, Gilberto Gómez^1*, Lineth Alain¹

¹ Licenciatura de Ingeniaría en Sistema Computacionales, Universidad Tecnológica de Panamá

*Corresponding author: [email protected]

Resumen El siguiente proyecto de investigación está dirigido a personas que sufren discapacidad visual, cuyas necesidades de tener acceso a la información son ignoradas, obligándolos a mantenerse al margen de todas las actividades, en este caso nos enfocamos en la manera en que ellos puedan identificar un objeto (producto) frente a ellos. Por ese motivo, decidimos implementar un nuevo e innovador Eye QR, proyecto que facilite el reconocimiento de objetos para estas personas, mejorando así la percepción de las personas ciegas a la hora de utilizar este dispositivo.

Palabras clave Aplicación Móvil, código de barra, discapacidad visual, diseño Android, QR.

Abstract The following research project is aimed at people who suffer visual impairment, whose needs to have access to information are ignored, forcing them to stay out of all activities, in this case we focus on the way in which they can identify an object (product) in front of them. For this reason, we decided to implement a new and innovative Eye QR, a project that facilitates the recognition of objects for these people, thus improving the perception of blind people when using this device.

Keywords Mobile application, bar code, visual disability, Android design, QR

1. Introducción

Según en el Censo de Personas de Panamá realizado en 2010, a nivel nacional existen 97,165 personas con discapacidad, con 22.0% que sufren de discapacidad visual o ceguera.

De acuerdo con el grado de limitación de la visión, se suele distinguir entre personas ciegas, que no obtienen información a través del canal visual; y personas con disminución visual, quienes en cambio sí la adquieren mediante dicho canal pueden observar sin ningún problema.

A su vez, dentro de este grupo de personas, tienen grandes dificultades a la hora de realizar diferentes tareas. Muchas veces ellos encuentran barreras que los obligan a necesitar de ayuda de otras personas para poder desarrollar su tarea.

Conforme han ido avanzando las tecnologías, se ha desarrollado nuevas formas de guardar información y que puedan ser interpretados por dispositivos, para así facilitar las tareas de ser humano y optimizarla. Una de esas tecnologías es el código de barra usado en los almacenes de ventas, los cuales escanean el código con un lector infrarrojo, que al hacerlo obtienen una combinación de números o datos para buscar

información en una base de datos, para así obtener datos de dichos objetos.

Otra tecnología que considerar es el código QR, que es aún más complejo que el código de barra, permitiendo guardar aún más información.

Con dichas tecnologías es fácil poder obtener información de un objeto, siempre y cuando tenga una base de datos que respalda esta información.

Ahora con los smartphones, hay muchas aplicaciones que te permiten leer estos tipos de códigos. Esta investigación considera todas estas tecnologías para presentar un dispositivo el cual presenta una aplicación que es capaz de codificar los códigos, después hacer una petición a una base de datos con dichas claves y la base de datos devolverá información relacionada con el producto, presentando dicha información es en formato de sonido a la persona con discapacidad visual.

El tema de la discapacidad ha tomado mayor relevancia en nuestra sociedad en los últimos años, reflejándose en cambios de actitud y en los enfoques respecto a las personas que la padecen. Hoy se reconocen las discapacidades como algo relativo en el sentido que no solo se trata de la presencia de una enfermedad, sino que engloba las deficiencias que esta ocasiona, las limitaciones que dificultan realizar determinada actividad y las restricciones para la participación de los individuos en su ambiente físico y social.

2.1 Discapacidad visual

La ley No. 42 del 27 de agosto del 1999, establece que las personas con discapacidades son igualmente capaces de realizar actividades cotidianas, se fundamenta el interés de los mismos y buscar apoyos que faciliten su desempeño del entorno competitivo y social en la que se encuentra en la República de Panamá. De esta manera, se busca implementar de forma segura apoyar todo tipo de ideas para calmar dificultades aledañas a sus condiciones en el cuerpo y garantizar la facilidad de uso.

Se clasificó la tecnología evaluando los siguientes puntos:

Accesibilidad

Barrera arquitectónica

Bienestar

Discapacidad

Discriminación

Equidad

Equiparación de oportunidades

Espacio adaptado

Espacio practicable

Incapacidad

Movilidad reducida

Como muy bien se conoce, el Estado tiene la obligación fundamental de adoptar medidas para la mayor integración de personas con discapacidades, así mismo poder apoyar el desarrollo individual.

2.2 Sistemas actuales de apoyo

A pesar de que no poder ver, es una condición difícil para realizar tanto tareas cotidianas como aprender, en Panamá se forman cada año alrededor de 250 profesionales en Educación Especial que facilitan la enseñanza a niños y jóvenes con discapacidad visual. Un grupo de estudiantes de quinto semestre de esta carrera en UDELAS, presentó proyectos adaptados para niños con discapacidad visual, ceguera o baja visión como libros de cuentos en sistema Braille e impresos, además de ilustrados con relieves [2].

En la revisión de la literatura, encontramos diversos proyectos que se han desarrollado para apoyar a las personas con discapacidad visual a través de la identificación de objetos.

3.1 Identificadores de objetos

En un dispositivo capaz de nombrar objetos, obteniendo información ya sea de una base de datos o usando algoritmos que analice características [3].

Muchas son las tecnologías que además de saber el objeto que este identificando, también puede dar detalles como color, temperatura, masa, peso, velocidad, etc. Sin embargo, a veces la información puede variar de la real, debido a que los detalles de estos a veces suelen ser complejos y las ideas de las personas pueden tener una opinión diferente que lo dicho por el identificador.

Algunos identificadores para brindar soporte para personas ciegas son:

KNFB: La aplicación KNFB Reader convierte cualquier texto a voz o Braille de forma instantánea y precisa. Fue desarrollada conjuntamente por la Federación Nacional de Personas Ciegas, Sensotec NV y KNFB Reader LLC [3].

TapTapSee es una aplicación de cámara móvil diseñada específicamente para usuarios ciegos y con discapacidad visual con la API de reconocimiento de imágenes de CloudSight por los investigadores del MIT Media Laboratory [4].

Aipoly Vision es un reconocedor de objetos y colores que ayuda a personas ciegas para entender su entorno [5].

4. Modelo conceptual e implementación

La revolución digital no ha llegado a todos por igual. En un mundo en el que el siguiente gran invento se espera mirando a la pantalla del móvil, las personas ciegas o con visión reducida han quedado fuera de plano. Sin embargo, algunos proyectos innovadores tratan de utilizar el potencial de las nuevas tecnologías para desarrollar diversos proyectos que los ayuden contra las necesidades que cada día enfrentan.

4.1 QR Eye

La propuesta fue diseñar un identificador de objetos (productos) para las personas con discapacidad visual que les permita saber las características y cualidades muy comunes de los mismos, por ejemplo: latas de sodas, cajetas o envases; los cuales son iguales y para una persona ciega no tiene forma realmente de distinguirla.

Para distinguir dichos objetos utilizaremos un sistema muy arraigado a la sociedad actual, como lo son los códigos de barra. Con ellos las empresas pueden identificar rápidamente el ítem, ya que casi todo el producto y artículos de venta utilizan los códigos de barra. Adicionalmente se utilizan los códigos QR, los cuales pueden identificar recetas médicas o incluso artículos que estén a la venta.

Figura 1. Código de barra de un producto. Foto por: THINKSTOCK.

Cada código, ya sea de barra o QR, contiene una secuencia de números o cadena de texto, con dicha secuencia de caracteres se pide información a una base de datos que después de verificar, devuelve información correspondiente del ítem seleccionado.

Como la aplicación está dirigida para las personas invidentes o con discapacidad visual, la información devuelta debe ser convertida a sonido para que a la persona le llegue la información y tome su decisión.

4.1 Tecnologías aplicadas

Código QR y el Código de Barra: Una de las tecnologías más importantes que utilizamos en nuestro proyecto. Un código QR (código de respuesta rápida) es un tipo de código de barras de dos dimensiones diseñado para ser leído por los móviles inteligentes. El código consta de módulos negros dispuestos en un patrón cuadrado sobre un fondo blanco [4].



Figura 2. Código de barra (Izquierda.) y código QR (Derecha.).

Base de datos: Luego de que la cámara de celular lea el Código QR se utilizará una base de datos que no es más que un conjunto de datos pertenecientes a un mismo contexto y almacenados sistemáticamente, cada uno de estos datos se proporcionará de manera inmediata al usuario por medio de un parlante.

Smartphone (cámara): La última tecnología que requiere funcionamiento, es la cámara de un teléfono móvil.

El TTS (De Texto al Habla o ingles Text To Speed) es una función integrada que permite transformar palabras escritas en ondas de sonido. Esto quiere decir que prácticamente es un sintetizador de voz humana que provee información a los usuarios sin la necesidad de sonidos pregrabados, lo que hace más fácil la expansión del sistema [5].

4.2 Desarrollo

La aplicación fue diseñada para el sistema operativo Android, ya que es uno de los sistemas para smartphones más usados en el mundo. Además, los móviles con dichos sistemas son más económicos.

Se usó el IDE de Android Studio para trabajar tanto el diseño como la programación de la aplicación (figura 3).

La programación se llevó a cabo en conjunto, donde se compartía los archivos de la programación y se iban realizando cambios conjuntamente. Se trabajó el cómo hacer que la cámara del dispositivo capture el código de barra o QR y lo codificara para después enviarle la petición a la base de datos. También se consideró el conversor de texto a audio, lo cual se solucionó con un método integrado (Método API) del propio Android Studio.



Figura 3. IDE de Android Studio utilizado para elaborar la aplicación.

4.3 Diseño

La aplicación se inicia automáticamente en la pantalla de escaneo, solo esperando un código que procesar.

Después de haber obtenido un código salta a la segunda pantalla donde habra un botón que cubre por completo la misma. Depende de los toques, procederá a realizar acciones.

La aplicación también permite añadir nuevos ítem a su base de datos. Para realizar esta opción el usuario invidente o con discapacidad visual deberá tener ayuda de una persona (figura 4).



Figura 4. Esquema considerado en el diseño de la aplicación.

4.4 Interfaz

La interfaz entre el usuario y el dispositivo será a través de toques a la pantalla. Después que el dispositivo haya captado un código, vibrará, indicando a la persona invidente que se captó correctamente el código, luego de eso pasa a la segunda pantalla donde espera que el usuario haga gestos táctiles. para tomar acciones; dejar tocada la pantalla luego de leer el código Qr o de barra hará que la aplicación vuelva a su estado de escanear códigos, tocar la pantalla una vez anunciará el producto y tocar la pantalla mientras esta activado el modo de escaneo enfocará la cámara (figura 5).

Un toque simple significa que el usuario quiere obtener información simple sobre el artículo. Al hacerlo el dispositivo convertirá la información en formato de texto a sonido y será reproducido a través de los parlantes del dispositivo.

Dos toques significan que el usuario quiere obtener información detallada de dicho artículo.

Un toque prolongado significa que el usuario quiere volver a la pantalla de escaneo.



Figura 5. Primera pantalla (izquierda) y segunda pantalla(derecha).

1. 5. Metodología

   La metodología de desarrollo de la investigación es investigación basada en el diseño (IBD). Proveniente de la ingeniería y otras ciencias aplicadas, entendiendo el diseño como la optimización de un escenario que se justifica problemático, deficiente o mejorable [6].

   Este método provee un framework para el desarrollo ágil de software, apoyado por su continua implicación del usuario en un desarrollo iterativo y creciente que sea sensible a los requerimientos cambiantes, para desarrollar un sistema que reúna las necesidades de la empresa en tiempo y presupuesto.

   De esta manera, aseguramos tener inmerso en una de las fases de ciclo de vida de nuestro proyecto, múltiples iteraciones tanto en el modelado, diseño y desarrollo. Esto con la premisa de que ningún desarrollo se lleva a cabo sin intentos variados (figura 6).

   

   Figura 6. Esquema de tarea de trabajo.

   Vejarano (et al): Eye QR-aplicación identificadora de objetos para personas con discapacidad visual

1. 6. Validación de la aplicación

   Se pretende validar el dispositivo con los usuarios principalmente para quienes ha sido desarrollado, es decir, las personas con discapacidad visual.

   Para este proceso se consideró al grupo que juega balón mano del Instituto Panameño de Habilitación Especial con una población de 14 personas de las cuales se seleccionó de manera aleatoria una muestra de siete personas, se le presenta a la persona el dispositivo y se le explica cómo funciona (figura 7).

   

   Figura 7. Esquema representativo del uso de la aplicación.

   Después de eso se le dan varios productos de características iguales, en este caso le dimos tres latas de soda y tres empaques de galletas de diferentes sabores, pero envases iguales. Después se le dice de qué sabores son los productos y que elija una de cada artículo, del sabor de su preferencia. La persona escaneará los códigos y la aplicación le dirá cuál es el producto que en ese momento esté verificando. Así la persona podrá identificarlo.

   La validación pretende poder garantizar que la persona de manera independiente puede hacer selección de un artículo o producto con características similares. Las siguientes gráficas presentan los resultados.

   Las pruebas iniciales se llevaron a cabo en el recinto de la cancha de baloncesto del Instituto Panameño de Habilitación Especial con la asesoría de Profesora Lineth Alain, Docente de la Universidad Tecnológica de Panamá (Sede de la Chorrera). Estas pruebas se realizaron con el objetivo de validar de manera efectiva la aplicación denominada bajo el nombre de “Eye-QR” que funciona como herramienta de apoyo para las personas con discapacidad visual, con la finalidad de obtener la información (nombre, características) de algún producto para asegurar la experiencia y la obtención de la información relacionada con el mismo.

   Al momento de realizar la encuesta se preguntaron las siguientes preguntas, obteniendo los siguientes resultados:

   1. ¿Cree que se debería añadir más opciones o cambiar las actuales?: Obteniendo como resultado que el 43% de los encuestados respondieron por un “Sí”, de la misma manera se obtuvo que otro 43% respondió que “No” y por último un 14% no respondió la pregunta.

   2. ¿Siente agradable y cómoda la voz del sistema? Los resultados fueron que un 100% de los encuestados valoraron con un sí la comodidad de la voz del sistema.

   3. ¿Se entiende con claridad el audio o la voz del sistema? Tuvimos que un 100% indicó de manera favorable que la aplicación cuenta con un sistema de voz entendible.

   4. ¿Los toques son adecuados y sencillos de realizar? Obtuvimos que un 100% de los encuestados consideran que los toque a la pantalla a la hora de realizar los comandos son adecuados.

   5. ¿Considera que el tiempo de escaneo y respuesta es bueno? Los resultados fueron obtenidos que 86% de los encuestados respondieron que es “bueno”, mientras que otro 14% respondió que es “malo”.

   6. ¿Cree que la aplicación carece de funciones que considere usted necesarias? Los resultados obtenidos reflejaron que un 43% respondió que “Sí”, mientras que 57% respondió por un “No”.

   Las personas ciegas que utilizaron la aplicación nos realizaron las siguientes sugerencias: que se considerara para el mejoramiento de la aplicación implementar los datos comerciales tales como el precio del producto, la fecha de vencimiento, valores alimenticios y el color del producto. Adicional a esto, lograr tener la posibilidad de obtener aún más información del producto, integrando algún tipo de opción al tocar la pantalla.

   Sugieren se añada algún tipo de función que facilite a la cámara la búsqueda del lector de código de barra del producto.

2. 7. Conclusiones

Después de haber concluido con la validación del Eye Qr, se comprobó que la aplicación funciona de manera efectiva a la hora de leer los códigos de los productos para proveer información sobre estos, a las personas no videntes. Por ende, se logró los siguientes objetivos:

• La aplicación logra captar el código QR o el código de barra de manera rápida.

• La forma de trasmitir los datos, que es por audio, funciona eficientemente y es una manera en la cual ellos están familiarizado.

• La respuesta de la base datos es bastante buena, y no presenta problemas actualmente.

• El interfaz es intuitivo para las personas no videntes.

A pesar de todos los aspectos positivos que se lograron, a su vez hubo falencias en aspectos que no se habían contemplado, mencionando algunos como que para las personas no videntes le era difícil poner dentro del rango de escaneo el código QR o el código de barra, por lo tanto, la acción de brindarle la información no se podía realizar de manera adecuada. Otra de las limitantes del sistema propuesto es la necesidad de explicación previa del funcionamiento de la app a los nuevos usuarios, por lo que, si no tienen una persona que los apoye no podrán hacer uso del mismo.

AGRADECIMIENTO

El presente trabajo de investigación se dio bajo la tutela de la Profesora Lineth Alain a quien le expresamos nuestro más sincero agradecimiento, por hacer posible la realización de este estudio.

Además de agradecer su paciencia, tiempo y dedicación que tuvieron para que se realizará de manera exitosa.

REFERENCIAS

1. [1] Política de discapacidad de la república de Panamá. Secretaria Nacional de Discapacidad. SENADIS, 2009.

2. [2] J.Peña,"Más de 83 mil panameños tienen discapacidad visual". Panamá: El Siglo, 2017.

3. [3] “KNFB Reader App features the best OCR. Turn print into speech or Braille instantly. iOS 3.0 now available. | KNFB Reader”. [En línea]. Disponible en: https://knfbreader.com/.

4. [4] “TapTapSee - Blind and Visually Impaired Assistive Technology - powered by the CloudSight.ai Image Recognition API”. [En línea]. Disponible en: https://taptapseeapp.com/.

5. [5] “Aipoly - Fully Autonomous Markets”. [En línea]. Disponible en: https://www.aipoly.com/.

6. [6] L. E. Ortiz Fernández, “Sistema de identificación de objetos para personas invidentes usando la tecnología RFID”, Ingenius, núm. 8, dic. 2012.

7. [7] M. FERNANDEZ, M. Dolores. Audio visualización del papel. Usos del código QR para innovar en la industria periodística impresa. [online]. http://dx.doi.org/10.15446/innovar.v24n1spe.47547. 2014.

8. [8] J. SÁNCHEZ, M. SÁENZ, “Orientación y movilidad en espacios exteriores para aprendices ciegos con el uso de dispositivos móviles”, 2nd ed. [online] https://dialnet.unirioja.es/servlet/articulo?codigo=36 22512 Santiago, Chile, 2008.

9. [9] De Benito, B. y Salinas. J.M. (2016). La investigación basada en diseño en tecnología Educativa. RIITE. Revista interuniversitaria de Investigación en Tecnología Educativa,0, 44-59. Doi: Http://dx.doi.org/10.6018/riite/2016/260631