Prototipo de mano robótica controlada mediante el procesamiento de señales cerebrales utilizando redes neuronales recurrentes

Prototype of a robotic hand controlled by processing brain signals using recurrent neural networks

Marvin X. González¹, Amelia M. Brugiati¹, Denzel H. Cornejo¹, Cristian I. Pinzón^2*

¹Licenciatura en Ingeniería de Sistemas y Computación, Facultad de Ingeniería de Sistemas Computacionales, Universidad Tecnológica de Panamá,
²Facultad de Ingeniería de Sistemas Computacionales, Universidad Tecnológica de Panamá

^*Corresponding author: [email protected]

DOI: https://doi.org/10.33412/rev-ric.v6.0.3154

Resumen Las señales generadas por la actividad eléctrica producida en el cerebro humano, además de ser utilizadas en el área de medicina para el diagnóstico de enfermedades, pueden ser de gran ayuda en otros campos, como lo son las ciencias computacionales. Esta investigación propone la utilización de señales cerebrales como mecanismo de control, empleando técnicas de inteligencia artificial. La misma tiene como objetivo principal construir un prototipo de una prótesis de mano robótica impresa en 3D, controlada a través del procesamiento de señales cerebrales, utilizando redes neuronales recurrentes. Mediante una metodología de prototipado se entrenaron y compararon tres arquitecturas distintas de redes recurrentes (RNN simple, LSTM y GRU), entrenadas a partir de datos de trece personas, utilizando el sensor no invasivo Mindwave Mobile 2 para la adquisición de estos. La primera versión, desarrollada en un periodo aproximado de tres meses, alcanzó una precisión del 77% al clasificar nuevas muestras utilizando el modelo de red GRU. Este prototipo, al ser una primera aproximación y requerir mayor tiempo de investigación y desarrollo, puede ser de gran utilidad a futuro para personas que así lo necesiten, brindándoles una mayor calidad de vida.

Palabras clave Aprendizaje automático, electroencefalografía, interfaz cerebro-computador, prótesis robótica en 3D, redes neuronales recurrentes.

Abstract The mapping of electrical activity in the human brain is not only useful in the medical field for the diagnosis of diseases but can also be of great help in other fields such as computer science. This research proposes the use of brain signals as a control mechanism using artificial intelligence techniques. Its main objective is to build a prototype of a 3D printed robotic hand prosthesis monitored through the processing of brain signals using recurrent neural networks. Three different recurrent network architectures were trained and compared using a prototyping methodology (Simple RNN, LSTM, and GRU). This prototyping methodology was trained using a sample size of thirteen people and the non-invasive sensor Mindwave Mobile 2 was used to record the data. The first version, which was in development approximately 3 months, achieved 77% accuracy in classifying new samples using the GRU network model. With further research and development, this prototype may prove very useful in the future for providing people in need of such technology with a higher quality of life.

Keywords Machine learning, electroencephalography, brain-computer interface, 3D robotic prosthesis, recurrent neural networks.

1. Introducción

Por múltiples causas, una persona puede llegar a necesitar y en muchos casos depender de una prótesis, ya sea por condiciones de nacimiento, enfermedades o algún tipo de trauma que conllevó a la amputación de una extremidad.

Un estudio realizado en Estados Unidos definió que en el año 2005, más de 1.6 millones de personas vivían con algún tipo de amputación, cifra que se estimaba que para el 2050 aumentará a 2.2 millones de personas afectadas; además mencionaba que alrededor del 33% de estas personas sufrían de amputación de miembros superiores [1].

Según datos de la Caja de Seguro Social, para el año 2016, en Panamá se elaboraban anualmente entre 60 y 80 prótesis en el taller de prótesis y órtesis del Complejo Hospitalario Dr. Arnulfo Arias Madrid. Además, indicaban que los principales causantes de amputaciones en el país eran accidentes laborales y enfermedades como la diabetes. Los costos de cada una de estas prótesis oscilaban entre los 5500 y 12000 balboas [2].

Uno de los principales retos a los que estas personas o sus familiares se enfrentaban era a la adquisición de una prótesis para mejorar su calidad de vida, ya que en muchos casos resultaba costoso. Por esta razón, hoy en día, con el avance de la tecnología, se utiliza la impresión 3D para la construcción de estas, pues ofrece ventajas como lo son la personalización de modelos, bajo costo y poco tiempo de fabricación de piezas.

Las personas con la necesidad de una prótesis no solo buscan resultados estéticos, sino también que esta le brinde la funcionalidad del miembro faltante; para ello, necesitan ejercer algún tipo de control sobre dichas prótesis. Se han propuesto diversas formas de control, utilizando sensores que capten señales provenientes del cuerpo humano, como lo son las señales electromiográficas (EMG) [3]. Estas se basan en la lectura de impulsos generados a nivel muscular y aunque tienen una gran precisión, su principal desventaja radica en que los sensores deben estar colocados de manera invasiva en la mayoría de los casos; es decir, ligados a las terminaciones musculares a través de cirugías [4].

Basado en esta problemática, se empezaron a desarrollar proyectos que buscaban la utilización de sensores para la captura de señales cerebrales, también conocidas como electroencefalográficas (EEG) [5], no solo orientados al control de prótesis, sino también de otro tipo de dispositivos electrónicos que permitieran la comunicación directa entre las personas y estos sin necesidad de movimientos físicos.

Esta investigación tiene como objetivo construir un prototipo de una prótesis de mano robótica controlada a través del procesamiento de señales cerebrales (EEG) utilizando redes neuronales recurrentes, para ofrecer una solución a personas con este tipo de limitaciones físicas.

El trabajo presentado está estructurado en cuatro secciones principales. En la primera, se presenta una breve introducción y estado del arte referente al tema. En la siguiente sección, se define la metodología y materiales utilizados, tanto para la recolección de datos, entrenamiento de la red neuronal y construcción del prototipo inicial. En la tercera sección se presentan los resultados obtenidos para distintas configuraciones de algoritmos de redes neuronales. Por último, se resumen las conclusiones y se exponen posibles trabajos futuros.

1.1 Estado del arte

1.1.1 Interfaces cerebro-computador

En 1963, como parte de su tesis doctoral, Ivan Sutherland sentó las bases de lo que más adelante se conocería como interacción humano-computador (HCI, por sus siglas en inglés) con Sketchpad [6] un programa que permitía dibujar directamente en la pantalla de un computador.

Un nuevo modelo se comenzó a explorar a partir de este proyecto, surgiendo el término interfaz cerebro-computador (BCI) para referirse a la tecnología capaz de capturar, analizar y clasificar las señales EEG buscando un enfoque aplicado a la comunicación.

Los primeros acercamientos a la lectura de señales (EEG) se dieron desde 1770, pero es hasta 1924 cuando se acuña el término de electroencefalografía por parte del psiquiatra y neurólogo Hans Berger, que con un pequeño galvanómetro fue capaz de detectar la actividad eléctrica directamente de la corteza cerebral humana [7]. Estas primeras aproximaciones se daban utilizando sensores invasivos y solamente estaban disponibles en el campo de la medicina por ser equipos costosos, siendo poco habituales en el uso común. Sin embargo, en los últimos años, empresas y grupos de investigación han logrado desarrollar sensores capaces de capturar las señales cerebrales de forma no invasiva y que estos datos puedan ser transmitidos de manera inalámbrica.

1.1.2 Aprendizaje automático y el procesamiento de señales

Los datos capturados por este tipo de sensores por sí solos no brindan información relevante o interpretable, ya que solo amplifican la actividad eléctrica en un área específica del cuerpo, en este caso, la corteza cerebral. Para lograr obtener información relevante sobre estos datos, los mismos deben ser analizados. De manera convencional esta labor era realizada por un médico; sin embargo, con la aparición de la Inteligencia Artificial (IA) surge un nuevo paradigma de procesamiento llamado aprendizaje automático (ML, por sus siglas en inglés) [8], que consiste en un conjunto de algoritmos con la capacidad de procesar grandes cantidades de datos y de manera iterativa aprender a diferenciar el comportamiento de estos.

Uno de los algoritmos que mayor popularidad ha alcanzado son las redes neuronales, diseñadas a partir del modelo de la neurona artificial propuesto por W. S. McCulloch y W. Pitts en 1943 [9]. Estos autores observaron la estructura de una neurona biológica, la cual está interconectada a otras y recibe un impulso eléctrico de entrada, se procesa y se activa una salida; permitiendo que cada neurona pueda tomar decisiones simples y alimentar con estas a otras neuronas que se encuentran agrupadas en capas. Este tipo de algoritmos fueron diseñados para reconocer patrones, ya fueran texto, imágenes, números o series de tiempo.

Al ser las señales cerebrales un tipo de señal que varía respecto al tiempo, se puede aplicar una variante de estos algoritmos, llamada redes neuronales recurrentes (RNN) [10], las cuales son capaces de trabajar con datos de manera secuencial en donde no solamente una capa de neuronas alimenta con sus salidas a la siguiente capa, sino que puede retroalimentar a capas anteriores o a sí misma y en base a esto, reajustar su modelo.

Un problema frecuente en este tipo de redes neuronales es que el funcionamiento de cada neurona se basa en memoria a corto plazo, es decir, muchas veces pierden capacidad de aprender cuando se tienen grandes secuencias de datos, omitiendo información que puede ser relevante para capas posteriores.

Buscando una solución a este problema, surgen dos nuevos tipos de redes llamadas LSTM [11] y GRU [12]. Ambas utilizan mecanismos internos llamadas puertas, las cuales no son más que redes neuronales que regulan el flujo de información, permitiéndoles definir cuánta y cuál información es relevante mantener.

1.1.3 Sensores EEG desarrollados

Como se mencionó anteriormente, diversas empresas y grupos de investigación han desarrollado hardware que permite realizar electroencefalografías de manera más cómoda y no invasiva, contribuyendo a que esta tecnología pueda ser accesible para cualquier persona. Entre algunos de estos sensores con los cuales se han desarrollado distintas investigaciones, se pueden mencionar: Emotiv EPOC+ [13], Mindwave Mobile 2 de Neurosky [14] y Muse [15]; cada uno con distintas características como se pueden observar en la tabla 1.

Tabla 1. Sensores existentes en el mercado

En el artículo de Doru Ursutiu [16], se analizaron datos obtenidos de diez personas escuchando distintos tipos de música mientras utilizaban el sensor Mindwave Mobile. En este caso se comparan valores previamente procesados en el sensor sin utilizar algoritmos externos, dando como resultado que los valores de atención y meditación generados por el sensor, variaban al reproducirse distintos géneros musicales.

Otras investigaciones involucraron el sensor mencionado anteriormente como es el caso del artículo de Rahul Raj [ 20], donde se propuso un teclado que pudiera ser controlado con los niveles de atención y la fuerza de un parpadeo como mecanismo de comunicación para personas con movilidad reducida.

Finalmente, otros trabajos han sido propuestos utilizando este tipo de sensores, como el control de sillas de ruedas para personas con discapacidades físicas [18], aplicaciones para medir el nivel de concentración que se tiene al jugar un videojuego [19], entre muchos otros.

2. Materiales y métodos

El trabajo presentado se enmarca en una investigación con un alcance descriptiva-cuasiexperimental al exponer la identificación y utilización de patrones de ondas cerebrales que puedan permitir el control de una prótesis robótica. Es cuasiexperimental, al plantear la recolección de datos a través de la utilización de un sensor no invasivo en personas voluntarias; sin embargo, no se establece ningún tipo de grupo de control o similar. Dichos datos son cargados en algoritmos entrenados de ML para el control de la prótesis.

Desde el marco de la Ingeniería de Software y considerando el factor tiempo planteado para el desarrollo, el cual abarcaba un plazo aproximado de tres meses, se utilizó la metodología de prototipado [20], ya que además de presentar una estructura definida donde se analizan los principales requerimientos, permite que el desarrollo se pueda realizar de forma rápida y que la versión desarrollada pueda formar parte del producto final.

Para ello, fue necesario definir los materiales a utilizar, la estrategia de recolección de los datos a través de los instrumentos establecidos, y el tratamiento que se le daría a los mismos para continuar con la fase de prueba e implementación en el prototipo de mano robótica.

2.1 Materiales

Para la realización de esta investigación se utilizaron distintas tecnologías, tanto de hardware como de software para la construcción del prototipo.

2.1.1 Hardware

- Sensor EEG: se decidió trabajar con el sensor Mindwave Mobile 2, ya que mantiene el precio más bajo del mercado, con una amplia documentación y se caracteriza por un diseño ergonómico para su uso cotidiano.

- Raspberry Pi 3B: es un pequeño computador basado en la filosofía de software libre, que incluye funcionalidades de un computador convencional [21]. Este componente se utilizó para procesar los valores obtenidos por el sensor y por otra parte utilizarlo como dispositivo controlador de la mano robótica.

- Prototipo de mano robótica: para construir el prototipo de mano robótica se empleó una impresora 3D y un modelo previamente diseñado por terceros [22]; tomando un tiempo de impresión de alrededor de ocho horas. Para brindarle movilidad a cada dedo de forma independiente se utilizaron seis servomotores como se aprecia en la figura 1.

Figura 1. Impresión y ensamble de la mano robótica.

2.1.2 Software

Se utilizó Python 3.6 como lenguaje de desarrollo, ya que es un lenguaje sencillo y potente, el cual incluye una gran cantidad de librerías para llevar a cabo técnicas de aprendizaje automático.

Para realizar la comunicación entre el sensor y un computador, se necesitó de una librería creada por terceros, ya que la empresa no incluye soporte para Python; sin embargo, ofrece una documentación para desarrollo en otros lenguajes [23].

Para definir la arquitectura de la red neuronal, se utilizó Keras [24], librería que permite el prototipado de redes neuronales de manera rápida.

2.2 Recolección de datos

Antes de realizar las distintas pruebas, se explicó a las personas el procedimiento que se realizaría y firmaron un consentimiento para participar en el experimento. El mismo consistió en tomar datos de trece personas entre las edades de los 21 a 83 años (siete hombres y seis mujeres). A cada persona se le colocó el sensor por un tiempo de 60 segundos; 30 segundos manteniendo los ojos abiertos y realizando parpadeos normales y los siguientes 30 segundos manteniendo los ojos cerrados.

Los datos fueron clasificados en dos clases distintas. Siete de los sujetos se utilizaron para entrenamiento y validación de la red, divididos en 70% y 30% respectivamente y seis sujetos como datos de prueba.

Al ser un prototipo experimental y una primera aproximación, se requiere mayor tiempo de investigación y desarrollo, y por esta razón se prepara un protocolo de bioética para aumentar tanto la cantidad de personas dentro de la muestra como también poder realizar pruebas de funcionamiento.

2.3 Procesamiento y arquitectura de la red neuronal

El sensor Mindwave Mobile 2 captura los datos y los procesa, generando diez características o valores distintos: atención, meditación, delta, beta, theta, alpha y gamma, los cuales representan las bandas de frecuencia de ondas cerebrales, como se observa en la figura 2. Luego de separados los datos, los mismos se envían a través de una conexión Bluetooth.

Figura 2. Muestra de valores de delta y alpha en 120 segundos.

Para las pruebas realizadas se utilizó una estructura similar de la red propuesta en [25]. Estas incluyeron entrenamientos con redes recurrentes simples, LSTM y GRU. La arquitectura general de la red utilizada, tal como se aprecia en la figura 3, contiene tres capas (RNN, LSTM o GRU), con capas intermedias llamadas Dropout, las cuales ayudan a prevenir el sobre aprendizaje y un perceptrón multicapa como capa final encargada de clasificar la salida de las capas anteriores.

Figura 3. Arquitectura de red utilizada.

Como datos de entrada, la red recibe un vector de 10 valores (8 señales cerebrales, valor de atención y meditación), donde cada uno representa una característica distinta, generando como salida un vector que representa la clase a la que pertenecen los datos ya sea ojos abiertos u ojos cerrados.

2.4 Diseño del sistema

El modelo entrenado de la red neuronal fue exportado a la placa Raspberry Pi para utilizarse como clasificador de nuevas muestras.

De manera general el funcionamiento del sistema (ver figura 4) es el siguiente: el sensor, colocado en la parte frontal de cabeza de una persona captura un segundo de datos. Estos datos son enviados de manera inalámbrica a la placa Raspberry Pi, la cual los recibe y a través de la red neuronal previamente entrenada se genera una salida. Si la salida de la red es ojos cerrados, se activan los servomotores de la mano robótica para cerrarla; en caso de que esta estuviera cerrada, entonces se abriría. Si la muestra se clasifica como ojos abiertos no se realizaría ningún movimiento.

Figura 4. Diseño del sistema.

3. Resultados y discusión

Se realizaron tres pruebas utilizando una arquitectura de una red recurrente simple, LSTM y GRU, con un entrenamiento de 150 épocas y se obtuvieron los resultados descritos en la tabla 2.

Tabla 2. Resultados de pruebas realizadas

El tipo de arquitectura que más estable se mantuvo fue GRU, ya que mostró valores similares para los tres conjuntos de datos, por lo cual se graficaron tanto el comportamiento de la precisión y valor de pérdida o loss en cada época (figura 5),

como también las matrices de confusión para los datos de entrenamiento, validación y prueba (figura 6).

Figura 5. Gráfica de precisión y valor de pérdida para datos de entrenamiento y validación.

Figura 6. Matrices de confusión para conjunto de entrenamiento, validación y pruebas.

Estos resultados indican que el modelo construido al recibir como entrada un conjunto de datos de pruebas (datos que no conocía), seguía manteniendo un buen comportamiento.

La matriz de confusión, específicamente del conjunto de datos de pruebas, indica que el sistema en algunos casos clasificó de forma errónea, ya que tiende a confundir los datos de ojos abiertos con ojos cerrados, en algunos casos.

4. Conclusiones

El desarrollo de proyectos enfocados a la captura y procesamiento de señales cerebrales pueden llegar a constituir una alternativa de control y/o comunicación para personas que tengan alguna limitación física, de movilidad, etc.

En esta investigación se construyó un primer prototipo de prótesis de mano robótica controlada mediante señales cerebrales (EEG) procesadas con redes neuronales recurrentes, utilizando tecnología de bajo costo existente en el mercado.

Utilizando el algoritmo de redes neuronales recurrentes, en específico GRU, se obtuvo una precisión hasta del 77% para clasificar nuevas muestras.

Estos resultados pueden mejorarse aumentando el conjunto de datos y cantidad de personas para entrenamiento para darle una mayor capacidad de generalización a la red.

Como trabajo futuro se plantea realizar nuevas pruebas variando los parámetros de la red para aumentar la precisión del modelo, además de agregar nuevas clases para incluir nuevos tipos de movimiento a la prótesis de mano robótica.

AGRADECIMIENTOS

Agradecemos a la profesora María Luisa Vélez por el apoyo y orientación brindada en cuanto redacción y la metodología a seguir para el desarrollo de esta investigación.

REFERENCIAS

[1] K. Ziegler-Graham, E. J. MacKenzie, P. L. Ephraim, T. G. Travison, y R. Brookmeyer, “Estimating the Prevalence of Limb Loss in the United States: 2005 to 2050”, Arch. Phys. Med. Rehabil., vol. 89, núm. 3, pp. 422–429, mar. 2008, doi: 10.1016/j.apmr.2007.11.005.

[2] Caja de Seguro Social, “Una respuesta a pacientes amputados, Taller de Prótesis del CHDr.ARM”. Caja de Seguro Social, Panamá, 2016.

[3] H. A. Romo, J. C. Realpe, y P. E. Jojoa, “Análisis de Señales EMG Superficiales y su Aplicación en Control de Prótesis de Mano”, Rev. Av. en Sist. e Informática, vol. 4, núm. 1, pp. 127– 136, 2007.

[4] P. Morel et al., “Long-term decoding of movement force and direction with a wireless myoelectric implant”, J. Neural Eng., vol. 13, núm. 1, dic. 2015, doi: 10.1088/1741-2560/13/1/016002.

[5] A. Bedoya-Rojas, J. Giraldo-Leiva, Í. D. Torres-Pardo, y M. A. Becerra-Botero, “Interfaz Cerebro Computador Basado en Señales EEG para el Control de Movimiento de una Prótesis de Mano Usando ANFIS”, Lámpsakos, 2018, doi: 10.21501/21454086.1053.

[6] E. Sutherland, “Sketchpad a Man-Machine Graphical Communication System”, Simulation, vol. 2, núm. 5, p. R-3-R- 20, may 1964, doi: 10.1177/003754976400200514.

[7] T. J. La Vaque, “The History of EEG Hans Berger”, J. Neurother., vol. 3, núm. 2, pp. 1–9, ene. 2005, doi: 10.1300/j184v03n02_01.

[8] Hurwitz, D. Kirsch, y J. Wiley, “Machine Learning For Dummies, IBM Limited Edition”, en IBM, C. Burchfield, Ed. John Wiley & Sons, Inc, 2018, p. 4.

[9] W. S. McCulloch y W. Pitts, “A logical calculus of the ideas immanent in nervous activity”, Bull. Math. Biophys., vol. 5, núm. 4, pp. 115–133, dic. 1943, doi: 10.1007/BF02478259.

[10] S. Raschka y V. Mirjalili, “Modelado de datos secuenciales mediante redes neuronales recurrentes”, en Python Machine Learning, 1a ed., Marcombo, 2019, pp. 563–570.

[11] S. Hochreiter y J. Schmidhuber, “Long Short-Term Memory”, Neural Comput., vol. 9, núm. 8, pp. 1735–1780, nov. 1997, doi: 10.1162/neco.1997.9.8.1735.

[12] Cho et al., “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”, en Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014, pp. 1724–1734, doi: 10.3115/v1/D14-1179.

[13] EMOTIV, “EMOTIV EPOC+ EEG Headset”, 2019. [En línea]. Disponible en: https://www.emotiv.com/epoc/. [Consultado: 13- may-2019].

[14] Neurosky, “MindWave Mobile 2”. [En línea]. Disponible en: http://neurosky.com/2018/06/mindwave-mobile-2-available- now-improved-comfort/. [Consultado: 16-may-2019].

[15] Muse, “MuseTM - El Dispositivo de Electroencefalograma (EEG)”. [En línea]. Disponible en: https://choosemuse.com/es/muse/. [Consultado: 16-may-2019].

[16] D. Ursutiu, C. Samoila, S. Dragulin, y F. A. Constantin, “Investigation of Music and Colours Influences on the Levels of Emotion and Concentration”, en Online Engineering & Internet of Things, 2017, pp. 910–918.

[17] R. Raj, S. Deb, y P. Bhattacharya, “Brain Computer Interfaced Single Key Omni Directional Pointing and Command System: A Screen Pointing Interface for Differently-abled Person”, en Procedia Computer Science, 2018, vol. 133, pp. 161–168, doi: 10.1016/j.procs.2018.07.020.

[18] A. Mirza et al., “Mind-controlled wheelchair using an EEG headset and arduino microcontroller”, en 2015 International Conference on Technologies for Sustainable Development (ICTSD), 2015, pp. 1–5, doi: 10.1109/ICTSD.2015.7095887.

[19] G. A. M. Vasiljevic y L. C. de Miranda, “The influence of graphical elements on user’s attention and control on a neurofeedback-based game”, Entertain. Comput., vol. 29, pp. 10– 19, mar. 2019, doi: 10.1016/J.ENTCOM.2018.10.003.

[20] E. G. Maida y J. Pacienzia, “Metodologías de Desarrollo de Software”, Pontificia Universidad Católica Argentina, 2015.

[21] R. Asenjo et al., “La plataforma Raspberry Pi como base para la coordinación vertical”, Enseñanza y Aprendiz. Ing. Comput., vol. 7, 2017.

[22] Thingiverse, “Humanoid Robotic Hand by grossrc”, 2017.

[23] “ThinkGear Connector Development Guide”, 2012.

[24] F. Chollet y others, “Keras”, 2015. [En línea]. Disponible en: https://keras.io.

[25] N. Nasri, S. Orts-Escolano, F. Gomez-Donoso, y M. Cazorla, “Inferring static hand poses from a low-cost non-intrusive sEMG sensor”, Sensors (Switzerland), vol. 19, núm. 2, ene. 2019, doi: 10.3390/s19020371.