Desarrollo e implementación de un sistema de identificación de signos de la lengua de señas mexicana basado en redes neuronales y el sistema embebido Jetson Nano

Abstract

En el presente trabajo de tesis se muestran las etapas para el desarrollo de una red neuronal convolucional (RNC) la cual permite clasificar en tiempo real signos de la lengua de señas Mexicana. Se pueden identificar cuatro partes principales en esta investigación; la recolección, limpieza y tratamiento de las imágenes de la base de datos, el desarrollo de la RNC en la plataforma Google Colaboratory, la obtención de un modelo compatible con la tarjeta Jetson Nano y la ejecución en tiempo real del modelo de clasificación el cual muestra un 94.85 % de exactitud ante un conjunto de pruebas de 2,100 imágenes, dicho modelo fue obtenido a través de la optimización de una RNC propuesta variando el numero de filtros, capas de convolución y valor del optimizador para 10 modelos de RNC basados en la RNC propuesta. La base de datos en general contiene 10,500 imágenes en escala de grises la cual es una integración de bases de datos de la lengua de señas americana, bengalí y colombiana, así como imágenes propias adquiridas. Se presentan además los algoritmos necesarios para transformar un modelo de RNC a un archivo el cual puede ser ejecutado por la tarjeta Jetson Nano. Finalmente, se muestran las pruebas realizadas en un entorno físico y con voluntarios con las cuales se comprobó el funcionamiento de este sistema permitiendo observar el reconocimiento en tiempo real para cada signo estático de la LSM realizado por los usuarios.