Sistema de reconocimiento multimodal de emociones para interacción humano-robot

Abstract

En los humanos la habilidad para interpretar las emociones es muy importante para lograr una comunicación efectiva. En el aspecto tecnológico el reconocimiento automático de emociones representa uno de los retos más importantes para lograr una comunicación humano-robot intuitiva, comprensiva y natural. En este campo de investigación la presente tesis contribuye con el desarrollo de un sistema de reconocimiento multimodal de emociones para su integración en un robot humanoide. Esto con el propósito de crear el medio tecnológico para que un robot sea capaz de interactuar con usuarios permitiendo un diálogo más natural. En comparación con investigaciones similares el presente trabajo aborda de manera integral los siguientes puntos: -Reconocimiento de emociones en voz y rostro para usuarios mexicanos; -Desarrollo de base de datos multimodal para el análisis y desarrollo del sistema de reconocimiento (base de datos creada con participantes mexicanos, Base de Datos MX); -Identificación de factores que afectan el desempeño del reconocimiento de emociones en voz y rostro; -Integración de optimización evolutiva dentro del desarrollo del sistema para determinar parámetros importantes para mejorar su desempeño; -Desarrollo de sistema de diálogo contextual para interacción por voz con el sistema robótico acorde con el estado emocional reconocido; -Conexión del robot humanoide Bioloid con el sistema de reconocimiento e importación de librerías de movimiento realizadas con el software RoboPlus. Para el desarrollo del sistema de reconocimiento se consideraron las emociones de Enojo, Felicidad, Neutro y Tristeza. Las técnicas de Redes Neuronales Artificiales (Artificial Neural Networks, ANNs) y Modelos Ocultos de Markov (Hidden Markov Models, HMMs) fueron utilizadas para el desarrollo de los subsistemas de reconocimiento visual y vocal respectivamente. Experimentos realizados con la base de datos MX y una base de datos estándar (Base JAFFE) proporcionaron información acerca de la dependencia que hay entre la tasa de reconocimiento y la base de datos utilizada para el desarrollo del sistema. La integración de optimización evolutiva mediante Algoritmos Genéticos (Genetic Algorithms, GAs) fue considerada para dar solución a esta situación. Las mejoras en desempeño con la integración de GAs fue estadísticamente significativa. De igual manera los desempeños de los subsistemas de reconocimiento visual y vocal proporcionaron información acerca de las emociones que son reconocidas de mejor manera por cada uno de ellos. Este análisis de desempeños fue considerado para una ponderación de subsistemas para su integración en el sistema de reconocimiento multimodal. Para añadir un esquema de aplicación al reconocimiento de emociones la integración de un sistema de diálogo contextual fue considerado. Este sistema de diálogo fue desarrollado mediante Máquinas de Estado Finito (Finite State Machines, FSMs) el cual funciona mediante reconocimiento de voz en modo de habla continua. Finalmente en pruebas en-vivo con usuarios mexicanos diferentes a los participantes de la Base MX el sistema multimodal tuvo una precisión en el reconocimiento de emociones mayor al 95 %.