Reconocimiento híbrido de emociones a partir del análisis de voz y de expresiones faciales

Abstract

Con el fin de encontrar modelos precisos de alta exactitud de clasificación para el reconocimiento de emociones mediante la voz, se utilizan diferentes técnicas con redes neuronales convolucionales 1D y 2D. En la red 2D utilizada (FSER) se propone una transformación de información de audio a imagen a través de una representación espectral. Experimentalmente se determina que, para UTeMo, se extraen las características más representativas de cada emoción a partir de los cocleogramas, ya que con esta representación se alcanza un 95.08 % de exactitud de clasificación. En el caso del reconocimiento de emociones mediante expresiones faciales se toma en consideración el análisis temporal entre imágenes mediante técnicas de flujo óptico. Sin embargo, experimentalmente se determina que hay un mejor desempeño realzando las características de las imágenes de los rostros y utilizando éstas como fuente de información. Utilizando las imágenes de las expresiones faciales con realce de características y la arquitectura MobileNet se logra un 95.96 % de exactitud de clasificación.