Reconnaissance des émotions vocales basée sur l’apprentissage profond

Abstract

La communication est l'un des moyens les plus répandus chez les êtres humains pour exprimer leurs états émotionnels internes. Par conséquent, il serait intéressant de développer un système capable de reconnaître automatiquement ces émotions. Dans notre projet, nous nous concentrons sur la création d'un système de reconnaissance des émotions vocales en utilisant des techniques d'apprentissage profond. Le système repose sur l'utilisation de plusieurs paramètres spectraux tels que les MFCC, ZCR, Chroma_stft, chroma_cqt, Mel Spectrogramme, ainsi que des paramètres prosodiques tels que RMS (énergie) et pitch. Chaque type d'émotion est représenté par un modèle CNN. Afin d'optimiser les performances du système, nous avons réalisé de nombreux tests pour déterminer le taux de reconnaissance le plus élevé. En termes de paramètres, la combinaison des techniques MFCC et RMS a obtenu les meilleurs résultats avec un taux de reconnaissance de 84,44 %. Nous avons également constaté qu'en fusionnant les paramètres prosodiques et spectraux avec le modèle CNN, nous avons pu améliorer davantage les performances du système, atteignant ainsi un taux de reconnaissance de 85,88 %.