一种多源多模态数据融合的跨模态情感识别方法及设备

申请号：CN202510894698

申请日期：2025-06-30

公开号：CN120781286A

公开日期：2025-10-14

类型：发明专利

摘要

本发明提供了一种多源多模态数据融合的跨模态情感识别方法及设备，包括：获取多源模态数据，包括文本、音频和视频；对所述多源模态数据进行预处理，得到预处理后的多源模态数据；利用深度学习模型对预处理后的多源模态数据进行特征提取，得到多源模态特征；通过跨模态注意力机制对所述多源模态特征进行融合，得到融合特征；基于所述融合特征进行情感分类，得到情感识别结果。

技术关键词

情感识别方法模态特征融合特征注意力机制深度学习模型非暂态计算机可读存储介质数据跨模态梅尔频率倒谱系数情感识别装置输出特征文本特征向量双向变换器音频通信接口情感类别处理器矩阵