摘要
本发明涉及语言处理技术领域,具体涉及用于自然语言处理的多模态情感分析方法,包括获取用户输入的多模态数据,包括文本序列、语音波形和面部表情图像;对所述文本序列进行上下文感知分词处理,生成包括词性标签和句法依存关系的结构化文本特征;将所述语音波形和面部表情图像输入非对称噪声抑制模块,分别输出去除环境噪声的纯净语音频谱和消除光照干扰的标准化表情动作序列;将所述结构化文本特征、纯净语音频谱和标准化表情动作序列输入动态关联融合模块,通过跨模态注意力机制生成时间对齐的联合情感表征向量,采用分层决策网络输出情感分类结果。本发明实现了多层次情感理解与分类,提高了情感分析系统对复杂、细腻情绪状态的识别能力。