基于专家混合结构的统一多任务模型的预训练方法及系统

本发明实施例提供一种基于专家混合结构的统一多任务模型的预训练方法及系统。该方法包括：将时间匹配的不同类别的模态数据输入至统一多任务模型；在统一多任务模型中，将不同类别的模态数据分别输入各自对应的片段嵌入层，将各片段嵌入层输出的不同模态特征输入至权重共享的自注意力层；权重共享的自注意力层与多个模态专家、共享专家以及多个模态门控对不同模态特征进行多任务的前向传播，确定多任务的预训练损失；基于多任务的预训练损失进行反向传播训练，得到用于情绪识别的预训练统一多任务模型。本发明实施例将模态特定专家与共享专家结合，使得模型能够更加充分地学习到不同模态之间的关联和互补信息。