基于音频驱动和混合形状的视频情感虚拟形象实时生成方法

本发明公开了一种基于音频驱动和混合形状的视频情感虚拟形象实时生成方法，包括：首先，利用3D高斯混合形状构建特定身份的中立情感空间，并与情感、人脸网格和音频驱动的形变进行同步；然后，将3D高斯属性编码成共享的隐式特征表示，并与音频特征、网格位移编码特征、情感和强度编码进行融合；接着，将这些特征输入到空间‑音频‑情感注意力模块中，用于预测每个高斯属性的偏移量，最后通过高斯溅射渲染得到虚拟形象。通过上述步骤，本发明实现了不同音频、不同情感以及不同强度的虚拟人物头像实时生成。