人脸驱动视频生成方法及相关装置

本发明属于人工智能生成领域，公开了一种人脸驱动视频生成方法及相关装置，包括：提取目标人脸图像的表情系数以及驱动视频的各视频帧的表情系数和人脸姿态参数，并基于预训练的反演编码器获取目标人脸图像的3D潜码表征；得到各视频帧的表情偏差并添加至目标人脸图像的3D潜码表征上得到各视频帧的3D潜码表征，并使用预训练的3D生成对抗网络解码得到各视频帧的初始3D特征，获取目标人脸图像的人脸特征并注入各视频帧的初始3D特征中，得到各视频帧的调制3D特征；根据各视频帧的人脸姿态参数结合各视频帧的调制3D特征生成目标人脸视频。解决了目前多视图不一致、无法对单张特定人脸图像进行人脸驱动视频生成或需要进行额外训练和优化缺点。