摘要
本发明公开了一种基于事件驱动的多模态深度伪造检测方法及装置,方法包括:收集来自不同模态的数据源,得到成对配套的训练数据集;分别对原始事件流数据、原始视频数据和原始音频数据进行对应的特征提取,得到原始事件特征、原始视频特征和原始音频特征;对原始事件特征、原始视频特征和原始音频特征进行融合及拼接,得到深层深度伪造检测特征;预测深层深度伪造检测特征对应的深度伪造检测标签,基于深度伪造检测标签训练深度伪造检测模型,以实现多模态深度伪造检测。利用本发明实施例,能够实现对深度伪造内容中快速变化的伪造痕迹、微表情伪造及音视频不一致等情况的有效检测,提升深度伪造检测的准确性和鲁棒性。