基于质量感知与多尺度对齐的音视频深度伪造检测方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于质量感知与多尺度对齐的音视频深度伪造检测方法
申请号:CN202511122479
申请日期:2025-08-12
公开号:CN121009341A
公开日期:2025-11-25
类型:发明专利
摘要
本发明公开了一种基于质量感知与多尺度对齐的音视频深度伪造检测方法,包括如下步骤:对同步音视频序列进行编码,获得帧级视觉特征、面部动作单元与音素级语音表示;引入视觉质量评估模块生成空间可靠性掩码,对视觉特征进行质量加权;设计全局—局部多尺度跨模态对齐机制,在全局以双向跨注意力建模语音与面部动态同步,在局部将音素与面部动作单元进行生理耦合对齐;提出不确定性感知推理与校准方案,依据质量与一致性自适应温度缩放并以自监督损失进行不确定性校准。本发明解决了现有方法在低质量视频与高度同步伪造场景下鲁棒性不足及过度自信误判的问题,显著提升跨数据集泛化能力与实际部署可靠性。
技术关键词
面部动作单元 视觉特征 注意力 音视频 语义 语音 样本 跨模态 鲁棒性 面部表情变化 生理 音频特征 时序 视频帧 多尺度 动态时间规整