一种基于自监督学习的多模态图像补全方法

本发明涉及图像处理技术领域，具体涉及一种基于自监督学习的多模态图像补全方法，包括：制作多模态数据集，针对同一场景图像，选定其中一个模态的图像作为源图像，另一模态的图像为目标图像；通过提取最大内接矩形进行拼接裁剪的方法获得两个模态的真值图像对；对目标图像真值仿真图像内容缺失，并与源图像组成跨模态图像对，同时输入多层特征编码器，输出多尺度特征图；将多尺度特征图输入特征融合器，得到融合特征；将融合特征输入多层解码器，输出预测的补全图像；利用预测的补全图像和目标图像真值设计自监督损失函数，以优化图像补全网络。本发明可精确地补全因配准产生的形变导致内容缺失的图像。