摘要
本发明公开了一种面向迁移学习的模态缺失情景图像处理方法,包括以下步骤:采集源域图像和目标域图像,源域图像为光学图像;训练跨模态知识蒸馏模型,跨模态知识蒸馏模型包括源域模型和目标域模型;还包括特征指派规划模型、自适应知识蒸馏模块和对比学习模型;联合自适应知识蒸馏模块和对比学习模型共同优化跨模态知识蒸馏模型,得到训练完成的目标域模型;利用训练完成的目标域模型完成图像处理。本发明能够在缺失模态信息的条件下显著提升模型性能。通过引入特征指派规划模型,实现训练样本在语义层面的精准归类,并结合类别导向的正负样本划分策略,优化知识蒸馏路径,增强缺失模态的特征学习效果。