多模态CNN/Transformer图像缺陷诊断追踪决策方法

本发明公开多模态CNN/Transformer图像缺陷诊断追踪决策方法，属电力电子工业检测领域。该方法采集不同批次、工艺阶段及设备的缺陷位置多模态数据，经时空对齐、图像增强预处理与对齐后，用位置编码、CNN浅层网络及ResNet‑18提取特征，结合权重融合为多模态特征向量，通过CNN/Transformer模型训练得到检测模型，实现缺陷诊断与追踪决策，解决了电子产品内部微小成分变化和结构缺陷、电力单一局部与整体多模态缺陷的精确检测、定位、诊断跟踪及决策问题。检测准确率提升20％，诊断准确率98.5％以上，追踪缺陷误差小于5％，决策效率提升40％，缺陷预测能力提升22％。