基于多模态自主深度学习的机器人故障自助诊断系统

本发明公开了基于多模态自主深度学习的机器人故障自助诊断系统，本发明涉及工业机器人故障诊断技术领域，包括数据采集模块、预处理模块、三维语义图构建模块、跨模态语义关联模块、诊断引擎模块、交互模块和本地化部署模块，本发明的优点在于：通过在三维语义图构建模块中基于机器人CAD数模构建包含部件几何特征、功能标签和符号标签的三维语义图神经网络拓扑图，利用几何‑语义双向匹配机制计算文本语义标签与三维语义图节点的几何特征欧氏距离及语义余弦相似度，建立多模态数据与图节点的跨模态关联，同时，通过图神经网络模型迭代更新节点特征，解决了多源异构数据难以转化为统一诊断特征空间、跨模态语义联动不足的问题。