一种汽车领域多模态大模型的训练方法及系统

本发明涉及人工智能领域，尤其涉及一种汽车领域多模态大模型的训练方法及系统，该方法通过获取并初始化图像、音频和文本数据，生成标签信息；接着，对数据进行预处理和特征提取，将特征向量划分为语言和非语言两类；然后，将非语言特征向量映射至语言特征空间并融合，形成多模态特征向量；通过对比学习优化特征向量，调整得到目标多模态特征向量；进一步，使用条件概率矩阵构建标签关系图，作为实际关系图，并构建代理模型预测关系图；最后，对比预测与实际关系图，计算后悔值，结合最大熵原理优化代理模型，得到目标代理模型。该方法有效融合多模态数据，提升模型预测准确性，为汽车领域智能应用提供有力支持。