一种基于联合注意力的跨模态特征融合方法

本发明提出一种基于联合注意力的跨模态特征融合方法，将不同来源的多模态数据相结合以预测待跟踪目标的相对位置，首先针对不同模态的数据设计跨模态数据表征网络模型，通过编码转换算法从原始数据中生成保留关键依赖信息的时序高维隐编码；其次设计异构注意力网络单元，通过两种不同形式的注意力分别提取不同模态数据对应的时序高维隐编码的特征；最后通过协同训练机制，利用不用模态数据间的信息互补，生成最有效的特征表示，用于时间序列预测模型，实现对所跟踪目标的移动位置进行精准预测。