基于视觉和非视觉信息融合的行人意图预测方法及系统

本发明一种基于视觉和非视觉信息融合的行人意图预测方法及系统，该方法包括使用Transformer编码器对非视觉信息进行预处理，得到非视觉特征向量；使用Transformer编码器对视觉信息进行预处理，得到行人局部信息二次特征和语义图像信息二次特征，将所述行人局部信息二次特征和语义图像信息二次特征拼接得到视觉特征向量；所述非视觉特征向量和视觉特征向量特征融合输入到全连接层得到输出结果，在训练过程中引入二进制交叉熵损失函数，当预测结果与真实标签不一致时，损失值会显著增大，能够有效且高效地处理不平衡数据，提高预测的准确率和鲁棒性。