端到端感知决策规控架构确定方法及装置

本发明提供一种端到端感知决策规控架构确定方法及装置，属于自动驾驶技术领域，基于自动驾驶场景的基础交通信号图像、道路地图数据以及基础驾驶规则构建的第一多模态数据集，自动驾驶场景的动态交通元素图像序列数据、复杂环境元素图像序列数据以及复杂驾驶规则构建的第二多模态数据集，基于自动驾驶场景图像、自动驾驶目标以及传感器时序数据构建的第三多模态数据集，分别对多模态大模型进行分阶段训练，得到适用于自动驾驶场景的端到端感知决策规控架构。通过分阶段训练策略对多模态大模型进行训练，逐步实现从基础元素识别到复杂元素识别再到决策训练，增强模型的实时性，满足自动驾驶任务对实时性的要求。