摘要
本发明公开一种基于大模型协同决策的驾驶员异常监测系统,包括:多路摄像头、语音交互模块、DTOPA视觉预对齐模块、Qwen‑Apan轻量化语言推理模块、协同决策模块、安全响应控制模块;其中,多路摄像头用于实时提取车内环境视频流;语音交互模块用于对驾驶员进行提醒,并与驾驶员进行交互;DTOPA视觉预对齐模块用于将视频流转化为结构化文本描述;Qwen‑Apan轻量化语言推理模块用于对文本描述进行语义分析和异常风险评估;协同决策模块用于基于风险评估结果触发语音交互及车辆控制指令;安全响应控制模块用于执行靠边停车、紧急联系人通知或多级预警操作;本发明显著提升辅助驾驶的安全性。