一种基于多模态大语言模型的目标检测系统及方法

本发明公开了一种基于多模态大语言模型的目标检测系统及方法，利用 DETR 生成提议框作为对象候选，借助 MLLM 强大的语义推理能力，实现对长尾类别、组合对象等复杂目标的精准检测；构建主视觉编码器与辅助视觉编码器协同的双编码器架构，主视觉编码器延续 MLLM 全局语义理解能力，辅助视觉编码器专攻对象局部特征提取，通过多层多尺度特征拼接，在维度层面实现语义与感知信息的深度互补；创新设计对象索引与坐标预测双输出模式，形成 “检索‑生成” 双重保障体系，有效提升目标检测精度与鲁棒性。