基于多模态语言模型的结构化目标检测方法、装置及设备

本发明提供的基于多模态语言模型的结构化目标检测方法、装置及设备，涉及目标检测技术领域。本发明将获取的图像数据与提示词输入多模态语言模型；多模态语言模型包括视觉编码器、交叉注意力模块与解码器；通过视觉编码器对图像数据进行特征提取；基于提示词与特征提取后的数据在交叉注意力模块进行多模态交互；其中，交叉注意力模块插入有Adapter模块，以实现图像与语言信息的融合；对交叉注意力模块的查询向量和值向量的权重进行低秩微调更新，其余模型权重保持冻结；通过解码器推理输出若干个至少包含目标类型及其边界框坐标的目标token组序列。本发明无需额外的目标检测模块，通过改进的多模态语言模型，可一次性生成多个目标的完整结构信息。