基于显著性LoRA知识注入的特定域多模态命名实体识别方法

基于显著性LoRA知识注入的特定域多模态命名实体识别方法，具体步骤如下：步骤一、图片‑文本对按照统一的指令模版构建成指令数据集。步骤二、采用SalientLoRA微调方法，将领域MNER指令数据集注入多模态大模型，增强其领域实体理解和识别能力。本发明提出了基于显著性LoRA知识注入的特定域多模态命名实体识别方法，本方法依托大规模多模态大语言模型强大的理解和推理能力，通过指令微调的方法，将特定域命名实体识别数据集转化为统一的指令方式，能够统一知识注入，在一个模型中处理多种类别和细分领域的命名实体识别任务。