摘要
本发明涉及人工智能技术领域,是一种融合知识图谱与自蒸馏的命名实体识别方法,其包括以下步骤:获取待处理文本数据和对应的知识图谱;采用预训练语言模型编码文本特征,采用知识嵌入模型将知识图谱的实体和关系映射为向量,通过交叉注意力机制融合文本特征与知识向量,生成增强特征;构建教师模型和学生模型,通过自蒸馏机制训练学生模型,计算学生损失函数和蒸馏损失函数并加权求和得到总损失函数,根据总损失函数更新学生模型参数,在每轮训练后若学生模型性能指标优于历史最优值则更新教师模型参数,训练完成后输出实体识别结果。本发明能融合外部知识提升识别精度,同时通过自蒸馏降低模型复杂度。