融合知识图谱与自蒸馏的命名实体识别方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
融合知识图谱与自蒸馏的命名实体识别方法
申请号:CN202511017193
申请日期:2025-07-23
公开号:CN120911462A
公开日期:2025-11-07
类型:发明专利
摘要
本发明涉及人工智能技术领域,是一种融合知识图谱与自蒸馏的命名实体识别方法,其包括以下步骤:获取待处理文本数据和对应的知识图谱;采用预训练语言模型编码文本特征,采用知识嵌入模型将知识图谱的实体和关系映射为向量,通过交叉注意力机制融合文本特征与知识向量,生成增强特征;构建教师模型和学生模型,通过自蒸馏机制训练学生模型,计算学生损失函数和蒸馏损失函数并加权求和得到总损失函数,根据总损失函数更新学生模型参数,在每轮训练后若学生模型性能指标优于历史最优值则更新教师模型参数,训练完成后输出实体识别结果。本发明能融合外部知识提升识别精度,同时通过自蒸馏降低模型复杂度。
技术关键词
命名实体识别方法 融合知识图谱 预训练语言模型 交叉注意力机制 学生 文本特征向量 蒸馏 教师 条件随机场 融合外部知识 参数 生成知识图谱 序列 人工智能技术 标签 数据 编码