利用基于轴向注意力DWConv前馈网络的文档级关系提取方法
申请号:CN202511084768
申请日期:2025-08-04
公开号:CN120951997A
公开日期:2025-11-14
类型:发明专利
摘要
本发明公开了一种利用基于轴向注意力DWConv前馈网络的文档级关系提取方法,首先采集包含多个实体及多组关系的长文本,并在实体前后标记其位置及关系标签。针对现有文档级关系提取模型准确率不高、内存占用大的问题,设计了一个基于轴向注意力机制的高效前馈网络。该网络利用轴向注意力模块替代全局注意力处理词嵌入矩阵,通过对维度分解与重组,交替计算行注意力和列注意力,有效建模实体对间的多步推理关系并捕获全局信息,在显著减少模型参数、提升推理速度的同时提高了关系预测准确率,解决了高维建模和长距离依赖问题。部署时,结合开源命名实体识别工具自动标记输入长文本中的实体位置,最终实现了高效、准确的文档级关系提取。
技术关键词
关系提取方法
命名实体识别
文本
矩阵
归一化模块
自动标记
网络模块
构建知识图谱
词嵌入向量
线性分类器
三元组
注意力机制
卷积模块
标签