一种知识数据的去重方法及装置、存储介质、计算机设备

本发明公开了一种知识数据的去重方法及装置、存储介质、计算机设备，涉及数据处理技术领域，适用于金融科技、智慧医疗等业务，主要在于解决现有知识数据去重在处理大规模知识数据时去重效果差的问题，包括获取相关业务的大规模知识数据；采用MinHash LSH模型对所述大规模知识数据进行聚类处理，得到重复文本聚类结果；所述重复文本聚类结果包含多组相似数据集合；采用bge‑m3模型对各组所述相似数据集合进行词嵌入计算，得到与各组相似数据集合相对应的词嵌入；对各组相似数据集合中的所述词嵌入分别进行语义相似度去重处理，得到知识数据的去重结果。