摘要
本说明书实施例披露一种大语言模型的遗忘学习方法及装置。该方法包括:首先,获取第一大语言模型和遗忘样本集,其中第一大语言模型初始为采用微调样本集进行微调而得到的微调模型,遗忘样本集为微调样本集的子集。接着,针对任意的第一遗忘样本,基于第二大语言模型确定若干相似样本,其中各个相似样本与所述第一遗忘样本具有相似语义但表述不同。之后,利用第一大语言模型处理第一遗忘样本得到第一隐层表征。然后,确定训练损失,其负相关于第一隐层表征与各个相似样本的隐层表征之间的距离,正相关于第一隐层表征和随机向量之间的距离,其中各个相似样本的隐层表征基于微调模型而得到;之后,利用训练损失训练第一大语言模型以实现遗忘学习。