基于正则化约束防止灾难性遗忘的小样本微调方法
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
验证码登录
×
发送
登录即代表您已同意AITNT
用户协议
和
隐私政策
登录
登录成功后会自动刷新界面
AITNT公众号
AITNT APP
AITNT交流群
搜索
未登录
首页
AI中心
退出
首页
AI资讯
AI技术研报
AI监管政策
AI产品测评
AI商业项目
AI产品热榜
AI 源力市场
寻求报道
基于正则化约束防止灾难性遗忘的小样本微调方法
申请号:
CN202510913895
申请日期:
2025-07-03
公开号:
CN120764613A
公开日期:
2025-10-10
类型:
发明专利
摘要
本发明提供一种基于正则化约束防止灾难性遗忘的小样本微调方法。通过小样本数据对基础Stable Diffusion模型进行标准LoRA训练,获得初步定制化模型;在继续训练过程中,融合小样本数据与辅助数据,训练时在损失函数中引入防止灾难性遗忘正则化损失项,该正则化损失项通过约束当前模型输出与前一阶段模型输出的一致性,减少模型在新样本学习过程中对已学习特征的破坏,从而提升模型在目标风格下的泛化能力与稳定性。该方法兼顾模型对新样本快速适应与原有能力保留,避免风格漂移、细节缺失等问题。
技术关键词
微调方法
输出特征
图像重建
样本
适配器
联合损失函数
生成图像数据
基础
注意力
矩阵
预训练模型
学习特征
训练集
参数
图像库
风格
文本
解码器