大语言模型的微调训练方法、电子设备、存储介质和程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
大语言模型的微调训练方法、电子设备、存储介质和程序产品
申请号:CN202511059820
申请日期:2025-07-30
公开号:CN121009164A
公开日期:2025-11-25
类型:发明专利
摘要
本申请实施例提供一种大语言模型的微调训练方法、电子设备、存储介质和程序产品,涉及人工智能技术领域,该方法包括:获取针对同一个训练问题生成的多个独立的候选答案,基于多个候选答案的分布特征,量化表示训练问题的不确定程度,根据多个候选答案的不确定程度,对训练问题的损失权重赋值,其中,不确定程度越高,损失权重越高,获取多个训练问题的损失权重,并基于使用各训练问题的损失权重加权的损失函数,对大语言模型执行微调训练。本申请实施例基于训练问题的不确定性对损失权重赋不同的值,调节各训练问题的损失在损失函数中的重要程度,从而协同优化大语言模型微调训练过程的训练效率和推理精度。
技术关键词
大语言模型 答案 生成方式 分布特征 文本 电子设备 可读存储介质 人工智能技术 计算机程序产品 聚类 处理器 教师 存储器 频率 精度