RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘
RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘RL之后，大模型为什么更容易「越训越单一」？面对五花八门的改进思路，也许答案并不复杂：先试着改一改KL项。
来自主题: AI技术研报
5589 点击 2026-04-09 14:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
RL之后，大模型为什么更容易「越训越单一」？面对五花八门的改进思路，也许答案并不复杂：先试着改一改KL项。
本文为《2025 年度盘点与趋势洞察》系列内容之一，由 InfoQ 技术编辑组策划。本系列覆盖大模型、Agent、具身智能、AI Native 开发范式、AI 工具链与开发、AI+ 传统行业等方向，通过长期跟踪、与业内专家深度访谈等方式，对重点领域进行关键技术进展、核心事件和产业趋势的洞察盘点。
新加坡国立大学 LV Lab（颜水成团队） 联合电子科技大学、浙江大学等机构提出 FeRA (Frequency-Energy Constrained Routing) 框架：首次从频域能量的第一性原理出发，揭示了扩散去噪过程具有显著的「低频到高频」演变规律，并据此设计了动态路由机制。
在大数据和大模型推动下，微调技术凭借成本低、效率高优势，成为应对小样本、长尾目标等复杂场景的利器。从早期全参数微调到参数高效微调（PEFT），再到如今融合多种PEFT技术的混合微调，遥感微调技术不断进化。清华大学等团队在CVMJ期刊上系统梳理了技术脉络，并指出了九个潜在研究方向，助力遥感技术在农业监测、天气预报等关键领域发挥更大作用。
在大模型微调实践中，SFT（监督微调）几乎成为主流流程的一部分，被广泛应用于各类下游任务和专用场景。比如，在医疗领域，研究人员往往会用领域专属数据对大模型进行微调，从而显著提升模型在该领域特定任务上的表现。
Thinking Machines Lab发布首个产品：Thinker，让模型微调变得像改Python代码一样简单。也算是终于摘掉了“0产品0收入估值840亿”的帽子。Tinker受到了业界的密切关注。AI基础设施公司Anyscale的CEO Robert Nishihara等beta测试者表示，尽管市面上有其他微调工具，但Tinker在“抽象化和可调性之间取得了卓越的平衡”
告别Next-token，现在模型微调阶段就能直接多token预测！
通过单阶段监督微调与强化微调结合，让大模型在训练时能同时利用专家演示和自我探索试错，有效提升大模型推理性能。
中科院自动化所提出DipLLM，这是首个在复杂策略游戏Diplomacy中基于大语言模型微调的智能体框架，仅用Cicero 1.5%的训练数据就实现超越
大家好，我是袋鼠帝 今天给大家带来的是一个带WebUI，无需代码的超简单的本地大模型微调方案（界面操作），实测微调之后的效果也是非常不错。