谷歌四大巨头齐聚：蒸馏模型的精髓是“挤柠檬”！Gemini 将用自己写的代码“改进”自己！五年后的谷歌可能只有一款产品
谷歌四大巨头齐聚：蒸馏模型的精髓是“挤柠檬”！Gemini 将用自己写的代码“改进”自己！五年后的谷歌可能只有一款产品“我们有点处在自己的科技泡沫里。”
来自主题: AI资讯
9432 点击 2026-06-01 13:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
“我们有点处在自己的科技泡沫里。”
近期，来自复旦大学与阿里巴巴通义万相的研究团队对此提出了新的思考。他们认为，多任务强化学习不应被视为一个统一优化问题，而应该解耦为两个彼此独立的过程：单任务的在线策略探索 & 多任务能力整合。
网上有条帖子炸了，稳定复现，通过 API 问 Claude Opus 4.8 你是什么模型。回答是：Qwen，或者 DeepSeek。重要的事说三遍：必须是通过 API，必须是通过 API，必须是通过 API。因为网页端有系统提示词，会做二次处理。
Codex自家程序员，直接把Codex「自我蒸馏」的秘籍给爆出来了…
今年以来，在线策略蒸馏 OPD（On-Policy Distillation）已经逐渐成为大厂 LLM 后训练中的重要组件，例如 DeepSeek-V4，GLM5 就使用了多教师 OPD 来整合不同领域专家模型的能力，相比混合奖励强化学习收敛更快、效果更好。
最近，来自上海创智学院、复旦大学等机构的研究者提出了 Hallo-Live，试图正面解决这个矛盾。论文于 2026 年 4 月 26 日 发布在 arXiv。该方法将 异步双流扩散（Asynchronous Dual-Stream Diffusion） 与 人类偏好引导蒸馏（Human-Centric Preference-Guided DMD） 结合起来
阿里巴巴 Z-Image 团队联合香港科技大学、加州大学圣地亚哥分校、香港中文大学等机构提出 D-OPSD（On-Policy Self-Distillation），首个针对少步扩散模型的在线策略自蒸馏框架。D-OPSD 无需奖励模型、无需成对偏好数据，
当下的大模型后训练（Post-training）pipeline 中，On-Policy Distillation（OPD）已经成为了明星技术。从 Qwen3、MiMo 到 GLM-5，业界纷纷采用 OPD 并报告了巨大的性能提升。相比于强化学习（RL）稀疏的结果奖励，OPD 提供了密集的 Token 级别监督信号，看起来就像是一顿「免费的午餐」。
在多模态大模型（MLLM）快速发展的浪潮中，融合多模型 “集体智慧” 已成为提升模型性能的关键路径，并催生了多教师知识蒸馏这一主流范式。然而，不同来源的教师模型在架构与优化上的差异，其在相似推理过程中呈现出不稳定甚至偏移的认知轨迹，即 “概念漂移”（Concept Drift）。
把强大模型的能力“蒸馏”给小模型，听起来很美—— 但放到多轮对话Agent场景里，效果往往一塌糊涂。