万分之一——大模型后训练中的极端稀疏监督
万分之一——大模型后训练中的极端稀疏监督亚马逊公司与杜克大学的研究表明，在大模型后训练的在线策略蒸馏（OPD）中，仅保留万分之一的极端稀疏监督信号即可显著提升学生模型的推理能力，且性能可匹配甚至超越密集全信号训练。
来自主题: AI技术研报
8923 点击 2026-10-04 22:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
亚马逊公司与杜克大学的研究表明，在大模型后训练的在线策略蒸馏（OPD）中，仅保留万分之一的极端稀疏监督信号即可显著提升学生模型的推理能力，且性能可匹配甚至超越密集全信号训练。
东南大学魏秀参团队提出LeaP（Learnable source Prior）方法，由本体感知信息驱动并联合预测动作生成起点的均值与方差，在RoboTwin仿真15项任务上平均成功率81.6%、较标准高斯基线提升25.5个百分点，相关论文已被CoRL 2026接收。
图片有“该内容由AI生成”的水印。从现在起，蛋白质也可以有了。 9月30日，Google DeepMind发布SynthID Bio，把水印技术第一次带进合成生物学，要给AI设计的蛋白质打上“由AI生
论文DepthART提出抗偏置数据采样与相机条件化微调方法，将基础单目深度估计模型压缩至约6M参数，在保留跨场景泛化能力的前提下实现Jetson等端侧设备的高帧率部署。
Anthropic CEO Dario Amodei的妻子Cami Clark——被称为公司「第一夫人」——在Anthropic冲刺最高2万亿美元IPO前夕悄然退出，被视为公司从创始人非正式权力圈向制度化治理转型的关键信号。
《大西洋月刊》长文披露，2020年Dario Amodei因与Sam Altman在AGI计划、GPT-3客户名单、微软投资及安全团队否决权等问题上矛盾激化，带领7名核心成员从OpenAI离职并创立Anthropic，使其从最初规划的50人安全实验室成长为OpenAI最强竞争对手。
Manus发布2.0版本全家桶产品，包含新agent架构Cascade、面向工作创作的Manus Studio及个人智能体Cue，表明AI应用几乎只剩Coding/办公、视频/游戏与个人智能体三件事，并宣布组建团队开发面向国内市场的产品。
欧洲开发者 Mario Zechner 开发的极简 Coding Agent Harness Pi 只给模型一个 bash，却在多项 Benchmark 中击败 Claude Code 和 Codex，凭借极简设计和高可扩展性在 2025 年底爆火，团队来自维也纳而非硅谷。
上海人工智能实验室开源的多模态决策SOTA模型Intern-Decision采用自回归式掩码语言任务框架，在推理速度上比Jev提升2至3倍，并在游戏画面决策、验证码识别和网页操作等任务中展现出将视觉理解与结构化决策结合的能力，目前已在Hugging Face、GitHub开源0.8B、2B和4B三个版本。
北京大学、清华大学与阿里巴巴等机构联合提出SparkDiffusion视频生成加速系统，通过融合稀疏注意力、少步蒸馏与FP8量化，在单卡RTX 5090上实现最高720倍推理加速，可在18秒内生成5秒720P视频，并已完整开源权重与训练代码。