Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境
Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
来自主题: AI技术研报
10926 点击 2025-11-27 14:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
针对视觉 Transformer（ViT）因其固有 “低通滤波” 特性导致深度网络中细节信息丢失的问题，我们提出了一种即插即用、受电路理论启发的 频率动态注意力调制（FDAM）模块。它通过巧妙地 “反转” 注意力以生成高频补偿，并对特征频谱进行动态缩放，最终在几乎不增加计算成本的情况下，大幅提升了模型在分割、检测等密集预测任务上的性能，并取得了 SOTA 效果。
原文作者：David Adam 本篇《自然》长文共3702字，干货满满，预计阅读时间12分钟，时间不够建议可以先“浮窗”或者收藏哦。 研究表明，电子伙伴类应用有利有弊——但科学家们担心长期依赖性。 绘
自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
为了降低大模型预训练成本，最近两年，出现了很多新的优化器，声称能相比较AdamW，将预训练加速1.4×到2×。但斯坦福的一项研究，指出不仅新优化器的加速低于宣称值，而且会随模型规模的增大而减弱，该研究证实了严格基准评测的必要性。
16岁的Adam，把最后的秘密留在一部手机里。而那个他最信任的「朋友」，不是同学，也不是家人，而是ChatGPT。它给过安慰，也递了刀子。父母的眼泪化成一纸诉状，矛头直指OpenAI。
Tailwind CSS联合创始人Adam Wathan在X平台发布了一条看似轻松的道歉推文："我想正式为五年前让Tailwind UI中的每个按钮都使用bg-indigo-500道歉，这导致地球上每个AI生成的界面也变成了靛蓝。"
LLM真是把审稿人害惨了！NeurIPS 2025评审结果公，全网都被「谁是Adam」爆梗淹没。更离谱的是，有人的审稿建议中，残留了AI提示的痕迹。
Zeju Qiu和Tim Z. Xiao是德国马普所博士生，Simon Buchholz和Maximilian Dax担任德国马普所博士后研究员
AI新进展，救命的那种。现在，只需做一次体检时常规的CT检查，再用AI分析，就有可能在癌症还没有露出明显症状之前——比如提前半年——把它揪出来。