斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
来自主题: AI技术研报
8177 点击 2025-09-08 16:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
苹果在 Hugging Face上放大招了！这次直接甩出两条多模态主线：FastVLM主打「快」，字幕能做到秒回；MobileCLIP2主打「轻」，在 iPhone 上也能起飞。更妙的是，模型和Demo已经全开放，Safari网页就能体验。大模型，真·跑上手机了。
Meta豪掷143亿收购Scale AI，意外成就了3名22岁青年的创业神话！他们靠着为OpenAI等顶级AI实验室输送模型专家训练师，干出百亿独角兽Mercor，年入1亿美金。目前，Mercor在《福布斯》Cloud 100 榜单中排名第89位。
开放词汇识别与分类对于全面理解现实世界的 3D 场景至关重要。目前，所有现有方法在训练或推理过程中都依赖于 2D 或文本模态。这凸显出缺乏能够单独处理 3D 数据以进行端到端语义学习的模型，以及训练此类模型所需的数据。与此同时，3DGS 已成为各种视觉任务中 3D 场景表达的重要标准之一。
为了降低大模型预训练成本，最近两年，出现了很多新的优化器，声称能相比较AdamW，将预训练加速1.4×到2×。但斯坦福的一项研究，指出不仅新优化器的加速低于宣称值，而且会随模型规模的增大而减弱，该研究证实了严格基准评测的必要性。
清华大学最新提出的建筑专业知识驱动的平面图自动生成方案FloorPlan-LLaMa，解决传统模型「指标优秀但实际不可用」 痛点，让AI生成贴合建筑师设计偏好的可行方案。
好家伙，我直呼好家伙。 号称「赛博白月光」的 GPT-4o，在它的知识体系里，对日本女优「波多野结衣」的熟悉程度，竟然比中文日常问候语「您好」还要高出 2.6 倍。
近日，在一项针对2000名40岁以下美国成年人的调研中发现：约11%的年轻人愿意拥有「AI朋友」，约25%的年轻人可以接受与AI谈恋爱；在Character.AI上，模拟治疗师Psychologist创建以来，已收到近亿条用户回复。朋友、爱人、治疗师、导师……越来越多的AI角色渗入我们的生活，或将我们带到一个包含人机共建亲密关系的世界。
AI制药，一家新独角兽诞生了。 9月4日，AI+生物科技公司Enveda宣布，公司已经完成1.5亿美元的D轮融资，目前估值超过10亿美元。
《金融时报》最新消息，OpenAI 正在和博通合作，自研一颗代号 “XPU” 的 AI 推理芯片，预计会在 2026 年量产，由台积电代工。不同于英伟达 的 GPU，这款芯片不会对外销售，而是专门满足 OpenAI 内部的训练与推理需求，用来支撑即将上线的 GPT-5 等更庞大的模型。