搜索
刚刚，浙江省肿瘤医院联合阿里巴巴达摩院召开发布会，发布全球首个胃癌影像筛查AI模型DAMO GRAPE，首次利用平扫CT影像识别早期胃癌病灶，并联合全国20个中心近10万人的大规模临床研究中大幅提升胃癌检出率。相关成果登上国际顶级期刊《自然·医学》（Nature Medicine）。
就在刚刚，世界首个AI科学家天团首个成果重磅发布——治疗失明的新药被发现了，而且仅仅用时2.5个月！
多智能体系统成功锁定
视觉AI终极突破来了！英伟达等机构推出超强多模态模型DAM，仅3B参数，就能精准描述图像和视频中的任何细节。刚刚，英伟达联手UC伯克利、UCSF团队祭出首个神级多模态模型——Describe Anything Model（DAM），仅3B参数。
Adam优化器是深度学习中常用的优化算法，但其性能背后的理论解释一直不完善。近日，来自清华大学的团队提出了RAD优化器，扩展了Adam的理论基础，提升了训练稳定性。实验显示RAD在多种强化学习任务中表现优于Adam。
ICLR 2025时间检验奖重磅揭晓！Yoshua Bengio与华人科学家Jimmy Ba分别领衔的两篇十年前论文摘得冠军与亚军。一个是Adam优化器，另一个注意力机制，彻底重塑深度学习的未来。
算力需求比AdamW直降48%，OpenAI技术人员提出的训练优化算法Muon，被月之暗面团队又推进了一步！
在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。
开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。
过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。