搜索
让大模型 "读得更长" 一直是 Agent、深度推理和海量资料整合等场景的刚需，但标准全注意力机制的计算量随序列长度呈平方级增长，始终是横亘在长上下文建模面前的三座大山。
Kimi K3 是一个 2.8 万亿参数模型，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。
LinStereo 对应地做了三件事：PALA 换掉 ConvGRU 解决传播问题，HSCV 保留多尺度特征，DPI 用单目深度给一个靠谱的起点。PALA 做的事情说起来很直观，就是把 ConvGRU 的局部更新换成全局注意力，让每个像素每次迭代都能看到整张图。难点在于 softmax attention 是 O (N²) 的，直接用在高分辨率视差图上跑不动。
我们在上周五开源了 MiniMax M3 模型权重，同步发布了 MSA（MiniMax Sparse Attention）技术论文。MSA 的架构设计让 M3 在长上下文下的计算成本大幅降低，论文中完整披露了架构与工程实现细节。
“Full Attention 正在被遗忘”
我在 2025 年年度总结的文章《Attention is all you need》里，提到在关注 AI 时代的投资机会，看了很多硅谷的播客和视频，一直想来硅谷看看，但自己认识的这边的人不多，恰好看到Linkloud 组织“创业加速营”，安排了不少硅谷当地的华人创业者、大厂从业人员的交流，就报名了，同去的其他人，还有想要 AI 转型或者就在 AI 领域创业的创始人或者中高管等。
MiniMax M3 今日正式发布。MiniMax M3 在编程和智能体等专业任务上达到了前沿的能力。它使用了我们提出的全新注意力架构 MSA （MiniMax Sparse Attention），最高支持 1M 超长上下文。如外界所期待的那样，它也是一个原生多模态模型，支持图片和视频的输入，并能操作电脑桌面。
近日，由普林斯顿大学 Tri Dao（FlashAttention 的一作）和加州大学伯克利分校 Ion Stoica 领导的一个联合研究团队也做出了一个超快的索尼克：SonicMoE。据介绍，SonicMoE 能在英伟达 Blackwell GPU 上以峰值吞吐量运行！并且运算性能超过了 DeepSeek 之前开源并引发巨大轰动的 DeepGEMM。
近日，琶洲实验室、华南理工大学、蔻町（AIGCode）等单位科研团队联合提出潜在空间压缩注意力（Latent-Condensed Attention，LCA），研究成果入选 ACL 2026。
几乎所有 Transformer 都在做一件反常的事：把大量注意力集中到少数几个特定 Token 上。这不是 bug，而是 Transformer 固有的「注意力汇聚」（Attention Sink）。首篇系统性综述，带你从利用、理解到消除，全面掌握这一核心现象。