DeepSeek V4 多模态开源，我们把它的视觉链路拆了一遍
DeepSeek V4 多模态开源，我们把它的视觉链路拆了一遍图片不只被编码，还直接参与 Attention、MoE 与 Agent 推理。
来自主题: AI技术研报
9810 点击 2026-09-02 09:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
图片不只被编码，还直接参与 Attention、MoE 与 Agent 推理。
Full Attention 层尚未开始计算，它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台，观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针，首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」，并识别出「注意力前尖峰」（PAS）与「尖峰间平台」（ISP）两种核心形态。
金涛今年 26 岁，还是清华在读博士。真正把他带进「推理加速」的，是一个很朴素的判断——当大家都默认 FlashAttention 已经把 Attention 算子做到极致时，他却发现：显卡上明明还有更快的计算单元没被用起来 ——「这么明显的收益，为什么没人做？」
让大模型 "读得更长" 一直是 Agent、深度推理和海量资料整合等场景的刚需，但标准全注意力机制的计算量随序列长度呈平方级增长，始终是横亘在长上下文建模面前的三座大山。
Kimi K3 是一个 2.8 万亿参数模型，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。
LinStereo 对应地做了三件事：PALA 换掉 ConvGRU 解决传播问题，HSCV 保留多尺度特征，DPI 用单目深度给一个靠谱的起点。PALA 做的事情说起来很直观，就是把 ConvGRU 的局部更新换成全局注意力，让每个像素每次迭代都能看到整张图。难点在于 softmax attention 是 O (N²) 的，直接用在高分辨率视差图上跑不动。
我们在上周五开源了 MiniMax M3 模型权重，同步发布了 MSA（MiniMax Sparse Attention）技术论文。MSA 的架构设计让 M3 在长上下文下的计算成本大幅降低，论文中完整披露了架构与工程实现细节。
“Full Attention 正在被遗忘”
我在 2025 年年度总结的文章《Attention is all you need》里，提到在关注 AI 时代的投资机会，看了很多硅谷的播客和视频，一直想来硅谷看看，但自己认识的这边的人不多，恰好看到Linkloud 组织“创业加速营”，安排了不少硅谷当地的华人创业者、大厂从业人员的交流，就报名了，同去的其他人，还有想要 AI 转型或者就在 AI 领域创业的创始人或者中高管等。
MiniMax M3 今日正式发布。MiniMax M3 在编程和智能体等专业任务上达到了前沿的能力。它使用了我们提出的全新注意力架构 MSA （MiniMax Sparse Attention），最高支持 1M 超长上下文。如外界所期待的那样，它也是一个原生多模态模型，支持图片和视频的输入，并能操作电脑桌面。