超越TurboQuant：Together AI把2-bit KV Cache推向真实服务
超越TurboQuant：Together AI把2-bit KV Cache推向真实服务长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
来自主题: AI技术研报
5268 点击 2026-06-05 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
2026 年初，各大 AI 厂商在上下文窗口长度上展开激烈角逐。Google 的 Gemini 3 Pro 已支持 100 万级 token 上下文，Meta 的 Llama 4 Scout 更宣称可处理 1000 万 token。GPT-5 系列也在快速推进长上下文能力。
MiniMax M3 今日正式发布。MiniMax M3 在编程和智能体等专业任务上达到了前沿的能力。它使用了我们提出的全新注意力架构 MSA （MiniMax Sparse Attention），最高支持 1M 超长上下文。如外界所期待的那样，它也是一个原生多模态模型，支持图片和视频的输入，并能操作电脑桌面。
Claude深陷「角色混淆」Bug，分不清自己的话与用户指令，长上下文成了降智「重灾区」。
今天，我们全新系列模型 DeepSeek-V4 的预览版本正式上线并同步开源。DeepSeek-V4 拥有百万字超长上下文，在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。模型按大小分为两个版本：
把长上下文做到极致的Kimi又发新成果！
对本地部署玩家，尤其是Mac用户来说，长上下文推理最大的痛点往往不是“模型不够聪明”，而是稍微多用点上下文，统一内存就被撑爆了”，这一点在最近的Gemma-4 31B的部署中尤为明显，在同等上下文的情况，显存占用比Qwen3.5-27B高约一倍不止，直接劝退了不少人。但好消息是，谷歌近期提出的TurboQuant KV缓存量化算法，正是为了解决这个痛点而生。
长上下文推理已经成了VLM/LLM的默认形态。
随着大模型长上下文能力快速增长，海量 KV Cache 存储需求急剧增加，各类 KV Cache 压缩方法如雨后春笋般涌现。然而，这些方案在真实场景中的工程落地却常常陷入困境。
随着多模态大语言模型（MLLM）支持更长上下文，高分辨率图像和长视频会产生远多于文本的视觉 Token，在自注意力二次复杂度下迅速成为效率瓶颈。