超越TurboQuant：Together AI把2-bit KV Cache推向真实服务
超越TurboQuant：Together AI把2-bit KV Cache推向真实服务长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
来自主题: AI技术研报
5236 点击 2026-06-05 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
过去三年来，所有人都在卷模型，参数更大、推理更深、上下文更长。但当Claude Code把Anthropic推到杀手级应用的位置、当OpenAI的Codex已经能替你写完一整本游记，问题终于绕了回来： 这些越来越像「人」的模型，到底要装进什么样的载体里，才算真正走进生活？
前沿的 Coding 能力、1M 的上下文窗口，还有原生的多模态
2026 年初，各大 AI 厂商在上下文窗口长度上展开激烈角逐。Google 的 Gemini 3 Pro 已支持 100 万级 token 上下文，Meta 的 Llama 4 Scout 更宣称可处理 1000 万 token。GPT-5 系列也在快速推进长上下文能力。
MiniMax M3 今日正式发布。MiniMax M3 在编程和智能体等专业任务上达到了前沿的能力。它使用了我们提出的全新注意力架构 MSA （MiniMax Sparse Attention），最高支持 1M 超长上下文。如外界所期待的那样，它也是一个原生多模态模型，支持图片和视频的输入，并能操作电脑桌面。
SophiaPro 成立于 2025 年 6 月。 最早，他们做的是一款叫 Karis.im 的 ToB 产品，给出海企业提供市场营销数字员工。后来转向 C 端产品，先是做了浏览器插件 TryClico，最近又推出了桌面端产品 Invoko.ai，一个长在 Mac 灵动岛位置的 notch 工具，帮用户在不同 app 之间自由切换上下文。
继 Step 3.5 Flash 后，阶跃星辰最近又推出新一代高效率 Flash 开源模型 ——Step 3.7 Flash。该模型最大特点就是多（模）、快（速）、好（用）、省（钱）。总参数 196B，采用稀疏 MoE 架构，推理激活参数仅 11B，配备 1.88B ViT 视觉编码器，推理速度最高 400 TPS，支持 256K 上下文。
刚刚，Claude Code迎来史上最大规模底层升级！Anthropic直击开发者最痛的6大顽疾：终端闪烁、思考假死、玄学报错、上下文死锁、连接不稳、会话崩溃。一夜之间，AI编程工具从「聪明外挂」进化为「可靠伙伴」。
4个月烧光全年AI预算，天价Token账单正在屠杀硅谷！今天，高性能Agent模型SkyClaw-v1.0出世，性能直逼Opus 4.6、DeepSeek V4 Pro，百万上下文性价比拉满。
Ashpreet 现在是 Agno 的创始人，以前在 Airbnb、Facebook 做过工程。Scout 是 Agno 新推出的开源项目，定位是「上下文智能体」——一个能在 Slack、Google Drive、Linear 里自由穿梭、替你把碎片化知识拼起来的 AI Agent。