首Token延迟降低32.4%！是石科技放出集群调度大招，国产推理再提效
首Token延迟降低32.4%！是石科技放出集群调度大招，国产推理再提效GPU集群里，请求排队和资源闲置，可能同时发生。
来自主题: AI资讯
5104 点击 2026-10-20 11:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
GPU集群里，请求排队和资源闲置，可能同时发生。
MiniMax 更新 MiniMax M3.1 Flash，并确认此前处理超200万亿 Token 的匿名模型 Space Bunny 为其早期版本；官方称新模型线上推理速度提升近3倍，Agent 类任务综合使用成本较前代降低70%。
宏诺伊曼由前谷歌工程师周银汉与DeepSeek研究员Bill Liu于2025年11月创立，旗下AnyInt以智能路由连接模型、智能体和工具，并在质量、价格与速度等约束下为企业匹配AI服务组合，2026年3月30日获百度战略投资。
英伟达RTX Spark全球开售，128GB版本开售数分钟即售罄；作者使用售价37999元的华硕ProArt创16本地运行Qwen3.8-27B等模型，实现免API费用的多种AI任务并获得“Token自由”体验。
STILL被NeurIPS 2026正式接收，这一首个内容感知的同层混合注意力架构通过自显著性分数按内容选择token，仅用0.04B训练token即在16K上下文下实现80%显存削减和83%预填充加速。
训不起2.8T的K3，玩够了124M的nanoGPT，想试试十亿参数、万亿token的预训练，门槛有多高？
补偿款来了，DeepSeek 发 Token 了。
就在刚刚，OpenAI晒出了一份打破纪录的Agent极限实测。
模型的思维链，让AI学会了用文字一步步推理；但科学家的思考，还发生在分子的三维空间、基因序列和实验曲线里。
大语言模型的生成过程天然具有自回归特性，即模型基于已有上下文逐 token 预测并生成后续内容。随着模型规模不断增大，单步前向计算的开销也随之增加，使得自回归解码面临较高的推理延迟。