首Token延迟降低32.4%!是石科技放出集群调度大招,国产推理再提效
首Token延迟降低32.4%!是石科技放出集群调度大招,国产推理再提效GPU集群里,请求排队和资源闲置,可能同时发生。
搜索
GPU集群里,请求排队和资源闲置,可能同时发生。
是石科技自研Meta-Infer高效推理引擎通过内核补齐、算子通信重构、并行调优与缓存复用等纯软件手段,在不改动模型前提下将DeepSeek-V4.1-Flash在PCIe显卡上的推理吞吐提升近7倍,该方法论同样适用于DeepSeek-V4-Flash、GLM5.3及国产GPU。
50多个智算中心,超过1000 EFLOPS的智能算力规模,平均利用效率却远远没有跑满。是石给出的解法,叫拓元(Vectron),一座国产Token优化工厂。是石科技依托国家级计算中心工程经验积淀,持续投入大规模集群研发,建设万卡级国产大集群,持续稳定运营,优化推理效率,构筑了深厚壁垒
所有人都在比谁的模型参数更大,但真正决定AI能不能落地的,其实是另一件没那么性感的事:一颗Token,能不能被稳定、便宜、规模化地生产出来。死磕这件事的,是一支从中国超级计算体系里走出来的年轻团队,是石科技。
在21世纪的科技洪流中,人工智能(AI)正以前所未有的速度重塑着世界的每一个角落,从医疗、教育到金融、制造,无一不感受到其强大的影响力。然而,当我们将目光投向看似与AI技术相去甚远的能源领域,尤其是石油行业时,一场由AI驱动的变革似乎正悄然酝酿。
A16z(Andreessen Horowitz)可能是最会做内容的投资公司。他们在官网上发表的很多 AI 时代的创业思考和观察,都是很值得阅读的好文章。