卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
搜索
香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
机器人开始替人操心了。
机器人已经能跑、能跳、能翻跟头,但真要让它拿起一颗鸡蛋、拧紧一颗螺母,事情就没那么简单了。
一边打游戏,一边给自己升级?
扩散智能(DiffuSpace)连续完成两轮数亿元人民币融资,创全球扩散语言模型最大规模融资纪录,经纬创投、顺为资本、君联资本联合领投,华为哈勃等跟投。
魔芯科技让4D世界模型MoWorld首次进入华为Mate 90的鸿蒙应用摸小宠,可基于少量照片生成可自由浏览、支持动态与物理交互的4D场景。
openJiuwen WorkSwarm首发全双工多模态能力,实现用户在前台像聊天一样随时与Agent交互、插话和追问,复杂任务则交给后台Core Agent独立执行,且原生亲和昇腾算力,支持基于华为云ModelArts与vLLM-Omni框架在昇腾NPU上部署。
DeepSeek开源面向华为昇腾算力平台的基础设施组件,涵盖TileLang编译工具及DeepGEMM、DeepEP、TileKernels、FlashMLA、DeepSelect等计算与通信库,华为亦在CANN社区开源双方围绕昇腾950及超节点的联合创新实践。
华为在华为全联接大会2026期间发布源网荷储AIDC 1.0解决方案及泰山UPS、恒山直流UPS、AI赋能液冷TMU等新产品,从Watt、Heat、Bit与建设模式四个维度重构AIDC基础设施,推动算电深度协同。
华为诺亚方舟实验室、华为云天筹AI求解器团队与华中科技大学John Hopcroft计算中心组成的联合团队,依托华为云天筹决策智能引擎和LLM4AD_Next算法设计平台,斩获SAT Competition 2026并行AI赛道SAT组冠军。