别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算
别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算清华大学MADSys实验室与趋境科技主导提出开源KTransformers-FineTune(KT-FT),让CPU直接参与MoE专家计算并优化布局与线程调度,使LoRA微调吞吐达到传统卸载范式的2.5~21.2倍。
搜索
清华大学MADSys实验室与趋境科技主导提出开源KTransformers-FineTune(KT-FT),让CPU直接参与MoE专家计算并优化布局与线程调度,使LoRA微调吞吐达到传统卸载范式的2.5~21.2倍。
OpenAI前研究员Nick Cammarata与Goodfire团队发布研究称,一个320亿参数语言模型中约90%的神经元各有可解释的主要任务,表明追踪和干预神经元或能揭示AI内部规律,但该判断仍待更多检验。
香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
苹果与卡内基梅隆大学团队提出SSR(Selection-based Structured Reasoning),让多模态搜索Agent从预定义选项中选择推理,在7个benchmark上将每轮推理延迟降低超90%,同时保持相当的任务成功率。
Anthropic 内部研究模型 Claude 在不到半小时内追溯出五条 NIST 椭圆曲线种子源自以 Unix 时间戳初始化的 lrand48,但该发现未攻破 ECDSA,也未还原全部曲线设计过程。
Karpo 创始人 Leah 表示,生活体验领域的 Personal AI 产品 Karpo 主张在用户形成明确需求前捕捉意图并个性化组织供给,她认为这将重塑供给关系,但目前尚非行业共识。
今天,曾因 Attention Residuals 论文走红的 AI 少年陈广宇(Nathan Chen),宣布离开 Kimi。
在能力、成本、稳定性之间寻找最优解。
3万块的RTX Spark电脑,能干哪些事?
刚刚,Meta宣布重磅消息:Muse Spark Open正式开源。