搜索
来自港科大的研究团队提出了RepetitionCurse，这是一种针对MoE大模型服务的黑盒压力测试方法。它不需要模型权重，不需要梯度，也不需要知道后端专家如何部署，只利用高度重复的输入模式，就能诱导专家路由把大量token路由到同一小批专家上。
刚刚，Cohere放出2180亿参数的MoE大模型Command A+，单张B200可跑，支持48种语言，还带原生引用能力。但这次发布最炸的，不在参数表上，而在那一个许可证：Apache 2.0。
今天，小米发布并开源了最新MoE大模型MiMo-V2-Flash，总参数309B，激活参数15B。今日上午，小米2025小米人车家全生态合作伙伴大会上，Xiaomi MiMO大模型负责人罗福莉将首秀并发布主题演讲。
现在，请大家一起数一下“1”、“2”。OK，短短2秒钟时间，一个准万亿MoE大模型就已经吃透如何解一道高等数学大题了！而且啊，这个大模型还是不用GPU来训练，全流程都是大写的“国产”的那种。
Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。
过去十年，自然语言处理领域经历了从统计语言模型到大型语言模型（LLMs）的飞速发展。
11月27日，猎户星空联合聚云科技举办了题为《Data Ready for Al，MoE大模型发布暨商业闭环分享》媒体见面会。猎户星空正式发布了自主研发的Orion-MoE 8×7B大模型，并携手聚云科技推出了基于该大模型的数据服务—AI数据宝AirDS（AI-Ready Data Service）。
近日，来自微软的研究人员开源了使用全新方法训练的MoE大模型，不走寻常路，且编码和数学表现出色。
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
每个token只需要5.28%的算力，精度就能全面对标Llama 3。