华为盘古大模型5.0技术解密:更多模态,复杂推理
华为盘古大模型5.0技术解密:更多模态,复杂推理现在,AI 大模型可以真正与物理世界结合了。
来自主题: AI资讯
11278 点击 2024-06-22 22:58
搜索
现在,AI 大模型可以真正与物理世界结合了。
2023 年 12 月,首个开源 MoE 大模型 Mixtral 8×7B 发布,在多种基准测试中,其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B,而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能,稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
华为盘古系列,带来架构层面上新!量子位获悉,华为诺亚方舟实验室等联合推出新型大语言模型架构:盘古-π。