华为改进Transformer架构！盘古-π解决特征缺陷问题，同规模性能超LLaMA
华为改进Transformer架构！盘古-π解决特征缺陷问题，同规模性能超LLaMA华为盘古系列，带来架构层面上新！量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。
来自主题: AI资讯
6594 点击 2024-01-02 14:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
华为盘古系列，带来架构层面上新！量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。
近日，来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构，尝试来构建更高效的大模型架构。
在即将过去的2023年里，“大模型”无疑是最能挑动神经的话题，AI还在进化但已经成为显学。“百模大战”让很多创业项目的估值水涨船高，行业直接进入大厂竞争时代。
2022 年 11 月，ChatGPT 横空出世。至今不过短短十三个月，世界就已经因它和其它大模型发生了翻天覆地的变化。在现如今的互联网上，我们能看到大模型生成的无数文本、图片、视频乃至代码和应用软件。尤其是在软件开发方面，使用 AI 的开发者的效率和质量可以远远胜过不使用 AI 的开发者。
有结构化推理和先验知识，智能体变得更加通用了。
从低清图像中提取认知特征，这样的超分辨率才更真实。
没想到，在ChatGPT爆火后的一年里，竟然出现了一个隐藏“Boss”——量子位获悉，百度、360等互联网大厂均已开始基于昇腾部署AI模型；而知乎、新浪、美图这样全速推进AI业务的公司，背后同样出现了华为云昇腾AI云服务的身影。
八月华为第一个宣布将大模型接入手机助手，小米、OV 紧随其后。就连一向“慢半拍”的苹果和三星，一个悄悄招人；一个则宣布会将大模型带到最新的 Galaxy 旗舰机型。
从ChatGPT惊艳全世界开始，大模型的混战就蔓延开来。这一年，华为、阿里、百度、腾讯、商汤、京东等不是在发布大模型，就是在更新大模型的路上。
相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。