搜索
MICRO 全称 IEEE/ACM International Symposium on Microarchitecture，与 ISCA、HPCA、ASPLOS 并称为体系结构「四大顶会」，囊括了当年最先进的体系结构成果，被视作国际前沿体系结构研究的风向标，见证了诸多突破性成果的首次亮相，包括谷歌、英特尔、英伟达等企业在半导体领域的多项技术创新。
只要不到10行代码，就能让大模型数学能力（GSM8k）提升20%！
这篇文章对如何进行领域模型训练进行一个简单的探讨，主要内容是对 post-pretrain 阶段进行分析，后续的 Alignment 阶段就先不提了，注意好老生常谈的“数据质量”和“数据多样性”即可。
被谷歌买下的AI独角兽Character.AI，已与团队深度融合。Transformer核心作者、创始人之一Noam Shazeer将担任Gemini联合技术负责人，与Jeff Dean和Oriol Vinyals平起平坐。
神经网络是一种灵活且强大的函数近似方法。而许多应用都需要学习一个相对于某种对称性不变或等变的函数。图像识别便是一个典型示例 —— 当图像发生平移时，情况不会发生变化。等变神经网络（equivariant neural network）可为学习这些不变或等变函数提供一个灵活的框架。
距离GPT-4首次发布已经过去了将近一年半的时间，Nature最近发表的一篇报告却探索出了这个「过气」模型的新用途——氨基酸和蛋白质的结构建模。
为了实现算力层面的提升和追赶，国内有大量的厂商和从业者在各个产业链环节努力。但面对中短期内架构、制程、产能、出口禁令等多方面的制约，我们认为从芯片层面实现单点的突破依旧是非常困难且不足的。
Attention is all you need.
MidReal 创始人陈锴杰，持续创业者，大学毕业后一直在创业，从18 ~19 年休学创业做家庭智能机器人，到2020 年开始第二次创业做 AI agent for Gaming，曾基于 GPT-2 等技术，在 ChatGPT 推出前实现“斯坦福小镇”等创新游戏模式，目前在做的是 AI 互动的小说故事创作，也就是今天的 MidReal。
随着大模型研究的深入，如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力，LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现出了越来越接近闭源的性能。