搜索
研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。
在脑机接口领域取得突破性进展的公司不止Neuralink一家。Precision Neuroscience发布公告称，他们采用与Neuralink不同的技术路径，在人脑上成功放置了4096个电极，打破了去年2048个电极的最高纪录。
不卖模型卖算力
为了让更多用户先人一步体验AI，京东联合产业上下游企业乘胜追击，定下了618期间让300万人换新AI硬件的“小目标”。
从2023年开始，全球陆续跑出了一大批AI明星企业，特点是估值涨幅凶猛，融资数额巨大，然而不管是领头羊OpenAI，还是一众新晋独角兽，暂时都在重复移动互联网的故事——未来很长时间一段时间内，将持续面临烧钱、亏损，盈利都不在他们的考虑范围之内。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。
AlphaFold3的横空出世再次震撼了整个学术界，然而谷歌DeepMind的「不开源」引起学界不满，AlphaFold服务器遭到黑客攻击，开源项目也开始发力。
从谷歌离职一年之际，「人工智能教父」Hinton接受了采访。半退休的Hinton向我们讲述了时光积累下来的智慧，以及那些年和徒弟Ilya在一起的日子。
通过视觉信息识别、理解人群的行为是视频监测、交互机器人、自动驾驶等领域的关键技术之一，但获取大规模的人群行为标注数据成为了相关研究的发展瓶颈。如今，合成数据集正成为一种新兴的，用于替代现实世界数据的方法，但已有研究中的合成数据集主要聚焦于人体姿态与形状的估计。它们往往只提供单个人物的合成动画视频，而这并不适用于人群的视频识别任务。
LLM有记忆能力吗？有，也没有。虽然ChatGPT聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。