首篇「Attention Sink」综述:从利用、理解到消除,Transformer中的注意力「汇聚」全景解析
首篇「Attention Sink」综述:从利用、理解到消除,Transformer中的注意力「汇聚」全景解析几乎所有 Transformer 都在做一件反常的事:把大量注意力集中到少数几个特定 Token 上。这不是 bug,而是 Transformer 固有的「注意力汇聚」(Attention Sink)。首篇系统性综述,带你从利用、理解到消除,全面掌握这一核心现象。
搜索
几乎所有 Transformer 都在做一件反常的事:把大量注意力集中到少数几个特定 Token 上。这不是 bug,而是 Transformer 固有的「注意力汇聚」(Attention Sink)。首篇系统性综述,带你从利用、理解到消除,全面掌握这一核心现象。
投资者正在积极争取AI 研究人员创办初创公司,以使 AI 更加可靠和高效。
近日,腾讯混元团队提出HY-SOAR (Self-Correction for Optimal Alignment and Refinement),一种面向扩散模型和流匹配模型的数据驱动后训练方法。
要说也真够逗的,索尼的机器人又开始找画面了。
694,000 次浏览。 一篇 X Article,发布三天,将近 70 万阅读量。不是 Elon Musk 的推文,不是某家大公司的公告,是一个叫 GRITCULT 的账号,写的一篇叫《营销已死,Distribution Engineer 万岁》的长文。1.5K 点赞,235 次转发,55 条回复。
大多数世界模型工作默认:只要学到一个好的 latent dynamics,问题就解决了。 但这个假设本身是可疑的——什么样的信息,才足以支撑一个可预测、可传播的动力学? 本文从信息论出发,重新审视这一前提。
硬氪获悉,家庭具身智能企业「欧拉万象」(Ola Dimensions)近日宣布完成数千万元种子轮融资,投资方包括五源资本和高瓴创投。此次融资将用于顶尖团队搭建和首款家庭具身产品研发。
神秘模型Elephant的面纱,终于被揭开了。
邓明扬现为 MIT 博士生,师从何恺明,主要研究生成模型。本科期间,他在 MIT 学习数学与计算机科学,也曾在 DeepMind 和 Meta 实习。更早之前,他曾获得 IMO 金牌和 IOI 金牌。2026 年,他以第一作者发表了 Drifting Models,尝试探索一种不同于传统路径的生成建模思路。
去年营收1.1亿的原生影视工作室Utopai火起来,又一次彻底刷屏!奥斯卡编剧下场背书,这家公司直接复刻了皮克斯的神话。从剧本到4K大片一键直出,AI视频刚刚完成了一次史诗级升级。