自进化WAM来了!清华AIR联手域变换提出具身In-Context Causal Learning
自进化WAM来了!清华AIR联手域变换提出具身In-Context Causal Learning模型不更新,能力却持续增长。
搜索
模型不更新,能力却持续增长。
Full Attention 层尚未开始计算,它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台,观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针,首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」,并识别出「注意力前尖峰」(PAS)与「尖峰间平台」(ISP)两种核心形态。
和一个还在做 AI 教育培训的老板闲扯,我说兄弟,ChatGPT、豆包这些 AI 产品都已经这么强了,随便问什么问题,它都能通俗易懂地给出,你那卖课的生意怎么还能有市场?
从《四驱兄弟》里那些在赛道上奔跑的机械想象,到后来扎进机器人学习领域的漫长探索,徐梦迪始终被同一个问题牵引:机器要怎样进入物理世界,并在那里持续生长。
一对清华师生,两家AI公司。十多年前,唐杰和杨植麟还只是清华实验室里的一对师生。如今,唐杰联合创办了智谱AI,杨植麟带领月之暗面(Moonshot AI)。智谱港股上市后市值一度突破1万亿港元,月之暗面则在2026年完成F轮融资后估值达到350亿美元。
顶会可以年年开,但这本期刊不是每个实验室都能进的。
训练一切AI的算法,被AI自己判了「死刑」?就在最近,清华大学和宾大沃顿商学院的两位研究者挂出一篇新论文,给了一个优化理论界等了40年的结论——梯度下降想跑到最快,光调步长没用。
半年累计融资近60亿元。
Gemini 领跑,GPT表现平平,国立清华、英伟达提出双奖励孪生网络,告别算力焦虑。
AI竞争的焦点,变了。