陈大年复出,入局大模型
陈大年复出,入局大模型不得了!国产大模型第一梯队,最近爆了个冷门。
来自主题: AI资讯
6751 点击 2026-09-04 10:45
搜索
不得了!国产大模型第一梯队,最近爆了个冷门。
Full Attention 层尚未开始计算,它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台,观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针,首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」,并识别出「注意力前尖峰」(PAS)与「尖峰间平台」(ISP)两种核心形态。