AI资讯新闻榜单内容搜索-StartLux

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: StartLux
陈大年复出,入局大模型

陈大年复出,入局大模型

陈大年复出,入局大模型

不得了!国产大模型第一梯队,最近爆了个冷门。

来自主题: AI资讯
6751 点击    2026-09-04 10:45
少数Full Attention层如何重塑内部计算?混合线性注意力大模型中的「尖峰」与「平台」之谜首次揭开

少数Full Attention层如何重塑内部计算?混合线性注意力大模型中的「尖峰」与「平台」之谜首次揭开

少数Full Attention层如何重塑内部计算?混合线性注意力大模型中的「尖峰」与「平台」之谜首次揭开

Full Attention 层尚未开始计算,它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台,观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针,首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」,并识别出「注意力前尖峰」(PAS)与「尖峰间平台」(ISP)两种核心形态。

来自主题: AI技术研报
7833 点击    2026-09-01 14:21