AI资讯新闻榜单内容搜索-Medusa

关键词: AI新闻,模型训练,近似投机解码,ASD

北航、清华、港大、北大联合团队提出近似投机解码（ASD），作为即插即用的验证器模块，在严格预算内接受极少数低遗憾分歧字并复用大模型已算好的后缀，免训练地挂载于DSpark、EAGLE3、Medusa等主流投机解码算法，吞吐最高提升15.26%。

关键词: Medusa2,AI,模型训练,LLMs,顺序解码器

传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。

关键词: 大模型训练,Medusa,AI推理,模型推理

去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。