搜索
推理大模型 (如 DeepSeek-R1、o1) 靠长思维链拿高分，却普遍「想太多」: 研究统计了五个代表性模型里，发现有 41–52% 的 token 是在模型给出它的最终答案之后生成的。
扩散语言模型（DLM）正逐渐成为自回归（Autoregressive, AR）语言模型之外一种新兴的建模范式。
有没有一种更为合适的 OPSD 范式？近期，清华大学和马普所等机构的研究者们联合推出的 d-OPSD，给这一问题提供了完美的答案。这是第一个针对扩散大语言模型的 OPSD 范式，无需参考解，无需额外的教师模型，只需要 RL 十分之一的训练步数，便可以达到或超出 RL 的后训练效果。
大语言模型真的只能走“预测下一个token”的路子吗？
何恺明，也下场做语言模型了。
这两年，扩散语言模型（Diffusion LLM）一直是个很有讨论度的方向。
在生成式 AI 的浪潮中，自回归（Autoregressive, AR）模型凭借其卓越的性能占据了统治地位。然而，其「从左到右」逐个预测 Token 的串行机制，天生限制了并行生成的可能性。
扩散语言模型（dLLM），这个曾被认为是「小众赛道」的研究方向，如今终于迎来了质变。
谁能想到啊，在自回归模型（Autoregressive，AR）当道的现在，一个非主流架构的模型突然杀了回马枪——被长期视为学术玩具的扩散语言模型，直接在复杂编程任务中飙出了892 tokens/秒的速度！
扩散语言模型（Diffusion Language Models, DLLMs）因其多种潜在的特性而备受关注，如能加速的非自回归并行生成特性，能直接起草编辑的特性，能数据增强的特性。然而，其模型能力往往落后于同等规模的强力自回归（AR）模型。