搜索
大模型的能力边界正在不断拓展，从文字到视觉，再到音频，全模态理解已渐成现实。然而，当你问一个多模态大模型「这首歌的高潮从第几秒开始？」或者「第 30 秒之后乐器编配发生了什么变化？」，得到的往往是一个模糊甚至错误的回答。
过去一段时间，很多人对大模型都有一个明显感受：token 总是不够用。
伯克利等发布FST框架：通过快慢分层解决大模型持续学习死局。
最近，京东和中科院信工所展开了Self-Taught RLVR的系列研究，并连发三篇后训练新作。
今年以来，Palantir股价已累计下跌近20%。
近年来，Chain-of-Thought（CoT）推理已经成为提升大语言模型和多模态大语言模型复杂问题求解能力的重要技术路径。
最近几天，中国电信、中国移动、中国联通接连推出Token套餐及相关AI服务，面向个人、家庭、开发者、中小微企业等用户销售大模型调用量。这是三大运营商首次正式入局Token生意，而此前相关业务由大模型厂商、互联网大厂和云服务商主导。
在大模型后训练中，数据不再只是 “越多越好”，而是要像人类学习一样，动态选择最合适难度的样本。华为提出的 EDCO 方法，将样本难度估计与动态课程编排引入领域大模型微调；数月后，由 Rutgers、Amazon、Google 等作者参与的 DARE 论文即引用 EDCO，并将其作为难度感知强化学习训练的重要对比基线。
用过推理型大模型的人，大概率都熟悉这种体验：模型似乎在认真思考，但屏幕上长时间没有真正有用的内容；如果让它一开始就输出，又很容易出现仓促判断，后面的推理还要被早期错误牵着走。
过去一段时间里，在围绕大模型推理能力增强的研究中，SFT 和 RL 是两类核心后训练范式 —— 前者稳定收敛快，能高效吸收高质量推理数据；后者更具探索性，有望推动模型实现复杂推理和分布外泛化。