仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%一段几十秒的音视频，上万Token，一半以上是冗余——Omni-LLM的计算浪费，比想象中更严重。
来自主题: AI技术研报
8352 点击 2026-03-11 15:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一段几十秒的音视频，上万Token，一半以上是冗余——Omni-LLM的计算浪费，比想象中更严重。
近年来，大规模视频扩散模型在视频生成领域取得了显著进展。然而，采样效率低下仍然是这类模型的核心瓶颈。
当前，大语言模型（LLMs）和视觉语言模型（VLMs）在语义领域的成功未能直接迁移至物理机器人，归根结底在于其互联网原生的基因。
对比学习已成为表征学习中的一种强大范式，能够在不依赖标签的情况下有效利用无标注数据。
大家是否有这样的感觉？给定几张场景中拍摄的图片，往往能够在脑海中想象出这个场景的三维布局，然而当前的多模态大模型还停留于纯文本或者 2D 视觉的推理表示，限制了图像中隐含几何结构的表达能力。
扩散模型终于学会“看题下菜碟”了！
用强化学习微调扩散模型，还有更好的办法吗？
NUS、ZJU、UW、Stanford、CUHK 联合提出 「ThinkMorph」，主张让文字与图像在统一架构里「原生协作」、「共同演化」，而不是像当下大多数多模态模型那样，看完图像就闭上眼睛，后续完全靠文字链条推进。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩甚至超越 GPT-4o 和 Gemini 2.5 Flash。
3 月 10 日，APPSO 中文独家获悉，世界模型研究所/创业公司 AMI 已完成 10.3 亿美元融资，投前估值 35 亿美元。该公司由图灵奖得主、前 Meta 首席 AI 科学家杨立昆 (Yann LeCun) 创办。
用「无本体数采」的方式训练具身模型，灵初智能的这条路径是 VLA 之后行业最热的方向之一。