多模态预训练，才是大模型的下一条路？Yann LeCun、谢赛宁参与
多模态预训练，才是大模型的下一条路？Yann LeCun、谢赛宁参与基础模型时代，大模型能力的爆发，很大程度上源于在海量文本上的预训练。然而问题在于，文本本质上只是人类对现实世界的一种抽象表达，是对真实世界信息的有损压缩。
来自主题: AI技术研报
9819 点击 2026-03-09 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
基础模型时代，大模型能力的爆发，很大程度上源于在海量文本上的预训练。然而问题在于，文本本质上只是人类对现实世界的一种抽象表达，是对真实世界信息的有损压缩。
近年来，视觉大模型在自动驾驶、智慧医疗等场景中得到广泛应用，但在真实业务环境中，“大而全”的通用模型往往并不是最优选择。
长期以来，计算机视觉领域陷入了一个 “表征（Representation）” 的执念。我们习惯设计各种精巧的 Encoder，试图将动态世界压缩成一组特征向量。然而，视频作为现实的高维投影，其熵值之高、动态之复杂，让这种试图 “定格” 的表征显得力不从心。
本文提出一种具有 SE(p) 不变传输性质的度量 SEINT：通过构造无需训练的 SE(p) 不变表示，将高维结构信息压缩为可用于 Optimal Transport (OT) 对齐的一维表征，从而在保持不变性与严格度量性质的同时显著提升效率。
来自清华大学、鹏城实验室与阿里巴巴未来生活实验室的联合研究团队发现：现有任务相关的压缩方法不仅陷入效率瓶颈——要么一次性加载全文（效率低），要么自回归逐步压缩（速度慢），更难以兼顾“保留关键信息”与“保持自然语言可解释性”。
近年来多模态大模型在视觉感知，长视频问答等方面涌现出了强劲的性能，但是这种跨模态融合也带来了巨大的计算成本。高分辨率图像和长视频会产生成千上万个视觉 token ，带来极高的显存占用和延迟，限制了模型的可扩展性和本地部署。
这篇《Skills 的最正确用法，是将整个 Github 压缩成你自己的超级技能库》绝对是一篇绝佳的入门指南，但也要注意：这种用法，还当不起“最”正确用法。 我不是来抬杠的，而是想聊聊：怎么更好地使用
编辑｜Panda 在文生图模型的技术版图中，VAE 几乎已经成为共识。从 Stable Diffusion 到 FLUX，再到一系列扩散 Transformer，主流路线高度一致：先用 VAE 压缩视
昨天写了一篇关于在扣子上使用Skills的文章。
随着大模型步入规模化应用深水区，日益高昂的推理成本与延迟已成为掣肘产业落地的核心瓶颈。在 “降本增效” 的行业共识下，从量化、剪枝到模型蒸馏，各类压缩技术竞相涌现，但往往难以兼顾性能损耗与通用性。