一家「非主流」AI公司的豪赌：所有模态，一锅炖了 | 对话智象未来姚霆
一家「非主流」AI公司的豪赌：所有模态，一锅炖了 | 对话智象未来姚霆多模态训练狠狠烧钱，世界模型公司也都在疯狂融资。
来自主题: AI资讯
8455 点击 2026-05-25 15:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
多模态训练狠狠烧钱，世界模型公司也都在疯狂融资。
NUS、ZJU、UW、Stanford、CUHK 联合提出 「ThinkMorph」，主张让文字与图像在统一架构里「原生协作」、「共同演化」，而不是像当下大多数多模态模型那样，看完图像就闭上眼睛，后续完全靠文字链条推进。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩甚至超越 GPT-4o 和 Gemini 2.5 Flash。
Game-TARS基于统一、可扩展的键盘—鼠标动作空间训练，可在操作系统、网页与模拟环境中进行大规模预训练。依托超5000亿标注量级的多模态训练数据，结合稀疏推理（Sparse-Thinking） 与衰减持续损失（decaying continual loss），大幅提升了智能体的可扩展性和泛化性。
多模态大模型通常是在大型预训练语言模型（LLM）的基础上扩展而来。尽管原始的 LLM 并不具备视觉理解能力，但经过多模态训练后，这些模型却能在各类视觉相关任务中展现出强大的表现。
LeCun谢赛宁等研究人员通过新模型Web-SSL验证了SSL在多模态任务中的潜力，证明其在扩展模型和数据规模后，能媲美甚至超越CLIP。这项研究为无语言监督的视觉预训练开辟新方向，并计划开源模型以推动社区探索。
在实际应用过程中，闭源模型（GPT-4o）等在回复的全面性、完备性、美观性等方面展示出了不俗的表现。
GRPO训练又有新的工具链可以用，这次来自于ModelScope魔搭社区。