别再吹AI搞科研了！新评测泼冷水：顶尖模型离「合格科学家」还差得远
别再吹AI搞科研了！新评测泼冷水：顶尖模型离「合格科学家」还差得远如今，大模型在理解、推理、编程等方面表现突出，但AI的“科学通用能力”（SGI）尚无统一标准。
来自主题: AI技术研报
9430 点击 2025-12-29 14:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
如今，大模型在理解、推理、编程等方面表现突出，但AI的“科学通用能力”（SGI）尚无统一标准。
近年来，视频大语言模型在理解动态视觉信息方面展现出强大能力，成为处理真实世界多模态数据的重要基础模型。然而，它们在真实性、安全性、公平性、鲁棒性和隐私保护等方面仍面临严峻挑战。
最新PRBench基准可以测试AI在金融和法律领域的表现。结果显示，即使是顶尖大模型在处理复杂任务时也表现不佳，尤其在涉及重大经济后果的任务中。PRBench通过模拟真实场景和多轮对话，揭示了AI在专业领域的不足，强调开发更可靠AI系统的重要性。
“我最近喉咙像刀割一样痛，还伴随鼻塞，但没有咳嗽……这是染上流感，还是又中招了？”
在文化遗产与人工智能的交叉处，有一类问题既美也难：如何让机器「看懂」古希腊的陶器——不仅能识别它的形状或图案，还能推断年代、产地、工坊甚至艺术归属？有研究人员给出了一条实用且富有启发性的答案：把大型多模态模型（MLLM）放在「诊断—补弱—精细化评估」的闭环中训练，并配套一个结构化的评测基准，从而让模型在高度专业化的文化遗产领域表现得更接近专家级能力。
美团LongCat团队发布了当前高度贴近真实生活场景、面向复杂问题的大模型智能体评测基准——VitaBench（Versatile Interactive Tasks Benchmark）。VitaBench以外卖点餐、餐厅就餐、旅游出行三大高频生活场景为典型载体，构建了一个包含66个工具的交互式评测环境，并设计了跨场景综合任务。
你有没有想过，AI 不仅能记住过去的一切，还能预见未知的未来？
杜克大学与 Zoom 的研究者们推出了 LiveMCP-101，这是首个专门针对真实动态环境设计的 MCP-enabled Agent 评测基准。该基准包含 101 个精心设计的任务，涵盖旅行规划，体育娱乐，软件工程等多种不同场景，要求 Agent 在多步骤、多工具协同的场景下完成任务。
前沿 AI 模型真的能做到博士级推理吗？ 前段时间，谷歌、OpenAI 的模型都在数学奥林匹克（IMO）水平测试中达到了金牌水准，这样的表现让人很容易联想到 LLM 是不是已经具备了解决博士级科研难题的推理能力？
最强具身大脑，宝座易主！在10项评测中，国产RoboBrain 2.0全面超越GPT-4o。这次，智源研究院开源了具身大脑RoboBrain 2.0 32B版本以及跨本体大小脑协同框架RoboOS 2.0单机版。不仅问鼎评测基准SOTA，还成功刷新跨本体多机协作技术范式！