搜索
大模型强化学习总是「用力过猛」？Scale AI联合UCLA、芝加哥大学的研究团队提出了一种基于评分准则（rubric）的奖励建模新方法，从理论和实验两个维度证明：要想让大模型对齐效果好，关键在于准确区分「优秀」和「卓越」的回答。这项研究不仅揭示了奖励过度优化的根源，还提供了实用的解决方案。
在多模态大模型的后训练浪潮中，强化学习驱动的范式已成为提升模型推理与通用能力的关键方向。
当强化学习（RL）成为大模型后训练的核心工具，「带可验证奖励的强化学习（RLVR）」凭借客观的二元反馈（如解题对错），迅速成为提升推理能力的主流范式。从数学解题到代码生成，RLVR 本应推动模型突破「已知答案采样」的局限，真正掌握深度推理逻辑 —— 但现实是，以 GRPO 为代表的主流方法正陷入「均值优化陷阱」。
对于大模型的强化学习已在数学推理、代码生成等静态任务中展现出不俗实力，而在需要与开放世界交互的智能体任务中，仍面临「两朵乌云」：高昂的 Rollout 预算（成千上万的 Token 与高成本的工具调用）和极其稀疏的「只看结果」的奖励信号。
让智能体自己摸索新方法，还模仿自己的成功经验。腾讯优图实验室开源强化学习算法——SPEAR（Self-imitation with Progressive Exploration for Agentic Reinforcement Learning）。
风雨飘摇中的Meta，于昨天发布了一篇重量级论文，提出了一种被称作「早期经验」（Early Experience）的全新范式，让AI智能体「无师自通」，为突破强化学习瓶颈提供了一种新思路。
开源编程模型王座，再度易主！来自快手的KAT-Dev-72B-Exp，在SWE-Bench认证榜单以74.6%的成绩夺得开源模型第一。KAT-Dev-72B-Exp是KAT-Coder模型的实验性强化学习版本。
AI Agent已逐渐从科幻走进现实！不仅能够执行编写代码、调用工具、进行多轮对话等复杂任务，甚至还可以进行端到端的软件开发，已经在金融、游戏、软件开发等诸多领域落地应用。
昨天，阿里通义千问大语言模型负责人林俊旸在社交媒体上官宣，他们在 Qwen 内部组建了一个小型机器人、具身智能团队，同时表示「多模态基础模型正转变为基础智能体，这些智能体可以利用工具和记忆通过强化学习进行长程推理，它们绝对应该从虚拟世界走向物理世界」。
具体而言，Verlog 是一个多轮强化学习框架，专为具有高度可变回合（episode）长度的长时程（long-horizon） LLM-Agent 任务而设计。它在继承 VeRL 和 BALROG 的基础上，并遵循 pytorch-a2c-ppo-acktr-gail 的成熟设计原则，引入了一系列专门优化手段，从而在任务跨度从短暂交互到数百回合时，依然能够实现稳定而高效的训练。