OpenAI o1 self-play RL 技术路线推演
OpenAI o1 self-play RL 技术路线推演OpenAI的self-play RL新模型o1最近交卷，直接引爆了关于对于self-play的讨论。
来自主题: AI技术研报
9665 点击 2024-09-21 14:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
OpenAI的self-play RL新模型o1最近交卷，直接引爆了关于对于self-play的讨论。
Self-play RL 开启 AGI 下半场
本文作者来自于清华大学电子工程系，北京大学人工智能研究院、第四范式、腾讯和清华-伯克利深圳学院。其中第一作者张瑞泽为清华大学硕士，主要研究方向为博弈算法。通讯作者为清华大学电子工程系汪玉教授、于超博后和第四范式研究员黄世宇博士。
头部模型的新一代模型的是市场观测、理解 LLM 走向的风向标。即将发布的 OpenAI GPT-Next 和 Anthropic Claude 3.5 Opus 无疑是 AGI 下半场最关键的事件。
从几周前 Sam Altman 在 X 上发布草莓照片开始，整个行业都在期待 OpenAI 发布新模型。根据 The information 的报道，Strawberry 就是之前的 Q-star，其合成数据的方法会大幅提升 LLM 的智能推理能力，尤其体现在数学解题、解字谜、代码生成等复杂推理任务。这个方法也会用在 GPT 系列的提升上，帮助 OpenAI 新一代 Orion。
为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
SelfGNN框架结合了图神经网络和个性化自增强学习，能够捕捉用户行为的多时间尺度模式，降低噪声影响，提升推荐系统鲁棒性。
现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题，传统偏好学习方法依赖可能不适配的外源数据，存在成本和质量问题。Calibrated Self-Rewarding（CSR）框架通过自我增强学习，利用模型自身输出构造更可靠的偏好数据，结合视觉约束提高学习效率和准确性。
5 月 15 日，针对特斯拉 FSD（Full-Self Driving，全自动驾驶）付费选装率仅 2% 的消息，特斯拉 CEO 马斯克在 X 平台上回复称，实际情况远远超过了这个数字。
谷歌&南加大推出最新研究“自我发现”（Self-Discover），重新定义了大模型推理范式。与已成行业标准的思维链（CoT）相比，新方法不仅让模型在面对复杂任务时表现更佳，还把同等效果下的推理成本压缩至1/40。