RL 是 LLM 的新范式
RL 是 LLM 的新范式AGI 正在迎来新范式，RL 是 LLM 的秘密武器。
来自主题: AI资讯
9090 点击 2024-08-27 10:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
AGI 正在迎来新范式，RL 是 LLM 的秘密武器。
「相比于强化学习（RL），我确实更喜欢模型预测控制（MPC）。至少从 2016 年起，我就一直在强调这一点。强化学习在学习任何新任务时都需要进行极其大量的尝试。相比之下，模型预测控制是零样本的：如果你有一个良好的世界模型和一个良好的任务目标，模型预测控制就可以在不需要任何特定任务学习的情况下解决新任务。这就是规划的魔力。这并不意味着强化学习是无用的，但它的使用应该是最后的手段。」
SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐
RLHF到底是不是强化学习？最近，AI大佬圈因为这个讨论炸锅了。和LeCun同为质疑派的Karpathy表示：比起那种让AlphaGo在围棋中击败人类的强化学习，RLHF还差得远呢。
RLHF 与 RL 到底能不能归属为一类，看来大家还是有不一样的看法。
为了对齐 LLM，各路研究者妙招连连。
大模型展现出了卓越的指令跟从和任务泛化的能力，这种独特的能力源自 LLMs 在训练中使用了指令跟随数据以及人类反馈强化学习（RLHF）。
利用Pearl AI来探索牙科的未来
网友：学术圈该有的样子！ 现在，arXiv的每篇论文，都能直接提问讨论了！ 只需把URL中的arXiv替换成AlphaXiv，就能对任意一篇论文发布提问或讨论。
Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路：让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。