COLM 24 | 从正确中学习?大模型的自我纠正新视角
COLM 24 | 从正确中学习?大模型的自我纠正新视角大型语言模型(LLMs)虽然进展很快,很强大,但是它们仍然存在会产生幻觉、生成有害内容和不遵守人类指令等问题。一种流行的解决方案就是基于【自我纠正】,大概就是看自己输出的结果,自己反思一下有没有错,如果有错就自己改正。目前自己纠正还是比较关注于让大模型从错误中进行学习。
搜索
大型语言模型(LLMs)虽然进展很快,很强大,但是它们仍然存在会产生幻觉、生成有害内容和不遵守人类指令等问题。一种流行的解决方案就是基于【自我纠正】,大概就是看自己输出的结果,自己反思一下有没有错,如果有错就自己改正。目前自己纠正还是比较关注于让大模型从错误中进行学习。
前些天,OpenAI 发布了 ο1 系列模型,它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高,以至于 OpenAI 不得不限制每位用户的使用量:每位用户每周仅能给 o1-preview 发送 30 条消息,给 o1-mini 发送 50 条消息。
自从Ilya Sutskever的名字出现在OpenAI o1背后团队名单中,他在o1中发挥了哪些作用,一时间成为不少网友的关注焦点。
一家刚成立6个月的初创公司Chai Discovery最近发布了能对打甚至超越AlphaFold 3的模型Chai-1,而且放出了模型权重和推理代码。不开源的DeepMind这回还能坐得住吗?
「25篇的上限,还是太多了!」
AI框架算子层级的思考其实源于周五参加WAIC上组织的AI编译相关的闭门讨论的内容,观点有不少来源于现场讨论的朋友们,因为对这个主题感兴趣,我又结合自己的理解做了一些梳理。
前几天我在X上看到了一个非常离谱的Prompt,不仅给我看懵了,也给几百万网友看懵逼了。
阴谋论的“兔子洞”,被AI破解了!
全球首次以「电驱机器人」打破波士顿动力空翻专利的那家机器人公司,不藏了!
AI投资热下的冷思考:百度传闻风波与行业变现难题;是继续烧钱研发通用大模型,还是加速落地AI商业应用,大模型厂商和投资人们都在焦虑中。