2023 年初，Jason Wei 加入了 OpenAI，参与了 ChatGPT 的构建以及 o1 等重大项目。他的工作使思维链提示、指令微调和涌现现象等技术和概念变得广为人知。
万字长文盘点 2024，展望 2025 2024 年，大语言模型（LLM）迎来了翻天覆地的变化。让我们一起回顾过去一年中这个领域的重大发现，梳理其中的关键主题和标志性时刻。
最近 AI 社区很多人都在讨论 Scaling Law 是否撞墙的问题。其中，一个支持 Scaling Law 撞墙论的理由是 AI 几乎已经快要耗尽已有的高质量数据，比如有一项研究就预计，如果 LLM 保持现在的发展势头，到 2028 年左右，已有的数据储量将被全部利用完。
将时间拨回到两年之前，彼时，ChatGPT刚刚问世就引起了广泛的关注。不过，虽然当时大家惊艳于LLM带来的震撼，但也没有想到在短短两年之后，人工智能就已经以包括Chat在内的各种不同形式融入了我们的日常，并正以前所未有的速度、广度和深度重塑生产生活方式。
你是否想过在自己的设备上运行自己的大型语言模型（LLMs）或视觉语言模型（VLMs）？你可能有过这样的想法，但是一想到要从头开始设置、管理环境、下载正确的模型权重，以及你的设备是否能处理这些模型的不确定性，你可能就犹豫了。
大模型的的发布固然令人欣喜，但是各类测评也是忙坏了众多 AI 工作者。大模型推理的幻觉问题向来是 AI 测评的重灾区，诸如 9.9>9.11 的经典幻觉问题，各大厂家恨不得直接把问题用 if-else 写进来。
在人工智能领域，大语言模型（LLM）的应用已经渗透到创意写作的方方面面。
本文介绍了一套针对于低比特量化的 scaling laws。
在这个故事中，我将提供一个快速教程，展示如何使用浏览器使用、LightRAG和本地LLM创建一个强大的聊天机器人，以开发一个能够抓取您选择的任何网站的AI代理。此外，您可以询问有关您的数据的问题，这将为您提供该问题的回答。
本月，OpenAI科学家就当前LLM的scaling方法论能否实现AGI话题展开深入辩论，认为将来AI至少与人类平分秋色；LLM scaling目前的问题可以通过后训练、强化学习、合成数据、智能体协作等方法得到解决；按现在的趋势估计，明年LLM就能赢得IMO金牌。
