Scaling Laws终结，量化无用，AI大佬都在审视这篇论文
Scaling Laws终结，量化无用，AI大佬都在审视这篇论文最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
来自主题:
AI技术研报
5667 点击 2024-11-13 13:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
最近整个 AI 圈⼦都在等一个信号 行业发展停滞太久了，或者说直白点， " 没得抄了 "
继9月份版本更新之后，光锥智能从生数科技联合创始人兼CEO唐家渝朋友圈获悉，Vidu大模型将于本周再次进行版本升级，Vidu-1.5版本即将上线。
近年来，伴随着人工智能技术在社会各领域内的渗透，医疗行业同样期待着一款“颠覆”传统诊疗方式的数字产品出现，在提高临床治疗效果的同时，降低医保和患者负担。
11月11日，谷歌推出了一款名为“Learn About” 的实验性的新 AI 工具，它不同于此前的聊天机器人，如 Gemini 和 ChatGPT。
Perplexity 联合创始人&首席战略官 Johnny Ho 在不久前与 Lightspeed 合伙人 Michael Mignano 的一场对话中提到，Perplexity 的产品发布秉持“完全准备好才推出”的原则，通过小而持续的功能改进，让产品逐步融入用户的日常生活。
“过去24个月，AI行业发生的最大变化是什么？是大模型基本消除了幻觉。”11月12日，百度创始人李彦宏在百度世界2024大会上，发表了主题为《应用来了》的演讲，发布两大赋能应用的AI技术：检索增强的文生图技术（iRAG）和无代码工具“秒哒”。文心iRAG用于解决大模型在图片生成上的幻觉问题，极大提升实用性；无代码工具“秒哒”让每个人都拥有程序员的能力，将打造数百万“超级有用”的应用。
随着特朗普将重返白宫，其最大的支持者之一、亿万富翁埃隆·马斯克将在特朗普新政府中扮演什么角色备受关注。
本期AGI路线图中关键节点：Figure 02、Optimus Gen-2、宇树G1、傅利叶GR-2、众擎SE01、BVS、WonderWorld、ReKep、DrEureka、DeepMind足球机器人、腾讯「小五」、达芬奇AI机器人、Project GR00T、LeRobot。
人工智能的发展如火如荼，但大多数人只看到应用的火爆。真正的支撑力量鲜为人知，人工智能的发展越来越离不开庞大算力的支撑。现在，每5座为人工智能而生的数据中心所消耗的电力，就相当于一个纽约市的消耗。本文将介绍关于AI数据中心的一些基础知识。
Claude团队三巨头同时接受采访，回应一切。 整整5个小时，创始人Dario Amodei、Claude性格设计师Amanda Askell、机制可解释性先驱Chris Olah无所不谈，透露了关于模型、公司和行业的很多内幕和细节。
AI之风，吹倒了在线教育巨头Chegg。
小米大模型第二代来了！ 相比第一代，训练数据规模更大、品质更高，训练策略与微调机制上也进行了深入打磨。
研究人员通过案例研究，利用大型语言模型（LLMs）如GPT-4、Claude 3和Llama 3.1，探索了思维链（CoT）提示在解码移位密码任务中的表现；CoT提示虽然提升了模型的推理能力，但这种能力并非纯粹的符号推理，而是结合了记忆和概率推理的复杂过程。
赫拉利新书探讨AI风险与历史启示。
前两天暗涌发的《独家｜Kimi创始人杨植麟被前投资人提起仲裁》很多朋友看见了，也引发了不少讨论。我也和月之暗面的老股东新股东们都聊了聊，大家各有观点。我感觉这个事件还是有很多值得解读，和其他创业者朋友借鉴的地方，而且外面一面倒的声音也太多了。
2024年11月12日举办的百度世界大会上，探讨“什么是有价值的AI应用”成了主题。
第8届CoRL于2024年11月6日至9日在德国慕尼黑举行，展示了机器人学习领域的前沿研究和发展，尤其是在自主系统、机器人控制和多模态人工智能领域。
昨天，The Information 的一篇文章让 AI 社区炸了锅。
2024 年的诺贝尔化学奖颁发给了在结构生物学领域取得重大成就的 David Baker 团队和 AlphaFold 团队，激发了 AI for science 领域新的研究热潮。
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
去年以来，包括纽约时报、Raw Story、The Intercept和AlterNet等在内的多家机构，针对ChatGPT所属的公司OpenAI提起诉讼，指控ChatGPT非法使用了新闻网站文章用于训练。近日，纽约联邦法官驳回了Raw Story和Alternet对OpenAI聊天机器人的训练数据提起的版权诉讼。
【新智元导读】刚刚，一款专为消费级显卡设计的全新非自回归掩码图像建模的文本到图像生成模型——Meissonic发布，标志着图像生成即将进入「端侧时代」。
Ilya终于承认，自己关于Scaling的说法错了！现在训练模型已经不是「越大越好」，而是找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练。而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。
在 HyperAI超神经联合出品的 COSCon’24 AI for Science 论坛中，来自清华大学电子工程系城市科学与计算研究中心的博士后研究员丁璟韬带来了深度分享，以下为演讲精华实录。
随着去年的热潮逐渐冷却，AI 大模型创业领域进入调整期，各大公司的人才流动愈发频繁。
OpenAI推出SearchGPT没几天，开源版本也来了。 港中文MMLab、上海AI Lab、腾讯团队简易实现了Vision Search Assistant，模型设计简单，只要两张RTX3090就可复现。
o1不是通向大模型推理的唯一路径！ MIT的新研究发现，在测试时对大模型进行训练，可以让推理水平大幅提升。
在当今迅速发展的企业数字化转型浪潮中，生成式AI的应用不断被深化，不少公司正试图在传统行业中找到它的落地场景。
