搜索
两年后，Fable 5 级 AI，可能就躺在你的笔记本里。就在昨天，全球最大的本地大模型社区r/LocalLLaMA，一张图刷屏了整个AI圈——标题简单粗暴：如果趋势持续，Mythos级能力可能在2年内运行在高端消费级硬件上。
有个31B参数的大模型，正常需要80GB显存才能跑。但现在，24GB显存就能跑满血版。这个版本叫Gemma-4-31B-JANG_4M-CRACK——"CRACK"这个词不要理解歪了，它本质是量化压缩加上对齐微调之后的部署版本，不是什么黑客攻击，就是工程优化。24GB，MacBook Pro，直接跑。苹果用户优先优化，MLX原生支持，月下载13000次。
上次给大家分享了一个 CUA 的开源项目，能让 AI Agent 直接操控电脑界面，相当于把任何 App 都变成 Agent 的 Skill。反响还不错。
Factory 发布桌面端应用，让自治 AI 代理（Droids）直接在你的电脑上操控 VS Code、浏览器、终端和 Excel——官方原话是「像你一样操作你的电脑」。多代理并行、持久化机器、本地模型部署一步到位，官方称企业团队采用速度翻倍、会话量暴涨 4.6 倍。发布推文 21 万人围观，近 900 人点赞。
在近一年里，Agentic System（代理系统/智能体系统）正变得无处不在。从Open AI的Deep Research到Claude Code，我们看到越来越多的系统不再依赖单一模型，而是通过多模型协作来完成复杂的长窗口任务。
Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。
最近，这张号称「或许是2024年最重要的AI图之一」的图开始热转，可以看到，开源本地模型，已经取代了大规模、基于云的昂贵封闭模型，这种转变令人兴奋、着迷。