3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源
3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
来自主题: AI技术研报
8076 点击 2024-12-18 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
Sequoia Capital(红杉资本) 最近发表了一篇文章《AI in 2025: Building Blocks Firmly in Place》，对2025年的AI发展趋势做了三个预测，一定程度上反映了资本对于大模型方向一些定性判断。
Cresta由Zayd Enam、Tim Shi和Sebastian Thrun于2017年联合创立，目前由Wu Ping担任CEO，团队汇聚了来自Google、Facebook等顶尖科技公司的专家。
一般而言，LLM 被限制在语言空间（language space）内进行推理，并通过思维链（CoT）来表达推理过程，从而解决复杂的推理问题。
面对众多功能独特的AI工具，究竟哪个才是最适合的？本文将带你探索几款顶级的科学研究AI工具：Consensus、SciSpace、Elicit，还有一些正在崛起的黑马，看看谁更胜一筹。
这两天，北京大学等研究团队发布了一个视频生成的可控生成工作：ConsisID。ConsisID可以实现无需训练Lora的保持参考人脸一致性的文生视频，类似之前图像生成的IP-Adapter-Face和InstantID等工作。虽然之前也有类似的工作，但是ConsisID在效果更上一个台阶。
大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。
社交平台Bluesky近期爆火，有人认为它可能取代X（原Twitter）。 作为新晋的社交平台，Bluesky在上周已突破2000万用户。在过去一周，Bluesky每天都有将近100万的新用户注册。特别是在美国大选结果揭晓后，大量的用户离开马斯克的X，转向Bluesky。
一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
Hugging Face 上的模型数量已经超过了 100 万。但是几乎每个模型都是孤立的，难以与其它模型沟通。尽管有些研究者甚至娱乐播主试过让 LLM 互相交流，但所用的方法大都比较简单。