搜索
开源推理大模型新架构来了，采用与Deepseek-R1/OpenAI o1截然不同的路线： 抛弃长思维链和人类的语言，直接在连续的高维潜空间用隐藏状态推理，可自适应地花费更多计算来思考更长时间。
这一篇文章来源于我自己的困惑而进行的探索和思考，再进行多次讨论后总觉隔靴搔痒，理解不透彻。 而在我自己整理后，发现已经有小伙伴点明了他们的区别。但是因为了解深度的不够，即使告诉了答案，我也无法理解，总有隔靴搔痒之感。
复旦新研究揭示了AI系统自我复制的突破性进展，表明当前的LLM已具备在没有人类干预的情况下自我克隆的能力。这不仅是AI超越人类的一大步，也为「流氓AI」埋下了隐患，带来前所未有的安全风险。
字节出了个全新架构，把推理成本给狠狠地打了下去！推理速度相比MoE架构提升2-6倍，推理成本最高可降低83%。
推理大语言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通过模拟人类推理过程，在多个专业领域已超越人类专家，并通过延长推理时间提高准确性。推理模型的核心技术包括强化学习（Reinforcement Learning）和推理规模（Inference scaling）。
DeepSeek 在海内外搅起的惊涛巨浪，余波仍在汹涌。当中国大模型撕开硅谷的防线之后，在预设中总是落后半拍的中国 AI 军团，这次竟完成了一次反向技术输出，引发了全球范围内复现 DeepSeek 的热潮。
近日，来自香港科技大学、南洋理工大学等机构的研究团队最新成果让这一设想成为现实。他们提出的 SelfDefend 框架，让大语言模型首次拥有了真正意义上的 ' 自卫能力 '，能够有效识别和抵御各类越狱攻击，同时保持极低的响应延迟。
一篇报道，在AI圈掀起轩然大波。文中引用了近2年前的论文直击大模型死穴——Transformer触及天花板，却引来OpenAI研究科学家的紧急回应。谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。
针对视频生成中的运动一致性难题，Meta GenAI团队提出了一个全新框架VideoJAM。VideoJAM基于主流的DiT路线，但和Sora等纯DiT模型相比，动态效果直接拉满：
传统的偏好对⻬⽅法，如基于⼈类反馈的强化学习（RLHF）和直接偏好优化（DPO），依赖于训练过程中的模型参数更新，但在⾯对不断变化的数据和需求时，缺乏⾜够的灵活性来适应这些变化。