Transformer+Mamba黄金组合!长文推理性能飙升3倍,性能还更强
Transformer+Mamba黄金组合!长文推理性能飙升3倍,性能还更强Nemotron-H模型混合了Transformer和Mamba架构,使长文本推理速度提升3倍,同时还能保持高性能,开源版本包括8B和56B尺寸。训练过程采用FP8训练和压缩技术,进一步提高了20%推理速度
搜索
Nemotron-H模型混合了Transformer和Mamba架构,使长文本推理速度提升3倍,同时还能保持高性能,开源版本包括8B和56B尺寸。训练过程采用FP8训练和压缩技术,进一步提高了20%推理速度
现在下场做 AI 产品的创业者越来越多,但创业总归是“九死一生”的艰难旅途,我更关心的是,有没有一些有迹可循的办法,能提高成功率?上周,我和一位非典型 AI 创业者——米可世界 AI Lab 的负责人 Simon 聊了一次天,聊出了很多在 AI 创业的宏大叙事中没有的“大实话”,也获得了不少启发。
今年3月,阿里巴巴旗下淘天有限公司发文,正式启动2026届春季实习生全球招聘活动。该次招聘开放七大职类,提供超50个不同岗位。此前,阿里巴巴集团CEO吴泳铭曾宣布,未来三年将投入超过3800亿元用于建设云和AI硬件基础设施。2月27日,阿里巴巴启动2026届春季实习生招聘,开放的3000多个岗位中,AI相关岗位占到了五成。
只用6GB显存的笔记本GPU,就能生成流畅的高质量视频!斯坦福研究团队重磅推出FramePack,大幅改善了视频生成中的遗忘和漂移难题。
据消息透露,Anthropic 首次投资了另一家初创公司 Goodfire,投入 100 万美元。Goodfire 成立一年,致力于帮助 AI 开发者理解其 AI 模型的内部运作机制。
据外媒报道,OpenAI 正计划以约 30 亿美元收购 AI 编码助手初创公司 Windsurf(前身为 Codeium),以进一步完善其在全栈编码领域的技术布局。
这是一份报告,有关英伟达50系显卡。非常高质量,AI 一键出的
推理模型与普通大语言模型有何本质不同?它们为何会「胡言乱语」甚至「故意撒谎」?Goodfire最新发布的开源稀疏自编码器(SAEs),基于DeepSeek-R1模型,为我们提供了一把「AI显微镜」,窥探推理模型的内心世界。
GitHub Copilot大约是在2021年夏天发布的,那时它真的非常惊艳,一发布出来就感觉像是魔法。
基于Transformer的自回归架构在语言建模上取得了显著成功,但在图像生成领域,扩散模型凭借强大的生成质量和可控性占据了主导地位。