2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍
2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。
搜索
上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。
从 ChatGPT 最初发布算起,虽然大模型的热潮已经持续了一年多,但大部分时间依然停留在学术前沿和技术创新层面,深入具体场景实现产业价值的案例并不多见。
最近,各家手机厂商都在不约而同地做着一件事:把生成式 AI 搬上手机。
近日,腾讯 AI Lab 的游戏 AI 团队宣布了其决策智能 AI "绝悟" 在《星际争霸 2》中的最新研究进展,提出一种创新的训练方法显著提升了 AI 的局内策略应变能力,使其在考虑了 APM 公平的对战环境中,与 3 位国内顶尖的神族职业选手各进行多达 20 局神族 vs 神族的对战,稳定地保持 50% 及以上的胜率。
最近,这张号称「或许是2024年最重要的AI图之一」的图开始热转,可以看到,开源本地模型,已经取代了大规模、基于云的昂贵封闭模型,这种转变令人兴奋、着迷。
被评为「2023年10大科学人物」的Ilya Sutskever,曾经多次强调:只要能够非常好得预测下一个token,就能帮助人类达到AGI。
2023这个大模型爆发的元年即将过去,展望未来,比尔盖茨,李飞飞,吴恩达等人对2024年人工智能的发展作出了自己的预测。
谷歌全新视频生成模型VideoPoet再次引领世界!十秒超长视频生成效果碾压Gen-2,还可进行音频生成,风格转化。
在MEET 2024智能未来大会现场,昆仑万维董事长兼CEO方汉在分享“大模型将如何介入普通人生活”时,作出了如上发言。
就在刚刚结束的2023年Open Day上,清智资本张煜总结道,生成式AI将会创造出十万亿规模的巨大市场,而AI Agent也将会涌现式出现。