手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行有CPU就能跑大模型,性能甚至超过NPU/GPU!
来自主题: AI技术研报
12875 点击 2024-08-09 14:16
搜索
有CPU就能跑大模型,性能甚至超过NPU/GPU!
是时候用CPU通用服务器跑千亿参数大模型了!
千亿参数规模的大模型推理,服务器仅用4颗CPU就能实现!
英特尔用“光”,突破了大模型时代棘手的算力难题—— 推出业界首款全集成OCI(光学计算互连)芯片。
AI一天,人间一年。
AI对计算栈的改变远超过去50年各种变化的总和。
今日,英特尔推出英特尔® 至强® 6能效核处理器,每个 CPU 拥有多达 144 个内核,机架密度提高达3倍1,以高性能、高密度、高能效和低TCO,满足多样的云级工作负载,是数据中心高效能之选。
AMD在Computex主题演讲上大出风头,推出了首批Zen 5处理器,包括台式机用Ryzen 9000 CPU和笔记本电脑用Ryzen AI 300「Strix Point 」APU。除此之外,AMD还宣布了芯片年更计划以及备受期待的第五代EPYC Turin处理器。
医学影像,越来越需要AI的帮助了。
那个号称40年来最大技术架构变革的英特尔® 酷睿™ Ultra处理器,用起来到底怎样?