搜索
生成式人工智能在个人电脑（PC）领域的应用成为新一轮角力之处，当前芯片厂商和 PC 品牌商都十分看好 AI PC 市场。相较于普通的 PC，AI PC 通过在电脑端运行经过压缩和优化的大模型，让用户体验到更多生成式 AI 应用，比如文生图、智能创作。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。
近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
谷歌&南加大推出最新研究“自我发现”（Self-Discover），重新定义了大模型推理范式。与已成行业标准的思维链（CoT）相比，新方法不仅让模型在面对复杂任务时表现更佳，还把同等效果下的推理成本压缩至1/40。
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其效率问题。
算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示，全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上，除了抢购和囤积英伟达，更多的方案正在浮出水面。
AGI 到底离我们还有多远？在 ChatGPT 引发的新一轮 AI 爆发之后，伯克利和香港大学的马毅教授领导的一个研究团队给出了自己的最新研究结果：包括 GPT-4 在内的当前 AI 系统所做的正是压缩。
联想发布首款AI PC！AI PC能够创建个性化的本地知识库，通过模型压缩技术运行个人大模型，实现AI自然交互。这意味着AI PC不仅可以自动化完成许多繁琐的任务，提高工作效率，还能根据用户的需求和习惯进行个性化定制，让工作变得更加智能、便捷。