北大&火山引擎夺冠！CLIC视频压缩挑战赛结果公布，中国团队表现亮眼
北大&火山引擎夺冠！CLIC视频压缩挑战赛结果公布，中国团队表现亮眼随着以深度学习为代表的新一代人工智能技术不断取得突破，学术界与工业界逐渐意识到人工智能技术在图像、视频压缩领域的巨大应用潜力。
来自主题: AI资讯
6803 点击 2024-04-08 15:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着以深度学习为代表的新一代人工智能技术不断取得突破，学术界与工业界逐渐意识到人工智能技术在图像、视频压缩领域的巨大应用潜力。
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。
半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。
早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
生成式人工智能在个人电脑（PC）领域的应用成为新一轮角力之处，当前芯片厂商和 PC 品牌商都十分看好 AI PC 市场。相较于普通的 PC，AI PC 通过在电脑端运行经过压缩和优化的大模型，让用户体验到更多生成式 AI 应用，比如文生图、智能创作。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。
近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
谷歌&南加大推出最新研究“自我发现”（Self-Discover），重新定义了大模型推理范式。与已成行业标准的思维链（CoT）相比，新方法不仅让模型在面对复杂任务时表现更佳，还把同等效果下的推理成本压缩至1/40。