一种基于多模态大模型压缩的移动端AI高效部署方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于多模态大模型压缩的移动端AI高效部署方法及系统
申请号:CN202511009902
申请日期:2025-07-22
公开号:CN120911546A
公开日期:2025-11-07
类型:发明专利
摘要
本发明涉及一种基于多模态大模型压缩的移动端AI高效部署方法及系统,包括获取原始多模态大模型,该模型能够处理多种类型的数据,包括但不限于文本、图像、音频;对所述原始多模态大模型进行模型剪枝,通过分析模型中各参数的重要性,采用基于敏感度分析的剪枝算法,计算每个参数对模型输出的影响程度。本发明降低了计算资源需求,通过模型剪枝、量化和知识蒸馏等压缩技术,有效减少了多模态大模型的参数数量和计算量,使模型能够在移动端设备有限的计算资源下高效运行,提高了模型的推理速度,减少了存储容量占用,量化技术将模型参数转换为低精度表示,大幅降低了模型的存储需求,知识蒸馏得到的小型化模型进一步减少了存储空间占用。
技术关键词
模型压缩 多模态 移动端 模型剪枝 高效部署系统 参数 模块 增量更新 文本情感分析 知识蒸馏方法 教师 学生 浮点数 资源 图像 规模 保障系统 计划