摘要
本发明公开了一种稀疏专家混合大模型的免重训练剪枝与重组方法，属于大型模型压缩与优化技术领域。本发明的方法旨在解决现有稀疏专家混合(SMoE)模型因需加载全部专家参数而导致的内存占用过高和部署困难的问题。该方法首先基于路由激活统计识别并剪枝冗余专家；随后，将被剪枝的专家分解为神经元级的功能片段，并依据结构相似性将这些片段重新分配至保留的专家中；最后，通过加权聚类算法在保留专家内部合并原始片段与新分配的片段，以重构出参数更少但表达能力更强的紧凑专家。本发明在神经元级别进行细粒度操作，有效解决了专家间固有的表征冲突与错位问题，显著提升了压缩后模型的性能，为部署大规模SMoE模型提供了可靠的技术支撑。
