一种基于微专家排序的混合专家模型结构化剪枝与加速方法及系统

一种基于微专家排序的混合专家模型结构化剪枝与加速方法及系统，属于大语言模型技术领域，解决现有的MoE剪枝方法无法同时兼顾细粒度剪枝、推理加速和结构分析泛化性的需求，粗粒度专家级剪枝损害模型性能，细粒度压缩缺乏速度提升，且缺乏统一微观分析方法的问题。方法包括：将混合专家模型中的每个专家网络拆分为若干微专家，对若干微专家进行建模，使不同专家网络的微专家之间具有可比性；采用微专家排序算法，根据微专家的能量指标对所有微专家进行排序；采用剪枝算法对排序后的微专家进行处理，选取核心微专家进行保留，其余直接删除。本发明适用于边缘计算、多任务学习等应用场景。