一种基于Agent的模型量化方法及系统

本申请提供一种基于Agent的模型量化方法及系统，方法包括：获取预训练模型的校准数据；根据预训练模型的校准数据和预训练模型的待量化层的层状态，确定每一待量化层的Agent模型的状态输入量以及动作决策；根据每一待量化层的Agent模型的动作决策对每一待量化层进行模拟量化，确定每一待量化层的量化推理误差；采用每一待量化层的量化推理误差更新每一待量化层的Agent模型，确定量化器参数；采用量化器参数对预训练模型进行量化，确定经过量化的模型。通过本申请，采用Agent机制，自适应调整每一待量化层的量化策略，提高量化方案的适配性，防止陷入局部最优，并减少激活的离群值现象，降低量化误差以及量化位数。