模型训练方法、装置、设备、存储介质及程序产品

本申请公开了一种模型训练方法、装置、设备、存储介质及程序产品，方法包括：在前向过程中，基于线性层对应的缩放参数对第二数据类型的输入张量进行类型转换，得到第一数据类型的输入张量；在线性层完成计算后，将第一数据类型的输出张量转换为第二数据类型的输出张量；在反向过程中，基于线性层对应的缩放参数对第一数据类型的模型参数进行类型转换，得到第二数据类型的模型参数；基于第二数据类型的模型参数和第二数据类型的损失值确定第二数据类型的梯度；利用第二数据类型的梯度对模型的模型参数进行更新，得到训练后的模型。如此，可以在保证模型精度的情况下，提升模型训练效率，降低了模型训练时对算力、存储的要求。