基于混合异构内存资源的任务执行方法、产品及设备

本申请公开了基于混合异构内存资源的任务执行方法、产品及设备，涉及人工智能技术领域，包括：确定服务器内各种计算资源的算力性能和各种混合异构内存资源的存储性能，并分别统计任意两个内存之间的通信延时；基于设备算力性能、内存存储性能和通信延时对多个内存进行排序；按照计算层对目标自然语言处理模型进行阶段划分，得到多个模型阶段；其中各模型阶段所需的内存空间均不大于任一内存的大小；将各模型阶段的推理任务依次部署到排序后内存中，并利用部署后模型执行自然语言处理任务。本申请充分利用了各种硬件资源，使得在资源受限的混合异构内存资源下，也能实现推理任务的高效部署，从而提高了自然语言处理任务执行的效率。