一种数据处理方法及装置

本申请公开了一种数据处理方法及装置，该方法包括：在生成式人工智能模型执行推理任务的过程中，将内存中存储的推理任务中已经生成的词元对应的满足压缩条件的初始键值数据进行压缩处理，压缩处理的结果包括压缩键值数据以及压缩键值数据与初始键值数据之间的映射关系；将所述压缩键值数据以及所述压缩键值数据与初始键值数据之间的映射关系存入内存以替换原有的初始键值数据，并将所述压缩键值数据对应的初始键值数据存入第一存储器。