基于NUMA架构的训练集访问方法、装置、终端及介质
申请号:CN202511047982
申请日期:2025-07-29
公开号:CN120872853A
公开日期:2025-10-31
类型:发明专利
摘要
本发明实施例公开了一种基于NUMA架构的训练集访问方法、装置、终端及介质,所述方法包括:读取数据集元数据信息,并为数据集中每条信息创建索引;从NUMA架构中选取训练节点,获取训练节点的属性信息;将数据集中的信息进行打乱处理,并将打乱处理后的部分信息下发至训练节点的内存;为下发后的信息索引增加内存地址信息;将节点加载训练完成的信息索引增加已访问标记;将存在已访问标记的信息迁移至远端节点内存中,并在索引中增加远端节点内存地址信息;返回至将打乱处理后的部分信息下发至训练节点的内存步骤,直至数据集中所有信息均具有已访问标记。可以尽量让待访问数据总是位于当前训练节点中,保证数据高效访问。
技术关键词
NUMA架构
节点
索引
内存
训练集
标记
计算机可执行指令
数据存储介质
访问装置
处理器
模块
终端
指针
标志位
存储装置
程序
算法