基于NUMA架构的训练集访问方法、装置、终端及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于NUMA架构的训练集访问方法、装置、终端及介质
申请号:CN202511047982
申请日期:2025-07-29
公开号:CN120872853A
公开日期:2025-10-31
类型:发明专利
摘要
本发明实施例公开了一种基于NUMA架构的训练集访问方法、装置、终端及介质,所述方法包括:读取数据集元数据信息,并为数据集中每条信息创建索引;从NUMA架构中选取训练节点,获取训练节点的属性信息;将数据集中的信息进行打乱处理,并将打乱处理后的部分信息下发至训练节点的内存;为下发后的信息索引增加内存地址信息;将节点加载训练完成的信息索引增加已访问标记;将存在已访问标记的信息迁移至远端节点内存中,并在索引中增加远端节点内存地址信息;返回至将打乱处理后的部分信息下发至训练节点的内存步骤,直至数据集中所有信息均具有已访问标记。可以尽量让待访问数据总是位于当前训练节点中,保证数据高效访问。
技术关键词
NUMA架构 节点 索引 内存 训练集 标记 计算机可执行指令 数据存储介质 访问装置 处理器 模块 终端 指针 标志位 存储装置 程序 算法