一种基于分布式的AI大模型仓库下载加速方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于分布式的AI大模型仓库下载加速方法及系统
申请号:CN202510894045
申请日期:2025-06-30
公开号:CN120567849A
公开日期:2025-08-29
类型:发明专利
摘要
本发明涉及计算机技术领域,提供一种基于分布式的AI大模型仓库下载加速方法,包括新加入的节点基于gossip协议完成与全网节点间的组网与文件映射关系表同步;各节点基于节点标识通过一致性哈希算法构建哈希环,并根据部署标识确定目标Key,在哈希环沿顺时针选择目标Key的下一个节点作为主节点;当本地内网节点接收到下载请求时,首先在本地文件列表中查找目标文件;若本地未查找到目标文件,则向文件映射关系表中记录的目标节点发起内网回源请求获取目标文件;若内网未命中,则向主节点发起公网回源请求以获取目标文件,基于gossip协议的去中心化组网机制与文件映射关系共享机制,有效避免节点间重复下载、减少带宽浪费,显著降低公网带宽占用。
技术关键词
主节点 映射关系表 公网 仓库 标识 加速系统 哈希算法 协议 列表 组网模块 下载数据 建立通信 机房 集群 机制 端口