一种基于Clickhouse的电商数据查询方法、设备及介质
申请号:CN202511026900
申请日期:2025-07-24
公开号:CN120705385A
公开日期:2025-09-26
类型:发明专利
摘要
本申请公开了一种基于Clickhouse的电商数据查询方法、设备及介质,涉及电商数据查询技术领域。方法包括:通过分布式爬虫策略采集电商平台的商品数据,商品数据包括价格趋势和商品地址;合并重复的商品数据,并通过地理编码引擎转换商品地址,以及构建跨平台商品类目映射引擎;根据跨平台商品类目映射引擎,在Clickhouse中构建时间和空间的双重分区策略,并构建基于跳数索引的多级排序结构;接收用户的多维查询请求,通过查询编译器进行分布式查询;利用向量化计算引擎进行聚合,生成排名和趋势的结果集。本申请通过上述方法实现了跨平台电商数据的实时清洗、标准化治理与毫秒级多维分析的协同优化问题。
技术关键词
电商数据查询方法
查询编译器
分布式爬虫
排序结构
分区策略
计算机可执行指令
数据查询设备
数据查询技术
孤立森林算法
滑动时间窗口
BERT模型
编码
分布直方图
计算机存储介质
索引
地理围栏
告警规则
关键词