元数据驱动的一体化数据仓库与治理平台构建方法及系统
申请号:CN202510918904
申请日期:2025-07-04
公开号:CN120804170A
公开日期:2025-10-17
类型:发明专利
摘要
本发明提供元数据驱动的一体化数据仓库与治理平台构建方法及系统,通过元数据自动采集适配器,采集数据源中的全量元数据,提取全链路血缘关系图谱和企业数据地图,构建目标数据集;采用控制表和参数化管道的方式执行数据表一键同步操作,生成ODS目标表和ETL同步任务;根据ODS目标表和ETL同步任务,构建DDL建表语句;基于DDL建表语句,按业务主题域划分模型,并结合数据量级预测自动推荐分桶策略,生成数据仓库模型;采用数据仓库模型的表结构、全链路血缘关系图谱和分区策略,构建一站式数据治理平台。可以快速构建数仓表模型和自动同步数据,实现全链路数据开发、治理和运营能力。
技术关键词
数据仓库模型
分区策略
数据治理平台
语句
平台构建方法
图谱
链路
合规性
主题
适配器
关系
物理存储位置
报告
字段
地图
监控模块
脚本
分层