目标是作为统一管理各业务数据底座,标准化数据管理。其中包含的能力有
1. 数据同步(数据接入/数据清洗/数据处理/数据入库)
2. 数据分层计算(ods / dwd / dws /ads)
3. api发布(即基于数仓 ads 层做接口)
4. 数仓的数据资产/数据血缘
5. 各组件管理及运维
6. 数据质量管理
等等
整理架构设计及实现
1. seatunnel 负责 数据同步及简单数据清洗及数据处理
2. doris 作为数据总台数据库收集各类数据
3. kafka 作为实时数据源接入及分发
4. zabbix/prometheus 作为运维监控和报警
5. dolphinscheduler 作为调度平台
6. 自研数据质量及api发布平台
7. openmetadata 作为数据资产数据血缘管理平台