电商企业数据系统-数据中台

核心痛点：

电商多平台（天猫/京东/抖音）订单数据分散在独立MySQL库，品牌方无法实时获取全域销售洞察；现有T+1报表无法支撑大促实时决策，手工统计误差率达15%；测试/生产环境配置差异导致数据服务频繁故障。

业务亮点：
✅ 全域实时决策：聚合10+电商平台订单流（日均500万笔），通过Flink实时计算关键指标（GMV/退款率/TOP商品），5分钟延迟交付品牌方大屏
✅ 多租户数据服务：基于StarRocks构建统一数据服务层，支持50+品牌方自定义报表（权限隔离+弹性资源分配）
✅ 成本优化：ClickHouse替换原有Hive T+1报表集群，查询速度提升20倍，存储成本降低40%
1、分层存储策略

StarRocks：存储原始订单明细（支持UPDATE/DELETE），承接高频OLAP查询

ClickHouse：物化视图预聚合核心指标（分钟级刷新），支撑可视化大屏
2、多环境治理
整合各个环境的数据
3、品牌方数据安全
Trino RBAC：按品牌ID动态创建SQL视图
Kafka数据脱敏：Flink实时掩码手机号/身份证号

一、项目角色与周期
核心角色与人数（中型数据平台参考）：
数据工程师（3人）：负责ETL开发、数据建模、作业运维。
平台开发工程师（1人）：搭建K8s集群、维护Airflow/Trino等平台组件。
数据架构师：技术选型、架构设计、性能优化、规范制定。
运维工程师（2人）：K8s/Docker集群管理、监控告警。
数据治理专员（1人）：元数据管理、数据质量监控。
前端工程师（2人）：BI帆软工具界面开发
我担任数据工程师，负责技术选型、数据架构设计、服务组件搭建、异常处理

开发周期：
Phase 1 基础架构搭建（2个月）：K8s集群部署、日志/监控体系、核心组件容器化（Helm部署）。
Phase 2 批处理链路建设（1.5个月）：Hive/Trino数仓分层设计、Airflow调度开发、DBT模型构建。
Phase 3 实时链路建设（2个月）：Kafka+Flink实时计算、Canal同步MySQL、ClickHouse/StarRocks实时数仓。
Phase 4 平台化与治理（1个月）：数据血缘集成、指标管理、查询服务API封装。
总周期：6-7个月（含测试与迭代）。

您负责的核心任务：
✅ 技术选型：评估ClickHouse vs StarRocks实时性能，设计混合查询架构（Trino联邦查询）。
✅ 实时架构设计：主导 MySQL → Canal → Kafka → Flink → StarRocks 端到端低延迟链路。
✅ 数据建模规范：制定分层数仓标准（ODS/DWD/DWS/ADS），统一DBT模型开发规范。
✅ 资源优化：调优Flink Checkpoint策略、ClickHouse MergeTree分区设计、Trino内存配置。
✅ 平台高可用：设计K8s多