为了解决多个数据应用,之前相同指标,口径不一致,开发周期长,数据准确性差,不好溯源的问题,采取统一数据管理,建立数据中台,由业务人员开发指标,开发人员通过api调用。
1.指标开发:业务人员根据业务口径,实现指标
2.指标管理:可以通过后台系统管理指标
3.请求鉴权:防止掉用方随意获取数据
4.数据治理:数据标准,提升数据质量,实现数据资产统一管理
5.数据采集:采用护仓一体的架构,统一从业务端拉取数据
6.智能BI:报表和图表一体化,更直观的体现数据
其他的还有一些数据资产的管理等功能
20个人开发周期半年,采用了springcloud全家桶、nginx、redis、es、pg加上hudi、kafka、clickhouse等技术栈;我主要负责实时数据采集工具和指标计算模块的开发