1、立项背景:由于公司各个子公司数据比较混乱,并且公司需要从传统行业向互联网电商行业转型,需要统一数据接口、流程、用户中心、开放平台等等基础架构建设。
2、功能介绍
- 数据中台由多个微服务组成,其中包含门户、权限中心、数据治理一体化、API开放平台、BI报表、流程管理等多个模块。
- 其中权限中心基于多租户概念设计,采用多角色管理复杂的功能权限及数据权限。BI则采用独有的自研资源权限进行数据报表控权。
- API开放平台则可以配置多种数据来源,其中包含mysql、tidb、es、mongodb等多种主流数据库和常规三方API接口,如企业微信API、三大运营商API、公司内容系统对接等。
1、整体架构采用springcloud微服务主流架构,采用nginx进行统一接收代理转发,后端使用spring gateway作为统一后台网关入口设置限流、控权、动态权限等实现。注册中心使用nacos2.0进行管理微服务。
2、微服务本身使用springboot进行开发,数据库使用mysql\tidb等主流数据库作为业务数据存储。日志数据使用的是clickhouse进行存储。
3、脚手架全自研,其中包含各种基础组件封装,如日志模块,使用kafka+clickhouse实现日志异步记录,使用aop方式进行日志链式跟踪,封装雪花算法,修改原有算法使logId更加具有实践属性,可以通过logId判断异常在什么时间段发生。权限动态拼接模块,使用jsqlparser进行动态sql解析,其中基于源码进行修改,解决大数据数据库语法不兼容问题等等等等。