某大企业数据中台

1、立项背景：由于公司各个子公司数据比较混乱，并且公司需要从传统行业向互联网电商行业转型，需要统一数据接口、流程、用户中心、开放平台等等基础架构建设。
2、功能介绍
- 数据中台由多个微服务组成，其中包含门户、权限中心、数据治理一体化、API开放平台、BI报表、流程管理等多个模块。
- 其中权限中心基于多租户概念设计，采用多角色管理复杂的功能权限及数据权限。BI则采用独有的自研资源权限进行数据报表控权。
- API开放平台则可以配置多种数据来源，其中包含mysql、tidb、es、mongodb等多种主流数据库和常规三方API接口，如企业微信API、三大运营商API、公司内容系统对接等。

1、整体架构采用springcloud微服务主流架构，采用nginx进行统一接收代理转发，后端使用spring gateway作为统一后台网关入口设置限流、控权、动态权限等实现。注册中心使用nacos2.0进行管理微服务。
2、微服务本身使用springboot进行开发，数据库使用mysql\tidb等主流数据库作为业务数据存储。日志数据使用的是clickhouse进行存储。
3、脚手架全自研，其中包含各种基础组件封装，如日志模块，使用kafka+clickhouse实现日志异步记录，使用aop方式进行日志链式跟踪，封装雪花算法，修改原有算法使logId更加具有实践属性，可以通过logId判断异常在什么时间段发生。权限动态拼接模块，使用jsqlparser进行动态sql解析，其中基于源码进行修改，解决大数据数据库语法不兼容问题等等等等。