基于Java/SpringBoot/Kettle/MySQL/Kafka, 支持多数据源数据接入,包括但但不限于database, csv file,http,socket和其它数据存储系统;支持类prometheus query语法对接入数据进行查询;支持海量数据处理与查询。项目背景:某城市智慧城市项目需求:接入某城市各部门异构系统所存放的数据进行统一管理,并提供类prometheus语法的查询语句以方便大屏展示和问题跟踪。
1,框架采用SpringBoot + PostgreSQL + Kafka;
2, 提供数据采集定义功能;包括数据源定义,元数据管理,原始数据transformation定义
3,提供数据采集Job定义;包括数据源,job运行属性,job之间依赖定义;
4,提供类prometheus语法数据查询语句供外部系统查询;
5,提供REST API;
6, 部署采用Kubernets + Docker image部署到某城市私有云系统上
7,支持七年时间的数据存储;