该项目是一个基于大数据引擎作为底层能力支撑,上层应用使用java做业务功能的开发的平台,核心功能,贴源数据集 接入,数据建模,数据集创建,模型填充,数据查询,数据资产管理等相关核心功能,结合其他的运维平台将数据发挥作用与集中管理。
1.负责数据平台核心业务功能开发,优化指标查询性能问题;
Databank
2.主导 Databank 产品从 JDK 8 升级至 JDK 21,同步升级至 Spring Boot 3.0,完成从部署安装到调试直到项目正常运行的全流程;
3.负责数据融合第三方插件的设计与开发,可通过第三方将数据接入databank产品由数据平台对数据进行集中管控;
4.排查并修复产品缺陷,保障数据链路完整性与稳定性;
5.负责数据平台存储引擎配置,完成 VictoriaLogs 和 VictoriaMetrics 等引擎的适配与集成;
6.实现 HDFS 模块热加载功能,支持集群模式下 Databank-Core 多节点作业同步加载bundle包;
7.排查 Flume 同步作业偶发写入失败问题,完成全链路分析并输出解决方案文档;
优化即席查询结果数据的顺序排序问题,对ide查询和解析以及多数据源适配兼容