一、项目背景
面向市大数据局、公安、市监局等政务部门开展项目,各部门已完成数据治理工作,但数据加工需开发人员手写代码实现,存在需求响应慢、业务人员无法自主操作、数据处理效率低等痛点,亟需搭建低门槛数据处理平台。
二、项目目标
1. 采集政务数据元数据信息,实现库表、字段及业务含义统一管理
2. 搭建拖拽式可视化建模平台,通过算子实现数据自助加工,降低使用门槛
3. 新增定时任务调度功能,实现建模任务自动化执行
4. 对接BI报表模块,实现加工数据可视化展示
5. 提升数据处理与需求交付效率,支撑政务业务自助数据分析
三、项目概述
搭建政务低代码可视化数据建模平台,自动采集治理后数据的元数据信息,提供过滤、排重、聚合、拆分等拖拽式算子,实现业务人员自主数据加工。支持建模任务定时调度、结果数据异构系统同步与级联分析,同时打通BI报表模块,可自主生成柱状图、折线图、甘特图等图表,完成数据加工到可视化全流程自助化。
项目职责:
1. 负责平台多数据源扩展开发,在原有仅支持Hive的基础上,新增支持高斯DB、PostgreSQL、Doris 等多种数据源接入;
2. 拓展计算引擎能力,新增Spark、Flink 实时处理框架,实现离线与实时一体化数据处理;
3. 参与BI 报表模块开发,支持基于处理结果自主生成可视化图表;
4. 优化原有算子执行逻辑,修复多线程并发问题,提升数据处理效率与稳定性;
5. 实现多SQL语法兼容,支持Hive、Doris、Flink 等多种语法自动适配,页面统一无感知切换,满足不同数据源计算需求。
项目业绩:
1. 参与平台产品化迭代,将项目打磨为标准化政务大数据产品,支持全国快速复制推广。
2. 产品已在浙江多个地市及东北、华南等地区政务单位落地应用,交付效率与复用性显著提升。
3. 通过多引擎兼容与性能优化,大幅降低现场实施成本,为公司政务大数据业务规模化拓展提供核心支撑。
技术栈:Hive+MaxCompute+GaussDB+Doris+Trnio+Spark+Flink (使用CDH 、华为云或阿里云)