该产品是面向政府与企业的综合数据管理平台,支持数据归集、清洗、质量管理、可视化分析与资产管理。基于现有开源平台改造,服务于综合管理服务数据平台、浙江某大学数据中台、企业数据资产平台等多个落地项目。
1. 二次开发DataX,支持Excel数据导入与ODPS调度,实现通用数据集成方案。
2. 接口引入gzip压缩,优化性能至 1s/113KB。
3. 实现字段级权限控制与敏感字段脱敏,支持数据授权流程,保障平台数据安全。
4. 基于 Kettle与XXL-JOB 完成3000+条质量规则导入与调度,结合物化视图提升查询效率。
5. 利用Gudu TGSqlParser实现SQL级数据血缘可视化,支持数据溯源与治理。
6. 结合 Redis 实现任务去重与分布式调度控制。
7. 基于Geth搭建区块链平台,部署Solidity合约,实现数据资产上链存证。
项目总结:在该大数据项目中,我从0开始接触并逐步深入学习了大数据领域的相关知识,并将相关的技术应用到实际生产项目中。熟练了Hadoop生态以及Odps的使用。熟悉了区块链平台搭建以及数据上链技术。了解了K8S搭建、流批一体、湖仓一体等技术栈。