本项目定位于企业级分布式数据服务平台,始终以数据价值释放与平台化服务能力为核心导向,构建了覆盖数据接入、数据整合、数据存储与数据计算的全链路数据闭环体系。平台采用分布式架构设计,具备海量数据的实时采集与离线批处理能力,通过标准化服务接口对外提供统一的数据底座支撑,有效降低数据使用门槛,赋能上层业务快速实现数据驱动决策。
项目名称: 基于Hadoop生态的大数据计算与管理平台
技术架构: SpringMVC + Hibernate + Hadoop (HDFS/Hive/HBase) + MySQL + ECharts
核心职责与成果:
可视化流程编排(核心亮点): 设计并开发了可拖拽式的大数据计算进程,支持将SQL处理、抽样、Apriori及Kmeans算法等节点自由组合为数据流。通过集成ECharts实现计算结果的图表化展示,并根据任务状态(运行/暂停/完成)动态控制操作按钮,提升了算法调参和结果解读的效率。
数据仓库接入层开发: 构建了用户友好的数据导入UI,支持将外部数据通过Sqoop导入Hive/HBase。实现了导入记录的完整生命周期管理(增删改查、批量删除),并支持导入后的表结构预览及数据抽样展示,降低了业务人员使用大数据组件的门槛。
项目级权限体系构建: 基于Ztree构建了动态权限字典树,实现了用户、角色、部门与项目空间的精细化权限关联,确保了多租户环境下的数据隔离与安全。
全栈性能优化: 在Jsp/JQuery前端与SpringMVC后端交互中,通过Ajax异步加载优化了海量数据流列表的渲染性能,并利用SVN进行团队协作版本管理。