业务和功能介绍
构建基于 Hadoop 生态的端到端大数据处理与可视化平台。具体需完成：
1、数据采集需开发多线程爬虫框架（Python），配置自动重试与反爬策略，实现20+异构数据源（含API/JSON/CSV）的定时抓取，经序列化后实时写入Kafka集群（；实时计算组基于Spark Streaming构建流处理管道，完成实时数据清洗、窗口聚合（Tumbling Window）及状态管理，处理结果通过JDBC连接池写入MySQL，需求：MySQL写入硬性要求高性能写入，流处理核心规范需要规范，容错设计，死信队列：失败记录写入Kafka；
2、离线数仓组使用Spark SQL构建Hive分层模型： ODS层（兼容多源异构数据（JSON/CSV/Parquet） DWD层（退化维度，将常用维度属性嵌入事实表，脏数据清洗，空值填充，数据脱敏）， DWS层（预聚合主题指标） ADS层（生成业务指标），指标体系建设，业务指标，存储优化，兼容多源异构数据，要求数据一致性，性能标准，可维护性；
3、ETL开发组编写Spark ETL调度作业，每日增量同步Hive DWS/ADS层数据至MySQL分析库，采用分区字段+时间戳双重增量识别机制，支持CDC变更数据捕获模式，启用Spark动态分区覆盖，要求精准增量识别，数据变更追踪，动态分区，并发度，幂等性；
4、可视化组采用Flask+ECharts开发响应式大屏，小组协助使用git仓库。核心要求： 读取分析数据驱动5个动态刷新图表，并读取离线数据展示1个综合分析视图，确保大屏适配多种终端。全流程采用 Hadoop 生态技术 (Kafka, Spark, Hive, MySQL，flask)，确保系统可扩展性，并实现实时数据动态刷新与离线综合分析展示。
1、数据采集需开发多线程爬虫框架（Python），配置自动重试与反爬策略，实现20+异构数据源（含API/JSON/CSV）的定时抓取，经序列化后实时写入Kafka集群（；实时计算组基于Spark Streaming构建流处理管道，完成实时数据清洗、窗口聚合（Tumbling Window）及状态管理，处理结果通过JDBC连接池写入MySQL，需求：MySQL写入硬性要求高性能写入，流处理核心规范需要规范，容错设计，死信队列：失败记录写入Kafka；
2、离线数仓组使用Spark SQL构建Hive分层模型： ODS层（兼容多源异构数据（JSON/CSV/Parquet） DWD层（退化维度，将常用维度属性嵌入事实表，脏数据清洗，空值填充，数据脱敏）， DWS层（预聚合主题指标） ADS层（生成业务指标），指标体系建设，业务指标，存储优化，兼容多源异构数据，要求数据一致性，性能标准，可维护性；
3、ETL开发组编写Spark ETL调度作业，每日增量同步Hive DWS/ADS层数据至MySQL分析库，采用分区字段+时间戳双重增量识别机制，支持CDC变更数据捕获模式，启用Spark动态分区覆盖，要求精准增量识别，数据变更追踪，动态分区，并发度，幂等性；
4、可视化组采用Flask+ECharts开发响应式大屏，小组协助使用git仓库。核心要求： 读取分析数据驱动5个动态刷新图表，并读取离线数据展示1个综合分析视图，确保大屏适配多种终端。全流程采用 Hadoop 生态技术 (Kafka, Spark, Hive, MySQL，flask)，确保系统可扩展性，并实现实时数据动态刷新与离线综合分析展示。
项目实现
•基于 Spark Streaming 构建实时数据管道，实现流式清洗、窗口聚合与高容错写入。
•基于 Hive 搭建 ODS-DWD-DWS-ADS 分层数仓，完成数据整合、指标预计算与数据脱敏。
•开发 Spark ETL 作业实现增量数据同步，确保流程幂等性与高性能。
•基于 Flask + ECharts 开发可视化大屏，支持多终端实时监控与离线分析。
•基于 Hive 搭建 ODS-DWD-DWS-ADS 分层数仓，完成数据整合、指标预计算与数据脱敏。
•开发 Spark ETL 作业实现增量数据同步，确保流程幂等性与高性能。
•基于 Flask + ECharts 开发可视化大屏，支持多终端实时监控与离线分析。
示例图片视频
相似推荐
南京森林警察学院智警学堂
智警学堂聚焦警校人才培养核心需求，以“数字化赋能警务教育”为核心业务，构建覆盖学警全周期成长的智慧管理与学习平台。核心功能涵盖四大模块：一是学生管理，实现学警信息建档、权限配置、成长轨迹追踪等规范化管理；二是课程学习，整合专业课程与微课资源，支持随时随地碎片化学习，适配警务化管理作息；三是联考备考，内置警察联考专属题库与模拟考试功能，还原真实考场场景；四是考勤与考核，设有学习打卡机制，同步提供在线考试、多维度成绩分析服务，通过数据可视化呈现知识点掌握情况与排名趋势，助力精准补漏。平台深度契合警校教学与备考场景，实现管理高效化、学习个性化、考核数据化。
教育计划管理系统
该平台以“数据驱动教学、AI赋能教师”为核心理念，围绕教、学、评、管四大环节，为教师提供从课前准备、课堂互动、课后反馈到长期学情追踪的一站式智能教学工具。通过整合知识图谱、AI生成、自动批改与数据分析等能力，帮助教师提升教学效率、实现精准教学
工业生产管理系统-钛合金管生产流程管理系统
1、工艺卡编写系统：
与宝钛原有MES系统对接，接收工艺卡工单，支持工艺参数配置、流程规则设定及可视化编辑（基于ElementUI表单组件），完成后自动下发至流程管理系统
2、流程管理系统：
集中赋码：系统下发管号至PLC设备，联动机械臂完成激光刻码，实现管材唯一标识
多环节质检：水压检测（压力参数动态监控）、超声波探伤（数据自动采集）、冷轧尺寸调控（工艺参数实时校验）、目视检验（结果线上录入），各节点数据实时回传至数据库
异常处理：检测不合格时自动触发工单冻结，并推送告警至责任人，支持流程回溯与修正
固定资产运营与管理系统
此系统是为某城市建设投资集团有限公司开发的固定资产运营与管理系统，基于新一代协同运营平台理念开发，覆盖多种国有资产类型的全生命周期管理，以提高企业资产运营运行可靠性与使用价值为目标，降低资产的养护维修成本、提升运行质量，提升企业资产运营效能。
资产管理方面，包含基础信息管理、办公用品管理、办公资产管理、车辆资产管理、IT资产管理、生产经营设备管理、不动产管理、无形资产管理、产权管理、合作企业信息管理、产权盘点等功能模块。
资产运营方面，包含不动产租赁（登记、计划、台账、审批、维修、巡查、备案等）、国有资产交易、存量资产管理、资产处置管理、保险登记、股权信息登记、安全生产排查等功能模块。
此系统标准化功能与灵活定制共存，支持按照个性化需求，灵活调整用户标识、权限、流程、基础数据。助力国资企业理清家底、盘活资产保值增值和增强资产监管。
某港口智能运行与绿色能源智能评价软件
此系统是为某港务集团定制的一款专为大型集装箱港口智能运行与绿色能源智能评价设计的软件系统，按照智慧、绿色、高效、安全四个维度，形成反映自动化集装箱码头、集装箱水平运输系统和公路集疏运系统等不同作业场景生产运行和用能需求特征的指标集及评价方法，能够接收来自现有推送服务发送的指标数据和手动录入的指标数据，涵盖了基本的运行数据采集、运行数据管理、运行指标评价、运行数据和评价指标可视化展示、评价报告管理等功能。系统采用了模块化设计，具有高度的可操作性与可扩展性，使用简便，功能强大，测试运行稳定可靠，具有较强的实用性。此外，系统设计允许通过灵活配置API参数来接收不同来源的数据；同时利用统计分析、订阅发布机制、异步处理等核心技术，进行数据的实时核查与补充，并通过Web容器在前端页面进行展示。系统具备优秀的平台型架构，并且提供了易于扩展的二次开发接口和数据交互接口，方便用户挖掘更多增值服务潜力，并与其他系统集成。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服