程序聚合 软件案例 数据中台-高并发数据归集系统

数据中台-高并发数据归集系统

2026-03-03 16:01:01
行业:政务服务、大数据
载体:网站
技术:Java、Spring Boot、MySQL、Redis

业务和功能介绍

该项目主要是将客户的不规则的离线和在线数据(包括同源协同数据,多源异构数据等)通过系统处理成中台标准化数据,整个采集系统包含结构化采集、历史数据管理、非结构化采集、实时数据引接、离线文件采集等几大模块。

项目实现

本人主要负责结构化采集,该功能主要采集源头表包括( Mysql 、 Oracle 、 达梦 、 SqlServer 、 金仓 )等数据库源头数据资源采集,结构化采集主要采集源头表的数据以及各种元数据信息,包括表结构、表约束、主外键信息,在采集过程中,采用多线程实时对比技术快速生成元数据版本信息与比对信息,保留每次采集比对元数据变化,记录版本变更信息,
形成元数据版本体系支撑差异分析。在采集数据之前用自研多源异构映射系统形成合理元数据映射并生成本地映射完成入库之前的建表流程。
使用 dataX 数据同步技术,完成数据库数据高效稳定采集。同时,在采集时,生成对应采集历史数据。
使用高性能OLAP的 Clickhouse 数据库完成对历史数据的管理,支撑高效历史快照和历史变化功能展现。
本人在非结构化采集功能中主要是负责各种非结构化的数据采集,包括Word、Excel、PowerPoint、文本文件、DMP、图片、音频、视频等各种文件进行采集,使用轻量高性能的 MinIo 管理并上传,支持文件的急速秒传、已经大文件分片上传等技术上传文件。集成KkFile等实现上传文件管理的实时预览,并且还支持 FTP/SFTP 文件的上传与下载。
实时数据引接主要是根据客户要求实时监听现场Kafka集群指定主题数据,完成对码、解析数据,生成数据审核并分类存储管理。

示例图片视频


养了一只柴的猿
24小时内活跃
方向: 后端-Java、人工智能-AI应用开发、
交付率:100.00%
相似推荐
MES生产管理系统
MES 系统是一套面向制造企业车间执行层的生产信息化管理系统,旨在实现生产过程的透明化、规范化与高效化。 一、核心功能模块 生产管理:实现从生产计划下达、工单执行到过程监控的全流程管理,确保生产任务有序推进。 质量管理:通过质量控制模块(如外箱标签打印),对产品关键信息(如域控生产编码、动力总成编码)进行精准追溯与管理,保障产品质量可查可控。 仓储管理:覆盖入库、出库等核心环节,实现物料与成品的精准库存管理,提升仓库作业效率。 采购管理:管理采购订单与供应商信息,确保生产物料的及时供应。 基础数据与系统管理:提供组织机构、业务伙伴、基础数据配置等功能,为系统稳定运行提供基础支撑。 报表与打印管理:支持各类生产报表生成与外箱标签等关键单据的打印,满足企业数据统计与业务流转需求。 售后处理:对产品售后信息进行跟踪与管理,提升客户服务质量。 二、核心价值与用户体验 生产透明化:通过实时数据采集与监控,让管理者清晰掌握生产进度、设备状态与质量情况,消除信息孤岛。 质量可追溯:通过外箱标签等关键信息的管理,实现产品从原料到成品的全生命周期追溯,快速定位质量问题根源。 流程规范化:将企业的生产、质量、仓储等业务流程固化到系统中,减少人为操作失误,提升管理效率与标准化水平。 决策数据化:通过丰富的报表功能,为管理层提供准确、及时的生产数据,支撑科学决策。
合同管理平台开发项目-合同管理平台
业务: 完整业务流程 流程1:从导入到付款 1. 导入Excel ↓ 2. 创建采购合同 + 付款阶段 ↓ 3. 查看采购合同 ↓ 4. 点击"付款"按钮 ↓ 5. 选择付款阶段 ↓ 6. 创建付款申请单 ↓ 7. 查看付款申请列表 流程2:多阶段付款 第一次付款: 选择"预付款"阶段 → 创建申请单 → 审批 → 付款 第二次付款: 选择"到货款"阶段 → 创建申请单 → 审批 → 付款 第三次付款: 选择"验收款"阶段 → 创建申请单 → 审批 → 付款 第四次付款: 选择"质保金"阶段 → 创建申请单 → 审批 → 付款 功能: - 公司管理(客户/供应商) - 销售合同管理 - 采购合同管理 - 采购明细管理 - 付款申请单管理 - 里程碑管理 - 统计分析 - 附件管理
中移在线融合客服系统
中移在线融合客服系统,目前服务于全国客服业务,为全国10086客服提供了重要的系统化服务和支撑平台。在省端分公司,发生预警任务或者在固定的日期时间段内,会存在话务紧张,坐席繁忙的情况,需求方分公司(省端)可向跨省调度人员,发起调度申请单,来缓解坐席紧张的情况。
教研室管理系统
项目描述:教研室管理系统旨在提供一个高效、便捷的管理平台,帮助教研室管理者有效地组织和管理教研室的各项工作和资源。该系统致力于解决传统管理方式中存在的信息碎片化、工作效率低下等问题,提供一体化的解决方案,以提升教研室管理的效率和质量。 负责内容:所有页面效果及功能的实现 项目技术栈:Vue+axios+vue-router+element ui+Echarts
龙智精工(数字化管理平台)
项目介绍: 该项目是一款面向龙湖员工的数字化管理平台,集收入管理、商机管理、劳务管理、施工管理、项目管理及计划管理等功能于一体,涵盖了企业运营管理的各个核心环节。平台支持 PC 端和移动端 H5 应用,便于员工随时随地进行业务操作,实现了从商机获取到项目实施的全流程管理。该系统通过一体化的数据协同与自动化操作,提高了工作效率,确保了管理过程的规范化和透明化,有效助力龙湖的数字化转型。 工作内容: 在该项目中,负责了PC端的项目管理、劳务管理、收入管理、施工管理、计划管理、账单管理等核心模块的前端开发,实现了各模块需求的交互设计与数据展示。同时承担了移动端施工计划管理、BPM审批流及考勤计划管理模块的前端开发任务,确保了模块的跨平台兼容性和用户体验的一致性。此外,还参与开发了产值填报、已注册资源列表、上会管理、人力详情、基准时间同步及节点忽略等功能,提升了系统的功能完整性与易用性。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服