程序聚合 软件案例 数据中台-高并发数据归集系统

数据中台-高并发数据归集系统

2026-03-03 16:01:01
行业:政务服务、大数据
载体:网站
技术:Java、Spring Boot、MySQL、Redis

业务和功能介绍

该项目主要是将客户的不规则的离线和在线数据(包括同源协同数据,多源异构数据等)通过系统处理成中台标准化数据,整个采集系统包含结构化采集、历史数据管理、非结构化采集、实时数据引接、离线文件采集等几大模块。

项目实现

本人主要负责结构化采集,该功能主要采集源头表包括( Mysql 、 Oracle 、 达梦 、 SqlServer 、 金仓 )等数据库源头数据资源采集,结构化采集主要采集源头表的数据以及各种元数据信息,包括表结构、表约束、主外键信息,在采集过程中,采用多线程实时对比技术快速生成元数据版本信息与比对信息,保留每次采集比对元数据变化,记录版本变更信息,
形成元数据版本体系支撑差异分析。在采集数据之前用自研多源异构映射系统形成合理元数据映射并生成本地映射完成入库之前的建表流程。
使用 dataX 数据同步技术,完成数据库数据高效稳定采集。同时,在采集时,生成对应采集历史数据。
使用高性能OLAP的 Clickhouse 数据库完成对历史数据的管理,支撑高效历史快照和历史变化功能展现。
本人在非结构化采集功能中主要是负责各种非结构化的数据采集,包括Word、Excel、PowerPoint、文本文件、DMP、图片、音频、视频等各种文件进行采集,使用轻量高性能的 MinIo 管理并上传,支持文件的急速秒传、已经大文件分片上传等技术上传文件。集成KkFile等实现上传文件管理的实时预览,并且还支持 FTP/SFTP 文件的上传与下载。
实时数据引接主要是根据客户要求实时监听现场Kafka集群指定主题数据,完成对码、解析数据,生成数据审核并分类存储管理。

示例图片视频


养了一只柴的猿
5天前活跃
方向: 后端-Java、人工智能-AI应用开发、
交付率:100.00%
相似推荐
某省道路运输动态综合监管服务平台
某省道路运输动态综合监管服务平台旨在响应国家关于加强重点营运车辆安全监管的政策要求,针对省内“两客一危”(班线客车、旅游包车及危险品运输车)车辆、从业人员及相关运输企业,构建全省统一的动态监管体系。 平台核心功能模块包括: 大屏车联网监控面板:以可视化地图为基底,实时呈现全省重点车辆分布、运行状态、在线率及异常报警信息,支持多维度数据钻取,为管理层提供宏观决策视图。 海量车辆监控与轨迹回放:支持同时追踪数百辆车的实时位置、速度、方向,可查询任意车辆的历史行驶轨迹并动画回放,结合时间轴精准还原路线,便于事故溯源和违规稽查。
OA系统-数字化门诊产品授权管理OA系统
此项目为一个公司内部的OA系统,主要为后台管理,采用了SpringBoot,MyBatis等核心技术。工作内容:1、负责后台管理中人员管理以及部门和登录用户的管理2、负责后台管理中授权管理以及安全漏洞管理等模块。3、负责后台管理中文档管理的文档上传在线编辑以及培训考核记录等模块。4、使用onlyoffice实现在线编辑
生产执行管理系统-MES
1系统概述 MES系统是一款专注于生产制造过程管理的系统。该系统主要包含生产管理和 质量管理两大模块功能,集成手持移动端便携式设备(PDA、手机)操作,车间大屏数据显 示,支持员工快速上下班点名、原材料扫码投料、生产工序流转、生产任务报工、生产过程 检验数据的快速录入等功能。 2注册及登录 2.1用户注册 用户账号需要持有管理员权限的人进行单独创建或后台批量导入创建。 2.2用户登录 支持用户使用账号密码登录。 3平台首页 生产执行管理MES系统包含以下功能: 3.1首页 生产过程工单数据展示页面,支持实时显示工单生产进度。 4组织架构 主要用于系统用户账号、权限角色等组织架构相关的配置。 4.1角色管理 系统用户的权限角色管理界面,包括权限角色的创建、编辑、删除等功能。 4.1.1角色管理→角色功能分配 通过给权限角色维护相应的功能菜单,使得拥有该权限角色的系统用户拥有相应功能菜 单的使用权限。 4.2用户管理 系统用户的管理界面,包括用户的创建、权限变更、账号密码初始化、账号禁用等。 5主数据 基础主数据管理模块,供应商打码、物料产品管理、车间设置、线体、员工信息等 主数据功能界面。 5.1供应商打码 集成采购供应商送来的货物进行打印标签码、用于后续生产过程中的原材料投料的 扫码领料。 5.2物料产品管理 主要是管理生产过程物料的主数据管理。 5.3车间设置 维护和管理生产过程车间主数据。 5.4线体 维护和管理生产过程线体主数据,支持打印线体二维码,用于后续PDA等手持 便携式移动设备的扫码上工。 5.5员工信息 用于产线员工主数据的管理,支持打印员工信息二维码,用于扫码上下班点名。 6设备管理 主要用于产线相关设备的数据管理。 7生产管理 生产过程的主要功能集合,包含生产工单、工序设置、工艺流程、生产排产、生产报工、 人员点名、生产任务领料功能模块。 7.1生产工单 用于展示所有生产工单的数据。 7.2工序设置 用于维护和管理生产工序主数据。 7.3工艺流程 用于维护和管理工艺流程数据,关联产品和工序,用于后续指导生产流转与生产报 工。 7.4生产排产 用于根据生产工单进行生产排产,指定线体,安排生产任务。 7.5生产报工 用于查询所有生产任务的生产报工情况。 7.6人员点名 用于展示人员上下班点名情况,已及员工当前上下班状态。 7.7生产任务领料 用于展示生产工序流转过程中,前后工序的领料情况。 8质量管理 生产过程检验管理界面,生产过程检验表单模板设计、表单填写。 8.1检测模板 8.2表单设计 用于生产过程检验表单的设计。 9手机端微信小程序与PDA客户端 便捷式手持移动端操作,利于生产过程操作的及时性与便捷性。
招商云算⼒管理平台
招商云算力管理平台是一个面向AI开发和大模型训练的一站式平台,涵盖了从资源申请、数据管理、模型训练到推理部署的全流程。用户需先在招商云应用市场中购买平台服务,并通过审批流程获取GPU算力资源。平台支持数据集的创建、上传与版本控制,提供模型仓库用于模型存储与多版本管理。
益彩自研Erp
纯用SAP效率太低,益彩自主研发的一套Erp系统。其内部采用的低代码的设计,通用报表展示数据+表单增删改查,去调用后端接口。接口里的请求是通过调用SqlServer的存储过程。销售/主数据/批次/仓库这种关键数据则是存在 Sap Business One 系统中,其他数据存Sqlsever里。系统具备账套切换功能。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服