程序聚合 软件案例 某企业ToB数据采集产品设计及研发

某企业ToB数据采集产品设计及研发

2025-07-17 21:26:32
行业:大数据、企业服务(saas)
载体:操作系统、云服务/云平台
技术:Java、Vue、Linux、MySQL

业务和功能介绍

为企业打造一款通用数据采集软件产品,其作用是提供给To B的企业客户对散落在各异构系统中的数据进行统一采集、预处理和数据写入。并支持对数据采集任务进行调度。
系统功能如下:
1、数据采集:数据库表采集、文件采集、API接口采集、数据库日志采集、大数据组件采集;
2、数据搬迁:支持异构存储系统间的数据无缝迁移,支持自动建表、增量更新;
3、数据同步:支持异构存储系统间的数据快速同步,支持同步对账,全量+增量同步模式;
4、采集任务设计:支持界面化对数据采集任务,拖拉拽设计采集任务字段映射关系;
5、采集任务调度:支持对采集任务进行多种模式调度,如定时、事件触发,并实时监控任务
6、采集任务告警:支持对采集任务异常情况进行告警通知。

项目实现

本项目参与人员共3人,后端2名,前端1名,周期半年左右,本人为该产品的架构设计者,负责搭建整体开发框架、分布式扩展架构设计、关键代码编写、系统性能优化,同时也会参与产品功能设计和流程梳理。

示例图片视频


30天前活跃
方向: 后端-Java、后端-Python、
交付率:100.00%
相似推荐
基于 STM32 的物联网边缘网络网关与多节点采集控制系统
因为实验室的实验需要数据采集,因此需要在校园内设置多个采集设备,但因为终端分散,网络条件差,每个设备上云的成本高,每个设备的采集方式各有区别,而且采集数据有实时性要求,因此需要设计一个边缘设备网络,将多个采集节点接入一个边缘网关来解决这些问题,最终实现一个STM32做边缘网关,带多个终端节点,在本地做聚合、缓存、规则告警、远程配置、OTA,再与云端通过 MQTT 同步数据与指令的一个系统。 基于STM32实现的网关支持设备接入管理,数据聚合,本地缓存,云端通信,远程配置,OTA等功能,整体流程可以实现接入—采集—告警—上云—下发控制—OTA闭环。
车路协同智能网联监管平台
此平台以智能网联汽车落地应用为抓手,通过广泛开放应用场景,建设“全域联动、多场景应用、多维度考核”的自动驾驶运营监管平台,构建具有实用性、特色型的质量网联汽车监管应用综合平台。 平台通过融合交通路况数据、路侧感知数据、车辆状态数据以及第三方数据等多维度数据源进行全面的数据采集、汇聚和管理,通过数据分析、挖掘以及可视化展示等方式,并融合现在通信与网络技术,实现车、路、人、云端等智能信息的交换、共享,具备智能数据分析、智能化监管、多维度考核、协同运营管理等功能。平台实现的功能包含:拥堵态势感知监测、车辆运行监测、数据质量监管、企业测试管理、信息监管审批管理、车辆事故监测、数据共享监管、多维度数据报表管理、数据总览监控、考核管理、知识库以及移动端应用等功能体系。平台整体可实现安全、高效、人性化的监管需求。
气站智能检查与追溯系统
基于瑞芯微 AI 智能算力盒子,依托 Python、C++ 神经网络模型技术,搭建工业级全流程追溯系统。集成嵌入式 AI Box、雷达、传感器等异构设备,借助 LoRa 网络与 MQTT 协议,实现充装现场稳定的数据采集、实时进行分析语音智能播报,数据定时上传及视频流历史截取回放。
电力行业数字化
专注于电力行业配网软件的设计、开发与全流程运维,凭借深厚的技术积淀与丰富的行业经验,打造适配不同应用场景的高效解决方案。目前,已有超 5 个核心项目成功落地全国 8 个以上省份,为各地配网业务的智能化升级提供稳定可靠的技术支撑。
智慧用电服务平台
智慧用电服务平台是针对于办公楼,工厂以及一些社区等进行能耗分 析的平台,里面可以进行能耗资源的统计,用电量统计,巡检统计与分析,做到 综合话的了解和管理用电系统,对能耗和用电的统计分析起到了很好的作用。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服