支持多协议对接的物联网中台-物联中台ThingsConnect
2025-10-16 10:43:59
行业：物联网、智慧数字孪生
载体：云服务/云平台
技术：Java、Vue、MySQL、RabbitMQ
业务和功能介绍
一、立项背景和目标
（一）立项背景
物联网设备爆发式增长带来多源异构接入混乱、数据孤岛严重、应用迭代低效等痛点。传统定制化方案兼容性差，难以应对百万级设备高并发、亚秒级处理的需求，且数据分散导致决策滞后，需统一平台打通感知层至应用层的协同壁垒。
（二）立项目标
技术目标：构建边缘-云协同架构，支持百万级设备并发接入，数据处理延迟≤1 秒，设备接入标准化率达95%以上。
业务目标：降低设备接入成本40%，缩短应用上线周期50%，通过数据驱动实现预测性维护等场景价值。
生态目标：打造开放API体系，实现多厂商设备与应用无缝集成。
二、软件功能及核心功能介绍
（一）整体功能框架
涵盖设备接入与管理、数据采集与存储、处理与分析、规则编排与场景联动、API服务五大模块，配套安全与运维支撑。
（二）核心功能
多协议接入引擎：支持MQTT、Modbus等主流协议及自定义协议，通过向导式工具与物模型模板实现设备快速接入，兼容直连、网关代理等方式，降低供应商切换成本。
设备全生命周期管理：覆盖注册、监控、运维全流程，支持OTA远程升级（差分/灰度策略），通过设备影子技术保障弱网状态一致性，断网72小时数据不丢失。
实时数据处理：基于Flink引擎实现数据清洗与实时计算，采用“数据湖 + 数据仓库”架构，支持冷热存储分离，兼顾成本与查询效率。
可视化规则编排：基于TCA模型（触发器-条件-动作），提供拖拽式工具与30余种运算函数，可配置温度超标自动调温等场景联动，自动化处理80%常规事件。
应用使能服务：提供REST/GraphQL API及SDK，集成低代码工具，支持公有云、私有云等多模式部署，适配不同企业需求。
三、核心业务流程
传感器通过MQTT将数据传至边缘网关，过滤无效数据并聚合为5分钟均值；
数据经Kafka队列传输至中台，接入引擎转换为标准格式；
流式引擎实时计算，若温度超标触发规则引擎生成告警；
数据存入数据湖与仓库，元数据同步至管理系统；
中台推送告警至MES系统，同时下发指令至空调设备；
管理人员通过仪表板监控状态，运维人员处置形成闭环。
四、功能路径描述
设备接入：登录后台→进入“设备接入”→选协议与方式→配参数与物模型→注册鉴权→设备上线。
规则配置：进入“规则编排”→新建任务→拖拽配置触发条件（如 “温度 > 35℃”）→设执行动作（如 “启动空调”）→启用规则。
数据查询：进入“数据可视化”→选设备与时间范围→配查询条件→生成图表并支持导出。
设备运维：进入“设备管理”→查设备状态→上传固件→选升级策略→监控升级进度。
（一）立项背景
物联网设备爆发式增长带来多源异构接入混乱、数据孤岛严重、应用迭代低效等痛点。传统定制化方案兼容性差，难以应对百万级设备高并发、亚秒级处理的需求，且数据分散导致决策滞后，需统一平台打通感知层至应用层的协同壁垒。
（二）立项目标
技术目标：构建边缘-云协同架构，支持百万级设备并发接入，数据处理延迟≤1 秒，设备接入标准化率达95%以上。
业务目标：降低设备接入成本40%，缩短应用上线周期50%，通过数据驱动实现预测性维护等场景价值。
生态目标：打造开放API体系，实现多厂商设备与应用无缝集成。
二、软件功能及核心功能介绍
（一）整体功能框架
涵盖设备接入与管理、数据采集与存储、处理与分析、规则编排与场景联动、API服务五大模块，配套安全与运维支撑。
（二）核心功能
多协议接入引擎：支持MQTT、Modbus等主流协议及自定义协议，通过向导式工具与物模型模板实现设备快速接入，兼容直连、网关代理等方式，降低供应商切换成本。
设备全生命周期管理：覆盖注册、监控、运维全流程，支持OTA远程升级（差分/灰度策略），通过设备影子技术保障弱网状态一致性，断网72小时数据不丢失。
实时数据处理：基于Flink引擎实现数据清洗与实时计算，采用“数据湖 + 数据仓库”架构，支持冷热存储分离，兼顾成本与查询效率。
可视化规则编排：基于TCA模型（触发器-条件-动作），提供拖拽式工具与30余种运算函数，可配置温度超标自动调温等场景联动，自动化处理80%常规事件。
应用使能服务：提供REST/GraphQL API及SDK，集成低代码工具，支持公有云、私有云等多模式部署，适配不同企业需求。
三、核心业务流程
传感器通过MQTT将数据传至边缘网关，过滤无效数据并聚合为5分钟均值；
数据经Kafka队列传输至中台，接入引擎转换为标准格式；
流式引擎实时计算，若温度超标触发规则引擎生成告警；
数据存入数据湖与仓库，元数据同步至管理系统；
中台推送告警至MES系统，同时下发指令至空调设备；
管理人员通过仪表板监控状态，运维人员处置形成闭环。
四、功能路径描述
设备接入：登录后台→进入“设备接入”→选协议与方式→配参数与物模型→注册鉴权→设备上线。
规则配置：进入“规则编排”→新建任务→拖拽配置触发条件（如 “温度 > 35℃”）→设执行动作（如 “启动空调”）→启用规则。
数据查询：进入“数据可视化”→选设备与时间范围→配查询条件→生成图表并支持导出。
设备运维：进入“设备管理”→查设备状态→上传固件→选升级策略→监控升级进度。
项目实现
一、整体架构与设计思路
采用 “边缘 - 云协同” 分层架构，分感知层、边缘层、中台层、应用层：感知层负责设备数据采集；边缘层做数据预处理与本地缓存；中台层为核心，分接入、数据、服务三层（接入层解耦设备协议，数据层处理存储计算，服务层封装能力）；应用层提供低代码工具与 API。设计思路以 “高可用、可扩展、易维护” 为核心，采用微服务拆分模块，支持水平扩容，通过物模型标准化设备数据，避免重复开发。
二、各模块技术栈
设备接入层：Java（Netty框架）处理高并发连接，支持MQTT/Modbus协议，自定义协议用 Protobuf序列化；
数据层：Flink做实时计算，Kafka 传消息，Hudi构建数据湖（存原始数据），ClickHouse存结构化数据；
服务层：Spring Cloud Alibaba 微服务架构，Nacos做服务注册发现，Gateway 网关路由；
边缘层：Go 语言开发边缘网关，轻量高效，支持断网缓存（Redis 本地实例）；
前端：Vue3+ECharts，低代码平台基于Formily+Vant。
三、“我” 负责模块与结果
负责设备接入层与OTA升级模块，核心成果：
设计多协议接入框架，兼容 12 种主流协议，设备接入成功率从 82% 提升至 99.5%；
开发OTA差分升级功能，固件传输体积减少 60%，升级失败率从 15% 降至 1.2%；
优化设备鉴权逻辑，支持 Token + 证书双认证，抵御 3 次模拟攻击测试，零安全漏洞；
接入设备量达 10 万台，峰值并发连接数 12 万，延迟稳定在800ms内。
四、难点、坑与解决方案
难点 1：多协议设备数据格式混乱，导致接入效率低。
坑：初期按设备型号开发适配，新增设备需改代码。
解决方案：设计通用物模型（定义属性 / 事件 / 指令），设备接入时映射至模型，新增设备仅需配置模板，适配效率提升 3 倍。
难点 2：弱网环境下OTA升级频繁中断。
坑：初期全量传输，断网后需重新开始，失败率高。
解决方案：实现差分传输（仅传更新部分）+ 断点续传，边缘端缓存升级包，网络恢复后继续，结合心跳检测重试，失败率降至 1.2%。
难点 3：设备并发接入时出现连接超时。
坑：Netty线程池参数不合理，队列堆积导致超时。
解决方案：压测优化线程池（核心线程 200 + 最大线程 500），用Redis做连接数限流，新增动态扩容机制，峰值并发承载能力提升50%。
采用 “边缘 - 云协同” 分层架构，分感知层、边缘层、中台层、应用层：感知层负责设备数据采集；边缘层做数据预处理与本地缓存；中台层为核心，分接入、数据、服务三层（接入层解耦设备协议，数据层处理存储计算，服务层封装能力）；应用层提供低代码工具与 API。设计思路以 “高可用、可扩展、易维护” 为核心，采用微服务拆分模块，支持水平扩容，通过物模型标准化设备数据，避免重复开发。
二、各模块技术栈
设备接入层：Java（Netty框架）处理高并发连接，支持MQTT/Modbus协议，自定义协议用 Protobuf序列化；
数据层：Flink做实时计算，Kafka 传消息，Hudi构建数据湖（存原始数据），ClickHouse存结构化数据；
服务层：Spring Cloud Alibaba 微服务架构，Nacos做服务注册发现，Gateway 网关路由；
边缘层：Go 语言开发边缘网关，轻量高效，支持断网缓存（Redis 本地实例）；
前端：Vue3+ECharts，低代码平台基于Formily+Vant。
三、“我” 负责模块与结果
负责设备接入层与OTA升级模块，核心成果：
设计多协议接入框架，兼容 12 种主流协议，设备接入成功率从 82% 提升至 99.5%；
开发OTA差分升级功能，固件传输体积减少 60%，升级失败率从 15% 降至 1.2%；
优化设备鉴权逻辑，支持 Token + 证书双认证，抵御 3 次模拟攻击测试，零安全漏洞；
接入设备量达 10 万台，峰值并发连接数 12 万，延迟稳定在800ms内。
四、难点、坑与解决方案
难点 1：多协议设备数据格式混乱，导致接入效率低。
坑：初期按设备型号开发适配，新增设备需改代码。
解决方案：设计通用物模型（定义属性 / 事件 / 指令），设备接入时映射至模型，新增设备仅需配置模板，适配效率提升 3 倍。
难点 2：弱网环境下OTA升级频繁中断。
坑：初期全量传输，断网后需重新开始，失败率高。
解决方案：实现差分传输（仅传更新部分）+ 断点续传，边缘端缓存升级包，网络恢复后继续，结合心跳检测重试，失败率降至 1.2%。
难点 3：设备并发接入时出现连接超时。
坑：Netty线程池参数不合理，队列堆积导致超时。
解决方案：压测优化线程池（核心线程 200 + 最大线程 500），用Redis做连接数限流，新增动态扩容机制，峰值并发承载能力提升50%。
示例图片视频
相似推荐
顶流电商平台数据采集和价格监控
1.随着电商行业竞争白热化，某日化品牌客户面临竞品价格变动快、促销策略滞后、库存监控缺失等痛点。为辅助其动态定价决策，本项目立项建设一套分布式电商数据采集中台。核心目标是实现竞品SKU价格、促销活动、评论情感及库存状态的实时监控与趋势分析，将数据获取时效从人工每日核查提升至分钟级自动化采集，为运营团队提供精准的数据弹药。
2.系统包含四大核心模块：任务调度中心（支持定时/触发式采集任务配置）、多源适配器（针对不同平台封装独立解析引擎）、反爬对抗层（集成动态代理池与验证码识别服务）、数据治理管道（完成去重、格式标准化与异常预警）。各模块松耦合设计，支持水平扩展。
3.
运营人员在管理后台创建采集任务（设定目标URL、采集字段与频次）→ 调度中心下发任务至爬虫集群 → 适配器执行采集并实时对抗反爬 → 原始数据进入清洗管道 → 结构化数据存入MongoDB，同时价格波动触发钉钉告警 → 最终数据通过API同步至客户BI看板，完成从需求到决策的闭环。
Python自动化数据处理脚本集（Excel / 网页采集 / PDF提取）
本项目是一个Python自动化脚本工具集，覆盖三类最常见的办公数据处理场景，旨在替代人工重复操作、提升数据整理效率。
【模块一：Excel批量合并与清洗】
业务场景：企业每月产生多份结构不统一的销售/运营报表，手工合并耗时且易出错。
功能：自动遍历读取多个Excel文件 → 合并为单一汇总表 → 清洗空值、重复行、异常格式 → 输出按维度的汇总统计（月度/产品/人员）。
【模块二：公开网页数据采集与整理】
业务场景：需要定期从公开网页获取结构化信息（如行业资讯、商品列表、政策公示），手工复制粘贴效率低。
功能：模拟浏览器请求 → 解析HTML提取目标字段（标题、作者、标签等）→ 翻页自动遍历 → 输出为CSV文件，可直接导入Excel或数据库。
【模块三：PDF信息提取】
业务场景：企业收到大量PDF格式的发票、合同、报表，需要提取关键字段录入系统。
功能：读取PDF文档 → 定位并提取日期、金额、编号等关键信息 → 汇总输出为Excel表，替代手工逐一录入。
全部脚本采用模块化设计，修改少量配置参数即可适配不同客户的数据结构，交付周期1-2天。
医疗医保核销结算后台-医保核销系统
面向医疗机构搭建医保费用结算中台，覆盖门诊就诊登记、医保单据批量申报、财政基金拨付全流程数字化，支撑医院日常医保报销业务。系统解决并发提交重复扣款、多角色接口权限混乱、高频查询击穿数据库、事务与缓存同步失效等风险，实现单据三层并发校验、多维度动态权限管控、多级缓存防护、N+1 查询优化，保障医保结算数据合规准确。
生活服务综合小程序后台管理系统 - 修享家
立项背景和目标：修享家旨在打造一个全面、高效的综合生活O2O服务平台，无缝连接服务提供者（如维修师傅、家政人员）与普通C端/企业用户。项目的核心目标是开发一个功能强大的PC端后台管理系统，用于全面支撑和统筹该小程序端庞大且复杂的业务和数据流转。
软件功能、核心功能模块的介绍：系统划分为三大功能区，共包含23个具体管理模块。
修享家核心：涵盖多城市订单跟踪、售后退款、师傅人员注册与调度、企业及C端用户分离管理，以及树状结构的服务分类配置。
商城与生活：集成电商商品管理、外卖餐饮、酒店民宿预订、搬家出行、招聘及家政保洁等多元化生活服务。
运营与财务：包含财务集中结算、物流骑手管理、多级分销合伙人（流量合伙人）规则配置，以及多城市区域配置。
业务流程、功能路径描述：业务自用户在前端小程序下单（涵盖维修、购物、外卖等）发起，订单数据实时同步至后台统一化面板。后台运营人员可根据订单类型进行智能或人工派单调度（针对维修与物流），并跟进售后处理及财务结算。同时，系统支持多级分销机制和流量合伙人推广路径，实现业务的被动拉新与裂变。目前该平台已成功流转 1286+ 订单，产生超 386,720+ 元交易流水。
某大型车企内部积分兑换商品平台-积分兑换平台
服务于国内某大型汽车企业的积分兑换平台，
为其搭建一套"行为认可 → 积分累积 → 权益兑换"的数字化激励闭环，把原本分散的绩效奖金、节日福利、培训激励、文化践行奖励统一到一个积分池里，员工自主兑换心仪商品/服务，企业端实现成本可控、规则透明、数据可追溯。
支持多个商品渠道管理，可对接国内主流电商平台的商品信息。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服