支持多协议对接的物联网中台-物联中台ThingsConnect
2025-10-16 10:43:59
行业：物联网、智慧数字孪生
载体：云服务/云平台
技术：Java、Vue、MySQL、RabbitMQ
业务和功能介绍
一、立项背景和目标
（一）立项背景
物联网设备爆发式增长带来多源异构接入混乱、数据孤岛严重、应用迭代低效等痛点。传统定制化方案兼容性差，难以应对百万级设备高并发、亚秒级处理的需求，且数据分散导致决策滞后，需统一平台打通感知层至应用层的协同壁垒。
（二）立项目标
技术目标：构建边缘-云协同架构，支持百万级设备并发接入，数据处理延迟≤1 秒，设备接入标准化率达95%以上。
业务目标：降低设备接入成本40%，缩短应用上线周期50%，通过数据驱动实现预测性维护等场景价值。
生态目标：打造开放API体系，实现多厂商设备与应用无缝集成。
二、软件功能及核心功能介绍
（一）整体功能框架
涵盖设备接入与管理、数据采集与存储、处理与分析、规则编排与场景联动、API服务五大模块，配套安全与运维支撑。
（二）核心功能
多协议接入引擎：支持MQTT、Modbus等主流协议及自定义协议，通过向导式工具与物模型模板实现设备快速接入，兼容直连、网关代理等方式，降低供应商切换成本。
设备全生命周期管理：覆盖注册、监控、运维全流程，支持OTA远程升级（差分/灰度策略），通过设备影子技术保障弱网状态一致性，断网72小时数据不丢失。
实时数据处理：基于Flink引擎实现数据清洗与实时计算，采用“数据湖 + 数据仓库”架构，支持冷热存储分离，兼顾成本与查询效率。
可视化规则编排：基于TCA模型（触发器-条件-动作），提供拖拽式工具与30余种运算函数，可配置温度超标自动调温等场景联动，自动化处理80%常规事件。
应用使能服务：提供REST/GraphQL API及SDK，集成低代码工具，支持公有云、私有云等多模式部署，适配不同企业需求。
三、核心业务流程
传感器通过MQTT将数据传至边缘网关，过滤无效数据并聚合为5分钟均值；
数据经Kafka队列传输至中台，接入引擎转换为标准格式；
流式引擎实时计算，若温度超标触发规则引擎生成告警；
数据存入数据湖与仓库，元数据同步至管理系统；
中台推送告警至MES系统，同时下发指令至空调设备；
管理人员通过仪表板监控状态，运维人员处置形成闭环。
四、功能路径描述
设备接入：登录后台→进入“设备接入”→选协议与方式→配参数与物模型→注册鉴权→设备上线。
规则配置：进入“规则编排”→新建任务→拖拽配置触发条件（如 “温度 > 35℃”）→设执行动作（如 “启动空调”）→启用规则。
数据查询：进入“数据可视化”→选设备与时间范围→配查询条件→生成图表并支持导出。
设备运维：进入“设备管理”→查设备状态→上传固件→选升级策略→监控升级进度。
（一）立项背景
物联网设备爆发式增长带来多源异构接入混乱、数据孤岛严重、应用迭代低效等痛点。传统定制化方案兼容性差，难以应对百万级设备高并发、亚秒级处理的需求，且数据分散导致决策滞后，需统一平台打通感知层至应用层的协同壁垒。
（二）立项目标
技术目标：构建边缘-云协同架构，支持百万级设备并发接入，数据处理延迟≤1 秒，设备接入标准化率达95%以上。
业务目标：降低设备接入成本40%，缩短应用上线周期50%，通过数据驱动实现预测性维护等场景价值。
生态目标：打造开放API体系，实现多厂商设备与应用无缝集成。
二、软件功能及核心功能介绍
（一）整体功能框架
涵盖设备接入与管理、数据采集与存储、处理与分析、规则编排与场景联动、API服务五大模块，配套安全与运维支撑。
（二）核心功能
多协议接入引擎：支持MQTT、Modbus等主流协议及自定义协议，通过向导式工具与物模型模板实现设备快速接入，兼容直连、网关代理等方式，降低供应商切换成本。
设备全生命周期管理：覆盖注册、监控、运维全流程，支持OTA远程升级（差分/灰度策略），通过设备影子技术保障弱网状态一致性，断网72小时数据不丢失。
实时数据处理：基于Flink引擎实现数据清洗与实时计算，采用“数据湖 + 数据仓库”架构，支持冷热存储分离，兼顾成本与查询效率。
可视化规则编排：基于TCA模型（触发器-条件-动作），提供拖拽式工具与30余种运算函数，可配置温度超标自动调温等场景联动，自动化处理80%常规事件。
应用使能服务：提供REST/GraphQL API及SDK，集成低代码工具，支持公有云、私有云等多模式部署，适配不同企业需求。
三、核心业务流程
传感器通过MQTT将数据传至边缘网关，过滤无效数据并聚合为5分钟均值；
数据经Kafka队列传输至中台，接入引擎转换为标准格式；
流式引擎实时计算，若温度超标触发规则引擎生成告警；
数据存入数据湖与仓库，元数据同步至管理系统；
中台推送告警至MES系统，同时下发指令至空调设备；
管理人员通过仪表板监控状态，运维人员处置形成闭环。
四、功能路径描述
设备接入：登录后台→进入“设备接入”→选协议与方式→配参数与物模型→注册鉴权→设备上线。
规则配置：进入“规则编排”→新建任务→拖拽配置触发条件（如 “温度 > 35℃”）→设执行动作（如 “启动空调”）→启用规则。
数据查询：进入“数据可视化”→选设备与时间范围→配查询条件→生成图表并支持导出。
设备运维：进入“设备管理”→查设备状态→上传固件→选升级策略→监控升级进度。
项目实现
一、整体架构与设计思路
采用 “边缘 - 云协同” 分层架构，分感知层、边缘层、中台层、应用层：感知层负责设备数据采集；边缘层做数据预处理与本地缓存；中台层为核心，分接入、数据、服务三层（接入层解耦设备协议，数据层处理存储计算，服务层封装能力）；应用层提供低代码工具与 API。设计思路以 “高可用、可扩展、易维护” 为核心，采用微服务拆分模块，支持水平扩容，通过物模型标准化设备数据，避免重复开发。
二、各模块技术栈
设备接入层：Java（Netty框架）处理高并发连接，支持MQTT/Modbus协议，自定义协议用 Protobuf序列化；
数据层：Flink做实时计算，Kafka 传消息，Hudi构建数据湖（存原始数据），ClickHouse存结构化数据；
服务层：Spring Cloud Alibaba 微服务架构，Nacos做服务注册发现，Gateway 网关路由；
边缘层：Go 语言开发边缘网关，轻量高效，支持断网缓存（Redis 本地实例）；
前端：Vue3+ECharts，低代码平台基于Formily+Vant。
三、“我” 负责模块与结果
负责设备接入层与OTA升级模块，核心成果：
设计多协议接入框架，兼容 12 种主流协议，设备接入成功率从 82% 提升至 99.5%；
开发OTA差分升级功能，固件传输体积减少 60%，升级失败率从 15% 降至 1.2%；
优化设备鉴权逻辑，支持 Token + 证书双认证，抵御 3 次模拟攻击测试，零安全漏洞；
接入设备量达 10 万台，峰值并发连接数 12 万，延迟稳定在800ms内。
四、难点、坑与解决方案
难点 1：多协议设备数据格式混乱，导致接入效率低。
坑：初期按设备型号开发适配，新增设备需改代码。
解决方案：设计通用物模型（定义属性 / 事件 / 指令），设备接入时映射至模型，新增设备仅需配置模板，适配效率提升 3 倍。
难点 2：弱网环境下OTA升级频繁中断。
坑：初期全量传输，断网后需重新开始，失败率高。
解决方案：实现差分传输（仅传更新部分）+ 断点续传，边缘端缓存升级包，网络恢复后继续，结合心跳检测重试，失败率降至 1.2%。
难点 3：设备并发接入时出现连接超时。
坑：Netty线程池参数不合理，队列堆积导致超时。
解决方案：压测优化线程池（核心线程 200 + 最大线程 500），用Redis做连接数限流，新增动态扩容机制，峰值并发承载能力提升50%。
采用 “边缘 - 云协同” 分层架构，分感知层、边缘层、中台层、应用层：感知层负责设备数据采集；边缘层做数据预处理与本地缓存；中台层为核心，分接入、数据、服务三层（接入层解耦设备协议，数据层处理存储计算，服务层封装能力）；应用层提供低代码工具与 API。设计思路以 “高可用、可扩展、易维护” 为核心，采用微服务拆分模块，支持水平扩容，通过物模型标准化设备数据，避免重复开发。
二、各模块技术栈
设备接入层：Java（Netty框架）处理高并发连接，支持MQTT/Modbus协议，自定义协议用 Protobuf序列化；
数据层：Flink做实时计算，Kafka 传消息，Hudi构建数据湖（存原始数据），ClickHouse存结构化数据；
服务层：Spring Cloud Alibaba 微服务架构，Nacos做服务注册发现，Gateway 网关路由；
边缘层：Go 语言开发边缘网关，轻量高效，支持断网缓存（Redis 本地实例）；
前端：Vue3+ECharts，低代码平台基于Formily+Vant。
三、“我” 负责模块与结果
负责设备接入层与OTA升级模块，核心成果：
设计多协议接入框架，兼容 12 种主流协议，设备接入成功率从 82% 提升至 99.5%；
开发OTA差分升级功能，固件传输体积减少 60%，升级失败率从 15% 降至 1.2%；
优化设备鉴权逻辑，支持 Token + 证书双认证，抵御 3 次模拟攻击测试，零安全漏洞；
接入设备量达 10 万台，峰值并发连接数 12 万，延迟稳定在800ms内。
四、难点、坑与解决方案
难点 1：多协议设备数据格式混乱，导致接入效率低。
坑：初期按设备型号开发适配，新增设备需改代码。
解决方案：设计通用物模型（定义属性 / 事件 / 指令），设备接入时映射至模型，新增设备仅需配置模板，适配效率提升 3 倍。
难点 2：弱网环境下OTA升级频繁中断。
坑：初期全量传输，断网后需重新开始，失败率高。
解决方案：实现差分传输（仅传更新部分）+ 断点续传，边缘端缓存升级包，网络恢复后继续，结合心跳检测重试，失败率降至 1.2%。
难点 3：设备并发接入时出现连接超时。
坑：Netty线程池参数不合理，队列堆积导致超时。
解决方案：压测优化线程池（核心线程 200 + 最大线程 500），用Redis做连接数限流，新增动态扩容机制，峰值并发承载能力提升50%。
示例图片视频
相似推荐
memRagAgent - 智能认知记忆系统
开源地址：https://github.com/daoyou-zhang/memRangeAgent
### 记忆增强检索（Memory RAG）
系统的核心是三层记忆架构的实现。情节记忆（Episodic）采用 PostgreSQL 存储，每条记录包含对话内容、时间戳、用户 ID、会话 ID 等元数据，并通过向量化技术生成 embedding，支持语义检索。语义记忆（Semantic）通过 LLM 从情节记忆中提炼，存储抽象概念、用户偏好、领域知识等，形成结构化的知识条目。程序记忆（Procedural）记录成功的工具调用序列和操作流程，支持流程复用。
向量检索基于余弦相似度算法，将用户输入向量化后，在记忆库中检索最相关的历史记录。检索结果按相关性和时间衰减加权排序，确保既考虑语义相关性，又优先召回近期记忆。通过 Redis 缓存热点查询，将 RAG 检索延迟控制在 100ms 以内。
### 认知控制器（Cognitive Controller）
认知流程分为四个阶段：意图理解 → 上下文聚合 → 回复生成 → 学习闭环。意图理解使用独立的快速模型（qwen-flash），低温度（0.1）保证稳定的 JSON 输出，分析用户意图类别、实体、置信度和是否需要工具调用。上下文聚合从记忆服务获取用户画像、工作记忆（最近对话）和 RAG 检索结果，从知识服务获取图谱查询结果，融合成完整上下文。回复生成使用高质量模型（deepseek-v3），温度 0.5 保证创造性和稳定性的平衡。学习闭环将对话存入情节记忆，触发异步的画像聚合任务。
### 知识图谱集成
采用 Neo4j 图数据库构建知识图谱，支持实体（Entity）、关系（Relationship）、属性（Property）的灵活建模。实体包括人物、概念、事件等，关系包括"属于"、"相关"、"导致"等语义连接。通过 Cypher 查询语言实现路径查询、社区发现、中心性分析等图算法。
电商类型-Home Live
HomeLive是一款服务于全球用户的在线外贸交易平台，核心定位是打破跨境购物壁垒，满足中国消费者不出国门就能便捷选购全球商品的需求。平台汇集全球各地知名品牌供应商，打造多元化服务体系，涵盖在线直播带货频道、认证商家一站式购物服务，同时保障海外商品现货库存充足，提供全球货物护航直邮服务，全方位提升跨境购物的便捷性与安全性。
.该工具仅采集互联网上公开可商用、无版权声明且符合国家
为解决电商从业者手动整理商品信息效率低的问题，我用 Python 开发了一款自动爬取公开商品列表的小工具，能按设定的关键词抓取商品名称、价格和销量信息，并自动整理成表格格式，帮助快速汇总竞品或目标类目的基础数据，降低人工整理的时间成本。该工具仅支持爬取用户授权或平台公开可商用的非版权类图片与基础数据，不涉及影视、付费素材等有版权保护的内容，全程遵守网站 robots 协议和数据使用规范，确保爬取行为合法合规
本地生活小程序
本地生活小程序，为了相应政策的拉动消费，让本地人群实现物美价廉的购物体验，包括在线超市，本地商家等，超市支持配送到家，平台商户折扣消费后返积分，积分可以兑换优惠券，再次消费，打造良性循环。
充电宝小程序，用于充电宝租借，电池包租借小程序用于电池包租借
立项背景和目标：
随着共享经济发展，共享充电宝已成为人们外出时解决手机电量焦虑的刚需。本项目旨在开发一款跨平台的充电宝租借小程序/App，覆盖用户从查找附近机柜、扫码租借、在线支付到归还的全流程。同时通过电池包租借功能拓展业务场景（如便携充电包），提升用户体验与平台收益。
核心功能模块：
地图找点：基于LBS显示附近可用机柜，支持按距离/空闲状态筛选，一键导航。
扫码租借：扫描机柜二维码或手动输入编号，快速租借充电宝或电池包。
信用免押：接入第三方信用分（如芝麻信用），高信用用户免押金租借。
订单与支付：实时计费，支持微信/支付宝支付，订单历史可查，押金秒退。
用户中心：个人信息、优惠券、客服反馈、使用帮助等。
业务流程描述：
用户打开小程序 → 授权定位 → 首页地图展示附近机柜 → 点击机柜查看详情（剩余充电宝数、距离）→ 选择“扫码租借”扫描二维码 → 确认租借，系统判断信用分 → 免押/支付押金 → 机柜弹出充电宝 → 使用中可查看剩余电量/计费 → 归还时扫描任意同品牌机柜二维码 → 插入充电宝 → 系统自动结算费用并扣款 → 订单完成。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服