业务和功能介绍
1. 立项背景和目标
立项背景：
随着物联网技术快速发展，企业面临设备管理复杂、数据采集困难、故障响应滞后等挑战。传统物联网平台存在扩展性差、协议支持有限、实时处理能力不足等问题。
项目目标：
构建一个高性能、可扩展的企业级物联网平台，支持海量设备接入、实时数据处理、智能告警分析，为企业提供一站式设备管理和监控解决方案，实现设备全生命周期管理和智能化运维。
2. 软件功能、核心功能模块介绍
核心技术栈：
- 后端：Go + Gin框架 + GORM + PostgreSQL/TimescaleDB
- 架构：微服务 + 事件驱动 + 分层架构
- 消息：NSQ消息队列 + 多级缓存
- 规模：314个Go文件，74,440行代码
核心功能模块：
设备管理模块： 支持设备注册、配置、状态监控、固件升级，提供设备全生命周期管理，支持MQTT、DTU/TCP、Modbus等多种协议接入。
数据采集与处理： 实时数据接收存储、批量数据处理、事件驱动架构，支持流式数据处理和复杂事件处理链。
智能告警系统： 流式告警规则引擎、实时数据触发告警、多渠道通知（邮件/短信/微信）、告警自动恢复机制、静默期管理。
权限管理（RBAC）： 基于角色的访问控制、用户管理、菜单权限、数据级权限控制、多租户架构支持。
任务调度： 异步任务处理、任务执行监控、定时任务管理、任务报告生成。
多租户架构： 租户隔离、套餐管理、项目级权限控制、数据安全隔离。
3. 业务流程、功能路径描述
设备接入流程：
设备注册 → 设备类型配置 → 协议适配 → 数据上报 → 状态管理
支持直连设备、网关设备、子设备等多种接入方式，提供设备在线/离线状态实时监控。
数据处理流程：
数据上报 → 协议解析 → 数据存储 → 事件触发 → 告警检测 → 通知发送
采用事件处理器链模式，包含时间戳处理、事件验证、自动恢复、状态处理、告警处理等环节。
告警触发流程：
规则配置 → 流式检测 → 告警生成 → 通知发送 → 告警处理 → 恢复检测
告警状态流转：活跃(1) → 已确认(2) → 已解决(3) → 已关闭(4)，支持静默期管理和自动恢复。
用户操作路径：
管理员：系统配置 → 用户管理 → 角色权限 → 设备类型 → 告警规则
普通用户：设备监控 → 实时数据 → 告警处理 → 历史查询 → 报表导出
立项背景：
随着物联网技术快速发展，企业面临设备管理复杂、数据采集困难、故障响应滞后等挑战。传统物联网平台存在扩展性差、协议支持有限、实时处理能力不足等问题。
项目目标：
构建一个高性能、可扩展的企业级物联网平台，支持海量设备接入、实时数据处理、智能告警分析，为企业提供一站式设备管理和监控解决方案，实现设备全生命周期管理和智能化运维。
2. 软件功能、核心功能模块介绍
核心技术栈：
- 后端：Go + Gin框架 + GORM + PostgreSQL/TimescaleDB
- 架构：微服务 + 事件驱动 + 分层架构
- 消息：NSQ消息队列 + 多级缓存
- 规模：314个Go文件，74,440行代码
核心功能模块：
设备管理模块： 支持设备注册、配置、状态监控、固件升级，提供设备全生命周期管理，支持MQTT、DTU/TCP、Modbus等多种协议接入。
数据采集与处理： 实时数据接收存储、批量数据处理、事件驱动架构，支持流式数据处理和复杂事件处理链。
智能告警系统： 流式告警规则引擎、实时数据触发告警、多渠道通知（邮件/短信/微信）、告警自动恢复机制、静默期管理。
权限管理（RBAC）： 基于角色的访问控制、用户管理、菜单权限、数据级权限控制、多租户架构支持。
任务调度： 异步任务处理、任务执行监控、定时任务管理、任务报告生成。
多租户架构： 租户隔离、套餐管理、项目级权限控制、数据安全隔离。
3. 业务流程、功能路径描述
设备接入流程：
设备注册 → 设备类型配置 → 协议适配 → 数据上报 → 状态管理
支持直连设备、网关设备、子设备等多种接入方式，提供设备在线/离线状态实时监控。
数据处理流程：
数据上报 → 协议解析 → 数据存储 → 事件触发 → 告警检测 → 通知发送
采用事件处理器链模式，包含时间戳处理、事件验证、自动恢复、状态处理、告警处理等环节。
告警触发流程：
规则配置 → 流式检测 → 告警生成 → 通知发送 → 告警处理 → 恢复检测
告警状态流转：活跃(1) → 已确认(2) → 已解决(3) → 已关闭(4)，支持静默期管理和自动恢复。
用户操作路径：
管理员：系统配置 → 用户管理 → 角色权限 → 设备类型 → 告警规则
普通用户：设备监控 → 实时数据 → 告警处理 → 历史查询 → 报表导出
项目实现
1. 整体架构和设计思路，不同模块使用的技术栈
架构设计思路：
采用现代化事件驱动架构，遵循"入口队列模式 + 独立协议网关"设计理念。严格分层架构（API层→业务层→数据层→模型层），实现高内聚低耦合。微服务就绪的模块化设计，支持插件化扩展。
模块技术实现：
- 设备管理：多协议适配（MQTT/TCP/HTTP）+ 设备影子 + 状态缓存
- 数据处理：流式SQL实时处理 + 批量入库优化 + 分层存储策略
- 告警引擎：流式SQL实时处理
- 物模型：分层存储策略
2. 我的负责模块和结果（量化指标）
主要负责模块：
告警引擎：
- 实现流式告警和即时告警双引擎架构
- 告警规则缓存命中率提升至95%+
- 告警处理延迟从平均2秒降低到500毫秒以内
微信生态集成（完整实现）：
- 微信小程序登录授权系统
- 微信订阅消息推送功能
- 微信用户与系统用户绑定机制
- 支持告警信息通过微信实时推送
协议适配优化（性能提升）：
- DTU/TCP协议网关重构，支持DD-LINK模式
- 网关设备服务重构，集成MQTT和DD网关双协议
- 设备接入并发能力从1000设备提升至5000+设备
量化结果：
- 代码质量：告警引擎复杂度从A级降至C级（循环复杂度）
- 性能提升：数据处理吞吐量提升300%（从1万条/秒到3万条/秒）
- 扩展性：新协议接入时间从3天缩短至4小时
- 稳定性：系统可用性达到99.9%，支持7×24小时运行
3. 我遇到的难点、坑，和解决方案
技术难点1：高并发设备接入性能瓶颈
- 问题：大量设备同时接入导致连接数激增，MQTT Broker负载过高
- 解决方案：实现连接池管理和负载均衡策略，采用Redis缓存设备在线状态减少数据库查询，实现自适应心跳机制
- 效果：单实例支持并发连接数从1000提升到5000+
技术难点2：实时数据处理延迟问题
- 问题：高频数据写入导致数据库压力，实时告警计算延迟超过2秒
- 解决方案：采用分层存储策略（热数据Redis+温数据PostgreSQL+冷数据对象存储），实现NSQ批量消费机制，使用StreamSQL避免全表扫描
- 效果：数据处理延迟从2秒降低到500毫秒，吞吐量提升3倍
技术难点3：多协议设备接入复杂性
- 问题：不同设备使用不同通信协议，协议转换复杂度高
- 解决方案：设计统一IoTEvent数据模型，采用协议网关插件化架构，实现协议适配器工厂模式
- 效果：新协议接入开发时间缩短80%
技术难点4：微信集成用户状态同步
- 问题：微信用户与系统用户绑定存在并发冲突，订阅消息推送不稳定
- 解决方案：实现分布式锁机制避免重复绑定，采用消息队列确保推送可靠性，添加重试机制处理网络异常
- 效果：用户绑定成功率达到99.5%，消息推送成功率达到99.8%
架构设计思路：
采用现代化事件驱动架构，遵循"入口队列模式 + 独立协议网关"设计理念。严格分层架构（API层→业务层→数据层→模型层），实现高内聚低耦合。微服务就绪的模块化设计，支持插件化扩展。
模块技术实现：
- 设备管理：多协议适配（MQTT/TCP/HTTP）+ 设备影子 + 状态缓存
- 数据处理：流式SQL实时处理 + 批量入库优化 + 分层存储策略
- 告警引擎：流式SQL实时处理
- 物模型：分层存储策略
2. 我的负责模块和结果（量化指标）
主要负责模块：
告警引擎：
- 实现流式告警和即时告警双引擎架构
- 告警规则缓存命中率提升至95%+
- 告警处理延迟从平均2秒降低到500毫秒以内
微信生态集成（完整实现）：
- 微信小程序登录授权系统
- 微信订阅消息推送功能
- 微信用户与系统用户绑定机制
- 支持告警信息通过微信实时推送
协议适配优化（性能提升）：
- DTU/TCP协议网关重构，支持DD-LINK模式
- 网关设备服务重构，集成MQTT和DD网关双协议
- 设备接入并发能力从1000设备提升至5000+设备
量化结果：
- 代码质量：告警引擎复杂度从A级降至C级（循环复杂度）
- 性能提升：数据处理吞吐量提升300%（从1万条/秒到3万条/秒）
- 扩展性：新协议接入时间从3天缩短至4小时
- 稳定性：系统可用性达到99.9%，支持7×24小时运行
3. 我遇到的难点、坑，和解决方案
技术难点1：高并发设备接入性能瓶颈
- 问题：大量设备同时接入导致连接数激增，MQTT Broker负载过高
- 解决方案：实现连接池管理和负载均衡策略，采用Redis缓存设备在线状态减少数据库查询，实现自适应心跳机制
- 效果：单实例支持并发连接数从1000提升到5000+
技术难点2：实时数据处理延迟问题
- 问题：高频数据写入导致数据库压力，实时告警计算延迟超过2秒
- 解决方案：采用分层存储策略（热数据Redis+温数据PostgreSQL+冷数据对象存储），实现NSQ批量消费机制，使用StreamSQL避免全表扫描
- 效果：数据处理延迟从2秒降低到500毫秒，吞吐量提升3倍
技术难点3：多协议设备接入复杂性
- 问题：不同设备使用不同通信协议，协议转换复杂度高
- 解决方案：设计统一IoTEvent数据模型，采用协议网关插件化架构，实现协议适配器工厂模式
- 效果：新协议接入开发时间缩短80%
技术难点4：微信集成用户状态同步
- 问题：微信用户与系统用户绑定存在并发冲突，订阅消息推送不稳定
- 解决方案：实现分布式锁机制避免重复绑定，采用消息队列确保推送可靠性，添加重试机制处理网络异常
- 效果：用户绑定成功率达到99.5%，消息推送成功率达到99.8%
示例图片视频
相似推荐
身份认证和密码平台
1、立项背景和目标：当前企业内部存在多个独立业务系统，身份管理分散，密码策略不统一，加密算法依赖国外标准，存在合规风险。为落实国家关于信息系统安全等级保护和密码应用安全性评估要求，亟需建设统一、合规、高效的身份认证与密码服务平台。
2、身份认证平台：
统一用户管理：支持用户生命周期管理（增删改查、禁用/启用），支持批量导入导出。
组织架构管理：树形组织结构维护，支持多级部门与虚拟组织。
单点登录（SSO）：支持OAuth2.0、SAML等协议，实现一次登录、多系统访问。
权限控制：提供功能权限与数据权限配置，支持RBAC。
同步服务：采用Kafka消息队列实现用户和组织数据的异步传输，支持高并发场景下的数据同步，确保上下游系统数据一致性。
3、密码服务平台：
密码服务引擎：支持SM2、SM3、SM4，兼容PKCS7、PKCS#12等标准。
密钥管理：提供密钥生成、存储、分发、销毁的全生命周期管理。
电子签章服务：支持PDF文件数字签名、时间戳服务，具备可视化签章位置设置。
加密解密接口：提供标准化RESTful API，支持敏感字段加密存储与传输。
合规审计：记录密钥使用、签名操作等日志，支持审计报告生成。
基于springboot的在线加密系统前后端-在线加解密系统
立项目标：搭建免费的在线加解密平台，对常见的加密算法进行讲解，以及用户讨论平台
主要功能：常见的对称加密，非对称加密，数字签名，博客管理，个人信息管理
主要流程：加解密以及数字签名，无需登录直接使用，对文章的管理需要登陆后进行
鸿蒙分布式应用隐私泄露检测工具开发
通过跨JAVA、Native层的数据流分析，构建出精确的函数级污点传播摘要；基于函数污点传播摘要，结合基于运行日志构建的跨应用函数调用链，检测跨设备的应用间隐私泄露行为；构建鸿蒙分布式应用隐私泄露检测工具。
瑞数逆向
项目背景
为支撑企业高价值数据合规研究（以房产市场动态分析为核心场景），需突破目标平台部署的瑞数6（RS6）动态安全防护体系。该平台通过动态JS混淆、浏览器环境指纹校验、加密Cookie验证等机制，拦截非真实浏览器的自动化请求，导致传统爬虫工具完全失效，亟需通过逆向工程实现合规的数据获取能力。项目严格遵循《网络安全法》及平台robots协议，仅用于内部商业分析与决策支持。
2. 核心业务功能
- 动态防护解析功能：精准定位瑞数6的JS执行入口与加密逻辑，破解__jsl_clearance_s等核心Cookie的生成机制，突破动态验证屏障。
- 环境模拟功能：构建符合真实浏览器特征的运行环境，覆盖User-Agent、Canvas指纹、DOM/BOM API等20+环境检测点，规避行为识别。
- 加密参数生成功能：提取并复现请求头中32位sign验签、毫秒级时间戳关联加密等算法，保障请求合法性。
- 自动化采集功能：基于逆向成果实现"两次请求法"数据获取，首次请求解析加密参数，二次请求完成目标房产数据（房源价格、供需趋势等）的合规采集。
- 动态适配功能：建立算法更新监测机制，应对瑞数6混淆策略迭代，确保采集稳定性（目标：月故障率低于5%）。
全国交通桥梁采集数据采集设备架构系统设计开发-某交通公司设备监控控制系统
本项目需构建一套集中式的桥梁设备监控控制系统，通过 MQTT 服务器实现网关设备（每座桥梁部署 1-4 台，支持冗余容灾）、各类数据采集设备、PC / 安卓控制端的互联互通替换掉原工控机设备实现成本降低。
数据采集设备通过 TCP 等协议接入网关设备，将采集的桥梁数据传递到对应设备上的转发处理软件，网关设备集成 MQTT 模块实现数据上行和指令下行，还有对应的数据转发功能；
PC 端与安卓端具备完全一致的监控/控制功能，可对所有网关及下属采集设备进行状态查看、参数配置、远程重启/升级等操作；
网关设备支持冗余配置，当某一台网关故障时，可将其下属采集设备通过MQTT切换至同桥梁的其他网关设备，保障系统可用性。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服