业务和功能介绍
一、立项背景与目标
港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落，人工巡检难以及时发现，易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台，在Ubuntu系统上部署YOLOv8模型，实现碳刷状态的实时视觉检测，替代人工巡检。
二、软件功能与核心模块
软件功能包括：RTSP视频流实时解码与预处理、YOLOv8模型推理（在位/掉落二分类）、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出（通过HTTP/Modbus接口与PLC对接）。核心模块：
视频接入与预处理：使用OpenCV解码多路RTSP流，完成尺寸缩放、归一化及光照自适应增强；
YOLOv8推理引擎：在Jetson上将训练好的PyTorch模型转换为TensorRT格式，利用GPU加速实现实时推理。
状态判定与防抖：实现连续N帧滑动窗口投票机制，过滤因振动或飞鸟造成的单帧误检；
系统集成与输出：基于Ubuntu开发后台服务，通过HTTP/Modbus协议向PLC方提供报警状态接口，供对接人员调用。
三、业务流程与功能路径
业务流程：摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径：通过Web配置页面添加RTSP源并设置检测区域；调整置信度阈值与防抖帧数；查看实时检测画面（绿框在位/红框掉落）；通过HTTP接口获取当前状态供PLC对接测试。
港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落，人工巡检难以及时发现，易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台，在Ubuntu系统上部署YOLOv8模型，实现碳刷状态的实时视觉检测，替代人工巡检。
二、软件功能与核心模块
软件功能包括：RTSP视频流实时解码与预处理、YOLOv8模型推理（在位/掉落二分类）、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出（通过HTTP/Modbus接口与PLC对接）。核心模块：
视频接入与预处理：使用OpenCV解码多路RTSP流，完成尺寸缩放、归一化及光照自适应增强；
YOLOv8推理引擎：在Jetson上将训练好的PyTorch模型转换为TensorRT格式，利用GPU加速实现实时推理。
状态判定与防抖：实现连续N帧滑动窗口投票机制，过滤因振动或飞鸟造成的单帧误检；
系统集成与输出：基于Ubuntu开发后台服务，通过HTTP/Modbus协议向PLC方提供报警状态接口，供对接人员调用。
三、业务流程与功能路径
业务流程：摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径：通过Web配置页面添加RTSP源并设置检测区域；调整置信度阈值与防抖帧数；查看实时检测画面（绿框在位/红框掉落）；通过HTTP接口获取当前状态供PLC对接测试。
项目实现
一、整体架构与设计思路
采用边缘计算架构，以NVIDIA Jetson作为核心控制器，Ubuntu系统为运行环境。整体设计思路为：摄像头通过RTSP协议将视频流传输至Jetson，系统基于YOLOv8进行实时推理，输出碳刷在位/掉落状态，并通过HTTP/Modbus接口与PLC对接。软件采用模块化设计，分为视频采集解码、AI推理、状态防抖滤波、报警状态发布四个模块，模块间通过共享内存和消息队列解耦，保证多路视频流处理的实时性和稳定性。
二、我负责的模块与结果
本人独立负责控制器侧全部工作，包括软件算法与嵌入式部署。具体完成以下内容：
模型训练与优化：采集港口现场碳刷图像数据，完成数据标注，基于YOLOv8训练二分类检测模型，并将PyTorch模型转换为TensorRT格式进行推理加速；
软件系统开发：使用Python开发完整后端服务，集成OpenCV视频解码、YOLOv8推理引擎、滑动窗口防抖逻辑及Web可视化界面；
部署与集成：在Jetson上配置Ubuntu环境及依赖库，完成系统打包与自启动配置，并提供HTTP状态接口供PLC人员对接。
最终实现多路视频实时检测，成功替代人工巡检。
三、遇到的难点与解决方案
难点一：港口光照变化剧烈导致误检。白天强逆光、夜间补光不足时，碳刷边缘特征模糊。解决方案：在预处理阶段增加自适应直方图均衡化（CLAHE）增强对比度，并在训练时加入亮度扰动、高斯噪声等数据增强策略，模型泛化能力明显提升。
难点二：起重机振动导致检测框抖动。摄像头随设备振动，单帧偶尔出现误检为掉落。解决方案：设计滑动窗口防抖机制，连续10帧中至少有5帧判定为掉落才确认报警，同时采用卡尔曼滤波对检测框位置进行平滑处理，显著降低误报率。
难点三：Jetson资源受限，多路实时推理卡顿。同时处理4路1080P视频流时GPU内存占用高，推理延迟增大。解决方案：将视频缩放至640×640分辨率输入模型，限制每路处理帧率为5fps，并采用多线程流水线架构（解码线程与推理线程分离），最终稳定运行且CPU/GPU占用率控制在70%以内。
采用边缘计算架构，以NVIDIA Jetson作为核心控制器，Ubuntu系统为运行环境。整体设计思路为：摄像头通过RTSP协议将视频流传输至Jetson，系统基于YOLOv8进行实时推理，输出碳刷在位/掉落状态，并通过HTTP/Modbus接口与PLC对接。软件采用模块化设计，分为视频采集解码、AI推理、状态防抖滤波、报警状态发布四个模块，模块间通过共享内存和消息队列解耦，保证多路视频流处理的实时性和稳定性。
二、我负责的模块与结果
本人独立负责控制器侧全部工作，包括软件算法与嵌入式部署。具体完成以下内容：
模型训练与优化：采集港口现场碳刷图像数据，完成数据标注，基于YOLOv8训练二分类检测模型，并将PyTorch模型转换为TensorRT格式进行推理加速；
软件系统开发：使用Python开发完整后端服务，集成OpenCV视频解码、YOLOv8推理引擎、滑动窗口防抖逻辑及Web可视化界面；
部署与集成：在Jetson上配置Ubuntu环境及依赖库，完成系统打包与自启动配置，并提供HTTP状态接口供PLC人员对接。
最终实现多路视频实时检测，成功替代人工巡检。
三、遇到的难点与解决方案
难点一：港口光照变化剧烈导致误检。白天强逆光、夜间补光不足时，碳刷边缘特征模糊。解决方案：在预处理阶段增加自适应直方图均衡化（CLAHE）增强对比度，并在训练时加入亮度扰动、高斯噪声等数据增强策略，模型泛化能力明显提升。
难点二：起重机振动导致检测框抖动。摄像头随设备振动，单帧偶尔出现误检为掉落。解决方案：设计滑动窗口防抖机制，连续10帧中至少有5帧判定为掉落才确认报警，同时采用卡尔曼滤波对检测框位置进行平滑处理，显著降低误报率。
难点三：Jetson资源受限，多路实时推理卡顿。同时处理4路1080P视频流时GPU内存占用高，推理延迟增大。解决方案：将视频缩放至640×640分辨率输入模型，限制每路处理帧率为5fps，并采用多线程流水线架构（解码线程与推理线程分离），最终稳定运行且CPU/GPU占用率控制在70%以内。
示例图片视频
相似推荐
国际货代智能业务协同 Agent
技术栈：LangGraph + FastAPI + Milvus + Python + Docker + 顺丰丰语大模型
项目描述：针对国际货代业务链路长、系统繁杂、操作人员需多系统切换的痛点，构建货代多意图路由与任务编排系统，实现从“模糊业务提问”到“结构化结果输出”的端到端闭环。
简易商贸进销存桌面管理系统-小店库存收支管理客户端
立项背景：小型门店依靠纸质账本记录进货、卖货，库存数量、盈利金额人工计算容易出错，查找历史单据十分麻烦。项目目标做一套轻量化管理软件，完成商品、采购、销售、库存基础管理。
核心功能：商品信息录入、采购入库登记、销售开单、库存自动增减、库存不足提醒、月度销售统计、单据打印、简单账号权限管理。
业务流程：录入商品信息→进货填写入库单增加库存；顾客消费开销售单自动扣减库存；随时查看剩余库存，月底导出销售报表对账。
智能仓储物流管理系统（WMS）
1、立项背景和目标
随着电商行业和智能制造的高速发展，传统仓储管理依赖人工记账、Excel统计，存在库存数据滞后、出入库效率低、错发漏发频发等问题。本项目旨在打造一套智能仓储物流管理系统，实现仓库作业的数字化、标准化和可视化。目标是：库存准确率提升至99.5%以上，单仓日处理订单能力提升30%，同时降低人力成本约20%。
2、软件功能、核心功能模块介绍
系统核心功能模块包括：
入库管理：支持采购入库、退货入库、调拨入库，自动生成入库单并更新库存台账；
出库管理：支持订单拣货、波次策略、复核打包，对接主流ERP系统；
库存管理：实时库存查询、库存预警（上下限）、库存盘点、库位管理；
报表中心：库存流水报表、出入库统计、库存周转率分析，支持Excel导出；
权限管理：基于RBAC模型的用户权限控制，不同岗位（仓管员、拣货员、主管）拥有不同操作权限。
3、业务流程、功能路径描述
典型业务路径为：上游ERP推送销售订单 → 系统自动分配波次 → 生成拣货任务 → 手持终端（PDA）引导拣货 → 复核打包 → 出库登记 → 库存自动扣减 → 实时同步至ERP系统。全流程闭环管理，数据实时可追溯。
表格生成器
本质是 “窗体容器化 + 数据库驱动” 的业务管理原型 ，目标解决：
多业务流程的分步操作（通过窗体嵌入、切换实现）。
业务规则、数据的可视化管理（结合数据库与 DataGridView ）。
桌面应用的交互体验（动态布局、多窗体协作 ）。
cesium 三维智慧工地软件开发
开发一个基于 cesium 的三维建模智慧工地管理系统，借助 GIS 工具或无人机倾斜摄影技术导入
工地的三维模型，在工地的关键部位部署摄像头监控用于检测安全帽或非法入侵等异常行为，在摄像头端进
行危险行为的检测之后，将异常信息及定位数据传输至云端服务器，该功能可以监控工地异常，将异常信息
在三维场景当中实时显示。该软件也可以使用投影技术将二维视频转换到三维模型的对应场景中，更加直观
地检测工地情况。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服