业务和功能介绍
一、立项背景与目标
港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落，人工巡检难以及时发现，易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台，在Ubuntu系统上部署YOLOv8模型，实现碳刷状态的实时视觉检测，替代人工巡检。
二、软件功能与核心模块
软件功能包括：RTSP视频流实时解码与预处理、YOLOv8模型推理（在位/掉落二分类）、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出（通过HTTP/Modbus接口与PLC对接）。核心模块：
视频接入与预处理：使用OpenCV解码多路RTSP流，完成尺寸缩放、归一化及光照自适应增强；
YOLOv8推理引擎：在Jetson上将训练好的PyTorch模型转换为TensorRT格式，利用GPU加速实现实时推理。
状态判定与防抖：实现连续N帧滑动窗口投票机制，过滤因振动或飞鸟造成的单帧误检；
系统集成与输出：基于Ubuntu开发后台服务，通过HTTP/Modbus协议向PLC方提供报警状态接口，供对接人员调用。
三、业务流程与功能路径
业务流程：摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径：通过Web配置页面添加RTSP源并设置检测区域；调整置信度阈值与防抖帧数；查看实时检测画面（绿框在位/红框掉落）；通过HTTP接口获取当前状态供PLC对接测试。
港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落，人工巡检难以及时发现，易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台，在Ubuntu系统上部署YOLOv8模型，实现碳刷状态的实时视觉检测，替代人工巡检。
二、软件功能与核心模块
软件功能包括：RTSP视频流实时解码与预处理、YOLOv8模型推理（在位/掉落二分类）、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出（通过HTTP/Modbus接口与PLC对接）。核心模块：
视频接入与预处理：使用OpenCV解码多路RTSP流，完成尺寸缩放、归一化及光照自适应增强；
YOLOv8推理引擎：在Jetson上将训练好的PyTorch模型转换为TensorRT格式，利用GPU加速实现实时推理。
状态判定与防抖：实现连续N帧滑动窗口投票机制，过滤因振动或飞鸟造成的单帧误检；
系统集成与输出：基于Ubuntu开发后台服务，通过HTTP/Modbus协议向PLC方提供报警状态接口，供对接人员调用。
三、业务流程与功能路径
业务流程：摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径：通过Web配置页面添加RTSP源并设置检测区域；调整置信度阈值与防抖帧数；查看实时检测画面（绿框在位/红框掉落）；通过HTTP接口获取当前状态供PLC对接测试。
项目实现
一、整体架构与设计思路
采用边缘计算架构，以NVIDIA Jetson作为核心控制器，Ubuntu系统为运行环境。整体设计思路为：摄像头通过RTSP协议将视频流传输至Jetson，系统基于YOLOv8进行实时推理，输出碳刷在位/掉落状态，并通过HTTP/Modbus接口与PLC对接。软件采用模块化设计，分为视频采集解码、AI推理、状态防抖滤波、报警状态发布四个模块，模块间通过共享内存和消息队列解耦，保证多路视频流处理的实时性和稳定性。
二、我负责的模块与结果
本人独立负责控制器侧全部工作，包括软件算法与嵌入式部署。具体完成以下内容：
模型训练与优化：采集港口现场碳刷图像数据，完成数据标注，基于YOLOv8训练二分类检测模型，并将PyTorch模型转换为TensorRT格式进行推理加速；
软件系统开发：使用Python开发完整后端服务，集成OpenCV视频解码、YOLOv8推理引擎、滑动窗口防抖逻辑及Web可视化界面；
部署与集成：在Jetson上配置Ubuntu环境及依赖库，完成系统打包与自启动配置，并提供HTTP状态接口供PLC人员对接。
最终实现多路视频实时检测，成功替代人工巡检。
三、遇到的难点与解决方案
难点一：港口光照变化剧烈导致误检。白天强逆光、夜间补光不足时，碳刷边缘特征模糊。解决方案：在预处理阶段增加自适应直方图均衡化（CLAHE）增强对比度，并在训练时加入亮度扰动、高斯噪声等数据增强策略，模型泛化能力明显提升。
难点二：起重机振动导致检测框抖动。摄像头随设备振动，单帧偶尔出现误检为掉落。解决方案：设计滑动窗口防抖机制，连续10帧中至少有5帧判定为掉落才确认报警，同时采用卡尔曼滤波对检测框位置进行平滑处理，显著降低误报率。
难点三：Jetson资源受限，多路实时推理卡顿。同时处理4路1080P视频流时GPU内存占用高，推理延迟增大。解决方案：将视频缩放至640×640分辨率输入模型，限制每路处理帧率为5fps，并采用多线程流水线架构（解码线程与推理线程分离），最终稳定运行且CPU/GPU占用率控制在70%以内。
采用边缘计算架构，以NVIDIA Jetson作为核心控制器，Ubuntu系统为运行环境。整体设计思路为：摄像头通过RTSP协议将视频流传输至Jetson，系统基于YOLOv8进行实时推理，输出碳刷在位/掉落状态，并通过HTTP/Modbus接口与PLC对接。软件采用模块化设计，分为视频采集解码、AI推理、状态防抖滤波、报警状态发布四个模块，模块间通过共享内存和消息队列解耦，保证多路视频流处理的实时性和稳定性。
二、我负责的模块与结果
本人独立负责控制器侧全部工作，包括软件算法与嵌入式部署。具体完成以下内容：
模型训练与优化：采集港口现场碳刷图像数据，完成数据标注，基于YOLOv8训练二分类检测模型，并将PyTorch模型转换为TensorRT格式进行推理加速；
软件系统开发：使用Python开发完整后端服务，集成OpenCV视频解码、YOLOv8推理引擎、滑动窗口防抖逻辑及Web可视化界面；
部署与集成：在Jetson上配置Ubuntu环境及依赖库，完成系统打包与自启动配置，并提供HTTP状态接口供PLC人员对接。
最终实现多路视频实时检测，成功替代人工巡检。
三、遇到的难点与解决方案
难点一：港口光照变化剧烈导致误检。白天强逆光、夜间补光不足时，碳刷边缘特征模糊。解决方案：在预处理阶段增加自适应直方图均衡化（CLAHE）增强对比度，并在训练时加入亮度扰动、高斯噪声等数据增强策略，模型泛化能力明显提升。
难点二：起重机振动导致检测框抖动。摄像头随设备振动，单帧偶尔出现误检为掉落。解决方案：设计滑动窗口防抖机制，连续10帧中至少有5帧判定为掉落才确认报警，同时采用卡尔曼滤波对检测框位置进行平滑处理，显著降低误报率。
难点三：Jetson资源受限，多路实时推理卡顿。同时处理4路1080P视频流时GPU内存占用高，推理延迟增大。解决方案：将视频缩放至640×640分辨率输入模型，限制每路处理帧率为5fps，并采用多线程流水线架构（解码线程与推理线程分离），最终稳定运行且CPU/GPU占用率控制在70%以内。
示例图片视频
相似推荐
大数据物流时效分析平台 -重庆电商物流配送时效分析系统
立项背景和目标
重庆电商订单体量持续增长，跨区县配送数据零散杂乱，人工统计配送时效效率低、误差大，无法直观对比各快递公司、区域配送水平。项目目标搭建集数据采集、清洗统计、可视化、时效预测、订单管理于一体的分析平台，量化各维度配送指标，精准预判配送时长，辅助物流调度优化。
核心功能模块
数据概览：展示总订单、真实 / 模拟数据量、区域订单占比、快递公司订单分布；
区县热力与公司箱线：各区县平均配送时效柱状热力图、多快递公司时效分布箱线对比图；
数据采集：支持真实快递接口抓取、批量生成模拟物流数据，留存采集日志；
统计分析：按发货区域聚合计算订单数、平均时长、极值等指标，支持分析结果导出；
时效预测：双模型预测，区县 + 快递公司精细模型、区域类型 + 时段融合模型，输出时效与误差区间；
数据管理：全量订单列表展示、筛选、刷新与批量导出，区分真实 / 模拟数据源。
业务流程
先通过采集模块获取真实或模拟订单数据，后台完成清洗聚合；各可视化模块调用处理后的数据渲染图表；可输入业务参数调用预测模型得到预估配送时长；所有原始订单可在数据管理页查看导出，全程自动化处理海量订单数据。
企业运输/物流管理系统
企业对产品运输进行管理，使用人员包括企业物管人员、承运商（物流公司）、业务员、客户（收货人）等。另有手机端、微信小程序供司机（跟车人员）、业务员、客户使用。
主要功能涵盖企业产品运输管理的各个方面，包括运输基础信息设置、生成运单（直接制单或批量生成）、下单及提货管理（向承运商下单，预约提货，园区运输管理，装车调度）、物流管理（物流跟踪，签收）、运输考核（时效控制、投诉、考核）、短信管理、运费统计分析等。
可对接企业管理系统，批量抓取订单并根据设置生成运单。可自动计算并进行比对，给出最优的运输方式及承运商。
可对接第三方运输系统，向该系统下单，并接收物流数据。
可使用定位设备，接收位置数据。也可使用微信小程序获取司机当前位置
在厂区，司机扫码，系统自动进行装车调度。可定制通过领卡、监控进行装车调度。
可对接仓库系统，获取运单上的货物是否已经准备好装车及预计装车位置
批量个性化邮件外联自动化系统
本项目为海外中小企业客户开发场景搭建邮件外联自动化流水线。目标是替代人工逐封撰写与发送的低效模式。功能含:收件人名单多步清洗与有效性校验、调用 AI 按收件人信息逐条生成个性化首封正文、分批入队发送、跟进节奏管理。流程为:导入名单→清洗校验→AI 生成个性化内容→分批队列发送→记录与跟进。
某外贸企业ERP系统-ERP系统
外贸ERP覆盖从报价到采购的完整外贸链路。主要模块包括：工作台（业务入口）、产品管理（产品列表、配置选项维护）、客户管理、供应商管理、报价单（选配计价、确认、转单、导出 Excel）、销售订单（详情、状态跟进、生成 PO）、采购订单（状态更新、导出 Excel）、系统管理（公司信息），以及 登录鉴权。
核心路径为：产品配置 → 报价单 → 销售订单 → 采购 PO，支持按订单状态推进生产、质检、出货等环节。
EWM RF仓库系统项目开发
本项目基于企业智能仓储数字化升级需求，依托 SAP EWM 搭建 RF 手持终端仓储作业系统，替代传统纸质单据作业。系统包含收货入库、上架存储、拣货出库、库存盘点、移库调拨五大核心功能模块；全流程通过 RF 扫码联动 EWM 后台，实现采购收货扫码上架、销售订单波次拣配、动态盘点实时更新库存，打通 ERP 与仓储执行数据流，解决人工记账错账、作业效率低下问题，完成仓储全链路数字化管控。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服