滑触线图像识别系统-嵌入式
一、立项背景与目标
港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落,人工巡检难以及时发现,易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台,在Ubuntu系统上部署YOLOv8模型,实现碳刷状态的实时视觉检测,替代人工巡检。
二、软件功能与核心模块
软件功能包括:RTSP视频流实时解码与预处理、YOLOv8模型推理(在位/掉落二分类)、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出(通过HTTP/Modbus接口与PLC对接)。核心模块:
视频接入与预处理:使用OpenCV解码多路RTSP流,完成尺寸缩放、归一化及光照自适应增强;
YOLOv8推理引擎:在Jetson上将训练好的PyTorch模型转换为TensorRT格式,利用GPU加速实现实时推理。
状态判定与防抖:实现连续N帧滑动窗口投票机制,过滤因振动或飞鸟造成的单帧误检;
系统集成与输出:基于Ubuntu开发后台服务,通过HTTP/Modbus协议向PLC方提供报警状态接口,供对接人员调用。
三、业务流程与功能路径
业务流程:摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径:通过Web配置页面添加RTSP源并设置检测区域;调整置信度阈值与防抖帧数;查看实时检测画面(绿框在位/红框掉落);通过HTTP接口获取当前状态供PLC对接测试。
人工智能