1、大背景是某个工业环境中的智能巡检,机器的实时状态需要巡检员各处跑,业主希望增加智能巡检功能,即时获取设备预警信息。
2/3、在车间内安装摄像头,选择合适的位置,部分需要旋转,铺设需要的网线,安装GPU计算盒子。摄像头加相当于部署在端侧的小服务器,收集视频,截图,统一发送给图像识别模块,图像识别模块负责各类压力表读表,各类液压计读表,空气开关识别,各种漏油识别,明火浓烟识别。表读数识别,包含把业主要求数值多少范围算安全,超出需要报警的功能。
1、项目组开发整体平台,控制收集各个摄像头的转动和拍照,以及对接巡检系统。
2.1、我只负责图像识别的部分,开发一个独立模块,接受base64图像,返回标记后的图像以及识别结果,图中的各个压力表/液压表读数,空开是否闭合,是否漏油,是否有明火/浓烟,是否漏油。
2.2、基于opencv和yolov8的架构中目标检测和图像分割,目标检测画框定位的要判断的目标,一个或多个,图像分割和opencv设计算法结合判断检测结果。
3.1、单一的opencv或者单一的深度学习模型不足以稳定的输出结果,我采取的是多种算法结合分步实现,组合了优点,避免了各自的缺点。
3.2、网路传输视频太慢,场景不支持5G,遂选择代有GPU的计算盒子,场景内部署算法模型,只定时传递图像和识别结果到服务器。