RK3588 边缘 AI 视觉事件平台-vislbox
1.项目背景和目标
背景:工业视觉场景(冷库安全监测、区域入侵检测、人员行为识别)普遍依赖云端 AI
方案,存在带宽成本高、延迟大、数据隐私风险等问题。端侧 AI 推理是明确趋势,但 RK3588 等边缘平台在工程化落地时面临模型部署、硬件加速、进程管理、稳定性保障等一系列工程难题。
目标:在 RK3588 平台上,从零构建一套可交付的边缘 AI 视觉推理系统,实现摄像头采集 → 硬件解码/预处理 → NPU 推理 → 结构化事件输出 → 远程运维监控的全链路产品化闭环。
2. 软件功能
核心功能模块
多源采集:V4L2 USB 摄像头、RTSP 网络流、视频文件、
硬件加速预处理:RGA 硬件加速 resize / CSC / letterbox,释放 CPU 给推理
NPU 推理引擎:RKNN 模型加载/推理、YOLO 检测类后处理适配、INT8 量化
结构化输出:JSONL 检测结果实时输出、TCP/UDS 事件流,直接对接业务系统
进程守护:mlfw-d 守护进程管理 pipeline 生命周期,异常自动重启
远程运维:Agent + tunnel-server 构建设备心跳/诊断上报链路
3.核心业务流程
命令行启动 →camera/rtsp/视频文件流 →MPP 解码 → NV12 原始帧 → RGA resize + letterbox (640x640) → RKNN NPU 推理 → 后处理 (NMS + 坐标映射) → 检测框绘制
音视频
工业互联网