RK3588 边缘 AI 视觉事件平台-vislbox
2026-07-25 22:47:14
行业：音视频、工业互联网
载体：嵌入式软件、算法模型
技术：C、C++、ONNX Runtime、OpenCV
业务和功能介绍
1.项目背景和目标
背景：工业视觉场景（冷库安全监测、区域入侵检测、人员行为识别）普遍依赖云端 AI
方案，存在带宽成本高、延迟大、数据隐私风险等问题。端侧 AI 推理是明确趋势，但 RK3588 等边缘平台在工程化落地时面临模型部署、硬件加速、进程管理、稳定性保障等一系列工程难题。
目标：在 RK3588 平台上，从零构建一套可交付的边缘 AI 视觉推理系统，实现摄像头采集 → 硬件解码/预处理 → NPU 推理 → 结构化事件输出 → 远程运维监控的全链路产品化闭环。
2. 软件功能
核心功能模块
多源采集：V4L2 USB 摄像头、RTSP 网络流、视频文件、
硬件加速预处理：RGA 硬件加速 resize / CSC / letterbox，释放 CPU 给推理
NPU 推理引擎：RKNN 模型加载/推理、YOLO 检测类后处理适配、INT8 量化
结构化输出：JSONL 检测结果实时输出、TCP/UDS 事件流，直接对接业务系统
进程守护：mlfw-d 守护进程管理 pipeline 生命周期，异常自动重启
远程运维：Agent + tunnel-server 构建设备心跳/诊断上报链路
3.核心业务流程
命令行启动 →camera/rtsp/视频文件流 →MPP 解码 → NV12 原始帧 → RGA resize + letterbox (640x640) → RKNN NPU 推理 → 后处理 (NMS + 坐标映射) → 检测框绘制
背景：工业视觉场景（冷库安全监测、区域入侵检测、人员行为识别）普遍依赖云端 AI
方案，存在带宽成本高、延迟大、数据隐私风险等问题。端侧 AI 推理是明确趋势，但 RK3588 等边缘平台在工程化落地时面临模型部署、硬件加速、进程管理、稳定性保障等一系列工程难题。
目标：在 RK3588 平台上，从零构建一套可交付的边缘 AI 视觉推理系统，实现摄像头采集 → 硬件解码/预处理 → NPU 推理 → 结构化事件输出 → 远程运维监控的全链路产品化闭环。
2. 软件功能
核心功能模块
多源采集：V4L2 USB 摄像头、RTSP 网络流、视频文件、
硬件加速预处理：RGA 硬件加速 resize / CSC / letterbox，释放 CPU 给推理
NPU 推理引擎：RKNN 模型加载/推理、YOLO 检测类后处理适配、INT8 量化
结构化输出：JSONL 检测结果实时输出、TCP/UDS 事件流，直接对接业务系统
进程守护：mlfw-d 守护进程管理 pipeline 生命周期，异常自动重启
远程运维：Agent + tunnel-server 构建设备心跳/诊断上报链路
3.核心业务流程
命令行启动 →camera/rtsp/视频文件流 →MPP 解码 → NV12 原始帧 → RGA resize + letterbox (640x640) → RKNN NPU 推理 → 后处理 (NMS + 坐标映射) → 检测框绘制
项目实现
1.整体架构思路
业务应用层:mlfw-pipeline 推理管线进程、mlfw-d 控制面进程，device设备监控插件进程以业务插件进程
C基础设施层：libclib: 池/帧/流/日志/编解码/V4L2，无外部依赖，可独立编译部署
硬件抽现层：RGA / MPP / V4L2 / DRM / RKNN RK3588 NPU + 硬件编解码器
2.负责模块与成果
本人独立完成整个项目的架构设计、核心开发和工程质量体系建设，包括：
C 基础库 (clib)：ml_pool 池分配器、ml_frame 帧生命周期、ml_stream 流式收发、ml_camera V4L2 封装、ml_log
日志系统、ml_codec RGA/MPP 硬件加速封装- C++ RAII 层 (mlcpp)：Socket / Pool / Queue / Vision 等 clib 的 C++ 安全封装
pipeline 数据面：6 stage 视觉流水线，支持 camera/RTSP/file/dryrun 四种输入源，JSONL/TCP/UDS 三种输出方式
控制面 mlfw-d：守护进程框架，子进程生命周期管理 + UDS 通信总线 + 配置管理
3.关键踩坑与解决
1. RGA stride 语义导致内核崩溃
rga_set_rect() 的 stride 参数在 mock 和真实驱动间语义不一致：mock 按字节 stride 实现，真实硬件按像素 stride解析，导致地址计算超出 buffer 范围 → 越界 → RCU stall → kernel panic
2. MPP mpp_enc_cfg_deinit 堆损坏
独立 MPP native 最小复现证明该崩是 MPP 库本身的 bug，与上层封装无关。排除法定位后，调整clib 封装层在 config 生命周期结束后才释放上下文.
业务应用层:mlfw-pipeline 推理管线进程、mlfw-d 控制面进程，device设备监控插件进程以业务插件进程
C基础设施层：libclib: 池/帧/流/日志/编解码/V4L2，无外部依赖，可独立编译部署
硬件抽现层：RGA / MPP / V4L2 / DRM / RKNN RK3588 NPU + 硬件编解码器
2.负责模块与成果
本人独立完成整个项目的架构设计、核心开发和工程质量体系建设，包括：
C 基础库 (clib)：ml_pool 池分配器、ml_frame 帧生命周期、ml_stream 流式收发、ml_camera V4L2 封装、ml_log
日志系统、ml_codec RGA/MPP 硬件加速封装- C++ RAII 层 (mlcpp)：Socket / Pool / Queue / Vision 等 clib 的 C++ 安全封装
pipeline 数据面：6 stage 视觉流水线，支持 camera/RTSP/file/dryrun 四种输入源，JSONL/TCP/UDS 三种输出方式
控制面 mlfw-d：守护进程框架，子进程生命周期管理 + UDS 通信总线 + 配置管理
3.关键踩坑与解决
1. RGA stride 语义导致内核崩溃
rga_set_rect() 的 stride 参数在 mock 和真实驱动间语义不一致：mock 按字节 stride 实现，真实硬件按像素 stride解析，导致地址计算超出 buffer 范围 → 越界 → RCU stall → kernel panic
2. MPP mpp_enc_cfg_deinit 堆损坏
独立 MPP native 最小复现证明该崩是 MPP 库本身的 bug，与上层封装无关。排除法定位后，调整clib 封装层在 config 生命周期结束后才释放上下文.
示例图片视频
相似推荐
企业级 AI 差旅管理 SaaS-甄享差旅中控台
本项目面向中小企业差旅管理场景，解决申请信息分散、差标依赖人工判断、审批链路不透明、航变异常跟进困难、费用与凭证难以闭环等问题。系统以“差旅申请—差标校验—多级审批—异常协同—费用对账—审计归档”为主流程，形成员工、审批人、财务和企业管理员共同使用的一体化工作台。
核心功能包括：通过自然语言多轮对话创建差旅申请，智能体自动提取出发地、目的地、日期、预算和出差事由，并保留原文证据、字段置信度和缺失项追问；企业制度知识库与 Java 确定性规则共同完成预算及差标检查；支持按部门和金额配置一至两级审批；对延误、取消、酒店异常等事件进行负责人、SLA、费用影响和处置方案管理；归档费用与电子凭证，识别重复票据及预订差异，财务复核后生成结算批次。
系统同时提供统一待办、我的差旅、经营分析、预算管理、成员与权限、制度版本、AI 质量评测、调用日志和连续哈希审计等管理能力。所有 AI 结果均需人工确认，系统不会自动付款、审批、预订或执行退改签，适合作为企业差旅数字化和 AI 辅助决策的试点产品。
ocr文字识别
1、功能模块：图片上传识别模块、文本编辑导出模块、历史记录存储模块、本地数据库管理模块、程序打包部署模块五大核心模块。
2、功能描述：支持单张 / 批量图片上传，离线完成图片文字识别，识别内容在线预览、修改、复制；识别记录自动存入本地 H2 数据库，支持检索、删除、导出 TXT 文档；项目可打包为独立 exe 程序，无需联网、无需额外配置环境，适配 Windows 本地离线使用，保障用户图片与文字数据不外流。
客户Oracle 数据库日间多次发生全局 Hang，全部业务会话阻塞，交易中断，严重影响业务连续性。-oracle
1. 服务器磁盘IO使用率长期100%，IO等待队列堆积严重，硬件IO资源瓶颈凸显；
2. 业务访问响应延迟大幅升高，高频查询、报表统计、数据同步任务运行超时；
3. 数据库会话堆积，大量任务处于IO等待状态，整体服务吞吐能力大幅下降。
文件资产智能扫描与统计工具（AI辅助全流程开发）-AI-driven File Scanner CLI Tool
立项背景：
中小企业及自由职业者在日常运营中常需快速了解本地文件资产分布情况（如设计稿、合同文档、代码等）。传统手动统计耗时易错，且无法及时响应管理层的即时数据需求。本项目旨在开发一款无需安装、零外部依赖的命令行工具，解决这一痛点。
核心功能模块：
1. 路径输入解析：接收任意文件夹路径，支持绝对路径和相对路径
2. 递归文件扫描：深度遍历所有子目录，不遗漏任何文件
3. 按扩展名分类统计：自动识别文件后缀并分组计数，无扩展名文件归类为"(无扩展名)"
4. 报告生成：输出结构化TXT报告，包含各类型数量、总文件数、统计时间，按数量降序排列
5. 参数自定义：支持指定输出文件名、排除特定目录（如node_modules、.git等）
业务流程：
用户在终端执行命令并传入文件夹路径 → 程序解析参数并验证路径有效性 → 递归遍历目录树，按扩展名分组统计 → 按数量降序排列结果 → 生成格式化报告写入指定路径 → 终端输出统计摘要。
该项目完整演示了从需求分析到工具交付的AI辅助全流程开发模式。
测绘监测平台
实时监测不同项目管理业务场景下的设备信息，然后汇总到平台进行数据分析和预警。
核心功能有传感器监测、网络设备监测，坡面监测、隐患点监测、全站仪监测、水库监测等，可以在不同场景下进行项目管理工作。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服