程序聚合软件案例 RK3588 边缘 AI 视觉事件平台-vislbox

RK3588 边缘 AI 视觉事件平台-vislbox

2026-07-25 22:47:14

行业：音视频、工业互联网

载体：嵌入式软件、算法模型

技术：C、C++、ONNX Runtime、OpenCV

业务和功能介绍

1.项目背景和目标
背景：工业视觉场景（冷库安全监测、区域入侵检测、人员行为识别）普遍依赖云端 AI
方案，存在带宽成本高、延迟大、数据隐私风险等问题。端侧 AI 推理是明确趋势，但 RK3588 等边缘平台在工程化落地时面临模型部署、硬件加速、进程管理、稳定性保障等一系列工程难题。
目标：在 RK3588 平台上，从零构建一套可交付的边缘 AI 视觉推理系统，实现摄像头采集 → 硬件解码/预处理 → NPU 推理 → 结构化事件输出 → 远程运维监控的全链路产品化闭环。
2. 软件功能
核心功能模块
多源采集：V4L2 USB 摄像头、RTSP 网络流、视频文件、
硬件加速预处理：RGA 硬件加速 resize / CSC / letterbox，释放 CPU 给推理
NPU 推理引擎：RKNN 模型加载/推理、YOLO 检测类后处理适配、INT8 量化
结构化输出：JSONL 检测结果实时输出、TCP/UDS 事件流，直接对接业务系统
进程守护：mlfw-d 守护进程管理 pipeline 生命周期，异常自动重启
远程运维：Agent + tunnel-server 构建设备心跳/诊断上报链路
3.核心业务流程
命令行启动 →camera/rtsp/视频文件流 →MPP 解码 → NV12 原始帧 → RGA resize + letterbox (640x640) → RKNN NPU 推理 → 后处理 (NMS + 坐标映射) → 检测框绘制

项目实现

1.整体架构思路
业务应用层:mlfw-pipeline 推理管线进程、mlfw-d 控制面进程，device设备监控插件进程以业务插件进程
C基础设施层：libclib: 池/帧/流/日志/编解码/V4L2，无外部依赖，可独立编译部署
硬件抽现层：RGA / MPP / V4L2 / DRM / RKNN RK3588 NPU + 硬件编解码器
2.负责模块与成果
本人独立完成整个项目的架构设计、核心开发和工程质量体系建设，包括：
C 基础库 (clib)：ml_pool 池分配器、ml_frame 帧生命周期、ml_stream 流式收发、ml_camera V4L2 封装、ml_log
日志系统、ml_codec RGA/MPP 硬件加速封装- C++ RAII 层 (mlcpp)：Socket / Pool / Queue / Vision 等 clib 的 C++ 安全封装
pipeline 数据面：6 stage 视觉流水线，支持 camera/RTSP/file/dryrun 四种输入源，JSONL/TCP/UDS 三种输出方式
控制面 mlfw-d：守护进程框架，子进程生命周期管理 + UDS 通信总线 + 配置管理
3.关键踩坑与解决
1. RGA stride 语义导致内核崩溃
rga_set_rect() 的 stride 参数在 mock 和真实驱动间语义不一致：mock 按字节 stride 实现，真实硬件按像素 stride解析，导致地址计算超出 buffer 范围 → 越界 → RCU stall → kernel panic
2. MPP mpp_enc_cfg_deinit 堆损坏
独立 MPP native 最小复现证明该崩是 MPP 库本身的 bug，与上层封装无关。排除法定位后，调整clib 封装层在 config 生命周期结束后才释放上下文.

示例图片视频

gan

30天前活跃

方向：嵌入式-边缘AI、人工智能-机器学习与深度学习、

交付率：100.00%

查看主页

相似推荐

面向企业的SaaS化管理

本系统采用 SaaS 多租户架构，面向多个独立企业/组织在同一平台统一部署与运营。立项背景是：传统单租户模式难以满足多客户并行接入、权限隔离、按需开通功能的需求。建设目标是：平台方统一维护租户套餐与功能边界，按套餐为各租户分配菜单、插件及账号额度；租户管理员在授权范围内独立管理本租户用户与业务；实现“一套系统、多租户隔离、按套餐差异化服务”，降低运维成本并支撑商业化订阅。 2、软件功能、核心功能模块的介绍核心模块包括：（1）租户套餐管理：配置套餐名称、状态、价格、时长、关联菜单权限、包含插件（Addon）等，数据存储于 system_tenant_package 表；（2）租户管理：维护租户名称、联系人、套餐绑定、账号额度、过期时间、绑定域名及状态，支持新增、编辑、删除、导出；（3）权限与菜单：登录后通过 get-permission-info 加载用户角色与菜单，套餐 menu_ids 决定租户超级管理员可见功能；（4）平台套餐配置（Platform）：以卡片形式管理套餐，支持推荐标签、插件关联、菜单数量展示，与系统租户模块共用套餐数据；（5）辅助能力：字典数据、租户切换、站内信未读提醒等，支撑管理端日常运营。 3、业务流程、功能路径描述业务流程如下：① 平台管理员进入「平台管理 → 套餐配置」或「系统管理 → 租户套餐」，新建并启用套餐，勾选菜单、配置插件，保存至 system_tenant_package；② 进入「系统管理 → 租户管理 → 租户列表」，点击新增，填写租户信息并选择已启用套餐（调用 /system/tenant-package/simple-list 获取下拉选项），设置账号额度与过期时间，提交后系统自动创建租户管理员账号与角色；③ 租户管理员登录后，系统按套餐 menu_ids 过滤菜单，仅展示授权功能；④ 运营中若调整套餐，编辑租户并更换套餐，超级管理员菜单同步更新；⑤ 平台方通过租户列表查看套餐绑定、插件、状态与到期情况，到期或禁用的租户无法正常使用。整体路径为：套餐定义 → 租户开通 → 权限生效 → 日常运营 → 套餐变更/到期管控。

无忧智脑-数字化智造平台

无忧智脑：新一代AI企业管理平台让中小企业用自然语言对话，自己创造软件从“数据烟囱”到“数据资产”，让数据治理自动化、生成式化，让企业用自然语言直接创造软件，完成数据归集、治理无忧智脑，开启企业管理新纪元 1、什么是无忧智脑？一个以AI为核心的企业智能操作系统用自然语言与系统对话，一切操作只需“说”出来将工业数据与管理数据统一融合，打破传统软件边界让企业拥有一个“懂你、帮你、为你思考”的智能大脑核心理念：让管理回归简单，让企业专注业务本身。 2.无忧智脑，如何让管理“无忧”？三大核心能力：一句话，办成所有事无需学习复杂的菜单和表单，直接对AI说“我要什么”，系统自动理解并执行。一张表，生成所有应用业务有变化？只需导入新的业务表单，智能体自动理解字段含义、生成业务流程，应用即刻上线。一个平台，打通所有环节销售、采购、仓储、生产、财务、设备……所有数据在同一平台流转，设备数据实时上报，业务事件自动触发，实现跨部门、跨系统的无缝协同。 3、无忧智脑，怎么帮你“无忧”？功能亮点一：自然语言交互查库存：“物料YC-TP-0001还有多少？” 建订单：“帮我新增一个订单，客户：华东商贸，产品：智能托盘，数量：500” 看报表：“上个月华东区订单完成率怎么样？” 批审批：“同意张经理的采购申请单” 无需培训，上手即用。 4、无忧智脑，怎么帮你“无忧”？功能亮点二：智能表单理解上传一张Excel表，系统自动识别业务含义智能体判断它是“订单”、“库存”还是“报表” 自动生成数据录入、查询、统计界面自动关联上下游业务，形成完整流程业务变化，只需换张表，系统瞬间适配。 5、无忧智脑，怎么帮你“无忧”？功能亮点三：统一数据底座销售订单、采购订单、生产工单……所有“单”都在一个平台物料档案、客户档案、设备档案……所有“档案”都在一个库库存数据、设备数据、财务数据……所有“数据”实时联动报表自动生成，决策有据可依告别“Excel满天飞”，让数据真正成为企业资产。 6、无忧智脑，怎么帮你“无忧”？功能亮点四：设备与业务实时联动 RFID扫描托盘 → 系统自动更新库存 → 自动生成出库单设备温度超限 → 自动创建维修工单 → 自动通知维修人员生产完工 → 自动触发入库 → 自动通知销售部门物理世界与数字世界无缝连接，企业运转如丝般顺滑。 7、无忧智脑，怎么帮你“无忧”？功能亮点五：智能编码，告别混乱输入企业名称，系统自动生成个性化编码前缀新增物料，系统自动生成规范编码，确保唯一性人员、单据、合同……所有编码统一管理让编码不再是麻烦，而是企业的统一身份标识。

业知识库问答机器人（涉密脱敏演示见样板）

曾给客户交付同类知识库问答项目，已按保密协议删除源数据，此样板为简化能力的干净复刻。功能：问答页（答案下标注防线层级、检索最高分、引用来源、召回明细）、后台（知识CRUD+可见标签权限、用户角色禁用改密、KEY阈值设置、25条越狱回归一键跑）。流程：提问→政策拦截→检索阈值→KEY门槛→LLM作答→输出校验→带引用返回，范围外秒拒，黑产意图政策层直接拦。

toc平台桌面应用-WPS

WPS 客户端账号业务 • CEF 混合架构： CEF V8 + IPC 实现 JS 调客户端账号能力，实现渲染进程-主进程-云服务进程（Thrift） • 自动化测试提效：设计 Custom URL Scheme 接口，替代 UI 自动化，提升测试稳定性 • 配置动态下发：实现合规协议弹窗的线上平台配置 + 主动拉取，解决切换账号时策略缓存延迟问题 • 鸿蒙一键登录：封装 OAuth 授权链路（ArkTS -> Native 库 -> C++ NAPI），对接系统账号体系 • 性能优化与安全加固：定位并优化账号模块冷启动阻塞点，典型场景耗时降低约 10%； • 修复业务漏洞：修复受密码保护文档区重启后绕过验证的安全问题，将加锁 / 解锁逻辑从 UI 层下沉至数据层 WPS 新平台移植与政企交付 • 平台移植：基于 Qt 完成账号业务与界面鸿蒙适配，补全平台缺失能力并持续跟进 • 政企场景定制交付：配置 CI/CD 与 OEM 定制项，支持非公网登录等政企场景交付 WPS 客户端设备管控 • 多平台设备指纹采集：统一各平台设备信息获取层，生成设备因子用于账号/文档的按设备管控 • 系统加密服务异常降级：Windows CNG 异常导致 ECDSA 密钥无法加载、登录签名失败时，设计 AES 备份通道存取密钥，保障主程序与 Electron 插件端可用 • 云桌面环境适配：虚拟化环境硬件信息缺失导致计算设备因子失败，设备管控功能失效，

智慧校园

蜂维塔·智慧校园平台是面向高校、职校及中小学的一体化数字校园解决方案，以"一码通"账户体系为核心底座，打通后勤消费、AI教学、安防管理、资产管控、生活服务五大业务域，实现"一个平台、一个账户、全场景覆盖"的校园数字化转型。五大核心业务域： ① 智慧后勤消费（一码通）融合微信/支付宝/刷脸/碰一碰/校园卡等多支付通道，覆盖食堂消费、校内超市、智能货柜、水电缴费等全场景。支持补贴精准发放、职工优惠折扣、餐券核销等个性化消费策略。提供管理平台、用户小程序、消费终端APP三端协同，高峰期单终端并发处理能力3000+。 ② AI智慧教学基于DeepSeek大模型和自研算法引擎，实现AI课堂行为分析（专注度/互动热力图）、个性化学习路径推荐（余弦相似度>0.85）、智能作业批改（准确率98.7%）、知识点关联图谱构建。配套智慧教室硬件集成（交互大屏、录播系统、学情数据采集终端）。 ③ 校园安防与态势感知多模态AI安防监控（人脸识别准确率99.5%，异常行为检测<200ms响应），校园数字孪生可视化（10万+IoT设备接入、设备故障提前3天预警），应急指挥联动、心理健康智能筛查与分级干预。支持多摄像头协同追踪和电子围栏区域管控。 ④ RFID资产全生命周期管理基于UHF RFID技术，覆盖资产入库、领用、调拨、盘点、维修、报废全流程。手持机+固定读写器+通道门+标签打印机全套硬件集成，100+标签/秒批量盘点。与一码通账户打通，员工可通过小程序自助申领/归还，所有操作留痕可追溯。 ⑤ 智慧生活服务校园外卖平台（食堂档口+周边商户，支持拼单合单、同楼聚合配送）、24小时AI智能问答（意图识别准确率92%，多轮对话>10轮）、智慧报修（图文自动识别分类派单）、招生与国际留学咨询、校园通知与消息中心统一推送。技术架构： Spring Cloud微服务 + Kubernetes容器集群 + Docker，Redis缓存 + Kafka消息队列 + MySQL读写分离，前端HTML5响应式+UniApp跨端，支持阿里云/腾讯云/华为云/AWS混合云部署，系统可用性99.99%。