OA办公系统

1.项目背景和目标 背景：工业视觉场景（冷库安全监测、区域入侵检测、人员行为识别）普遍依赖云端 AI 方案，存在带宽成本高、延迟大、数据隐私风险等问题。端侧 AI 推理是明确趋势，但 RK3588 等边缘平台在工程化落地时面临模型部署、硬件加速、进程管理、稳定性保障等一系列工程难题。 目标：在 RK3588 平台上，从零构建一套可交付的边缘 AI 视觉推理系统，实现摄像头采集 → 硬件解码/预处理 → NPU 推理 → 结构化事件输出 → 远程运维监控的全链路产品化闭环。 2. 软件功能 核心功能模块 多源采集：V4L2 USB 摄像头、RTSP 网络流、视频文件、 硬件加速预处理：RGA 硬件加速 resize / CSC / letterbox，释放 CPU 给推理 NPU 推理引擎：RKNN 模型加载/推理、YOLO 检测类后处理适配、INT8 量化 结构化输出：JSONL 检测结果实时输出、TCP/UDS 事件流，直接对接业务系统 进程守护：mlfw-d 守护进程管理 pipeline 生命周期，异常自动重启 远程运维：Agent + tunnel-server 构建设备心跳/诊断上报链路 3.核心业务流程 命令行启动 →camera/rtsp/视频文件流 →MPP 解码 → NV12 原始帧 → RGA resize + letterbox (640x640) → RKNN NPU 推理 → 后处理 (NMS + 坐标映射) → 检测框绘制

核心功能模块包括：（1）四参数实时水质监测，温度、pH、TDS、水位同步采集，采集周期5秒；（2）智能自动控制，阈值越限自动联动气泵、水泵、投食舵机，支持本地规则和远程指令双通道；（3）微信小程序远程可视管理，实时展示水质仪表盘、ECharts历史曲线、告警中心，支持远程操控；（4）AI智能问答，基于LangChain+ChromaDB+通义千问RAG引擎，提供自然语言养殖咨询和建议。 业务流程方面，数据上行链路为ESP32传感器采集后经MQTT上传至Spring Boot后端，再推送至微信小程序可视化展示；指令下行链路为小程序或Web后台发出指令，经后端校验后通过MQTT下发至ESP32执行器；阈值告警链路为传感器越限后触发本地联动加小程序推送加AI建议生成。

1.背景：工业级别生产线使用雷达扫描生产货品，得到数据后需要进行检验产线是否合格，项目需要实现获取雷达扫描数据进行分析，得到验证结果，提供预警或者决策是否调整产线。 2.串口方式接入设备实时分析测算。

业务背景： 解决传统 PCB 产线上料依赖像素模板匹配导致的大量痛点（如仅支持单一版型、换型成本高、流程易卡顿、易受强 光/复杂背景干扰导致误判 NG 等），实现高柔性、无人化的智能上料。 核心功能： 1、无模板无序识别：无需制作传统像素模板，对区域内任意角度放置、无序堆叠的电路板进行实时识别。 2、位姿计算与坐标下发：自动计算物料几何中心与旋转角度，通过工控网络将抓取坐标实时下发。 3、自动抓取与放置闭环：联动 SCARA/六轴机械臂与柔性吸盘，自动按序抓取物料、矫正倾斜角度并平稳放置至下道工序传送带。

1. 具体功能模块 整机硬件集中控制模块 统一集成电磁阀、夹具轨道直线电机、丝杆电机、主轴、PLC 各类硬件信号，开发整机统一 SDK，完成全部硬件底层驱动集成，实现机床全部件集中调度控制。 多维度精度漂移抑制模块 通过 10 轴 IMU 采集振动数据搭建微震误差模型，搭配 WHT11 温度传感器构建热形变补偿模型，基于 U-Net 网络搭建刀具磨损识别模型，从震动、温度、刀具损耗三个维度抵消加工精度偏移。 双目高精度视觉定位模块 搭载 2000 万像素双目 CCD 相机，采用改进 ResNet18 网络完成金手指追踪定位，搭配自研亚像素几何边缘查找算法，70 毫秒内锁定精准加工坐标。 自适应恒强光源控制模块 采用 PID 闭环控制环形 LED 光源，支持工控机、设备自带控制器双端调控，软硬触发模式可选，消除导轨移动、车间光照波动带来的图像像素特征丢失问题。 轴联动运动加工模块 通过 Modbus TCP 通讯传输视觉定位坐标，系统自动反算加工轴位置，补偿物料倾斜偏差，联动主轴、丝杆完成全自动切削加工。 全流程自动化闭环模块 覆盖物料上料、夹具自动定位、视觉检测、高精度加工、成品出料完整工序，实时记录精度、速度、报废数据，支持设备运行状态实时监控。 2.功能 无需人工调整夹具物料倾斜角度，系统自动完成定位补偿，省去人工校准工序，实现全流程无人加工闭环。 稳定实现 0.8μm-1.4μm 加工精度，满足高端 PCB 金手指小于 10μm 的高精度生产要求。 自动抑制刀具加工弹跳、高温热漂移、刀具磨损带来的加工误差，有效降低产品报废与返工数量。 消除机床移动、现场光照变化对视觉成像的干扰，长期生产过程中金手指图像特征完整保留，加工成品一致性稳定。 一套控制系统统筹光源、视觉、电机、主轴、PLC 全部硬件，不用搭配多套独立控制程序，设备运维操作简单。 3. 技术 整机全硬件 SDK 集成开发，多电机、主轴、电磁阀、PLC 底层驱动协议整合技术。 多传感器融合误差补偿技术，包含 10 轴 IMU 微震建模、WHT11 温度热形变补偿、U-Net 刀具磨损视觉识别。 2000 万像素双目 CCD 视觉成像技术，改进 ResNet18 目标追踪算法，自研亚像素物料边缘查找算法。 PID 恒强环形光源自适应调控技术，支持软硬双触发成像控制。 Modbus TCP 工业实时通讯技术，视觉坐标反算与多加工轴联动运动控制技术。 4. 优势 加工精度稳定维持在 0.8μm-1.4μm，远超客户 10μm 的精度标准，适配高端 PCB 精加工生产需求。 产品废品率降低 32%，有效减少原材料损耗与返工工时。 产线整体加工速度提升 60%，单位时间产出量大幅提高。 完全取消人工调机、校准工位，实现全自动无人化连续生产。 自适应光源系统解决光照变化干扰，视觉成像长期稳定，设备故障率更低