业务和功能介绍
一、 立项背景与目标
在智能化矿山掘进作业中，对掘锚机的实时、高精度位姿感知是实现自动导航与安全作业的核心前提。传统方案依赖单一定位技术，存在精度低、可靠性差、环境适应性弱的问题。本项目旨在构建一套集成了机器视觉、激光定位与多源传感器的高精度实时感知系统，核心目标包括：
实现亚像素级高精度感知：通过轻量化视觉模型与激光光斑分析，为位姿解算提供高精度输入。
完成六自由度位姿精准解算：融合视觉、惯性导航等多源信息，实现厘米级定位与亚度级姿态测量。
构建可扩展的监控平台：开发插件化上位机系统，灵活集成UWB、SLAM、环视相机等多种传感器，实现掘锚机状态的可视化实时监控。
二、 软件功能与核心模块
系统由下位机智能感知系统与上位机多源融合平台两大部分构成：
下位机智能感知系统：
功能：负责靶标视觉识别、激光光斑定位与六自由度位姿解算。
核心模块：
轻量化视觉识别模块：基于C++部署的YOLOv5模型，实时识别特定靶标。
激光特征提取模块：采用OpenCV的Blob分析，通过自适应阈值与形态学处理，实现光斑质心亚像素级定位（误差<0.1px）。
位姿解算模块：核心为EPnP算法，融合IMU数据构建优化模型，输出高精度位姿（俯仰/横滚角误差<0.5°，横向精度±2cm）。
上位机多源融合平台：
功能：集成并融合多传感器数据，进行实时可视化展示与监控。
核心模块：
多源数据融合引擎：基于卡尔曼滤波，实时融合UWB（±5cm）、LOAM-SLAM（20Hz）、超声波、360°环视RTSP流、IMU等数据。
Qt插件化框架：基于Qt Plugin机制开发，定义了统一的Google Protobuf数据通信协议与插件管理接口。
设备插件集：包括UWB定位插件、SLAM建图插件、超声波雷达插件、视频流处理插件等，支持热插拔。
三、 业务流程与功能路径描述
下位机高精度位姿解算流程：
图像采集与识别：工业相机捕获现场图像，轻量化视觉识别模块（YOLOv5） 实时检测并框出靶标。
激光光斑定位：激光器投射光斑至靶标，激光特征提取模块对图像进行Blob分析，计算出光斑的亚像素级精确质心坐标。
多源数据融合解算：将靶标框、光斑质心坐标与惯性导航模块（IMU） 的实时角度、加速度数据一同输入位姿解算模块（EPnP）。该模块通过求解欧拉角-平移矩阵联合优化模型，最终输出掘锚机相对于目标的六自由度位姿（包括三维位置与三维姿态角）。
上位机综合监控与数据融合流程：
插件化数据接入：各类传感器（UWB基站、SLAM激光雷达、超声波传感器、环视相机）通过对应的设备插件接入系统。插件将原始数据统一封装为Protobuf格式报文。
中心化数据融合：多源数据融合引擎接收来自各插件的标准报文，以下位机解算的高精度位姿为重要观测值，结合UWB绝对位置、
在智能化矿山掘进作业中，对掘锚机的实时、高精度位姿感知是实现自动导航与安全作业的核心前提。传统方案依赖单一定位技术，存在精度低、可靠性差、环境适应性弱的问题。本项目旨在构建一套集成了机器视觉、激光定位与多源传感器的高精度实时感知系统，核心目标包括：
实现亚像素级高精度感知：通过轻量化视觉模型与激光光斑分析，为位姿解算提供高精度输入。
完成六自由度位姿精准解算：融合视觉、惯性导航等多源信息，实现厘米级定位与亚度级姿态测量。
构建可扩展的监控平台：开发插件化上位机系统，灵活集成UWB、SLAM、环视相机等多种传感器，实现掘锚机状态的可视化实时监控。
二、 软件功能与核心模块
系统由下位机智能感知系统与上位机多源融合平台两大部分构成：
下位机智能感知系统：
功能：负责靶标视觉识别、激光光斑定位与六自由度位姿解算。
核心模块：
轻量化视觉识别模块：基于C++部署的YOLOv5模型，实时识别特定靶标。
激光特征提取模块：采用OpenCV的Blob分析，通过自适应阈值与形态学处理，实现光斑质心亚像素级定位（误差<0.1px）。
位姿解算模块：核心为EPnP算法，融合IMU数据构建优化模型，输出高精度位姿（俯仰/横滚角误差<0.5°，横向精度±2cm）。
上位机多源融合平台：
功能：集成并融合多传感器数据，进行实时可视化展示与监控。
核心模块：
多源数据融合引擎：基于卡尔曼滤波，实时融合UWB（±5cm）、LOAM-SLAM（20Hz）、超声波、360°环视RTSP流、IMU等数据。
Qt插件化框架：基于Qt Plugin机制开发，定义了统一的Google Protobuf数据通信协议与插件管理接口。
设备插件集：包括UWB定位插件、SLAM建图插件、超声波雷达插件、视频流处理插件等，支持热插拔。
三、 业务流程与功能路径描述
下位机高精度位姿解算流程：
图像采集与识别：工业相机捕获现场图像，轻量化视觉识别模块（YOLOv5） 实时检测并框出靶标。
激光光斑定位：激光器投射光斑至靶标，激光特征提取模块对图像进行Blob分析，计算出光斑的亚像素级精确质心坐标。
多源数据融合解算：将靶标框、光斑质心坐标与惯性导航模块（IMU） 的实时角度、加速度数据一同输入位姿解算模块（EPnP）。该模块通过求解欧拉角-平移矩阵联合优化模型，最终输出掘锚机相对于目标的六自由度位姿（包括三维位置与三维姿态角）。
上位机综合监控与数据融合流程：
插件化数据接入：各类传感器（UWB基站、SLAM激光雷达、超声波传感器、环视相机）通过对应的设备插件接入系统。插件将原始数据统一封装为Protobuf格式报文。
中心化数据融合：多源数据融合引擎接收来自各插件的标准报文，以下位机解算的高精度位姿为重要观测值，结合UWB绝对位置、
项目实现
1. 整体架构与设计思路
系统采用“感知-解算-融合”分层架构，分为下位机智能感知单元与上位机融合监控平台。设计核心是插件化与协议标准化：上位机通过Qt插件框架动态集成多源传感器，并使用Protobuf统一数据格式；下位机专注高精度视觉与激光感知，通过EPnP等算法输出精密位姿。二者协同，实现从亚像素特征提取到全局融合监控的完整闭环。
关键技术栈：
• 上位机（融合平台）：Qt 5（C++）框架与Plugin模块、Google Protobuf协议、卡尔曼滤波、OpenCV/OpenGL。
• 下位机（感知单元）：YOLOv5（目标检测）、OpenCV（Blob分析、亚像素定位）、EPnP（位姿解算）、C++/嵌入式Linux。
• 数据与通信：自定义TCP/UDP协议、各传感器（UWB、SLAM、超声波、IMU、RTSP流）专用驱动。
2. 我负责的模块与成果
我主导了核心算法的工程化落地与系统框架开发：
• 下位机高精度感知算法实现：将YOLOv5模型部署至嵌入式平台，实现靶标实时识别；基于OpenCV开发激光光斑提取算法，通过自适应阈值与形态学处理达成亚像素级定位（误差<0.1px）；融合EPnP与IMU数据构建优化模型，实现六自由度位姿解算（横向精度±2cm，姿态角误差<0.5°）。
• 上位机插件化融合平台开发：基于Qt Plugin设计并实现插件化架构，定义统一设备接口与Protobuf通信协议，支持UWB、LOAM-SLAM、超声波等传感器热插拔，大幅降低系统耦合度与新设备接入成本；集成多源数据并通过卡尔曼滤波实现掘锚机姿态的实时融合与可视化监控。
系统采用“感知-解算-融合”分层架构，分为下位机智能感知单元与上位机融合监控平台。设计核心是插件化与协议标准化：上位机通过Qt插件框架动态集成多源传感器，并使用Protobuf统一数据格式；下位机专注高精度视觉与激光感知，通过EPnP等算法输出精密位姿。二者协同，实现从亚像素特征提取到全局融合监控的完整闭环。
关键技术栈：
• 上位机（融合平台）：Qt 5（C++）框架与Plugin模块、Google Protobuf协议、卡尔曼滤波、OpenCV/OpenGL。
• 下位机（感知单元）：YOLOv5（目标检测）、OpenCV（Blob分析、亚像素定位）、EPnP（位姿解算）、C++/嵌入式Linux。
• 数据与通信：自定义TCP/UDP协议、各传感器（UWB、SLAM、超声波、IMU、RTSP流）专用驱动。
2. 我负责的模块与成果
我主导了核心算法的工程化落地与系统框架开发：
• 下位机高精度感知算法实现：将YOLOv5模型部署至嵌入式平台，实现靶标实时识别；基于OpenCV开发激光光斑提取算法，通过自适应阈值与形态学处理达成亚像素级定位（误差<0.1px）；融合EPnP与IMU数据构建优化模型，实现六自由度位姿解算（横向精度±2cm，姿态角误差<0.5°）。
• 上位机插件化融合平台开发：基于Qt Plugin设计并实现插件化架构，定义统一设备接口与Protobuf通信协议，支持UWB、LOAM-SLAM、超声波等传感器热插拔，大幅降低系统耦合度与新设备接入成本；集成多源数据并通过卡尔曼滤波实现掘锚机姿态的实时融合与可视化监控。
示例图片视频
相似推荐
Tiktok多店铺自动运维工具
一、行业场景
1.1 行业背景
当前TikTok电商生态高速发展，“一商卖全球”模式普及，跨境POP商家、品牌集团及MCN机构普遍布局美区、英国、东南亚等多市场多店铺矩阵，部分商家运营数百至上千个店铺。但店铺数量激增后，传统人工运维弊端凸显，同时平台风控升级，禁止同一设备/IP登录多店铺等违规行为，人工运维难度陡增，基于指纹浏览器二次开发的多店铺自动化运维工具，成为商家核心需求。
1.2 核心痛点
一是人员成本高，数百个店铺需组建专职运维团队，人力成本居高不下，中小商家难以承受；二是效率低下，上新、活动发布等重复操作耗时久、易出错，无法保证操作一致性；三是异常响应滞后，人工无法24小时监控店铺违规、流量、订单等异常，易导致店铺限权、封号；四是数据统计繁琐，手动汇总数据周期长、误差大，无法快速支撑决策；五是合规风险突出，人工操作易触发平台关联检测，导致账号封禁。
1.3 目标场景
本工具针对运营数百个及以上TikTok店铺的商家，涵盖跨境卖家、品牌自运营商家、MCN代运营机构，核心应用于五大场景：日常运维自动化巡检监控，降低重复劳动；新品批量上架，同步信息并规避雷同违规；活动集中发布，快速配置并监控大促及日常活动；数据实时汇总，自动采集数据支撑决策；合规风控，规避违规与账号关联风险。
二、功能介绍
本工具基于指纹浏览器二次开发，深度适配TikTok店铺后台，模拟人工店长操作，核心实现“异常监控、批量运维、数据统计、合规保障”四大功能，覆盖全运维流程，支持自定义配置，可在不同服务器运行指定功能或店铺。
2.1 基础功能：店铺集中管理
支持一次性绑定百个及以上店铺，与指纹浏览器联动，为每个店铺分配独立指纹环境，实现“一机一店”隔离，规避关联风险；支持按市场、品类等分组管理，同时自动维护指纹环境，检测IP稳定性、更新浏览器配置、备份清理Cookie，无需人工操作。
2.2 核心功能1：店铺异常自动监控
实现24小时无人值守监控，贴合平台风控规则，支持自定义监控频率与预警阈值，实时监控店铺登录状态，第一时间预警异常，降低违规损失。
2.3 核心功能2：批量自动化运维
新品批量自动上架：提前上传新品素材与合规文件，自定义上架时间和目标店铺，工具自动完成全流程操作，确保新品内容30%以上差异化，同时监控审核状态，失败自动推送修改提示。活动批量自动发布：适配各类促销活动，自定义活动规则，自动完成所有店铺活动创建、配置与终止，可手动调整规则，避免库存积压。
2.4 核心功能3：运营数据推送
自动采集各店铺核心运营数据，包括近一周销售情况、待办、评分、流量分布、消息数及当日操作量，无需人工抄录，为运营决策提供精准支撑，适配中小商家需求。
2.5 辅助功能
留存所有操作及异常日志，保存期30天，便于问题排查、合规审计与责任追溯。
赛马预测
1.基于香港赛马会官方赛事体系，开发一站式专业分析 APP，为用户提供赛事数据查询、马匹分析与结果预测服务。
2.通过定向爬虫技术，实时采集香港赛马会最新赛期数据、历史赛事记录、马匹信息及相关统计数据，并完成数据清洗、结构化存储与标准化处理。
3.依托历史数据构建分析模型，实现对参赛马匹的综合评分、状态评估与赛事趋势预测，为用户提供参考依据。
4.搭建完整会员体系与订阅制付费功能，支持不同等级会员权限管理，提供差异化的数据查看、分析报告与预测结果服务。
5.后台配置定时任务调度机制，每日大陆时间零点自动启动数据爬取与校验流程，存在最新赛事数据则完成更新与入库，无数据则自动退出循环，保证数据时效性与系统运行稳定性。
教育- 学校迎新服务系统
解决新生入校的各样问题。
学生在线注册、报名、缴费、领取物品、入住宿舍；
教师入校审核、分配分班、定制收费、分配物资、分配宿舍等；
学生端：注册、报名专业、缴费、查看录取通知书及班主任联系方式。
教师端：审核、自动及人工分班、自动及人工分宿舍、入校自动或人工确认、收缴自定义学杂费、根据收费系统管理学生缴费后的物品出入库分配。
管理员端：自定义入校流程及前后顺序、学生信息全流程加密。
公司国产化升级改造-智能文件柜系统
一、立项背景和目标:
为顺应国家国产化发展，公司智能柜系统需做国产化升级改造，使系统可以运行在基于龙芯，飞腾，海光的麒麟、统信、方德操作系统上
二、智能柜核心功能模块介绍:
硬件由自助操作平台和智能柜组成
功能包括:
1、自助操作平台认证
2、到件查询，选择取件并打印凭证
3、文件登记与投件
三、业务流程、功能路径描述
投件流程:
1、用户在自助操作平台，登记文件信息，选择投递部门或人员，并生成印有二维码的rfid
标签，贴在文件上。
2、在智能柜扫描以上生成的条码，系统根据登记的部门或人员，打开智能柜分控的投递口，用户投入文件，系统通过投递口的红外检测装置检测文件是否正确投入，并再用rfid进行盘存，已保证文件被正确投入箱格，并记录投入信息
3、系统连接短信发送系统给客户发送提示信息。
取件流程:
1、客户在自助操作平台凭借取件卡或人脸识别或者指静脉方式进行认证识别用户，系统根据用户查询其所属箱格中投入的文件并用列表展示。
2、用户可选择取件，智能箱弹开箱门，用户取件后关闭箱门后，系统根据文件标签上的rfid信息判断文件是否被取走，然后在系统中标记文件被取走
视觉训练系统-铂视保
铂视保是针对青少年儿童眼健康打造的数字化视觉训练平台，旨在通过数字化手段解决传统视功能训练依赖人工、效率低下的痛点。系统支持线上视功能检查、个性化训练方案定制及全程数字化追踪，涵盖视觉刺激、视觉精细、同时视脱抑制、调节灵敏度、聚散灵活度、立体视等分项训练模块。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服