业务和功能介绍
一、 立项背景与目标
在智能化矿山掘进作业中，对掘锚机的实时、高精度位姿感知是实现自动导航与安全作业的核心前提。传统方案依赖单一定位技术，存在精度低、可靠性差、环境适应性弱的问题。本项目旨在构建一套集成了机器视觉、激光定位与多源传感器的高精度实时感知系统，核心目标包括：
实现亚像素级高精度感知：通过轻量化视觉模型与激光光斑分析，为位姿解算提供高精度输入。
完成六自由度位姿精准解算：融合视觉、惯性导航等多源信息，实现厘米级定位与亚度级姿态测量。
构建可扩展的监控平台：开发插件化上位机系统，灵活集成UWB、SLAM、环视相机等多种传感器，实现掘锚机状态的可视化实时监控。
二、 软件功能与核心模块
系统由下位机智能感知系统与上位机多源融合平台两大部分构成：
下位机智能感知系统：
功能：负责靶标视觉识别、激光光斑定位与六自由度位姿解算。
核心模块：
轻量化视觉识别模块：基于C++部署的YOLOv5模型，实时识别特定靶标。
激光特征提取模块：采用OpenCV的Blob分析，通过自适应阈值与形态学处理，实现光斑质心亚像素级定位（误差<0.1px）。
位姿解算模块：核心为EPnP算法，融合IMU数据构建优化模型，输出高精度位姿（俯仰/横滚角误差<0.5°，横向精度±2cm）。
上位机多源融合平台：
功能：集成并融合多传感器数据，进行实时可视化展示与监控。
核心模块：
多源数据融合引擎：基于卡尔曼滤波，实时融合UWB（±5cm）、LOAM-SLAM（20Hz）、超声波、360°环视RTSP流、IMU等数据。
Qt插件化框架：基于Qt Plugin机制开发，定义了统一的Google Protobuf数据通信协议与插件管理接口。
设备插件集：包括UWB定位插件、SLAM建图插件、超声波雷达插件、视频流处理插件等，支持热插拔。
三、 业务流程与功能路径描述
下位机高精度位姿解算流程：
图像采集与识别：工业相机捕获现场图像，轻量化视觉识别模块（YOLOv5） 实时检测并框出靶标。
激光光斑定位：激光器投射光斑至靶标，激光特征提取模块对图像进行Blob分析，计算出光斑的亚像素级精确质心坐标。
多源数据融合解算：将靶标框、光斑质心坐标与惯性导航模块（IMU） 的实时角度、加速度数据一同输入位姿解算模块（EPnP）。该模块通过求解欧拉角-平移矩阵联合优化模型，最终输出掘锚机相对于目标的六自由度位姿（包括三维位置与三维姿态角）。
上位机综合监控与数据融合流程：
插件化数据接入：各类传感器（UWB基站、SLAM激光雷达、超声波传感器、环视相机）通过对应的设备插件接入系统。插件将原始数据统一封装为Protobuf格式报文。
中心化数据融合：多源数据融合引擎接收来自各插件的标准报文，以下位机解算的高精度位姿为重要观测值，结合UWB绝对位置、
在智能化矿山掘进作业中，对掘锚机的实时、高精度位姿感知是实现自动导航与安全作业的核心前提。传统方案依赖单一定位技术，存在精度低、可靠性差、环境适应性弱的问题。本项目旨在构建一套集成了机器视觉、激光定位与多源传感器的高精度实时感知系统，核心目标包括：
实现亚像素级高精度感知：通过轻量化视觉模型与激光光斑分析，为位姿解算提供高精度输入。
完成六自由度位姿精准解算：融合视觉、惯性导航等多源信息，实现厘米级定位与亚度级姿态测量。
构建可扩展的监控平台：开发插件化上位机系统，灵活集成UWB、SLAM、环视相机等多种传感器，实现掘锚机状态的可视化实时监控。
二、 软件功能与核心模块
系统由下位机智能感知系统与上位机多源融合平台两大部分构成：
下位机智能感知系统：
功能：负责靶标视觉识别、激光光斑定位与六自由度位姿解算。
核心模块：
轻量化视觉识别模块：基于C++部署的YOLOv5模型，实时识别特定靶标。
激光特征提取模块：采用OpenCV的Blob分析，通过自适应阈值与形态学处理，实现光斑质心亚像素级定位（误差<0.1px）。
位姿解算模块：核心为EPnP算法，融合IMU数据构建优化模型，输出高精度位姿（俯仰/横滚角误差<0.5°，横向精度±2cm）。
上位机多源融合平台：
功能：集成并融合多传感器数据，进行实时可视化展示与监控。
核心模块：
多源数据融合引擎：基于卡尔曼滤波，实时融合UWB（±5cm）、LOAM-SLAM（20Hz）、超声波、360°环视RTSP流、IMU等数据。
Qt插件化框架：基于Qt Plugin机制开发，定义了统一的Google Protobuf数据通信协议与插件管理接口。
设备插件集：包括UWB定位插件、SLAM建图插件、超声波雷达插件、视频流处理插件等，支持热插拔。
三、 业务流程与功能路径描述
下位机高精度位姿解算流程：
图像采集与识别：工业相机捕获现场图像，轻量化视觉识别模块（YOLOv5） 实时检测并框出靶标。
激光光斑定位：激光器投射光斑至靶标，激光特征提取模块对图像进行Blob分析，计算出光斑的亚像素级精确质心坐标。
多源数据融合解算：将靶标框、光斑质心坐标与惯性导航模块（IMU） 的实时角度、加速度数据一同输入位姿解算模块（EPnP）。该模块通过求解欧拉角-平移矩阵联合优化模型，最终输出掘锚机相对于目标的六自由度位姿（包括三维位置与三维姿态角）。
上位机综合监控与数据融合流程：
插件化数据接入：各类传感器（UWB基站、SLAM激光雷达、超声波传感器、环视相机）通过对应的设备插件接入系统。插件将原始数据统一封装为Protobuf格式报文。
中心化数据融合：多源数据融合引擎接收来自各插件的标准报文，以下位机解算的高精度位姿为重要观测值，结合UWB绝对位置、
项目实现
1. 整体架构与设计思路
系统采用“感知-解算-融合”分层架构，分为下位机智能感知单元与上位机融合监控平台。设计核心是插件化与协议标准化：上位机通过Qt插件框架动态集成多源传感器，并使用Protobuf统一数据格式；下位机专注高精度视觉与激光感知，通过EPnP等算法输出精密位姿。二者协同，实现从亚像素特征提取到全局融合监控的完整闭环。
关键技术栈：
• 上位机（融合平台）：Qt 5（C++）框架与Plugin模块、Google Protobuf协议、卡尔曼滤波、OpenCV/OpenGL。
• 下位机（感知单元）：YOLOv5（目标检测）、OpenCV（Blob分析、亚像素定位）、EPnP（位姿解算）、C++/嵌入式Linux。
• 数据与通信：自定义TCP/UDP协议、各传感器（UWB、SLAM、超声波、IMU、RTSP流）专用驱动。
2. 我负责的模块与成果
我主导了核心算法的工程化落地与系统框架开发：
• 下位机高精度感知算法实现：将YOLOv5模型部署至嵌入式平台，实现靶标实时识别；基于OpenCV开发激光光斑提取算法，通过自适应阈值与形态学处理达成亚像素级定位（误差<0.1px）；融合EPnP与IMU数据构建优化模型，实现六自由度位姿解算（横向精度±2cm，姿态角误差<0.5°）。
• 上位机插件化融合平台开发：基于Qt Plugin设计并实现插件化架构，定义统一设备接口与Protobuf通信协议，支持UWB、LOAM-SLAM、超声波等传感器热插拔，大幅降低系统耦合度与新设备接入成本；集成多源数据并通过卡尔曼滤波实现掘锚机姿态的实时融合与可视化监控。
系统采用“感知-解算-融合”分层架构，分为下位机智能感知单元与上位机融合监控平台。设计核心是插件化与协议标准化：上位机通过Qt插件框架动态集成多源传感器，并使用Protobuf统一数据格式；下位机专注高精度视觉与激光感知，通过EPnP等算法输出精密位姿。二者协同，实现从亚像素特征提取到全局融合监控的完整闭环。
关键技术栈：
• 上位机（融合平台）：Qt 5（C++）框架与Plugin模块、Google Protobuf协议、卡尔曼滤波、OpenCV/OpenGL。
• 下位机（感知单元）：YOLOv5（目标检测）、OpenCV（Blob分析、亚像素定位）、EPnP（位姿解算）、C++/嵌入式Linux。
• 数据与通信：自定义TCP/UDP协议、各传感器（UWB、SLAM、超声波、IMU、RTSP流）专用驱动。
2. 我负责的模块与成果
我主导了核心算法的工程化落地与系统框架开发：
• 下位机高精度感知算法实现：将YOLOv5模型部署至嵌入式平台，实现靶标实时识别；基于OpenCV开发激光光斑提取算法，通过自适应阈值与形态学处理达成亚像素级定位（误差<0.1px）；融合EPnP与IMU数据构建优化模型，实现六自由度位姿解算（横向精度±2cm，姿态角误差<0.5°）。
• 上位机插件化融合平台开发：基于Qt Plugin设计并实现插件化架构，定义统一设备接口与Protobuf通信协议，支持UWB、LOAM-SLAM、超声波等传感器热插拔，大幅降低系统耦合度与新设备接入成本；集成多源数据并通过卡尔曼滤波实现掘锚机姿态的实时融合与可视化监控。
示例图片视频
相似推荐
3D异质键合,硅光集成,铌酸锂光子,14nm制程-3D光子算力芯片
当前国内高端AI算力芯片依赖海外产品，存在技术封锁、功耗高、带宽不足等难题。本项目同步完成2.5D算力芯片与四层硅-铌酸锂堆叠3D垂直异质集成光子算力芯片两套架构研发，依托硬件开发、人工智能技术，采用VHDL/Verilog硬件描述语言、C/C++完成芯片逻辑与控制程序开发。2.5D架构衍生多款行业专用芯片，无人驾驶汽车芯片采用5nm工艺，机车、人形机器人、无人机算力芯片采用14nm工艺；3D光子算力芯片基于14nm打造，预留5nm迭代方案，通过3D异质键合、硅光集成工艺，以光子运算替代传统电路计算，大幅提升算力带宽、降低运行功耗，面向自动驾驶、轨道交通、人形机器人、工业无人机及大模型算力集群场景，实现国产多规格算力硬件自主可控，突破海外芯片技术壁垒。
智慧社区小程序
本项目聚焦基层社区治理数字化、便民服务智能化升级需求，针对传统社区服务渠道单一、治理数据分散、工作效率偏低、居民办事不便等行业痛点，立项搭建一体化智慧社区综合服务系统。项目核心目标是打通社区居民、工作人员与社区管理的数据壁垒和服务壁垒，整合各类社区服务与治理资源，构建便民化、高效化、数据化的社区服务治理体系，既切实提升居民生活服务与政务办事体验，也赋能社区工作人员高效开展日常管理工作，同时通过大数据可视化实现社区治理态势全域感知、精准研判、科学决策。
系统整体架构分为移动服务小程序端、后台管理端、大数据可视化平台三大核心功能模块，各模块分工明确、协同联动。其中移动服务端依托微信小程序搭建，面向广大居民提供全场景社区服务，涵盖党建文章、政策法规、社区风采展示等资讯阅览功能，随手拍、书记直通车、帮你办等民生问题反馈诉求通道，以及社区活动报名、二手市场交易、积分商城兑换等便民生活服务，全方位覆盖居民日常政务、生活、物业及社工服务需求。后台管理端面向社区工作人员，提供一站式后台管控能力，核心包含居民信息管理、民生问题闭环管理、各类文章资讯编辑发布、社区通知公告推送等功能，支撑社区各项工作标准化、规范化开展。大数据可视化平台依托大数据分析与数据挖掘技术，整合社区各部门、各层级零散数据资源，对实有人口、实有户数、地理信息、特殊人口占比、综治治理、社区日常工作、智慧党建等核心数据进行汇总分析、可视化展示。
系统形成完整闭环业务流程与功能路径：居民通过微信小程序移动端，可自主浏览各类社区资讯、参与社区生活服务、在线提交民生诉求与问题反馈，所有用户操作数据、提交的诉求信息会实时同步至后台管理端。社区工作人员登录后台管理端，可实时接收居民反馈信息、统一管理居民基础数据、审核发布各类文章与通知，跟进处置各类民生问题并同步处理进度。同时，系统全程采集沉淀社区人口、治理、党建、服务等各类业务数据，同步归集至大数据可视化平台，平台对海量数据进行深度分析整合、动态可视化呈现，为社区管理人员掌握社区整体运行态势、开展精细化治理、制定工作决策提供全面、直观的数据支撑，实现社区服务、管理、研判全流程数字化运转。
一汽某车型试制管理系统
试制管理系统是为制造业企业（尤其是汽车行业）设计的数字化管理平台，支撑新车型研发阶段的试制方案编制、零件状态跟踪、采购定价、调拨确认等业务。方案编制模块作为系统核心，支持工艺员从需求单拆分任务、编制外协/自制/库存方案、推送采购查价、上传备证材料等全流程线上化管理。
在新车型研发阶段，零件采购涉及“自制、外协、库存调拨”三种复杂路径，且需要与多个外部系统（采购、库存）实时同步。核心痛点在于：零件状态不透明、采购数据重复录入、跨部门协作效率低。系统通过打通需求→方案→采购→库存的全链路，实现了业务闭环管理。
梦途旅居（环住民宿）— 民宿预订 SaaS 多租户平台
面向民宿商家的 SaaS 多租户平台，商家注册入驻后可以管理自己的民宿房源、房间、订单、评价和分销。C端用户通过微信小程序浏览、搜索、预订民宿，支持在线支付、优惠券使用、评价打分、分销推广等功能。平台方通过总管理后台统一管理所有租户、审核入驻申请、配置平台规则。
漏洞挖掘全链路调度系统（Bounty Router）
立项背景：漏洞挖掘流程高度碎片化——侦察用一套工具，审计用另一套，报告再
手工整理。一个目标从拿到域名到产出报告通常需要切换 4-5 个工具，耗时 2-4
小时。目标是造一个扔什么进去都能自动识别、走对应流水线、最后产出结构化报
告的统一调度器。
核心功能：输入任意目标（域名/源码仓库/APK/JWT Token/合约地址/Dockerfile/
GraphQL端点/API端点），系统自动检测目标类型，路由到 8 条专项流水线之一：
Web 域名走 subfinder→httpx→nuclei 全链；源码仓库走 scanner-45→semgrep→
gitleaks 三引擎并行；JWT 走 alg:none + RS→HS 混淆 + 弱密钥爆破。19 个安全
专用 Agent 按漏洞类型分工，dispatch-router 用 15 条 regex 规则实现智能匹
配，Top-2 Agent 分数差距≤2 时触发歧义检测，要求先澄清再动手。
业务流程：用户扔目标 → 类型自动检测（8 种类型识别，含 confidence 评分）
→ 路由到对应流水线 → 多维扫描 → 增量去重（SHA256 指纹，SQLite 持久化）
→ 降噪评分（负分滤掉 favicon/WAF/IP 指纹等噪音，正分加权 CVE/XSS/SQLi
等真实漏洞）→ 结构化 JSON 报告 + 人读摘要 → 通知 Dashboard/桌宠完成。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服