基于hand-graph-cnn的手部姿态估计-3D试衣镜
2025-07-29 15:05:40
行业：人工智能
载体：Windows应用
技术：C++、ONNX Runtime、PyTorch、TensorFlow Lite
业务和功能介绍
该项目属于公司的自研项目，希望通过拓展更多样化的三维检测功能，以提高自研产品的核心竞争力。
当前方案是rgb-based算法，模型共有三个网络。第一个网络检测21个骨骼点的uv坐标并提取深度特征信息。第二个网络利用特征信息估计出三维手部模型的所有顶点深度，然后经过第三个网络回归出21个骨骼点的深度。然后结合第一个网络的uv坐标及相机内参，将像素坐标转换到相机坐标系中。最后将预测出来的骨骼点坐标与初始姿态对齐后，再逐一计算局部旋转量，并以四元数的形式返回。运行耗时30ms（标准卷积，未压缩），经过训练后，可支持不同深度不同拍摄角度（能区分正对及背对姿势）的手部骨骼点检测。
当前方案是rgb-based算法，模型共有三个网络。第一个网络检测21个骨骼点的uv坐标并提取深度特征信息。第二个网络利用特征信息估计出三维手部模型的所有顶点深度，然后经过第三个网络回归出21个骨骼点的深度。然后结合第一个网络的uv坐标及相机内参，将像素坐标转换到相机坐标系中。最后将预测出来的骨骼点坐标与初始姿态对齐后，再逐一计算局部旋转量，并以四元数的形式返回。运行耗时30ms（标准卷积，未压缩），经过训练后，可支持不同深度不同拍摄角度（能区分正对及背对姿势）的手部骨骼点检测。
项目实现
● 实现了实时手部驱动功能
● 实现了pytorch到tensorflow再到c++工程的商业部署过程
● 复现了训练代码，可支持不同深度不同角度的手势检测
● 封装了一个直接求解旋转量的接口，将求解旋转量的耗时降低将近4倍
● 参与生成了大批量的手部合成数据集（含合成彩图、骨骼点坐标、顶点坐标、三角面顶点索引）
● 构建了一个可供平面检测模型训练的手部数据集，数据量约1万张左右（不同尺寸、不同角度）
● 实现了pytorch到tensorflow再到c++工程的商业部署过程
● 复现了训练代码，可支持不同深度不同角度的手势检测
● 封装了一个直接求解旋转量的接口，将求解旋转量的耗时降低将近4倍
● 参与生成了大批量的手部合成数据集（含合成彩图、骨骼点坐标、顶点坐标、三角面顶点索引）
● 构建了一个可供平面检测模型训练的手部数据集，数据量约1万张左右（不同尺寸、不同角度）
示例图片视频
相似推荐
数据库智能管理与可视化平台
实现针对达梦(Dameng)和Oracle数据库的跨平台可视化管理，核心提供多数据源动态切换、智能数据冲突分析与处理、表结构ER图自动化生成、大字段(LOB)可视化处理以及各类数据库高级对象（用户、角色、存储过程、表空间）的管理功能。
智慧矿山
依托Python开发技术，结合Flask、Django框架及pandas、requests等核心库，重点完成以下开发内容，兼顾实用性与可扩展性，适配中小矿山数字化转型需求：
依托Python开源库，降低开发成本，同时通过自动化脚本替代人工重复性工作，大幅减少人工投入，快速实现降本增效；
公司内部工具
根据需求，快速整理生成统计图表。其中包括基础的数据查找、导出功能。包括基础资料查询，各种类型的统计数据，图表生成。作为wps智能表格数据来源的中间缓存服务等等。主要需求是辅助公司内部人员处理个性化需求。
车辆监控平台
本平台面向工业互联网与大数据场景，为企业车队提供全流程车辆智能管控服务，核心解决车辆实时监管、安全风险预警、运营效率低下等痛点，实现从 “被动追溯” 到 “主动防控” 的管理升级。
核心功能路径：实时监控大屏→实时报文→轨迹追溯→数据报表分析等。具体包含：1. 实时定位，地图可视化展示车辆位置、车速、车况；2. 实时报文查询，历史报文查询，车辆状态展示，设备预警等；3. 行驶轨迹回放，支持事件溯源；4. 多维度运营报表，为车队调度、成本管控提供数据支。
toB数字孪生项目-仓储AGV孪生平台
1、一比一实时数字孪生，接入wms和mcs等系统，实现数据互通
2、数据统计，预测产量、仓储流量、动态报警等
3、三维场景漫游，交互，支持固定以及漫游相机操作，旋转，拖拽，缩放等
4、场景动画与生产过程实时联动
5、实现了双端部署，即PC客户端与BS端
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服