业务和功能介绍
主要负责RealMan六自由度机械臂与五指灵巧手的目标视觉识别与抓取算法研发，支撑团队多机器人取餐配送系统。实现闭环抓取工作流，融合视觉模型与控制模块，构建从视觉感知到精准抓取的完整解决方案，进行较为可靠的抓取操作。
项目实现
基于YOLOv8模型，构建并优化专用数据集，训练特定物体（如水杯、饮料罐）检测模型，由置信度筛选出目标物体，使用Tens orRT实现实时加速推理。
使用IntelRealSenseD435相机实时采集图像，利用双目立体视觉SGBM算法获取深度信息。对原始RGB图像和深度图像进行重新对齐，结合生成点云数据，准确获取目标物体的三维空间信息。
实施并完成了手眼分离标定流程，成功建立了相机坐标系与机械臂基坐标系之间的转换关系，为视觉引导抓取奠定了准确的定位基础。复现并集成了GraspNet抓取位姿预测模型，利用点云数据生成目标物体的可行抓取位姿。
基于MPC方法实现闭环抓取工作流，融合视觉模型与控制模块，最终构建了从视觉感知到精准抓取的完整解决方案，能够进行较为可靠的抓取操作。
使用IntelRealSenseD435相机实时采集图像，利用双目立体视觉SGBM算法获取深度信息。对原始RGB图像和深度图像进行重新对齐，结合生成点云数据，准确获取目标物体的三维空间信息。
实施并完成了手眼分离标定流程，成功建立了相机坐标系与机械臂基坐标系之间的转换关系，为视觉引导抓取奠定了准确的定位基础。复现并集成了GraspNet抓取位姿预测模型，利用点云数据生成目标物体的可行抓取位姿。
基于MPC方法实现闭环抓取工作流，融合视觉模型与控制模块，最终构建了从视觉感知到精准抓取的完整解决方案，能够进行较为可靠的抓取操作。
示例图片视频
相似推荐
智能门锁酒店管理系统
入住登记，发卡,卡的数量，读卡，退卡，卡挂失等功能。楼栋，楼层，套房，子房间管理。控制器，门锁管理，警报功能。预定房间管理，订单的更改，续住，退房。查询房间状态，入住率，能否入住（续住与预定的时间是否冲突）等信息
机动车驾驶培训计时系统
驾校资料信息的备案，驾校教练员，教练车，训练场的资料信息备案管理，学员信息备案管理，学时统计上传，学时查询，教练车的定位追踪，学时打卡设备的管理与车辆绑定解绑等功能。配合交通局实现学员托管名额控制和驾校车辆名额控制。协助交通局对驾校车辆和驾校学员的管理，可以配合交通局对驾校实行招生备案限制。
数据采集程序
采集施工设备施工数据，对数据进行过滤，标准化处理、整合，后发送到中心端消息服务器
。程序可以采集文本文档，sqlserver,csv,access,sqllit,postgresql,mysql,串口等数据形式的数据，可以配置采集频率，保证消息实时性，将数据发送到中心端消息服务器后，后台数据同步程序负责将数据进行转发，保存到数据库等操作
WCS产品研发-WCS
1、立项背景和目标
实现产品化WCS系统，搭建公司软件系统基础框架并实现可配置的WCS产品。
2、软件功能、核心功能模块的介绍
1) 多数据库支持实现，实现数据库自动创建、迁移，实现备份恢复功能，实现数据库间迁移；
2) 连接器：实现UDP、TCP、COM、S7、MELSEC、MODBUS、FETCH、CIP、MQ、API、WCF等主流连接方式；
3) 通讯器：实现通讯队列管理，实现协议适配器（负责协议转换），实现通讯；
4) 实现设备调度算法以及调度：基于CBS的调度算法、基于MAPF的调度算法、基于A*的调度算法、基于Dijkstra的设备调度算法
5) 实现基于Canvas的调度2d绘制显示、实现基于babylonjs的3D回绘制显示，实现任务管理、工作管理、请求管理、报文管理、设备故障统计、日志查询、路径管理页面以及后台支持；
3、业务流程、功能路径描述
1)配置化通讯
2)配置化项目场景
3)配置化调度策略
模拟后端数据的工具
在与关联系统一起开发时获取到跟源数据相似的假数据，拿着这些假数据，自己系统可以先开发，而不需要等待关联系统给了数据后再开发。
目前支持http协议，sockt协议，https协议
支持的通信状态：返回指定报文，直接转发，通信超时成功，通信超时失败
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服