项目将Kinect采集的人体骨骼动作映射到UE中的机器人模型,让不同关节结构和肢段比例的模型能够根据人体姿态更新动作。处理流程分为输入骨骼整理和机器人映射两段:先过滤缺失骨骼并平滑位置、角度,形成中间骨架,再结合机器人的骨段比例、关节旋转轴和活动限制构造目标。机器人侧根据动作需要选择IK求解或直接角度映射,并通过插值和转速限制缓和抖动与跳变。已实现范围为Kinect输入到UE内机器人组件的重定向,实体执行器通信、状态反馈和设备控制闭环属于独立接入范围。
我参与实现了Kinect输入、中间骨架与UE机器人模型之间的重定向管线。输入侧读取骨骼数据,分别处理关节位置和欧拉角,并对跨越180度的角度差做展开,减少角度表示边界引起的翻转,再将姿态写入PN3 PoseableMesh。
机器人侧复用URDFForge的RobotRetargetComponent,根据URDF关节原点、旋转轴、限制及骨段比例构造目标。需要跟踪末端位置的链路采用阻尼最小二乘法(DLS IK),以上一帧角度作为迭代初值;其他关节按对应轴做直接角度映射。输出经平滑和每帧角速度限制后,通过SetRelativeRotation更新场景组件。不同模型仍需调整骨骼方向、比例和关节范围,Kinect到PN3的特定姿态扭曲有待继续调整。