双目视觉下的目标定位追踪

1. 立项背景与目标
随着《新一代人工智能发展规划》的提出，多模态环境感知与目标跟踪技术成为重点发展方向。在公共安全、交通监控、物流机器人、无人机蜂群等场景中，目标在被遮挡或复杂环境下仍能被稳定追踪，具有重要的现实意义。
本项目旨在基于双目视觉，实现目标的三维定位与轨迹追踪，并能够在目标被遮挡或预测其未来位置时，仍保持追踪的连续性与准确性。最终目标是模拟真实道路环境，验证系统在车辆追踪任务中的有效性。

2. 功能概述
a.双目相机采集左右视图，实时获取目标三维坐标
b.使用YOLO算法进行目标识别
c.通过中位数平滑和样条插值构建目标的三维轨迹
d.支持多双目相机的轨迹融合（通过坐标系变换）
e.在目标被遮挡或识别精度下降时，结合物理约束进行轨迹预测

3. 核心功能模块
目标识别模块：基于YOLO算法，实时检测图像中的目标（如车辆、包裹）
双目定位模块：使用SGBM算法进行立体匹配，计算视差并还原三维坐标
轨迹生成模块：对识别到的坐标进行平滑与插值，生成连续轨迹
轨迹预测模块：在目标被遮挡或识别异常时，结合历史轨迹与物理约束预测未来位置
多相机融合模块：将不同双目相机的轨迹通过坐标系变换统一为全局轨迹

4. 业务流程
(1).双目相机采集左右图像
(2)YOLO检测目标，输出目标在图像中的边界框
(3)对左右视图中的目标进行立体匹配，计算视差
(4)根据视差计算目标的三维坐标（相机坐标系）
(5)对坐标进行中位数平滑与样条插值，生成轨迹
(6)若目标被遮挡或识别异常，进入预测模块
(7)可选：将多个双目相机的轨迹进行融合，输出全局轨迹

5. 功能路径描述
正常追踪路径：图像采集 → YOLO识别 → 立体匹配 → 坐标计算 → 轨迹平滑 → 输出轨迹
异常/遮挡路径：图像采集 → 识别失败 → 触发预测模块 → 基于历史轨迹 + 物理约束预测 → 输出预测轨迹

1. 整体架构与设计思路
系统采用模块化设计，分为感知层、处理层与融合层：
感知层：由双目相机完成图像采集，作为系统的输入。
处理层：包含目标识别（YOLO）、立体匹配（SGBM）、坐标计算、轨迹平滑与插值等核心处理步骤。
融合层：负责多相机轨迹融合与轨迹预测，提升系统的整体鲁棒性。

整体设计思路强调轻量化与鲁棒性，在保证实时性的前提下，尽可能提高遮挡场景下的追踪连续性。

2. 不同模块使用的技术栈
在目标识别模块中，我们选用了YOLO单阶段检测器。该算法实时性高，非常适合动态场景下的目标检测任务。
在立体匹配方面，系统采用了SGBM算法。这是一种半全局匹配方法，能够在精度与计算效率之间取得良好的平衡。
坐标计算模块通过视差与深度之间的转换公式，结合坐标系变换，将相机坐标系下的点转换为世界坐标。
轨迹平滑模块使用了中位数滤波与样条插值技术，前者用于去除噪声点，后者用于补全缺失帧，从而生成连续、平滑的目标轨迹。
轨迹预测模块基于物理约束构建预测模型，通过限制目标的速度与加速度范围，有效防止因识别噪声导致的轨迹异常跳变。
在多相机融合模块中，采用坐标系平移与旋转的方式，将不同双目相机获取的局部轨迹对齐到统一的全局坐标系中。

3. 我负责的模块与结果
我主要负责以下两个模块的设计与实现：

（1）YOLO目标识别模块
该模块的输入为双目相机采集的左右视图。使用YOLO算法对图像中的目标（如小车、车辆）进行检测，输出目标的边界框坐标，供后续立体匹配使用。

结果：在模拟环境和小车实验中，YOLO能够稳定识别目标，识别帧率达到实时要求。

（2）轨迹预测模块
当目标被遮挡或识别失败时，系统会进入预测模式。该模块基于最近N帧的历史轨迹点，预测目标未来的位置。

在初步尝试中，我们使用了线性拟合与多项式拟合方法，但效果不理想。主要问题在于：识别精度不足导致轨迹中出现异常跳变点，直接基于这些异常轨迹进行预测，误差会被放大，预测结果不可用。

解决方案：

引入物理约束，限制目标的最大速度和加速度变化范围。
在预测前对历史轨迹进行异常值剔除，例如将超过速度阈值的点视为无效。
使用卡尔曼滤波结合物理模型（如匀速或匀加速模型）进行状态估计。

结果：

预测轨迹更加平滑，避免了因识别噪声导致的剧烈跳变。
在遮挡场景下，系统仍能维持合理的轨迹预测，显著提升了追踪的连续性和鲁棒性。