立项背景:在单目前视视频条件下,驾驶辅助系统难以对前方障碍物进行统一的风险感知与评估。本项目围绕"道路感知-自车运动-目标轨迹-风险判决"主线,构建了一套完整的道路障碍物风险评估系统,解决低成本车载平台上缺乏激光雷达和高精地图条件下的前向碰撞预警问题。
核心功能模块包括:(1)道路可行区域感知与动态区域划分;(2)基于光流的自车运动估计;(3)目标检测与多目标跟踪;(4)基于Transformer的目标轨迹预测;(5)自车未来行驶走廊建模与空间冲突度量;(6)轨迹质量感知的风险修正与异常降级策略。
业务流程:系统以前向摄像头视频为唯一输入,通过三条并行感知流分别输出道路约束、自车运动趋势和目标轨迹,经统一世界状态融合后,判断目标未来轨迹是否会侵入本车未来行驶路径,最终输出可解释的四级风险等级(NORMAL/LOW/MEDIUM/HIGH)。
注:程序用b站上下载的行车记录仪视角视频做测试,所以右上角有b站角标
整体架构:采用多流并行框架,包含道路感知流、自车运动流和目标检测跟踪流,各模块以不同频率独立运行,通过统一时间戳的世界状态融合机制拼接为可一致解读的快照,最后由风险判决模块输出结果。感知层使用YOLOv8+Nano检测和ByteTrack多目标跟踪,运动估计采用RAFT稠密光流结合路面区域约束,轨迹预测使用轻量级Transformer模型,风险评估基于目标未来轨迹与自车行驶走廊的空间冲突度量。
我负责的部分:整个系统的需求定义、架构设计、模块调度方案、风险评估算法设计和实验验证。具体包括:设计了从LSTM异常检测到轨迹预测+走廊冲突的风险语义重构方案;实现了多流并行调度与世界状态融合机制;提出了轨迹质量感知的风险修正方法,处理检测抖动和跟踪中断问题。
难点与解决:(1)单目条件下缺乏绝对距离约束——采用"目标未来轨迹与自车走廊冲突"替代传统TTC距离指标,实现相对风险评估;(2)多模块异步输出不一致——设计了统一时间戳管理和轨迹缓存续接机制;(3)实测中检测抖动导致风险输出跳变——引入轨迹质量感知修正,根据连续性、来源可靠度和轨迹年龄进行风险降权。
项目结果:系统在普通GPU桌面平台上稳定运行,处理帧率8.76~25.53fps,覆盖高速跟车、进出隧道、城区密集、前车快速减速、目标切入等五类典型场景,风险等级分布能有效区分不同场景的风险特征。实验表明约70分钟训练数据的模型风险区分度显著优于18分钟版本。
注:程序用b站上下载的行车记录仪视角视频做测试,所以右上角有b站角标