1、立项背景和目标:
本项目旨在解决夜间安防、自动驾驶等领域中,红外图像采集硬件成本高昂、且在部分场景难以部署的问题。目标是设计并训练一个深度学习网络,在仅有可见光摄像头的情况下,通过算法将可见光图像转换为具有热辐射特征的红外图像,从而降低硬件成本,实现跨模态数据增强。
2、软件功能、核心功能模块介绍:
核心功能是基于编码器-解码器架构的图像转换模型。包含三大模块:数据预处理模块(统一256x256尺寸与归一化)、生成器网络模块(6层下采样提取特征,6层上采样重建图像,并引入跳跃连接融合多尺度信息)、以及图像输出模块(使用OpenCV进行后处理与保存)。
3、业务流程、功能路径描述:
用户输入一张可见光图像 -> 系统自动进行尺寸缩放和像素归一化 -> 载入训练好的PyTorch模型权重,进入评估模式 -> 输入数据经过生成器前向传播 -> 输出张量转换为NumPy数组 -> 映射回0-255像素区间 -> 最终输出高质量的红外模拟图像。
1、整体架构和设计思路:
项目基于PyTorch框架。最初采用无配对的CycleGAN框架,但发现训练不稳定且PSNR极低(仅13dB)。后改用有监督的端到端学习,构建了基于“编码器-解码器”的生成器网络。网络采用对称的6层结构,并在对应层间引入跳跃连接(Skip Connection)以保留高频边缘细节。损失函数采用L1重建损失,以避免异常值干扰并生成更清晰的图像边缘。
2、“我”的负责模块和结果(量化):
我独立完成了全部数据处理、模型搭建、训练调优与评估。使用LLVIP配对数据集抽取1100组图像进行训练。最终模型参数量控制在约18.8M,相较于CycleGAN大幅降低。在测试集上,模型指标达到:PSNR 28.99dB,SSIM 0.9477,FID 0.46。实现了车辆发动机热源、被遮挡行人等关键目标的清晰生成。
3、“我”遇到的难点、坑和解决方案:
难点一:模型生成人像模糊。尝试引入注意力机制和YOLO目标提取进行特化训练,但导致全图模糊且训练变慢。解决方案:果断回退方案,通过消融实验发现“跳跃连接”是提升图像清晰度最关键的因素(使PSNR提升3.33dB),最终保留引入注意力机制之前的精简架构。
难点二:训练中断导致进度丢失。解决方案:编写了断点续训代码,配合数据预加载(preload=True)与每10轮权重保存策略,大幅提升了训练效率。