基于SAM大模型结合U型架构的语义分割算法

1.客户原本需要对辖区的建筑、道路、耕地、林地和水体进行面积统计，此前使用遥感卫星图片结合ArcGis进行目视解译，人力和时间成本都很高；
2.客户希望借助AI算法进行语义分割自动识别五类地物进行面积统计。
1.多源异构海量遥感影像样本库：根据已有高分辨率卫星影像及配套地理国情监测、国土调查等业务数据，结合深度学习模型训练样本要求，制作辖区范围内的总计约10万张以上的样本库据；
2.地表覆盖要素智能提取模块：利用深度学习模型，以多源异构海量遥感影像样本库为基础，开发地表覆盖要素智能提取模块。可对覆盖辖区全域的影像进行地表覆盖要素自动提取，主要涉及耕地、林地、水体、建筑物、道路五类土地利用类型；
3.多时相遥感影像变化检测模块：开发多时相遥感影像变化检测模块，在深度学习模型训练的基础上，基于分割对象提取两期影像上的光谱、纹理、上下文特征差异，结合语义特征，提取出两期影像的变化之处，并获得两期影像的变化图斑和对应变化矢量。

1.项目周期1年，由我负责算法研发，另外还有项目经理1人，数据标注人员1人；
2.对已标注的大幅遥感影像和标签进行批量裁剪,筛选其中标注质量比较高的影像和标签,再统计各类别数通过直方图进行类别平衡处理;
3.对已筛选好的影像和标签进行旋转、翻折、颜色对比度等处理扩增数据样本;
4.算法模型整体采用U型结构;
5.为匹配SAM的编码器输入，图像处理为1024*1024大小；
6.编码部分由两个并行编码器组成：基于残差结构网络的编码器和基于SAM大模型的编码器；
7.训练中冻结SAM大模型编码器参数；
8.将SAM大模型编码器输出与U型结构Center部分以及残差结构网络编码器输出连接；
9.使用跳跃连接与特征提取网络的多尺度特征进行融合来缓解降采样全局信息丢失的问题;
10.使用注意力机制对输入的多尺度特征进行空间和通道的注意力模块生成特征权重加权到特征图得到最终生成的特征;
11.对多类地物模型推理的概率矩阵加上背景模拟softmax多分类模式，进行同一维度的阈值比较得到概率值最大的矩阵索引即为当前地物的类别；
12.使用多类地物要素结果融合方式后再对二值掩膜图进行形态学处理、连通域查找和规则化处理使得最终结果更接近真实影像结果。