程序聚合 软件案例 基于SAM大模型结合U型架构的语义分割算法

基于SAM大模型结合U型架构的语义分割算法

行业:智慧数字孪生
载体:算法模型
技术:Python、PyTorch

业务和功能介绍

1.客户原本需要对辖区的建筑、道路、耕地、林地和水体进行面积统计,此前使用遥感卫星图片结合ArcGis进行目视解译,人力和时间成本都很高;
2.客户希望借助AI算法进行语义分割自动识别五类地物进行面积统计。
1.多源异构海量遥感影像样本库:根据已有高分辨率卫星影像及配套地理国情监测、国土调查等业务数据,结合深度学习模型训练样本要求,制作辖区范围内的总计约10万张以上的样本库据;
2.地表覆盖要素智能提取模块:利用深度学习模型,以多源异构海量遥感影像样本库为基础,开发地表覆盖要素智能提取模块。可对覆盖辖区全域的影像进行地表覆盖要素自动提取,主要涉及耕地、林地、水体、建筑物、道路五类土地利用类型;
3.多时相遥感影像变化检测模块:开发多时相遥感影像变化检测模块,在深度学习模型训练的基础上,基于分割对象提取两期影像上的光谱、纹理、上下文特征差异,结合语义特征,提取出两期影像的变化之处,并获得两期影像的变化图斑和对应变化矢量。

项目实现

1.项目周期1年,由我负责算法研发,另外还有项目经理1人,数据标注人员1人;
2.对已标注的大幅遥感影像和标签进行批量裁剪,筛选其中标注质量比较高的影像和标签,再统计各类别数通过直方图进行类别平衡处理;
3.对已筛选好的影像和标签进行旋转、翻折、颜色对比度等处理扩增数据样本;
4.算法模型整体采用U型结构;
5.为匹配SAM的编码器输入,图像处理为1024*1024大小;
6.编码部分由两个并行编码器组成:基于残差结构网络的编码器和基于SAM大模型的编码器;
7.训练中冻结SAM大模型编码器参数;
8.将SAM大模型编码器输出与U型结构Center部分以及残差结构网络编码器输出连接;
9.使用跳跃连接与特征提取网络的多尺度特征进行融合来缓解降采样全局信息丢失的问题;
10.使用注意力机制对输入的多尺度特征进行空间和通道的注意力模块生成特征权重加权到特征图得到最终生成的特征;
11.对多类地物模型推理的概率矩阵加上背景模拟softmax多分类模式,进行同一维度的阈值比较得到概率值最大的矩阵索引即为当前地物的类别;
12.使用多类地物要素结果融合方式后再对二值掩膜图进行形态学处理、连通域查找和规则化处理使得最终结果更接近真实影像结果。





示例图片视频


武汉熵玥智能科技有限公司
30天前活跃
交付率:100.00%
相似推荐
有游戏关卡机制的记单词微信小程序-熊猫记单词
1,早年做过游戏开发,也玩过不少游戏,一直想把游戏里黏人的机制复刻到学习工具里,游戏黏人的机制其中之一就是“压力-释放同时建立新压力-驱动循环”最典型的就是“关卡机制”;另外,单词助记内容对牢固记单词有帮助,以及单词复习规律需符合艾宾浩斯遗忘曲线,这些都可以作为学习工具的功能。 2,小程序核心关卡系统,用户将购买到的词库里的单词灌入关卡系统,系统每天根据艾宾浩斯记忆遗忘曲规律指定的学习(复习)计划,产生一些待学习(复习)单词构成的关卡,用户进入关卡闯关是要先默写单词的(每关3~8个单词),一关单词默写结束提交后如果有错误,则这个单词会增加复习次数,并且将已有的复习计划都提前,并且自动进入学习单词的页面去学习,学习内容除了单词信息外还有助记内容。
saas平台
1.现在旅游和教培行业发展潮流,自研saas软件,区分租户及权限,方便用户使用 2.功能:系统用户,租户,票务模块,OA模块,分销模块,商管模块,财务模块 3.根据租户分配不同菜单权限,可以根据购买套餐,使用不能的模块功能
K12教育征订
整体是b2b2c模式。 主要用于用户可线上参与活动购买零售或其他商品,积分参与等等; 后台管理,商品加工,活动发布,数据统计,权限管理等等; 有支付功能,对接银行,微信,支付宝等; 还有一些对客户针对性的功能开发。
某公考教育平台小程序开发
某公考教育平台需要开发小程序版,并通过小程序实现新的营销和获客渠道。由于小程序用户客群非常大,所以开发小程序版的主要目的就是拓展小程序渠道,使用户可以通过小程序直接访问平台,并直接购课,同时通过基于小程序的营销手段,激活用户,引导用户最终使用平台产品。
网络安全ctf与awd比赛平台-网络安全赛事中心
1.立项背景:高校网络安全专业与战队在组织校内外 CTF(Capture The Flag,夺旗赛)和 AWD(Attack WithDefense,攻防对抗赛)时,长期依赖开源平台或第三方在线靶场。现有方案普遍存在三类痛点:一是开源平台功能割裂,传统解题赛(Jeopardy)与攻防对抗赛需要两套系统分别部署,数据与选手账号无法打通;二是容器靶场编排能力弱,题目环境需人工搭建,动态Flag、按队伍隔离、过期回收等能力缺失或需要大量二次开发;三是缺少面向国内高校赛事的定制化能力,如队伍审核、报名审批、真实身份核验、邮箱验证码注册、作弊检测等。本项目立项目标即自研一套统一支持 CTF 与 AWD 双赛制、全流程线上化的网络安全竞赛平台。 2.建设目标。 (1)覆盖竞赛全生命周期:建赛、出题、报名审核、选手参赛、答题计分、容器下发、排行榜、作弊检测、Writeup评审、日志审计;(2)支持三种 CTF 题型(静态题、动态附件题、容器题)与完整的 AWD 攻防对抗机制(OpenVPN靶场接入、双网络隔离、自动 Check、分池计分、靶机重置);(3)工程上做到高可用、可运维:容器/附件/轮次全自动调度与过期回收、多级日志与审计、滑动窗口限流、启动自愈清理脏数据。目前平台已完成主体功能开发并在真实比赛环境中投入使用。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服