程序聚合 软件案例 基于SAM大模型结合U型架构的语义分割算法

基于SAM大模型结合U型架构的语义分割算法

行业:智慧数字孪生
载体:算法模型
技术:Python、PyTorch

业务背景

1.客户原本需要对辖区的建筑、道路、耕地、林地和水体进行面积统计,此前使用遥感卫星图片结合ArcGis进行目视解译,人力和时间成本都很高;
2.客户希望借助AI算法进行语义分割自动识别五类地物进行面积统计。

功能介绍

1.多源异构海量遥感影像样本库:根据已有高分辨率卫星影像及配套地理国情监测、国土调查等业务数据,结合深度学习模型训练样本要求,制作辖区范围内的总计约10万张以上的样本库据;
2.地表覆盖要素智能提取模块:利用深度学习模型,以多源异构海量遥感影像样本库为基础,开发地表覆盖要素智能提取模块。可对覆盖辖区全域的影像进行地表覆盖要素自动提取,主要涉及耕地、林地、水体、建筑物、道路五类土地利用类型;
3.多时相遥感影像变化检测模块:开发多时相遥感影像变化检测模块,在深度学习模型训练的基础上,基于分割对象提取两期影像上的光谱、纹理、上下文特征差异,结合语义特征,提取出两期影像的变化之处,并获得两期影像的变化图斑和对应变化矢量。

项目实现

1.项目周期1年,由我负责算法研发,另外还有项目经理1人,数据标注人员1人;
2.对已标注的大幅遥感影像和标签进行批量裁剪,筛选其中标注质量比较高的影像和标签,再统计各类别数通过直方图进行类别平衡处理;
3.对已筛选好的影像和标签进行旋转、翻折、颜色对比度等处理扩增数据样本;
4.算法模型整体采用U型结构;
5.为匹配SAM的编码器输入,图像处理为1024*1024大小;
6.编码部分由两个并行编码器组成:基于残差结构网络的编码器和基于SAM大模型的编码器;
7.训练中冻结SAM大模型编码器参数;
8.将SAM大模型编码器输出与U型结构Center部分以及残差结构网络编码器输出连接;
9.使用跳跃连接与特征提取网络的多尺度特征进行融合来缓解降采样全局信息丢失的问题;
10.使用注意力机制对输入的多尺度特征进行空间和通道的注意力模块生成特征权重加权到特征图得到最终生成的特征;
11.对多类地物模型推理的概率矩阵加上背景模拟softmax多分类模式,进行同一维度的阈值比较得到概率值最大的矩阵索引即为当前地物的类别;
12.使用多类地物要素结果融合方式后再对二值掩膜图进行形态学处理、连通域查找和规则化处理使得最终结果更接近真实影像结果。





示例图片视频


武汉熵玥智能科技有限公司
15天前活跃
交付率:100.00%
相似推荐
ABC Reading app
功能模块涵盖 分级阅读(依据年龄、英语水平,提供 RAZ 等体系化分级读物,满足不同阶段阅读需求 )、AI 口语评测(朗读后智能识别发音,从准确度、流利度等维度评分,辅助纠正发音 )、学习报告(记录阅读时长、词汇量增长、薄弱点等数据,家长和孩子可清晰了解学习进度 )、趣味互动(如读后小游戏、勋章奖励,提升阅读积极性 )。主要功能路径为:用户登录后,通过定级测试匹配阅读级别 → 进入对应级别读物阅读,触发 AI 评测 → 完成阅读生成学习报告,积累积分解锁新内容,形成 “测试 - 阅读 - 评测 - 反馈 - 进阶” 闭环 。
小程序,网站-点路轻留学
能够管理项目信息并发布 小程序上用户可以查看项目并下单 后台维护客户信息并分配销售 维护分享内部资料 网站运营人员给工作人员推送任务 电子合同签署和管理(对接法大大) 订单跟进
yike在线智能教育平台-一辈子一门课
项目功能模块: 1.教学管理(用于教师对课程内容进行新增编辑、管理学生等) 2.数据统计分析(统计一些用户使用情况、学生学习情况) 3.权限管理、系统管理、审计管理(系统框架自带功能用于权限处理) 4.学生在线学习、在线考试、在线做题、在线课堂、AI学习助手
在线直播系统客户端项目
该项目包含多个核心功能模块,能为教师提供全面的在线教学支持。具体功能模块有: 1.主播上/下麦,用于推送教师摄像头及麦克风数据供学生观看收听。 2.共享屏幕,用于推送教师桌面画面供学生收看。 3.电子白板,用于展示预先编好的ppt及手写绘制等功能。 4.课堂聊天,用于老师与学生交流。 5.其它互动,如举手,签到,答题,抽奖等常用直播功能。 教师登录客户端后,便可通过界面相关功能按钮进行互动直播。
桌面软件-智学课堂
1.课文点读功能 鼠标点击文字 能听到语音 鼠标放到文字上会出现对应的汉语翻译,每本书有目录列表,点击目录上对应的单元可以进入对应的单元页码,每页有上下页面按钮可以进行页面的切换,以及返回按钮可退出当前界面。 方案内霁 2.单词跟读功能 每个单元的单词或短语(以下简称为单词)可以修改单词中字母的颜色 音标,词性和汉语翻译 跳转到每个单词界面后会自动播放一次单词的英语发音 也可以通过点击单词或声音按钮进行不限制次数的播放该单词的发音可以点击 上一个 按键对之前学习的单词进行查看,(点击上一个按键不需要语音跟读的限制)但是 每次学习下一个单词前都必须先进行跟读练习(不需要语音比对,需要在当前临时页面保留跟读语音,点击下一个页面语音不保留),点击跟读练习以后才会出现一个 的按键,学员点击 下一个 按键可以进行下一个的单词学习。每个单词可以添加对应例包功能3.单词默写功能 单词默写功能根据该单元学习的所有单词进行默写,按照列表模式进行排列,可以在对应的列表中输入单词的英文字母,默写完成后提交系统进行比较判断正误(区分大小写)。默写界面具备发音按钮,单词词性和中文汉字提示,也可以选择关闭读音或汉字提示。4.以上所有界面中的图片和文字可以通过点击功能按键进行放大,缩小和全屏模式。单词和课文的数量不需要关联或匹配,单词单元数量不受课文数量影响。例如课文导入了6个单元,单词可以导入单元大于、小于或者等于6个单元都可以。
帮助文档   Copyright @ 2021-2024 程序聚合 | 浙ICP备2021014372号
人工客服