业务和功能介绍
项目目的：针对IPC（智能摄像头）场景下的猫狗目标检测、实例分割与颜色分类任务，构建轻量级多任务模型，实现检测、分割、颜色识别一体化 pipeline，支持边缘设备实时推理。
技术栈：PyTorch、NanoDet-Plus、ShuffleNetV2、PicoSAM3、OpenCV、HSV颜色空间、模型蒸馏、知识蒸馏、GFL Loss、Mosaic数据增强、TensorRT部署、NCNN量化、SAM3辅助标注、Docker容器化、分布式任务调度。
技术栈：PyTorch、NanoDet-Plus、ShuffleNetV2、PicoSAM3、OpenCV、HSV颜色空间、模型蒸馏、知识蒸馏、GFL Loss、Mosaic数据增强、TensorRT部署、NCNN量化、SAM3辅助标注、Docker容器化、分布式任务调度。
项目实现
项目流程：
1、数据集构建：
• 采集IPC摄像头猫狗图像5万+张，实例数量10万+，训练集60%、验证集30%、测试集10%
• 基于SAM3半自动化标注系统，使用Docker多卡多实例并行部署，35万张图片标注耗时8小时
• 通过置信度阈值过滤和人工校验控制标注质量，针对测试集添加1000张hardcase（遮挡、逆光等易误检漏检场景），提升模型鲁棒性
2、目标检测（NanoDet-Plus）：
• 采用ShuffleNetV2 x1轻量化backbone，anchor-free检测范式
• 使用AdamW优化器训练300 epochs，采用GFL Loss（Generalized Focal Loss）平衡分类与定位精度
• 结合Mosaic+MixUp数据增强提升模型鲁棒性，Test-Time Augmentation（TTA）推理时提升mAP
• 使用IoU-aware分类回归优化定位精度，mAP@0.50:0.95达78.8%，AP@0.50达94.3%
• 分析不同目标尺度（small/medium/large）的检测性能，针对小目标AP仅46.1%的问题设计FPN/BiFPN特征金字塔优化
3、实例分割（PicoSAM3）：
• 基于SAM3教师模型生成软标签，通过PicoSAM3蒸馏方法压缩模型，设计蒸馏温度参数平衡软标签分布
• 使用Dice Loss + Mask IoU Loss缓解分割类别不平衡，Soft Mask Supervision进行细粒度监督
• 蒸馏后学生模型在保持分割精度的同时大幅降低计算量，适合边缘部署
4、颜色分类：
• 基于HSV颜色空间进行猫狗颜色识别，计算高效，适合边缘设备实时推理
5、模型压缩与部署：
• 完成INT8/FP16量化实验，TensorRT加速推理，NCNN边缘部署，ONNX模型转换打通跨框架部署
• 记录边缘设备推理延迟与QPS指标，建立完整的模型压缩-量化-部署闭环
6、模型调优：
• 通过Bad case分析（漏检/误检样本）进行数据增强和loss weight调整，难例挖掘（OHEM）与focal loss优化
• 针对小目标检测AP仅46.1%的短板，补充训练数据提升检测效果
项目成果：目标检测mAP@0.50:0.95达78.8%，AP@0.50达94.3%；构建完整的多任务CV pipeline（检测+分割+颜色分类）；完成模型量化压缩与边缘部署，具备大模型压缩与端到端部署经验；基于SAM3辅助标注系统实现35万张图片高效标注，AI辅助标注+人工校验提升标注效率5倍以上。
1、数据集构建：
• 采集IPC摄像头猫狗图像5万+张，实例数量10万+，训练集60%、验证集30%、测试集10%
• 基于SAM3半自动化标注系统，使用Docker多卡多实例并行部署，35万张图片标注耗时8小时
• 通过置信度阈值过滤和人工校验控制标注质量，针对测试集添加1000张hardcase（遮挡、逆光等易误检漏检场景），提升模型鲁棒性
2、目标检测（NanoDet-Plus）：
• 采用ShuffleNetV2 x1轻量化backbone，anchor-free检测范式
• 使用AdamW优化器训练300 epochs，采用GFL Loss（Generalized Focal Loss）平衡分类与定位精度
• 结合Mosaic+MixUp数据增强提升模型鲁棒性，Test-Time Augmentation（TTA）推理时提升mAP
• 使用IoU-aware分类回归优化定位精度，mAP@0.50:0.95达78.8%，AP@0.50达94.3%
• 分析不同目标尺度（small/medium/large）的检测性能，针对小目标AP仅46.1%的问题设计FPN/BiFPN特征金字塔优化
3、实例分割（PicoSAM3）：
• 基于SAM3教师模型生成软标签，通过PicoSAM3蒸馏方法压缩模型，设计蒸馏温度参数平衡软标签分布
• 使用Dice Loss + Mask IoU Loss缓解分割类别不平衡，Soft Mask Supervision进行细粒度监督
• 蒸馏后学生模型在保持分割精度的同时大幅降低计算量，适合边缘部署
4、颜色分类：
• 基于HSV颜色空间进行猫狗颜色识别，计算高效，适合边缘设备实时推理
5、模型压缩与部署：
• 完成INT8/FP16量化实验，TensorRT加速推理，NCNN边缘部署，ONNX模型转换打通跨框架部署
• 记录边缘设备推理延迟与QPS指标，建立完整的模型压缩-量化-部署闭环
6、模型调优：
• 通过Bad case分析（漏检/误检样本）进行数据增强和loss weight调整，难例挖掘（OHEM）与focal loss优化
• 针对小目标检测AP仅46.1%的短板，补充训练数据提升检测效果
项目成果：目标检测mAP@0.50:0.95达78.8%，AP@0.50达94.3%；构建完整的多任务CV pipeline（检测+分割+颜色分类）；完成模型量化压缩与边缘部署，具备大模型压缩与端到端部署经验；基于SAM3辅助标注系统实现35万张图片高效标注，AI辅助标注+人工校验提升标注效率5倍以上。
示例图片视频
相似推荐
恒康营销之星
工作描述:apicloud开发，实现h5页面打包生成混合app，使用echart 构建各类报表、调用apicloud模块实现二维码扫描二维码查询库存、授权平台实现app权限的管控
运用技术:
1、基于DIV+CSS实现页面布局和highchart 显示图表的展示
2、基于apicloud原生模块和jquery实现数据的绑定和交互
3、apicloud封装的模块、apicloudStudio实现无线同步、浏览器上调试页面、在手机上同步app功能、
4、基于git 代码管理,
5、采用云编译打包生成apk文件和ios 的ipa,熟悉ios 上线打包和生成ios 证书等。
跨境电商多端
跨境电商商城与货舱仓储管理小程序，面向跨境买家与仓库管理人员。包含商城首页、商品、购物车、拼团、实名认证、钱包支付、推广海报；货舱模块完成仓储业务管理，支持系统消息推送；配套后台实现发票开具、首页配置、分销售后管理，构建完整跨境电商交易闭环。
京尔思 B2B 全链路系统
包含客户小程序、工厂协同平台、权限管理后台三套子系统。覆盖产品定制、配方解析、合同签署、多工厂报价生产、企业认证、开票完整业务。后台实现角色菜单权限管控、订单物流、支付凭证管理，统一表单校验、异常拦截，服务上下游客户与工厂协同办公。
某汽车品牌官方商城与新零售运营中台
1、立项背景和目标
面对汽车行业新零售模式的兴起，某汽车品牌亟需一套能够同时支撑“整车直销”与“车品零售”的综合性业务底座。本项目作为广本新零售与直销业务的核心中台，旨在打通线上营销获客与线下门店交付的业务壁垒，构建一套高可用、支持高并发的大型电商与客资运营中台，最终实现精准营销引流与财务清算的全面数字化。
2、软件功能、核心功能模块的介绍系统由面向 C 端的移动端应用矩阵与面向 B 端的多租户管理后台组成。核心模块涵盖：
混合订单管理中心：兼容并支撑整车直销（订金/尾款/门店交付）与车品零售（物流发货）两套完全异构的业务流。
统一支付网关：无缝对接并封装微信、支付宝、民生及中金支付等多种支付渠道。
多租户渠道管控系统：支持上游供应商、特约店（4S）与二网店的库存调度与复杂财务清算。
企微直营客资闭环：深度接入企业微信 API，将线上线索无缝连接至线下销售终端。
3、业务流程、功能路径描述
核心业务路径如下：C 端用户在小程序或 APP 访问由“千人千面”动态组件渲染的营销页面，参与爆款车抢购或车品秒杀；下单后，系统根据商品类型触发底层的混合订单状态机，通过统一网关完成支付收口；随后，“企微直营”模块将线上购车线索精准路由分发给对应的线下销售顾问，形成私域跟进流转的业务闭环；交易彻底完成后，B 端系统自动进行跨租户的库存调度与财务清算。
quick_server
1、背景和目标：对企业所有服务请求进行轻量级安全和速度优化，减轻服务器的并发压力。
2、quick_server系统，不依赖外部引用，即插即用，主要用来进行极速快捷安全的http请求。大大减轻服务器的并发压力。轻松实现高并发场景下极速快捷安全的http请求。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服