业务和功能介绍
项目目的：针对IPC（智能摄像头）场景下的猫狗目标检测、实例分割与颜色分类任务，构建轻量级多任务模型，实现检测、分割、颜色识别一体化 pipeline，支持边缘设备实时推理。
技术栈：PyTorch、NanoDet-Plus、ShuffleNetV2、PicoSAM3、OpenCV、HSV颜色空间、模型蒸馏、知识蒸馏、GFL Loss、Mosaic数据增强、TensorRT部署、NCNN量化、SAM3辅助标注、Docker容器化、分布式任务调度。
技术栈：PyTorch、NanoDet-Plus、ShuffleNetV2、PicoSAM3、OpenCV、HSV颜色空间、模型蒸馏、知识蒸馏、GFL Loss、Mosaic数据增强、TensorRT部署、NCNN量化、SAM3辅助标注、Docker容器化、分布式任务调度。
项目实现
项目流程：
1、数据集构建：
• 采集IPC摄像头猫狗图像5万+张，实例数量10万+，训练集60%、验证集30%、测试集10%
• 基于SAM3半自动化标注系统，使用Docker多卡多实例并行部署，35万张图片标注耗时8小时
• 通过置信度阈值过滤和人工校验控制标注质量，针对测试集添加1000张hardcase（遮挡、逆光等易误检漏检场景），提升模型鲁棒性
2、目标检测（NanoDet-Plus）：
• 采用ShuffleNetV2 x1轻量化backbone，anchor-free检测范式
• 使用AdamW优化器训练300 epochs，采用GFL Loss（Generalized Focal Loss）平衡分类与定位精度
• 结合Mosaic+MixUp数据增强提升模型鲁棒性，Test-Time Augmentation（TTA）推理时提升mAP
• 使用IoU-aware分类回归优化定位精度，mAP@0.50:0.95达78.8%，AP@0.50达94.3%
• 分析不同目标尺度（small/medium/large）的检测性能，针对小目标AP仅46.1%的问题设计FPN/BiFPN特征金字塔优化
3、实例分割（PicoSAM3）：
• 基于SAM3教师模型生成软标签，通过PicoSAM3蒸馏方法压缩模型，设计蒸馏温度参数平衡软标签分布
• 使用Dice Loss + Mask IoU Loss缓解分割类别不平衡，Soft Mask Supervision进行细粒度监督
• 蒸馏后学生模型在保持分割精度的同时大幅降低计算量，适合边缘部署
4、颜色分类：
• 基于HSV颜色空间进行猫狗颜色识别，计算高效，适合边缘设备实时推理
5、模型压缩与部署：
• 完成INT8/FP16量化实验，TensorRT加速推理，NCNN边缘部署，ONNX模型转换打通跨框架部署
• 记录边缘设备推理延迟与QPS指标，建立完整的模型压缩-量化-部署闭环
6、模型调优：
• 通过Bad case分析（漏检/误检样本）进行数据增强和loss weight调整，难例挖掘（OHEM）与focal loss优化
• 针对小目标检测AP仅46.1%的短板，补充训练数据提升检测效果
项目成果：目标检测mAP@0.50:0.95达78.8%，AP@0.50达94.3%；构建完整的多任务CV pipeline（检测+分割+颜色分类）；完成模型量化压缩与边缘部署，具备大模型压缩与端到端部署经验；基于SAM3辅助标注系统实现35万张图片高效标注，AI辅助标注+人工校验提升标注效率5倍以上。
1、数据集构建：
• 采集IPC摄像头猫狗图像5万+张，实例数量10万+，训练集60%、验证集30%、测试集10%
• 基于SAM3半自动化标注系统，使用Docker多卡多实例并行部署，35万张图片标注耗时8小时
• 通过置信度阈值过滤和人工校验控制标注质量，针对测试集添加1000张hardcase（遮挡、逆光等易误检漏检场景），提升模型鲁棒性
2、目标检测（NanoDet-Plus）：
• 采用ShuffleNetV2 x1轻量化backbone，anchor-free检测范式
• 使用AdamW优化器训练300 epochs，采用GFL Loss（Generalized Focal Loss）平衡分类与定位精度
• 结合Mosaic+MixUp数据增强提升模型鲁棒性，Test-Time Augmentation（TTA）推理时提升mAP
• 使用IoU-aware分类回归优化定位精度，mAP@0.50:0.95达78.8%，AP@0.50达94.3%
• 分析不同目标尺度（small/medium/large）的检测性能，针对小目标AP仅46.1%的问题设计FPN/BiFPN特征金字塔优化
3、实例分割（PicoSAM3）：
• 基于SAM3教师模型生成软标签，通过PicoSAM3蒸馏方法压缩模型，设计蒸馏温度参数平衡软标签分布
• 使用Dice Loss + Mask IoU Loss缓解分割类别不平衡，Soft Mask Supervision进行细粒度监督
• 蒸馏后学生模型在保持分割精度的同时大幅降低计算量，适合边缘部署
4、颜色分类：
• 基于HSV颜色空间进行猫狗颜色识别，计算高效，适合边缘设备实时推理
5、模型压缩与部署：
• 完成INT8/FP16量化实验，TensorRT加速推理，NCNN边缘部署，ONNX模型转换打通跨框架部署
• 记录边缘设备推理延迟与QPS指标，建立完整的模型压缩-量化-部署闭环
6、模型调优：
• 通过Bad case分析（漏检/误检样本）进行数据增强和loss weight调整，难例挖掘（OHEM）与focal loss优化
• 针对小目标检测AP仅46.1%的短板，补充训练数据提升检测效果
项目成果：目标检测mAP@0.50:0.95达78.8%，AP@0.50达94.3%；构建完整的多任务CV pipeline（检测+分割+颜色分类）；完成模型量化压缩与边缘部署，具备大模型压缩与端到端部署经验；基于SAM3辅助标注系统实现35万张图片高效标注，AI辅助标注+人工校验提升标注效率5倍以上。
示例图片视频
相似推荐
顺恩订奶小程序
按照江门市顺恩牛奶有限公司要求，为其建设顺恩订奶小程序，小程序主要功能有门店管理、商品管理、订奶管理、扫码核销等，让奶站和总部管理订奶数据更简单，全部系统自动化生成数据，产品管理、分类管理、到店管理、到家管理等，让奶站不再用纸质和表格，真正让你省人省时省力。
平台电商APP-媛福达
1.媛福达是一款面向私域流量运营的综合电商平台，覆盖安卓/ iOS APP、微信小程序、H5四端，核心依托私域社群、粉丝流量实现商品零售、会员分销、优惠营销、订单交易、售后核销等全链路电商业务，主打用户私域沉淀、复购转化与裂变增长，服务个人私域店主及终端消费者，支撑平台日常交易与大促营销活动落地。
2.项目包含商品管理、sku规格配置、库存管控、用户会员体系、收货地址、购物车、下单支付、订单履约、售后退款、物流查询等核心模块
3.
视频对抗攻击系统
1、立项背景和目标：针对主流视频识别系统开发对抗攻击能力，测试深度学习模型的鲁棒性与安全性。项目目标是实现视频帧级对抗样本的自动化生成，验证目标模型在对抗扰动下的误判率。
2、软件功能和核心模块：支持CPU和GPU双版本运行，包含视频解码与帧序列提取、基于TensorFlow的对抗扰动生成（FGSM/PGD等算法）、扰动后视频重组编码、攻击效果评估（扰动强度、PSNR、攻击成功率）四大模块。
3、业务流程：输入待测试视频 → 帧序列提取 → 选择攻击算法与参数 → 逐帧注入对抗扰动 → 视频编码输出 → 喂入目标识别模型测试 → 统计攻击成功率与扰动质量指标。
支付宝直付通全链路集成
本项目为支付宝直付通支付网关全链路集成，覆盖电商平台核心支付场景。包含26个能力域：收银台支付（H5/JSAPI/APP/NATIVE/小程序5种客户端）、异步通知RSA2验签、退款、分账结算、合单支付、商户入驻进件、交易管理、账单拉取、子商户余额查询等。封装45个支付宝API方法，实现9大产品模块100%覆盖。核心功能路径：用户下单→收银台路由→支付宝网关→异步通知验签→分账结算→订单状态同步。支持沙箱调试与生产环境无缝切换，满足SaaS多租户支付需求。
基于Web的网上书店系统的设计与实现
1 立项背景和目标：网上书店作为一个电子商务网站，当当网是国内目前最大的中文网上书店，存储的书目信息已经高达几十万种
· 认证服务 (User-Service)： 整合 Spring Security + OAuth2.0 + JWT，实现统一身份认证。采用 Redis 存储Token，支持单点登录（SSO）及多端登录状态管理。
· 图书管理服务 (Book-Service)： 核心功能包括图书的CRUD、库存扣减及全文检索。引入 Elasticsearch 实现图书的毫秒级全文检索，利用 ** Canal ** 中间件实现MySQL与ES的数据准实时同步。
· 订单服务 (Order-Service)： 处理订单生成、状态流转。为解决分布式事务问题，采用 Seata 的AT模式保证下单、扣库存、创建支付单的最终一致性。
· 支付服务 (Payment-Service)： 对接虚拟支付接口（或支付宝沙箱），通过消息队列（RabbitMQ） 异步处理支付回调通知，确保高并发下订单状态的准确更新，并使用死信队列处理超时未支付订单。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服