业务和功能介绍
1、立项背景和目标：研究院需要对猫咪排泄物照片做规模化健康筛查，人工判读效率低、判读经验难沉淀。目标是构建"上传照片→AI自动分析→出报告→可疑样本人工复核"的智能分析服务：AI自动输出六分类异常结果（异物便/异色便/结晶/软便/颜色异常/正常）、Bristol粪便分型、血液/结晶/寄生虫等健康标志与健康建议，辅助兽医批量初筛，已完成商业交付上线。
2、核心功能模块：①图像预处理——EXIF信息剥离、方向修正、图片质量评估；②AI识别服务——多模态大模型结合兽医知识库RAG检索，输出结构化JSON（分类、Bristol分型、健康标志、业务推导结果）；③医学规则引擎——出血/结晶与颜色字段交叉一致性校验，Bristol≤2自动标记复核建议，不让大模型独自承担医疗判断责任；④人工复核队列——低置信或字段不一致样本自动进入队列，审核确认后回流知识库；⑤数据飞轮——复核确认样本经Kappa一致性仲裁后增量入库，含类别平衡与版本化管理，服务越用越准；⑥运行保障——背压熔断、请求队列分级限流、Prometheus指标埋点与MLflow实验追踪。
3、业务流程：上游系统上传排泄物照片→质量检查与隐私脱敏→多模态模型结合检索到的兽医知识生成结构化结论→规则引擎交叉校验→高置信样本直接出报告，低置信/不一致样本进入人工复核队列→复核确认后经一致性仲裁增量回流知识库→随数据积累识别质量持续提升。
2、核心功能模块：①图像预处理——EXIF信息剥离、方向修正、图片质量评估；②AI识别服务——多模态大模型结合兽医知识库RAG检索，输出结构化JSON（分类、Bristol分型、健康标志、业务推导结果）；③医学规则引擎——出血/结晶与颜色字段交叉一致性校验，Bristol≤2自动标记复核建议，不让大模型独自承担医疗判断责任；④人工复核队列——低置信或字段不一致样本自动进入队列，审核确认后回流知识库；⑤数据飞轮——复核确认样本经Kappa一致性仲裁后增量入库，含类别平衡与版本化管理，服务越用越准；⑥运行保障——背压熔断、请求队列分级限流、Prometheus指标埋点与MLflow实验追踪。
3、业务流程：上游系统上传排泄物照片→质量检查与隐私脱敏→多模态模型结合检索到的兽医知识生成结构化结论→规则引擎交叉校验→高置信样本直接出报告，低置信/不一致样本进入人工复核队列→复核确认后经一致性仲裁增量回流知识库→随数据积累识别质量持续提升。
项目实现
1、整体架构：FastAPI服务+vLLM推理引擎（Qwen3-VL-30B-A3B经AWQ 4-bit量化，单卡承载生产流量，提供OpenAI兼容接口）+FAISS/BGE向量库与BM25组成的检索层+PostgreSQL/Redis。检索层采用双轨灰度设计：FAISS+BGE主路径在线服务，Qdrant+新一代Embedding/Reranker链路按四档灰度比例（5%/20%/50%/100%）设计平滑切换，检索升级不停服。
2、本人负责排泄物AI识别模块后端，量化结果：①输出可靠性三道防线——XGrammar约束解码（三级回退兜底）+RICES动态Few-shot选样+四级JSON解析降级，37样本黄金评测集解析降级率0%、格式合规满足≥98%的SLO、关键异常类precision 100%（加权F1 89.08%）；②检索优化——BM25+向量双路召回、RRF融合、可插拔精排，评测集P@K/MRR/NDCG 100%、检索耗时约50ms；③隐私合规——EXIF剥离+结果级签名水印（trace_id+HMAC）便于溯源；④质量与性能——累计735项自动化测试（覆盖率83.29%），端到端测试1.44s（生产RAG+Few-shot全开路径1.8s/P95 2.9s）。
3、难点与解决：一是多模态模型输出格式不稳定、字段漂移频发——以约束解码强制Schema、三级回退兜底、四级解析降级，黄金评测集解析降级率压到0%；二是兽医专业术语（病名/成分/指标）在通用向量检索中命中弱——改为BM25关键词+向量双路召回、RRF融合、精排重排序，检索指标拉满；三是30B模型单卡显存吃紧——采用AWQ 4-bit量化+vLLM显存预分配完成单卡部署；四是高峰期并发冲击——设计背压熔断与请求队列分级限流，保障核心识别链路稳定。
2、本人负责排泄物AI识别模块后端，量化结果：①输出可靠性三道防线——XGrammar约束解码（三级回退兜底）+RICES动态Few-shot选样+四级JSON解析降级，37样本黄金评测集解析降级率0%、格式合规满足≥98%的SLO、关键异常类precision 100%（加权F1 89.08%）；②检索优化——BM25+向量双路召回、RRF融合、可插拔精排，评测集P@K/MRR/NDCG 100%、检索耗时约50ms；③隐私合规——EXIF剥离+结果级签名水印（trace_id+HMAC）便于溯源；④质量与性能——累计735项自动化测试（覆盖率83.29%），端到端测试1.44s（生产RAG+Few-shot全开路径1.8s/P95 2.9s）。
3、难点与解决：一是多模态模型输出格式不稳定、字段漂移频发——以约束解码强制Schema、三级回退兜底、四级解析降级，黄金评测集解析降级率压到0%；二是兽医专业术语（病名/成分/指标）在通用向量检索中命中弱——改为BM25关键词+向量双路召回、RRF融合、精排重排序，检索指标拉满；三是30B模型单卡显存吃紧——采用AWQ 4-bit量化+vLLM显存预分配完成单卡部署；四是高峰期并发冲击——设计背压熔断与请求队列分级限流，保障核心识别链路稳定。
示例图片视频
相似推荐
羊皮缺陷检测及溯源系统-三阳开泰
件功能概述
本系统是一款基于 YOLO 深度学习模型的羊皮缺陷检测与溯源平台，采用 Flask Web 架构，面向皮革加工检测场景，实现从"缺陷识别 → 品质评级 → 溯源二维码 → 客户扫码查询"的完整闭环。主要功能包括：
用户认证与权限管理：账号登录/注册，通过"验证密钥"机制实现工作人员授权注册，防止无关人员随意建号。
AI 缺陷检测：支持图片上传与摄像头实时抓拍两种方式，自动识别破洞、疤痕、脏点、烙印、死皱、烂边、不均等 7 种缺陷。
品质自动评级：依据缺陷数量与严重程度，自动判定优质、合格、次品、废品四级。
溯源二维码：每次检测生成唯一溯源 ID 与二维码，供客户扫码追溯。
溯源查询：独立溯源服务，客户无需登录即可查看检测结果、产地、用处、品质等信息。
历史记录管理：按用户隔离存储，支持查看与删除（撤回）。
报告打包下载：原图、结果图、二维码、检测报告整合为 ZIP 文件。
系统配置：二维码域名、网络模式、羊皮产地与用处等个性化配置。
安全运维：HTTPS 加密通信、统一管理脚本一键启停服务。
核心功能模块
用户认证模块：密码哈希存储，session 24 小时有效；注册前需输入后台生成的 8 位一次性密钥（30 分钟有效），实现受控注册。
AI 检测模块：YOLO 模型推理，支持图片上传与摄像头抓帧检测，结果自动标注并保存。
品质评级模块：缺陷 ≤2 且无严重缺陷为优质（绿）；≤5 且严重缺陷 ≤1 为合格（蓝）；≤10 或严重缺陷 ≤3 为次品（橙）；否则为废品（红）。
溯源二维码模块：高纠错级别生成，支持自定义域名或局域网 IP 两种访问方式。
溯源服务模块：独立运行于 8080 端口的轻量 HTTP 服务，含记录缓存，客户扫码即可公开查询。
历史记录模块：记录按用户拆分为独立 JSON 文件，倒序展示，支持删除并同步清理关联文件。
打包下载模块：生成含原图、结果图、二维码及文字报告（溯源 ID、时间、检测员、产地、用处、评级、缺陷明细）的 ZIP 包。
配置模块：系统级（config.json）与用户级（产地、用处）双层配置。
业务流程路径
流程一：注册与登录 后台生成验证密钥 → 新用户输入密钥验证（一次性、30 分钟有效）→ 注册账号 → 登录进入仪表板。
流程二：检测与溯源（核心） 进入检测页 → 选择图片上传或摄像头模式 → 配置产地、用处 → 点击开始检测 → YOLO 推理识别缺陷并评级 → 展示品质等级、标注图、缺陷统计、溯源二维码 → 自动保存记录；可一键撤回删除。
流程三：客户扫码溯源 客户扫描溯源二维码 → 访问独立溯源服务 → 按溯源 ID 查询 → 展示检测结果（品质、缺陷、产地、用处、时间）→ 可下载打包报告。
流程四：历史查询与管理 进入历史记录页 → 按时间倒序加载当前用户记录 → 查看详情或删除记录
AI自动化测试平台
基于 AI Agent 的测试全流程平台。用户上传/粘贴需求文档后，系统自动提取关键词、匹配需求知识库，由 LLM 生成 8-15 条结构化功能测试用例，并给出 AI 预评审覆盖度评分；人工 Review 通过后可一键转化为 pytest-playwright 自动化用例（自动做语法自校验）；随后由执行引擎调用 Playwright 无头浏览器运行，回写执行结果并沉淀执行历史。覆盖"需求识别 → 用例生成 → 人工评审 → 自动化转化 → 执行 → 报告"的完整链路。
跨境仓储-跨境电商仓储订单管理以及订单发货
1按照仓库来绑定多用户
2同步绑定授权店铺的订单
3处理订单状态
4发货计费
5充值用户余额
用户授权后实时同步所属店铺订单，并且支持推进订单状态，分配库存，提前备货等功能。
用户提交打包之后仓库端会进行线下打包，打快递单并且发出等操作
电商小程序
客户为本地一家社区生鲜连锁门店，拥有 3 个线下自提点，希望把到店客流转化为线上复购，解决传统微信群接龙下单效率低、库存不透明、无法做营销活动的问题。项目目标是 3 个月内上线一套支持「在线选购 + 30 分钟配送/到店自提」的社区生鲜电商小程序，并配套运营管理后台，实现商品、订单、营销、配送的线上化闭环。上线 6 个月，累计注册用户 5000，日均订单稳定在 300+，30 日复购率达 35%。
潮鞋APP
潮鞋APP，是一个C2C的卖鞋的APP，卖家上传商品后设置最低价，在规定时间内买家可以进行拍卖，价格者得。如果买家想要的货物缺货，则买家可以发布需求，由卖家去进行匹配。在交易成功后，货物发给系统管理员进行专业验证，以防假冒伪劣产品。该APP支持android和ios，还有后端的客户管理系统。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服