业务和功能介绍
### 1. 立项背景与目标
电竞数据分散在官网、Wiki 等多个站点，人工整理耗时且易错。本项目目标是打造一个**合规的赛事数据聚合分析工具**：自动抓取第五人格 IVL 职业联赛公开赛事数据 → 清洗结构化 → 统计分析 → 可视化图表与交互式报告，让"查战绩、看排行、做对比"从手工抄表变成一条命令。
### 2. 软件核心功能与模块
采集层 直连官方赛事接口（JS 逆向抓包），限速 + UA 伪装 + 超时 + 指数退避重试
解析层 官方 JSON / wiki 快照双源解析，字段清洗与类型兜底
分析层 胜率、胜负差、赛季概览、领跑战队
可视化层 胜率排行图、净胜局对比图、胜率×净胜局散点（中文渲染，红高绿低）
报告层 HTML 交互式报告：概览卡片 + 可排序表格 + 内嵌图表，单文件分发
存储层 JSON / CSV / Excel 三格式导出，utf-8-sig 兼容 Excel
质量保障 pytest 20 用例全覆盖 + GitHub Actions CI（3 个 Python 版本矩阵）
交互层 all / report / team / compare / menu 子命令 + 交互菜单
### 3. 业务流程功能路径
```
【一条命令】python main.py all
官方接口抓取 → 解析 10 支战队 → 胜率/净胜局分析
→ 生成 3 张图表 + HTML 报告 → 导出 JSON/CSV/Excel
【日常查询】python main.py menu（交互菜单）
1报表 2查队 3对比 4图表 5导出 6刷新 7退出
team ACT / compare FPX GR 支持模糊匹配
【离线兜底】main.py all --sample（内置样例数据，无网也能完整演示）
```
电竞数据分散在官网、Wiki 等多个站点，人工整理耗时且易错。本项目目标是打造一个**合规的赛事数据聚合分析工具**：自动抓取第五人格 IVL 职业联赛公开赛事数据 → 清洗结构化 → 统计分析 → 可视化图表与交互式报告，让"查战绩、看排行、做对比"从手工抄表变成一条命令。
### 2. 软件核心功能与模块
采集层 直连官方赛事接口（JS 逆向抓包），限速 + UA 伪装 + 超时 + 指数退避重试
解析层 官方 JSON / wiki 快照双源解析，字段清洗与类型兜底
分析层 胜率、胜负差、赛季概览、领跑战队
可视化层 胜率排行图、净胜局对比图、胜率×净胜局散点（中文渲染，红高绿低）
报告层 HTML 交互式报告：概览卡片 + 可排序表格 + 内嵌图表，单文件分发
存储层 JSON / CSV / Excel 三格式导出，utf-8-sig 兼容 Excel
质量保障 pytest 20 用例全覆盖 + GitHub Actions CI（3 个 Python 版本矩阵）
交互层 all / report / team / compare / menu 子命令 + 交互菜单
### 3. 业务流程功能路径
```
【一条命令】python main.py all
官方接口抓取 → 解析 10 支战队 → 胜率/净胜局分析
→ 生成 3 张图表 + HTML 报告 → 导出 JSON/CSV/Excel
【日常查询】python main.py menu（交互菜单）
1报表 2查队 3对比 4图表 5导出 6刷新 7退出
team ACT / compare FPX GR 支持模糊匹配
【离线兜底】main.py all --sample（内置样例数据，无网也能完整演示）
```
项目实现
### 4. 整体架构与项目思路
六层解耦流水线：**采集 → 解析 → 分析 → 可视化 → 报告 → 存储**，配置集中管理，每层可独立替换与单测。
```
main.py (CLI / 交互菜单)
→ crawler.py 采集层 官方接口 + 限速重试
→ parser.py 解析层 官方 JSON / wiki 快照
→ analyzer.py 分析层 胜率 / 排行 / 概览
→ visualizer.py 可视化 matplotlib 中文图表
→ report.py 报告层 HTML 交互式报告
→ storage.py 存储层 JSON / CSV / Excel
→ output/ 图表 + 报告 + 报表
```
设计取舍：**合规优先**（限速 + UA + 重试，不碰隐私数据）；**多源容错**（官方 → wiki → 样例三级降级）；**质量内建**（测试 + CI 自动化）。
### 5. 不同模块的技术栈
requests（网络）· BeautifulSoup4 + lxml（解析）· matplotlib（可视化）
openpyxl（Excel）· pytest（测试）· GitHub Actions（CI）· 标准库（分析/报告）
### 6. 我负责的模块
独立完成全部模块：官网 JS 逆向抓包定位官方接口、采集反爬策略、双源解析容错、分析算法、中文图表、HTML 报告、三格式导出、单元测试与 CI。
### 7. 坑、难点与解决方案
1. **官网积分榜 JS 异步渲染**：`` 为空拿不到数据 → 逆向官网 JS 抓包，定位官方接口直连。
2. **wiki 多张周次快照**：9 张快照表（每周一张）→ 取最后一张最新数据，测试锁定行为。
3. **官方接口字段为数字类型**：解析成 0 → 修复 str() 统一转换。
4. **中文编码乱码**：`apparent_encoding` 自动探测；CSV 用 utf-8-sig 防 Excel 乱码。
5. **matplotlib 中文豆腐块**：自动探测微软雅黑，关闭 Unicode 负号警告。
6. **多源降级**：官方接口不可用自动切 wiki 快照，再切内置样例。
---
六层解耦流水线：**采集 → 解析 → 分析 → 可视化 → 报告 → 存储**，配置集中管理，每层可独立替换与单测。
```
main.py (CLI / 交互菜单)
→ crawler.py 采集层 官方接口 + 限速重试
→ parser.py 解析层 官方 JSON / wiki 快照
→ analyzer.py 分析层 胜率 / 排行 / 概览
→ visualizer.py 可视化 matplotlib 中文图表
→ report.py 报告层 HTML 交互式报告
→ storage.py 存储层 JSON / CSV / Excel
→ output/ 图表 + 报告 + 报表
```
设计取舍：**合规优先**（限速 + UA + 重试，不碰隐私数据）；**多源容错**（官方 → wiki → 样例三级降级）；**质量内建**（测试 + CI 自动化）。
### 5. 不同模块的技术栈
requests（网络）· BeautifulSoup4 + lxml（解析）· matplotlib（可视化）
openpyxl（Excel）· pytest（测试）· GitHub Actions（CI）· 标准库（分析/报告）
### 6. 我负责的模块
独立完成全部模块：官网 JS 逆向抓包定位官方接口、采集反爬策略、双源解析容错、分析算法、中文图表、HTML 报告、三格式导出、单元测试与 CI。
### 7. 坑、难点与解决方案
1. **官网积分榜 JS 异步渲染**：`` 为空拿不到数据 → 逆向官网 JS 抓包，定位官方接口直连。
2. **wiki 多张周次快照**：9 张快照表（每周一张）→ 取最后一张最新数据，测试锁定行为。
3. **官方接口字段为数字类型**：解析成 0 → 修复 str() 统一转换。
4. **中文编码乱码**：`apparent_encoding` 自动探测；CSV 用 utf-8-sig 防 Excel 乱码。
5. **matplotlib 中文豆腐块**：自动探测微软雅黑，关闭 Unicode 负号警告。
6. **多源降级**：官方接口不可用自动切 wiki 快照，再切内置样例。
---
示例图片视频
相似推荐
宠物健康AI图像分析服务-猫咪排泄物识别模块
1、立项背景和目标：研究院需要对猫咪排泄物照片做规模化健康筛查，人工判读效率低、判读经验难沉淀。目标是构建"上传照片→AI自动分析→出报告→可疑样本人工复核"的智能分析服务：AI自动输出六分类异常结果（异物便/异色便/结晶/软便/颜色异常/正常）、Bristol粪便分型、血液/结晶/寄生虫等健康标志与健康建议，辅助兽医批量初筛，已完成商业交付上线。
2、核心功能模块：①图像预处理——EXIF信息剥离、方向修正、图片质量评估；②AI识别服务——多模态大模型结合兽医知识库RAG检索，输出结构化JSON（分类、Bristol分型、健康标志、业务推导结果）；③医学规则引擎——出血/结晶与颜色字段交叉一致性校验，Bristol≤2自动标记复核建议，不让大模型独自承担医疗判断责任；④人工复核队列——低置信或字段不一致样本自动进入队列，审核确认后回流知识库；⑤数据飞轮——复核确认样本经Kappa一致性仲裁后增量入库，含类别平衡与版本化管理，服务越用越准；⑥运行保障——背压熔断、请求队列分级限流、Prometheus指标埋点与MLflow实验追踪。
3、业务流程：上游系统上传排泄物照片→质量检查与隐私脱敏→多模态模型结合检索到的兽医知识生成结构化结论→规则引擎交叉校验→高置信样本直接出报告，低置信/不一致样本进入人工复核队列→复核确认后经一致性仲裁增量回流知识库→随数据积累识别质量持续提升。
三语采购合同AI识别服务-合同AI识别服务
1、立项背景和目标：客户的跨境贸易系统（PHP/Laravel技术栈、面向印尼市场）每天需处理大量中/印尼/英三语采购合同，财务人员手工录入合同编号、甲乙方、含税金额、明细行等字段，效率低且易错。目标是为老系统低成本集成AI合同识别能力：上传PDF/DOC/DOCX/XLS合同文件，自动输出结构化字段，替代人工录入。客户服务器仅6GB内存、无GPU、与大业务系统共用主机，方案必须在极端资源约束下长期稳定运行，已上线商业交付。
2、核心功能模块：①文件接收与校验——文件魔数校验、批量总大小限制、路径白名单，PHP系统经HTTP安全调用；②三语规则引擎——约90条带权正则覆盖印尼盾Rp千分位金额、DPP/PPN税额拆分与税率反算、三语日期、客户专属四种合同编号体系；③智能分档路由——规则引擎对文档打分（文本密度/表格格式/关键字段命中/乱码率四因子加权），按85/50阈值分档：高分档以极简Prompt校验补漏，低置信档完整LLM推理并标记人工复核，兼顾成本与准确率；④双轨识别——DeepSeek云端API为主方案，本地GGUF量化小模型降级兜底；⑤合规与审计——云端调用前10类PII结构化脱敏（含递归分片保护）、数据出境授权门禁、HMAC签名+时间戳窗口防重放、每次调用的token/成本/耗时全量审计留痕；⑥持续学习——用户纠错反馈沉淀为动态同义词库，经审核状态机管控后运行时优先命中；⑦监控告警——CPU/内存/调用量指标落盘与告警闭环。
3、业务流程：PHP系统上传合同文件→签名鉴权与文件校验→文本抽取（PDF/Word/Excel）→规则引擎打分分档→高分档极简Prompt校验补漏、低置信档完整LLM推理+人工复核标记→结构化JSON返回PHP系统入库→用户纠错反馈沉淀同义词→监控指标持续记录，全程审计可追溯。
多智能体电商工单系统-TicketFlow智枢工单
1、立项背景和目标：面向日均3000单的电商客服场景，针对外包客服知识断层、跨部门流转率高、客服经验无沉淀三大痛点，构建一套"提交→分类→检索→审核→关单"全链路自动化的多智能体工单系统，让常见问题自动解答、复杂问题有序流转人工。
2、核心功能模块：①智能分类路由——Supervisor中心化编排，按物流/退款/账单/账户/通用五类意图自动分派；②知识问答——BM25+向量混合检索、RRF融合与可插拔精排，回答附带引用来源；③幻觉控制——四级降级（重试改写→模板兜底→相似解→转人工）+全局重试预算，杜绝死循环；④人机协同HITL——敏感操作、连续降级自动暂停工单进入审批队列，支持通过/编辑/驳回三种裁决并断点续跑；⑤知识自迭代——关单自动抽取"问题-根因-方案-置信度"四元组入库沉淀；⑥可观测面板——全链路调用追踪、SSE流式输出、Token成本核算。
3、业务流程：用户提交工单→意图识别与分类→混合检索知识库生成答复→质检校验（不通过按级降级或转人工）→敏感/低置信工单进入人工审批队列→裁决后断点恢复继续流转→关单时自动沉淀知识四元组，供后续工单检索复用。
智能体评测体系-评测规范与评分标准
一、背景
团队已有多个智能体产品在实际使用，但效果一直不稳定：改动一处之后不知道整体是变好还是变差，缺少客观统一的衡量标准；评测要么干脆不做，要么各团队各评各的，口径不一、结论互相矛盾，没法支撑产品迭代决策；优化方向靠"感觉不够好"，优化完了也没法证明真的变好了。
二、目标
建立一套覆盖全链路的智能体评测规范：评什么、为什么这么评、结论需要什么证据支撑，让每一次智能体变更都能跑出可对比的量化结论；把迭代从拍脑袋推进变成按证据推进，把优化方向从猜测变成定位，让团队敢改、改了能验证。
AI 自动化测试体系-AITest
一、背景
团队开始大量使用智能能力生成代码、文档和测试用例之后，产出速度远超人工审核能力：这次产出的质量比上次是好了还是差了、具体是哪个环节出了问题、哪些场景被漏掉了，团队里没人说得清。质量判断靠感觉，评审靠争论，出了问题只能事后补救；更麻烦的是智能产出变化快，传统"测一轮就完事"的方式完全跟不上变化节奏。
二、目标
为智能产出建立一套可重复、可量化的质量验证流程，让产出质量从不可控变成可度量、可对比、可追溯：测试集设计覆盖核心场景与边界情况，能交给机器判定的全部交给机器，每次变更后自动回归，版本之间用数据对比，让"变好还是变坏"不再靠感觉，而是看报告。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服