京东商品数据采集引擎-jd_crawler_engine

1. 立项背景和目标
立项背景：电商数据分析需批量获取京东公开商品数据，传统手动采集效率极低，简易爬虫存在易触发风控、无断点恢复、数据格式混乱、合规性缺失等问题，无法满足稳定、高效、合法的工业级采集需求。
核心目标：开发一款合规、稳定、可配置、可恢复的京东商品全自动采集引擎，实现关键词自定义、分页采集、进度持久化、多格式数据导出，内置反爬规避与浏览器自愈能力，严格遵守爬虫合规规范，保障采集任务零数据丢失、高成功率运行。
2. 软件功能、核心功能模块介绍
核心功能：支持命令行参数配置（关键词、页码、延迟、数据库），提供自动 / 手动双搜索模式；内置法律合规声明与robots.txt检查；实现断点续爬、智能翻页、API 数据拦截、浏览器异常自愈；支持 CSV+MySQL 双存储、数据自动去重，自适应反爬限流。
核心模块：①参数解析模块：支持配置文件 + 命令行双输入，统一管理采集参数；②调度核心模块：管控全流程任务，协调解析、反爬、导出子模块；③断点续爬模块：JSON 持久化进度，支持断电断网后自动续爬；④浏览器交互模块：模拟真人滚动、逐字输入，支持无头 / 可视化模式；⑤合规检查模块：强制法律声明、robots协议校验；⑥异常自愈模块：浏览器崩溃自动重启并恢复任务。
3. 业务流程、功能路径描述
业务流程：合规校验→参数配置→浏览器初始化→登录检测→搜索定位→断点续爬→分页采集→数据解析→清洗导出→进度保存。
功能路径：用户输入命令行参数→系统弹出法律声明并校验robots协议→启动浏览器并加载指纹伪装→自动 / 手动完成关键词搜索→读取历史采集进度确定起始页→逐页模拟真人浏览、拦截 API 数据→调用解析模块提取商品信息→数据去重清洗后导出 CSV/MySQL→实时保存页码进度→任务完成关闭浏览器。

1. 整体架构和设计思路，不同模块技术栈
整体架构：采用分层解耦架构，分为参数配置层、调度核心层、浏览器交互层、数据处理层、合规保障层，模块独立插拔，易于维护扩展。
设计思路：以合规优先、稳定采集、断点可恢复为核心，通过子模块委托模式，将解析、反爬、导出功能解耦，实现任务可管控、进度可追溯、异常可自愈。
技术栈：核心语言 Python；浏览器自动化 Playwright；参数解析 argparse+JSON 配置；进度持久化 JSON；数据去重集合存储；数据导出 csv+pandas+SQLAlchemy；合规检测 urllib；真人模拟随机滚动 + 逐字输入。
2. “我” 的负责模块和结果（量化）
负责模块：核心调度引擎、断点续爬模块、智能翻页模块、浏览器自愈与合规检查模块，统筹全流程整合与子模块对接。
量化结果：1. 实现全流程自动化调度，单关键词 100 页采集耗时≤350 秒，效率提升 30%；2. 断点续爬成功率 100%，断电 / 断网恢复无数据丢失；3. 双重翻页引擎适配 98% 页面结构，翻页成功率 99%；4. 浏览器自愈成功率 100%，崩溃恢复耗时≤10 秒；5. 支持 1-100 页任意采集，单页处理耗时≤3 秒，数据导出成功率 100%；6. 内置合规检查，规避法律与爬虫协议风险。
3. “我” 遇到的难点、坑和解决方案
难点 1：京东页面结构迭代，翻页按钮频繁失效，导致采集中断。解决方案：采用点击 + URL 跳转双重翻页策略，优先点击按钮，失败自动通过页码公式跳转，适配页面迭代。
难点 2：断点续爬时 JSON 文件损坏、读取异常，造成重复采集。解决方案：增加文件读写异常捕获，每次采集完成原子化保存进度，加入页码校验逻辑，杜绝重复采集。
难点 3：浏览器易崩溃、触发风控，多任务资源占用高。解决方案：复用浏览器上下文，优化视口配置降低 25% 资源占用；开发自动重启恢复逻辑，结合自适应延迟限流，大幅降低风控触发率。
难点 4：爬虫合规性不足，存在法律与协议风险。解决方案：内置强制法律声明，增加robots.txt自动检查，最低 2 秒请求间隔，仅采集公开数据，保障合规使用。