对公开商品列表静态网页进行多页循环抓取,使用 XPath 定位页面元素,提取商品标题、售价、详情链接;自动对采集结果去重、过滤空白脏数据,最终导出规整 Excel 表格;增加异常捕获,保证程序稳定运行,交付完整注释源码 + 成品表格。
整体采用单脚本模块化设计,分为页面请求、数据解析、数据清洗、结果导出四个模块。页面请求模块使用 requests 库配置请求头与随机延时,降低被目标站点拦截概率;数据解析模块基于 lxml 结合 XPath 精准定位商品标题、价格、链接等字段;清洗模块用集合完成 URL 去重、strip 过滤空白字符;导出模块使用 pandas 将结构化数据写入 Excel。
本人独立完成全部开发与调试,支持多页循环抓取,单轮可稳定采集数百条商品数据,导出表格字段完整、无重复脏数据。
开发中遇到两个问题:一是部分页面编码不一致导致中文乱码,通过显式指定 response.encoding 为 utf-8 解决;二是连续请求过快触发站点限流,加入 1~3 秒随机间隔 + 异常重试机制后稳定运行。