我开动啦

• UID:31684

综合评分 41

方向：爬虫/脚本-爬虫/脚本、后端-Python

南宁市

200元/8h

1-3年经验

求职意愿：接单·不求职(1天内更新)

个人简介

Python 开发工程师，2 年爬虫与自动化方向实战经验，擅长 Web 数据采集、API 逆向、验证码破解、数据处理与可视化。核心技术举例： 1. 验证码自动破解 — 针对网易易盾滑块验证码，使用 OpenCV Canny 边缘检测 + RGB 列间差分分析精确定位缺口，配合双峰配对算法和人类行为轨迹模拟（加速→匀速→减速+随机抖动），实现 90%+ 自动通过率，已在真实 B2B 电商平台部署运行。 2. 加密 API 逆向 — 某省级政府采购平台采用 MD5 签名 + AES-CBC 加密保护接口数据。通过逆向前端 JS 提取签名密钥和加解密参数，完整还原请求签名和响应解密的完整链路，绕过 API 防护成功采集 2000+ 条招标公告。 3. 反检测爬虫 — 拉勾网使用 Next.js SSR 渲染 + 反自动化检测。采用持久化浏览器指纹 + 禁用自动化标志的方法绕过检测，并设计 SSR JSON 解析 + DOM 降级抓取的双通道数据提取策略，确保数据采集的稳定性和完整性。可承接：Python 爬虫开发、数据采集、API 逆向、自动化脚本、数据处理与可视化、验证码破解、代码调试与修改。需求发来即可评估，按工时或固定价格报价，交付源码 + 文档 + 使用说明。

技能

核心技能：

其他技能： Python、Selenium、Selenium WebDriver

交流语言：英语（借助工具可书面交流）、普通话（母语水平）

行业经验：搜索

项目案例

网易易盾滑块验证码自动识别与拖拽破解系统

本系统解决网页爬虫中最棘手的验证码拦截问题。针对网易易盾（NetEase Yidun）滑块验证码——国内强度最高的反爬系统之一——实现全自动识别与破解。核心流程：自动检测滑块弹窗 → 下载背景图和拼图块 → OpenCV 计算机视觉定位缺口位置 → 生成人类行为模拟轨迹 → Playwright 模拟鼠标拖拽 → 自动判定成功/失败并重试。成功率达 90%+，已在真实 B2B 医药电商平台（药师帮）的批量商品数据采集任务中实际部署。

电商安全

省市级政府采购招标公告 API 逆向与批量采集系统

本系统实现两套省级政府采购平台的招标公告全自动采集：福建省平台（ggzyfw.fj.gov.cn）：MD5 请求签名破解 + AES-CBC 响应解密广东省平台（ygp.gdzwfw.gov.cn）：双源 API 架构（门户列表+源平台详情）总计采集 2000+ 条公告，每条包含项目名称、招标编号、招标人、招标代理、合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。

内容平台

B2B 医药平台商品信息批量搜索与规格筛选爬虫

针对药师帮（ysbang.cn）B2B 医药电商平台的商品信息批量采集系统。从 Excel 读取任务清单（商品通用名+规格），自动搜索 → 筛生产厂家 → 判断多规格/无结果 → 翻页抓取前 120 条商品数据 → 输出 Excel 三表。集成了滑块验证码自动破解模块，当触发易盾滑块时自动识别缺口并拖拽通过，实现全流程无人值守。

内容平台

高德地图全国城市交通拥堵指数实时监控与可视化

从高德地图实时交通报告页面的 XHR API 接口抓取全国城市拥堵数据，包含拥堵延时指数、周环比变化趋势、畅通状态行驶速度等指标。自动按拥堵程度排名并生成 Top 10 柱状图，支持全量 CSV 导出。可用于城市交通分析、研究报告数据支撑、交通规划参考。

出行

拉勾网招聘职位批量采集系统（反反爬 + 多源数据提取）

针对拉勾网（lagou.com）——国内主要互联网招聘平台——的职位信息批量采集。采用双重数据提取策略：优先从 Next.js 的 SSR 渲染数据（__NEXT_DATA__）中直接提取结构化 JSON，失败时降级为 DOM 选择器遍历。使用持久化浏览器档案和反自动化检测绕过技术，成功避开拉勾网的反爬拦截。

在线教育

工作经历

睿至科技集团有限公司

50-200人

Python 数据工程师（数据采集与处理方向）

2023.03 - 2025.02

1. 负责公司数据中台的 Web 数据采集模块开发与维护，使用 Python + Scrapy/Playwright 构建分布式爬虫系统，日均采集并清洗 10 万+ 条公开商业数据（招投标信息、企业工商信息、行业公告等），支撑上层数据分析与商业情报产品线。 2. 针对头部电商/招聘/政务平台的 API 反爬机制进行逆向分析与破解，包括：MD5 动态签名算法还原、AES-CBC 加密响应解密、请求头时序校验绕过（X-Dgi-Req-Nonce / Timestamp），成功对接 8+ 个外部数据源的 API 自动化采集链路。 3. 开发验证码全自动破解模块（Playwright + OpenCV），覆盖网易易盾滑块、阿里云滑块等主流验证码类型。基于 Canny 边缘检测与 RGB 列间差分分析实现缺口定位，配合人类行为轨迹模拟（三段加速曲线 + 随机抖动），自动通过率达 90%+，部署后使采集系统整体可用性提升约 40%。