leo

资深爬虫/脚本程序员，擅长 Python 异步爬虫开发、数据采集与处理。 核心技能： 爬虫技术：aiohttp 异步并发、Scrapy 框架、Playwright/Selenium 自动化、UA轮换/请求节流/重试退避等反爬策略 数据处理：pandas 数据分析、SQLite/MySQL 数据库操作、CSV/JSON/Excel 数据格式转换 脚本开发：自动化脚本编写、定时任务调度（APScheduler）、CLI 工具开发（click） 技术栈：Python、aiohttp、requests、BeautifulSoup、pandas、SQLite、Git 项目经验： 异步多源招聘信息聚合爬虫：集成 Remotive API 和 Hacker News 两个公开数据源，异步并发抓取，SQLite UPSERT 去重，自动生成薪资分布、技能词频、地区公司 Top-N 分析报告，支持 CSV/JSON 导出和 cron 定时任务 企业级数据采集系统：针对多个电商平台的商品数据采集，支持分布式部署、增量更新、IP代理池轮换、验证码识别集成 擅长解决复杂反爬问题，能够快速定位并绕过目标网站的限制，保证数据采集的稳定性和完整性。注重代码质量和工程化实践，项目代码结构清晰、可维护性强。