开发爬虫程序,采集互联网数据:
1. 使用Python语言,基于Scrapy二次开发了一套适用于公司需求爬虫基础框架
2. 基于以上爬虫基础框架,开发爬虫程序采集各类互联网数据,满足公司需求
3. 基于爬虫开发经验,提供反爬建议
● 技术架构:
使用Python语言,基于Scrapy二次开发了一套适用于公司需求爬虫基础框架;对爬虫请求参数及队列,响应处理,数据持久化等基础公共功能进行了定制化开发;并引入了ddddocr图片验证码识别、Web自动化反爬(Selenium、Playwright…)等技术。
● 个人角色:
个人作为爬虫团队负责人,全面负责爬虫相关的各类工作,具体如下:
1. 独立开发爬虫基础框架,并对开发人员进行相关培训
2. 对爬虫开发任务进行评估、分配、验收,并对开发人员进行考评
3. 对爬虫疑难问题进行调研攻坚