python爬虫_数据分析_开发者

• UID:25767

综合评分 34

方向：爬虫/脚本-爬虫/脚本

天津市

400元/8h

10年以上经验

求职意愿：接单·不求职(30天前更新)

个人简介

擅长 Python 开发，主要做：合法公开数据爬虫、数据采集、导出 Excel/CSV 办公自动化：Excel 批量处理、文件处理、脚本开发数据清洗、数据分析与简单报表生成代码规范、注释清晰、交付即用，提供使用说明。晚上 19:00–23:00 可稳定工作，1–3 天快速交付，验收后提供免费小修改，靠谱好沟通。

技能

核心技能： Python、Scrapy

其他技能： Selenium

交流语言：普通话（可口语交流）

行业经验：大数据

项目案例

scrapy实现批量图片下载

1、立项背景核心是解决人工 / 通用工具下载图片效率低、适配性差的痛点，依托 Scrapy 的爬虫优势满足批量图片获取的行业需求；项目目标分为业务（高效下载、灵活筛选、结构化存储）、技术（轻量化、可扩展、易用）、非功能（合规、性能、容错）三类，聚焦 “高效、可控、易扩展”；核心价值是提升下载效率、降低成本，同时保证下载过程的稳定性和合规性。 2、通过scrapy中的类ImagesPipeline实现图片下载，同时可以通过scarpy crawl -a传参，修改下载图片的内容和下载的数量 3、通过start_requests方法获取需要下载图片的内容和数量，并构造url传给parse方法获取每张图片下载的url，然后利用scarpy传给管道，由管道利用ImagesPipeline下载图片

大数据