一个可执行的Python脚本文件,用于爬取线上接单平台-猿急送发布的项目信息数据,包括项目名称、合作方式、预估价格、项目周期、需求描述、是否可投递等信息,整合处理后汇总到一个csv文件内。(后期可视需求添加筛选条件)
1、整体架构:以小见大,单页项目信息爬取→单页目录爬取→多页批量爬取→汇总(csv)
2、语言环境:Python 3.12,Anaconda,Spyder;工具包:requests、bs4、csv、re
3、流程:对页面、目录、分页进行抓包分析并获取请求体信息,利用requests执行请求获取响应数据,利用BeautifulSoup对响应数据进行处理,筛取目标数据并整理,写入csv文件。