开发定向爬虫程序,针对主流招聘门户网站开展公开岗位信息采集;自动抓取岗位名称、薪资范围、工作地点、任职要求、公司行业、福利标签等字段;对抓取的原始数据进行去重、空值过滤、薪资区间标准化清洗;最终结构化导出Excel表格,可用于岗位薪资调研、行业人才需求分析、竞品公司招聘动向监测;程序自带请求间隔、随机切换基础反爬策略,降低页面封禁概率,支持指定城市、岗位关键词定向采集。
打开网页,进行反爬虫处理,在开发者工具中找到访问网站,静态网页采用解析页面节点提取文本,找到对应的文本,抓取内容,解析数据将json字符串转为python字典,提取需要的数据,最后将规整后的数据集批量写入Excel文件