JR

架构与技术栈 整体采用模块化 Python 爬虫架构，分为网页请求模块、页面解析模块、数据清洗模块、文件存储四大模块。核心技术使用 requests 库发送网络请求，BeautifulSoup 完成 HTML 页面标签解析，re 正则表达式做文本提取，pandas 库进行批量数据处理与 Excel 文件导出，通过 time 模块添加随机延时构建反爬策略。 个人负责内容与量化成果 本人独立完成全部代码编写与项目落地，定向抓取上海平面设计、深圳游戏设计两类岗位，累计抓取有效招聘数据 400 余条，完成 20 余项字段拆分、重复数据剔除、异常薪资格式修正，最终输出两份完整结构化 Excel 数据集，数据完整率达 98% 以上，可直接导入工具进行可视化分析。 难点与解决方案 难点 1：网站存在访问频率限制，短时间高频请求容易触发 IP 拦截。 解决：设置 1-3 秒随机请求间隔，模拟自然人浏览行为，降低访问风险。 难点 2：岗位薪资、任职要求为不规则长文本，格式混乱无法直接统计。 解决：编写正则匹配规则拆分薪资上下限、工作年限、专业技能关键词，统一数据格式；利用 pandas 重复值检测函数自动去重，提升数据集整洁度