立项是给自己做找单工具,目标是把公开的兼职招聘帖批量抓下来筛,不再一条条翻。软件功能是抓公开招聘板块列表,提标题、链接和回复数,自动去重后存CSV;请求间隔3秒、单次只跑两页,严格遵守站点robots,只碰完全公开的列表页。业务流程是拉取列表、解析入库、去重,再按关键词筛出匹配的单子。
整体用Python加Requests开发,HTMLParser做解析,CSV落地,五十行左右的单文件脚本。我独立完成采集和解析全部开发,核心是容错解析器:不同帖子的标题结构不一样,用状态机逐标签走,抓不到的字段记空不中断。难点一是回复数藏在不同class里,改从相邻节点反查;二是网络抖动加超时重试;三是反爬合规,限速加缓存,登录后页面一律不碰。