Boss直聘岗位抓取 SDK (job_hunter) 是一款基于“真实浏览器 Cookie + httpx 纯 API 调用”的高效数据抓取工具。项目创新性地采用 “浏览器仅供登录态,数据走纯 API” 的架构,在保证账号安全与登录稳定性的同时,实现了极高的数据抓取速度与并发性能。
核心功能
1. 全链路岗位数据获取
多维度精准搜索:支持关键词搜索,并兼容城市、薪资、学历、经验、行业、规模、融资阶段等丰富的筛选条件(支持直接传入中文名称或数字编码)。
深度详情解析:精准获取完整 JD(岗位职责)、技能要求、工作地址、招聘人数、职位状态及薪酬类型等深度信息。
2. 自动化沟通与互动
一键打招呼:支持通过 API 自动向目标 Boss 发送招呼/开始沟通,并返回详细的成功或失败状态(如触发开聊提醒)。
会话全景追踪:一键获取全部会话列表,包含最后沟通消息、时间、发送方以及未回复状态监控。
面试邀请管理:快速获取当前所有的面试邀请列表。
3. 智能风控与高可用机制
Session 自动保活:自动识别并处理 code=37 等风控拦截,实现 Token/Session 过期自动刷新。
登录态自动恢复:实时检测页面失效关键词,一旦检测到登录失效,自动唤起浏览器重新登录。
网络异常重试:内置底层重试机制,有效应对网络波动,保障抓取任务不中断。
4. 灵活的工程化配置
数据与日志持久化:支持结果自动保存为 JSON,提供控制台输出与日志文件双写模式。
GUI 友好设计:提供 on_message 回调接口,可轻松集成到各类桌面端 GUI 应用程序中。
https://github.com/2424830124/job_hunter
设计思路
核心思想:“浏览器仅供登录态,数据全走纯 API”。
轻量与高效并重:摒弃沉重的全量浏览器自动化(如 Selenium/Playwright 模拟点击)。浏览器仅在需要登录或 Cookie 失效时唤起,获取真实 Cookie 后,所有数据交互均通过 httpx 直接调用纯 API,实现极高的抓取速度与并发性能。
无感风控与自愈:内置智能状态机应对平台风控。
遇到 code=37(Session 过期)自动静默刷新。
检测到登录失效关键词拉起浏览器手动重新登陆。
遭遇网络波动触发底层自动重试机制。