猿急送兼职项目智能筛选爬虫系统
1. 项目有哪些具体功能模块:
① 爬虫抓取模块(scrape_lightweight.py):基于 curl_cffi 异步并发,模拟 Chrome 131 浏览器指纹,自动轮转代理池,支持断点续爬,可抓取猿急送平台所有兼职项目数据(标题、预算、工时、状态、描述等)。
② 智能过滤模块:内置黑名单关键词库,自动排除高难度(架构/专家/底层)、违规敏感(翻墙/刷单/赌博)、硬件 IoT、游戏开发等不适宜大学生接取的项目。
③ 技术分类模块(classify.py):根据项目描述中的技术关键词,自动将任务归类为爬虫/Python脚本/前端/Web/小程序移动端/后端接口/AI智能体/测试质检/嵌入式IoT/工具脚本等 10 个技术方向,并分 Sheet 输出。
④ 学生项目筛选模块(filter_student_projects.py):在过滤基础上,进一步筛选预算 ≤500元、非驻场的项目,按预算升序排列,输出适合大学生的项目清单。
⑤ 代理池模块(proxy_pool.py):自动从快代理、free-proxy-list 抓取免费代理,连通性测试后按成功率加权随机选取,失败 3 次自动拉黑,定期恢复。
2. 项目的主要功能描述:
本项目解决大学生在猿急送等兼职平台上"找项目难、筛项目累"的问题。用户只需运行脚本,即可自动获取全部可投递项目并导出 Excel,同时一键生成按技术方向分类的 Sheet 和经过严格过滤的学生友好项目列表。相比人工逐页浏览,效率提升数十倍;相比人工筛选,避免接到超难度或违规项目。项目结构清晰、依赖简单(仅 Python 4个库),可作为高校课程设计/综合实验的优秀实践案例,完整体现了网络爬虫、数据清洗、分类算法、文件处理等多项核心技能。
金融
电商