业务和功能介绍
1. 项目有哪些具体功能模块：
① 爬虫抓取模块（scrape_lightweight.py）：基于 curl_cffi 异步并发，模拟 Chrome 131 浏览器指纹，自动轮转代理池，支持断点续爬，可抓取猿急送平台所有兼职项目数据（标题、预算、工时、状态、描述等）。
② 智能过滤模块：内置黑名单关键词库，自动排除高难度（架构/专家/底层）、违规敏感（翻墙/刷单/赌博）、硬件 IoT、游戏开发等不适宜大学生接取的项目。
③ 技术分类模块（classify.py）：根据项目描述中的技术关键词，自动将任务归类为爬虫/Python脚本/前端/Web/小程序移动端/后端接口/AI智能体/测试质检/嵌入式IoT/工具脚本等 10 个技术方向，并分 Sheet 输出。
④ 学生项目筛选模块（filter_student_projects.py）：在过滤基础上，进一步筛选预算 ≤500元、非驻场的项目，按预算升序排列，输出适合大学生的项目清单。
⑤ 代理池模块（proxy_pool.py）：自动从快代理、free-proxy-list 抓取免费代理，连通性测试后按成功率加权随机选取，失败 3 次自动拉黑，定期恢复。
2. 项目的主要功能描述：
本项目解决大学生在猿急送等兼职平台上"找项目难、筛项目累"的问题。用户只需运行脚本，即可自动获取全部可投递项目并导出 Excel，同时一键生成按技术方向分类的 Sheet 和经过严格过滤的学生友好项目列表。相比人工逐页浏览，效率提升数十倍；相比人工筛选，避免接到超难度或违规项目。项目结构清晰、依赖简单（仅 Python 4个库），可作为高校课程设计/综合实验的优秀实践案例，完整体现了网络爬虫、数据清洗、分类算法、文件处理等多项核心技能。
① 爬虫抓取模块（scrape_lightweight.py）：基于 curl_cffi 异步并发，模拟 Chrome 131 浏览器指纹，自动轮转代理池，支持断点续爬，可抓取猿急送平台所有兼职项目数据（标题、预算、工时、状态、描述等）。
② 智能过滤模块：内置黑名单关键词库，自动排除高难度（架构/专家/底层）、违规敏感（翻墙/刷单/赌博）、硬件 IoT、游戏开发等不适宜大学生接取的项目。
③ 技术分类模块（classify.py）：根据项目描述中的技术关键词，自动将任务归类为爬虫/Python脚本/前端/Web/小程序移动端/后端接口/AI智能体/测试质检/嵌入式IoT/工具脚本等 10 个技术方向，并分 Sheet 输出。
④ 学生项目筛选模块（filter_student_projects.py）：在过滤基础上，进一步筛选预算 ≤500元、非驻场的项目，按预算升序排列，输出适合大学生的项目清单。
⑤ 代理池模块（proxy_pool.py）：自动从快代理、free-proxy-list 抓取免费代理，连通性测试后按成功率加权随机选取，失败 3 次自动拉黑，定期恢复。
2. 项目的主要功能描述：
本项目解决大学生在猿急送等兼职平台上"找项目难、筛项目累"的问题。用户只需运行脚本，即可自动获取全部可投递项目并导出 Excel，同时一键生成按技术方向分类的 Sheet 和经过严格过滤的学生友好项目列表。相比人工逐页浏览，效率提升数十倍；相比人工筛选，避免接到超难度或违规项目。项目结构清晰、依赖简单（仅 Python 4个库），可作为高校课程设计/综合实验的优秀实践案例，完整体现了网络爬虫、数据清洗、分类算法、文件处理等多项核心技能。
项目实现
① 浏览器初始化与反检测模块（launch）：使用 Playwright 启动可见 Chromium，注入 --disable-blink-features=AutomationControlled 参数屏蔽自动化标记，调用 playwright-stealth 重写 navigator.webdriver、chrome.runtime 等检测特征，加载本地缓存的 douyin_state.json 跳过登录流程。
② 登录态管理模块（login）：导航至 /user/self 触发登录弹窗，通过 JS 遍历 DOM 定位「密码登录」按钮并点击，自动填写环境变量中的手机号和密码，检测页面是否含「未登录」判断结果，登录成功后调用 storage_state() 序列化 Cookie 和本地存储并持久化到本地文件。
③ 数据抓取与去重模块（scrape_tab）：监听页面网络响应事件，拦截包含 aweme/feed 关键词的 API 请求，解析 JSON 提取视频字段，维护 aweme_id 集合实现去重；采用滚动加载策略，每次 scrollBy(0, 2000) 后等待 2s 触发分页，连续 5 次 scrollHeight 无变化或到达页面底部时终止，最多滚动 100 次防死循环。
④ 数据导出模块（export_results）：每个 Tab 结果分别导出为 JSON（含完整字段和元数据）和 CSV（utf-8-sig 编码，Excel 原生支持中文），输出到 output/ 目录。
⑤ 账号配置模块（.env）：使用 python-dotenv 从环境变量读取 DOUYIN_USERNAME 和 DOUYIN_PASSWORD，避免硬编码，.env 文件已加入 .gitignore 不入库。
② 登录态管理模块（login）：导航至 /user/self 触发登录弹窗，通过 JS 遍历 DOM 定位「密码登录」按钮并点击，自动填写环境变量中的手机号和密码，检测页面是否含「未登录」判断结果，登录成功后调用 storage_state() 序列化 Cookie 和本地存储并持久化到本地文件。
③ 数据抓取与去重模块（scrape_tab）：监听页面网络响应事件，拦截包含 aweme/feed 关键词的 API 请求，解析 JSON 提取视频字段，维护 aweme_id 集合实现去重；采用滚动加载策略，每次 scrollBy(0, 2000) 后等待 2s 触发分页，连续 5 次 scrollHeight 无变化或到达页面底部时终止，最多滚动 100 次防死循环。
④ 数据导出模块（export_results）：每个 Tab 结果分别导出为 JSON（含完整字段和元数据）和 CSV（utf-8-sig 编码，Excel 原生支持中文），输出到 output/ 目录。
⑤ 账号配置模块（.env）：使用 python-dotenv 从环境变量读取 DOUYIN_USERNAME 和 DOUYIN_PASSWORD，避免硬编码，.env 文件已加入 .gitignore 不入库。
示例图片视频
相似推荐
每日数据聚合展示平台
立项背景：为解决多平台公开数据（天气、汇率、热搜等）分散、获取效率低、缺乏可视化监控的问题，设计并实现了该数据聚合展示平台，将多源异构数据统一抓取、清洗并归档展示。
核心功能：包含四个数据源（天气、每日一句、汇率、百度热搜）的定时抓取，采用 Quartz 动态注册 4 个 Job 按 cron 调度。后端入库后，前端通过 ECharts 进行多维度可视化展示，包括温度趋势折线图、汇率柱状图、热搜标签饼图以及任务执行日志。
业务流程：定时任务触发抓取 -> 统一入库 -> 任务日志记录（耗时/成功失败） -> 前端仪表盘展示，形成完整的数据采集与监控闭环。
APP-金色财经
1. 负责《金色财经》APP项目的整体架构设计与实施，确保服务端的高性能与稳定运行。
2. 主导快讯与文章数据的抓取策略，通过go语言实现高效的数据采集与处理流程。
3. 利用gin框架搭建RESTful API服务，优化请求响应速度，提升用户体验。
4. 针对数据展示需求，设计并实现了与百度等平台数据小卡片的集成与刷新机制。
5. 管理并优化数据库交互，采用mysql与redis配合，保障数据存储的高效与准确。
6. 引入rocketmq消息队列，确保在高并发场景下系统的消息处理能力与稳定性。
视频去除字幕
1.快速去除字幕，简单背景偏纯色的时候使用时推荐，速度块
2.高清ai修复去字幕，复杂背景使用，使用本地大模型修复，视频无需上传到网络，私密性好，但是耗时比较长，cpu要求2核心以上，内存8g，大部分电脑可以跑
日历管理类App-芝麻日历
芝麻日历是一款面向家庭、多成员协同及日常生活管理场景的移动端应用，项目目标是将家庭事务、日程安排、任务执行、成员互动和设备协同等能力整合到同一套系统中，帮助用户以更低成本完成家庭日历管理和信息同步。系统围绕“家庭共用日历”这一核心目标展开，兼顾个人使用体验与多人共享需求，支持 Android、iOS 等移动端设备使用。
软件核心功能模块主要包括：账户登录注册与找回密码、动态通知与邀请处理、日历事项管理、任务管理、奖励与惩罚管理、餐食计划管理、相册管理、贺卡功能、设备管理、用户管理以及第三方日历同步等。其中，日历事项模块支持按月视图和周视图查看事项、新增编辑删除事项、设置参与成员及重复规则；任务模块支持新增任务、完成任务、筛选任务和配置显示规则；奖励与惩罚模块用于家庭成员积分激励；餐食模块用于一周餐食安排；相册和贺卡模块承担家庭内容留存与互动表达；设备管理和用户管理则用于完成家庭设备绑定、成员协作和权限管理。
在业务流程上，用户通常先完成注册登录，再进入首页查看动态、通知和主要功能入口；随后可根据需要创建日历事项、任务或奖励内容，并通过成员维度进行协同分配；在设备和成员接入后，系统还支持邀请处理、设备激活、用户管理和多端数据共享；对于有外部日历需求的用户，系统提供 Google、Outlook、iCloud、订阅链接等同步能力，用户可完成第三方账号绑定、日历选择、同步状态查看和结果确认，从而形成“注册登录 -> 家庭成员协同 -> 日历/任务/奖励等业务操作 -> 设备与同步扩展”的完整功能路径。
大文集团融媒体项目，报社核心系统策采编发系统，网站、APP显示
应技术发展升级采编、发布、网站系统，基于SpringBoot、ES、Mysql、MongoDB、Redis等技术升级
1、报题策划下达。
2、稿件编辑、发布。
3、发布系统，渠道、栏目、稿件管理。
4、网站:、：根据UI设计图使用H5、JS、swiper进行开发。
1、报题策划下达。
2、稿件编辑、发布。
3、发布系统，渠道、栏目、稿件管理。
4、网站:、：根据UI设计图使用H5、JS、swiper进行开发。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服