业务和功能介绍
项目总结：TikTok 网红邮箱采集管道
一、立项背景与目标
跨境电商与品牌出海场景中，企业需大规模触达 TikTok 达人进行商务合作，但平台不公开达人邮箱。本项目构建一套自动化采集管道：从 TikTok 达人列表出发，经搜索引擎发现关联社交账号，AI 头像比对验证身份，最终提取商务邮箱并导出 Excel。核心目标：在保证身份准确性的前提下，最大化邮箱采集覆盖率。
二、软件功能与核心模块
系统采用 Python 开发，三大核心模块 + 辅助工具构成：
模块1 — 搜索采集器（google_search_scraper.py）：从 API 拉取待处理达人，通过 DuckDuckGo（Lite/Standard 双引擎自动降级）搜索社交主页链接（YouTube/Facebook/Twitter/Instagram/个人网站），分类过滤后入库。
模块2 — 社交链接验证器（social_link_verifier.py）：管道核心。多线程浏览器访问社交主页提取邮箱，找到邮箱后调用 Gemini/豆包 Vision API 做 TikTok 与社交平台的头像 AI 比对，确认同一人后更新数据库并导出 Excel。
模块3 — 网站邮箱爬取器（website_scraper_new.py）：补充管道。对模块2未找到邮箱的记录，爬取其 YouTube 简介中的个人网站或 LinkBio 页面，分层抓取（首页→联系页→隐私页→帮助页）提取邮箱。
辅助工具：Excel 初筛（Gemini 头像二次比对）、看门狗（卡死自动重启）、Excel 修复、PyInstaller 打包。核心库（core/）统一封装数据库连接池、反检测浏览器、头像下载、邮箱校验、Excel 分片导出等共享能力。
三、业务流程
整体为三级串行、逐步深挖的管道架构：
搜索发现（模块1）：API 拉取达人 → DuckDuckGo 搜索 → 链接分类过滤 → 写入 google_search_result 表（is_completed=0）。
身份验证与邮箱提取（模块2）：读取待处理记录 → Instagram 走签名分析（轻量），YouTube/Facebook/Twitter 走浏览器访问 → 页面提取邮箱 → 有邮箱则判断：签名含 TikTok 链接直接确认身份，否则下载双方头像调 AI 比对 → 结果写库（is_completed=1）+ 导出 Excel。
补充爬取（模块3）：筛选已处理但无邮箱、有个人网站链接的记录 → URL 分类（LinkBio/Website/黑名单）→ 分层爬取提取邮箱 → 第三方邮箱过滤 → 写库（is_completed=2, is_sameperson=2 待人工确认）+ 导出 Excel。
全程看门狗监控心跳，异常自动重启；网络错误不标记完成，保证可重试
一、立项背景与目标
跨境电商与品牌出海场景中，企业需大规模触达 TikTok 达人进行商务合作，但平台不公开达人邮箱。本项目构建一套自动化采集管道：从 TikTok 达人列表出发，经搜索引擎发现关联社交账号，AI 头像比对验证身份，最终提取商务邮箱并导出 Excel。核心目标：在保证身份准确性的前提下，最大化邮箱采集覆盖率。
二、软件功能与核心模块
系统采用 Python 开发，三大核心模块 + 辅助工具构成：
模块1 — 搜索采集器（google_search_scraper.py）：从 API 拉取待处理达人，通过 DuckDuckGo（Lite/Standard 双引擎自动降级）搜索社交主页链接（YouTube/Facebook/Twitter/Instagram/个人网站），分类过滤后入库。
模块2 — 社交链接验证器（social_link_verifier.py）：管道核心。多线程浏览器访问社交主页提取邮箱，找到邮箱后调用 Gemini/豆包 Vision API 做 TikTok 与社交平台的头像 AI 比对，确认同一人后更新数据库并导出 Excel。
模块3 — 网站邮箱爬取器（website_scraper_new.py）：补充管道。对模块2未找到邮箱的记录，爬取其 YouTube 简介中的个人网站或 LinkBio 页面，分层抓取（首页→联系页→隐私页→帮助页）提取邮箱。
辅助工具：Excel 初筛（Gemini 头像二次比对）、看门狗（卡死自动重启）、Excel 修复、PyInstaller 打包。核心库（core/）统一封装数据库连接池、反检测浏览器、头像下载、邮箱校验、Excel 分片导出等共享能力。
三、业务流程
整体为三级串行、逐步深挖的管道架构：
搜索发现（模块1）：API 拉取达人 → DuckDuckGo 搜索 → 链接分类过滤 → 写入 google_search_result 表（is_completed=0）。
身份验证与邮箱提取（模块2）：读取待处理记录 → Instagram 走签名分析（轻量），YouTube/Facebook/Twitter 走浏览器访问 → 页面提取邮箱 → 有邮箱则判断：签名含 TikTok 链接直接确认身份，否则下载双方头像调 AI 比对 → 结果写库（is_completed=1）+ 导出 Excel。
补充爬取（模块3）：筛选已处理但无邮箱、有个人网站链接的记录 → URL 分类（LinkBio/Website/黑名单）→ 分层爬取提取邮箱 → 第三方邮箱过滤 → 写库（is_completed=2, is_sameperson=2 待人工确认）+ 导出 Excel。
全程看门狗监控心跳，异常自动重启；网络错误不标记完成，保证可重试
项目实现
一、架构与技术栈
系统采用三级串行管道架构，Python 开发，约 10000 行代码。
搜索采集层：双搜索引擎（API + Selenium）自动降级，覆盖 YouTube/Facebook/Twitter/Instagram/个人网站五类平台，内置限流冷却与故障切换机制。
身份验证层：undetected-chromedriver 反检测浏览器 + 多线程并行处理；调用 Gemini/豆包双 Vision API 进行头像 AI 比对，主备自动降级。
补充深挖层：对未命中记录二次爬取个人网站与 LinkBio 页面（覆盖 24 个平台），分层抓取（首页→联系页→隐私页），96 个黑名单域名过滤。
公共基础层：MySQL 连接池、78 条邮箱校验规则、Excel 自动分片导出、看门狗进程三级自救、PyInstaller 打包为 exe 交付。
二、我的职责与成果
独立负责整条管道的架构设计与全量开发（3 个核心模块 + 7 个共享库 + 4 个工具脚本），核心成果：
双引擎降级机制将搜索成功率从约 70% 提升至 95%+。
补充深挖层使邮箱整体召回率提升约 15-20%。
AI 头像比对 + 签名交叉验证双通道，确保邮箱归属准确性。
看门狗 + 心跳监控 + 浏览器自动重启，支撑 7×24 无人值守稳定运行。
三、技术难点与解决方案
反爬对抗：目标站频繁触发人机验证与登录拦截。→ 反检测浏览器绕过指纹识别；Selenium→requests 两阶段降级；搜索引擎自动切换 + 限流/禁用冷却策略。
长时间运行稳定性：Chrome 内存泄漏、配置膨胀、随机崩溃。→ 定量自动重启浏览器；配置目录超阈值自动清理；连续超时触发重建；看门狗三级自救（杀进程→重复杀→重启主进程）兜底。
AI API 容错：Vision API 偶发超时，返回 JSON 格式不稳定（markdown 包裹、截断等）。→ 双 API 主备降级；四层 JSON 解析（正则提取→直接解析→逐字符扫描→兜底提取）保证解析成功率。
准确性与召回率平衡：单纯追求邮箱数量会引入大量错误归属。→ 确立"先验证身份再采邮箱"原则：有邮箱才调 AI 比对（节省开销），签名含源平台链接零成本确认，无法比对的标记待人工复核，杜绝未验证数据流入下游。
系统采用三级串行管道架构，Python 开发，约 10000 行代码。
搜索采集层：双搜索引擎（API + Selenium）自动降级，覆盖 YouTube/Facebook/Twitter/Instagram/个人网站五类平台，内置限流冷却与故障切换机制。
身份验证层：undetected-chromedriver 反检测浏览器 + 多线程并行处理；调用 Gemini/豆包双 Vision API 进行头像 AI 比对，主备自动降级。
补充深挖层：对未命中记录二次爬取个人网站与 LinkBio 页面（覆盖 24 个平台），分层抓取（首页→联系页→隐私页），96 个黑名单域名过滤。
公共基础层：MySQL 连接池、78 条邮箱校验规则、Excel 自动分片导出、看门狗进程三级自救、PyInstaller 打包为 exe 交付。
二、我的职责与成果
独立负责整条管道的架构设计与全量开发（3 个核心模块 + 7 个共享库 + 4 个工具脚本），核心成果：
双引擎降级机制将搜索成功率从约 70% 提升至 95%+。
补充深挖层使邮箱整体召回率提升约 15-20%。
AI 头像比对 + 签名交叉验证双通道，确保邮箱归属准确性。
看门狗 + 心跳监控 + 浏览器自动重启，支撑 7×24 无人值守稳定运行。
三、技术难点与解决方案
反爬对抗：目标站频繁触发人机验证与登录拦截。→ 反检测浏览器绕过指纹识别；Selenium→requests 两阶段降级；搜索引擎自动切换 + 限流/禁用冷却策略。
长时间运行稳定性：Chrome 内存泄漏、配置膨胀、随机崩溃。→ 定量自动重启浏览器；配置目录超阈值自动清理；连续超时触发重建；看门狗三级自救（杀进程→重复杀→重启主进程）兜底。
AI API 容错：Vision API 偶发超时，返回 JSON 格式不稳定（markdown 包裹、截断等）。→ 双 API 主备降级；四层 JSON 解析（正则提取→直接解析→逐字符扫描→兜底提取）保证解析成功率。
准确性与召回率平衡：单纯追求邮箱数量会引入大量错误归属。→ 确立"先验证身份再采邮箱"原则：有邮箱才调 AI 比对（节省开销），签名含源平台链接零成本确认，无法比对的标记待人工复核，杜绝未验证数据流入下游。
示例图片视频
相似推荐
刷题微信小程序
1.题库学习
多科目题库（考研数学、四级词汇、六级词汇等）
按题库/子分类浏览题目
随机答题模式
免费题 + VIP题 区分
2. 答题系统
选择题作答
自动判断正误
答对获得积分（每日上限30分）
答错自动收录错题集
3. 错题集
按科目分类管理错题
错题详情查看（含正确答案和解析）
错题删除/标记已复习
4. 积分系统
答题赚积分
每日签到（连续签到奖励递增）
积分兑换VIP
5. VIP体系
VIP月卡/季卡/年卡
VIP用户解锁全部题目
普通用户仅可做免费题
6. 排行榜
用户积分排名
查看学习进度
7. 管理员后台
题库管理（添加/删除题目）
用户管理（设置VIP/管理员）
按题库/子分类筛选
校本题库平台管理后台
一）功能模块与使用者价值
本项目是一款面向学校教研组与教师的校本题库平台管理后台，核心目标是将学校日常教学中的试题资源进行数字化管理，并打通“出题—组卷—批改—数据分析”全链路。对于教师使用者，平台提供以下核心功能：
题库管理模块：支持手动新建试题或批量导入（Excel/Word），题库可按学科、来源、状态（启用/归档）进行筛选与检索，同时支持编辑、归档、删除等操作，方便教师分类沉淀校本资源。
知识点体系模块：按学科→年级维度维护多棵知识树（如“数学·七年级知识树”），每棵树下可增删改知识点，并自动统计各知识点的关联试题数、平均掌握度，支撑后续智能出题与薄弱点精准匹配。
智能组卷模块（菜单项，截图未展开）：基于知识树与题库试题，可自动或半自动生成试卷，帮助教师高效完成单元测、期中/期末复习卷的编制。
非客观题批改管理：针对学生以拍照/上传图片提交的主观题作答（如简答、作文），教师可在图片上圈画、批注，并对照预设的采分点逐项评分，最终给出总分与评语；批改完成后学生端实时可见反馈。系统还提供待批改队列、待批试卷统计、24小时批改率等数据，助力教师把握工作进度。
数据与运营模块（菜单项）：包括学业数据分析、用户与班级管理，帮助教师或教研组长追踪班级整体掌握情况，识别共性问题。
（二）主要功能路径
题库管理路径：左侧菜单“题库与出题”→“题库管理” → 搜索/筛选题库 → 点击“进入”查看详情 → 可进行编辑、归档或新增试题。
知识树维护路径：菜单“知识点体系” → 选择学科年级（如数学·七年级）→ 点击“查看详情”进入知识树详情页 → 对下属知识点进行增删改操作，同时查看关联试题数与掌握度。
批改工作路径：菜单“批改管理”→“非客观题批改” → 在“待批改队列”中点击某位学生（如王同学）→ 进入作答详情页 → 查看题目、学生提交的图片及标准采分点 → 逐项打分并填写评语 → 提交批改，状态流转为“已批改”，学生端同步更新。
AI智能教学助手平台-教学助手系统
1. 立项背景和目标
随着教育信息化进程加速，教师在备课、出题、资源检索等环节仍面临效率低下的问题。传统方式下，教师需要手动编写教案、逐题出卷、翻阅大量资料寻找教学资源，耗费大量时间和精力。本项目旨在构建一个AI驱动的智能教学助手平台，利用大语言模型能力，帮助教师快速生成高质量教案、智能出题、自动优化教学内容，并提供一站式教学资源检索与管理功能，从而显著提升教师的教学工作效率。
2. 软件功能、核心功能模块的介绍
系统包含六大核心功能模块：
教案管理模块：支持教案的创建、编辑、查看和删除操作，教案按数学、物理、化学、语文、英语、历史、地理、生物、政治等九大学科分类管理，支持草稿和发布两种状态，并内置版本记录功能，每次编辑自动保存历史版本。
题库管理模块：支持单选题、多选题、判断题、简答题四种题型，可按学科分类浏览和筛选，每道题目包含题干、选项、正确答案和详细解析，支持难度等级标注（简单/中等/困难）。
教学资源库模块：支持教学资源的上传与管理，资源按学科分类组织，支持文件类型识别和大小统计，便于教师集中管理各类教学素材。
AI智能工具模块：系统集成阿里通义千问大模型（DashScope API），提供四大AI功能——AI生成教案（输入主题自动生成完整教案，包含教学目标、重难点、教学过程等）、AI生成题目（根据知识点智能出题，支持选择题型和难度）、AI内容优化（对已有教案进行多维度分析并给出改进建议）、AI智能搜索（基于关键词检索优质教学资源）。此外还包含AI智能批改（自动评分并给出评语）、知识点总结、章节大纲生成和AI问答助手等扩展能力。
用户认证模块：支持用户注册和登录，采用Token机制进行身份认证，路由守卫拦截未登录用户的访问请求，确保系统数据安全。
个人中心模块：用户可查看和编辑个人信息，管理账户设置。
3. 业务流程、功能路径描述
用户注册并登录系统后进入主页仪表盘。首页展示教案总数、题目总数和资源总数等统计数据，提供创建教案、生成题目、上传资源、AI搜索四个快速入口，并按学科展示资源导航卡片，同时呈现最近创建的教案和最近添加的题目等动态信息。教师可通过顶部导航栏进入教案管理、题库管理、资源库和AI工具四大功能区，每个功能区均支持按九大学科进行细分筛选。在AI工具区，教师选择具体功能后填写相关参数（如学科、年级、主题等），系统调用AI接口实时生成结果，教师可预览、编辑并保存到本地数据库。整个操作流程从登录到完成核心功能不超过三步点击，交互体验流畅直观。
中职校园移动终端管理平台
响应《未成年人保护法》《五项管理规定》等政策要求，针对中职学校手机“用管矛盾”——学生学习生活需手机但缺乏有效监管、通宵用机影响身心健康与教学秩序、传统管理方式耗时低效等痛点，打造适配中职场景的移动终端管理系统，实现手机合规管控与校园管理智能化升级。
津学房 小程序
“津学房”是一款专为天津学生家长打造的选校与购房一站式服务平台。平台整合了天津各区最新的学区划分、名校分布及教育政策资讯，同时提供详尽的房产小区信息与专业购房咨询。既可以查询最新的学校排名，也可以实时教育政策，亦或是获取精准的学区房匹配建议，津学房都能为您提供数据支持与专家指导，助您轻松解决孩子上学与家庭置业难题，实现教育与资产的双重优化。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服