TikTok 网红邮箱采集管道

项目总结：TikTok 网红邮箱采集管道
一、立项背景与目标
跨境电商与品牌出海场景中，企业需大规模触达 TikTok 达人进行商务合作，但平台不公开达人邮箱。本项目构建一套自动化采集管道：从 TikTok 达人列表出发，经搜索引擎发现关联社交账号，AI 头像比对验证身份，最终提取商务邮箱并导出 Excel。核心目标：在保证身份准确性的前提下，最大化邮箱采集覆盖率。
二、软件功能与核心模块
系统采用 Python 开发，三大核心模块 + 辅助工具构成：
模块1 — 搜索采集器（google_search_scraper.py）：从 API 拉取待处理达人，通过 DuckDuckGo（Lite/Standard 双引擎自动降级）搜索社交主页链接（YouTube/Facebook/Twitter/Instagram/个人网站），分类过滤后入库。
模块2 — 社交链接验证器（social_link_verifier.py）：管道核心。多线程浏览器访问社交主页提取邮箱，找到邮箱后调用 Gemini/豆包 Vision API 做 TikTok 与社交平台的头像 AI 比对，确认同一人后更新数据库并导出 Excel。
模块3 — 网站邮箱爬取器（website_scraper_new.py）：补充管道。对模块2未找到邮箱的记录，爬取其 YouTube 简介中的个人网站或 LinkBio 页面，分层抓取（首页→联系页→隐私页→帮助页）提取邮箱。
辅助工具：Excel 初筛（Gemini 头像二次比对）、看门狗（卡死自动重启）、Excel 修复、PyInstaller 打包。核心库（core/）统一封装数据库连接池、反检测浏览器、头像下载、邮箱校验、Excel 分片导出等共享能力。
三、业务流程
整体为三级串行、逐步深挖的管道架构：
搜索发现（模块1）：API 拉取达人 → DuckDuckGo 搜索 → 链接分类过滤 → 写入 google_search_result 表（is_completed=0）。
身份验证与邮箱提取（模块2）：读取待处理记录 → Instagram 走签名分析（轻量），YouTube/Facebook/Twitter 走浏览器访问 → 页面提取邮箱 → 有邮箱则判断：签名含 TikTok 链接直接确认身份，否则下载双方头像调 AI 比对 → 结果写库（is_completed=1）+ 导出 Excel。
补充爬取（模块3）：筛选已处理但无邮箱、有个人网站链接的记录 → URL 分类（LinkBio/Website/黑名单）→ 分层爬取提取邮箱 → 第三方邮箱过滤 → 写库（is_completed=2, is_sameperson=2 待人工确认）+ 导出 Excel。
全程看门狗监控心跳，异常自动重启；网络错误不标记完成，保证可重试

一、架构与技术栈
系统采用三级串行管道架构，Python 开发，约 10000 行代码。
搜索采集层：双搜索引擎（API + Selenium）自动降级，覆盖 YouTube/Facebook/Twitter/Instagram/个人网站五类平台，内置限流冷却与故障切换机制。
身份验证层：undetected-chromedriver 反检测浏览器 + 多线程并行处理；调用 Gemini/豆包双 Vision API 进行头像 AI 比对，主备自动降级。
补充深挖层：对未命中记录二次爬取个人网站与 LinkBio 页面（覆盖 24 个平台），分层抓取（首页→联系页→隐私页），96 个黑名单域名过滤。
公共基础层：MySQL 连接池、78 条邮箱校验规则、Excel 自动分片导出、看门狗进程三级自救、PyInstaller 打包为 exe 交付。
二、我的职责与成果
独立负责整条管道的架构设计与全量开发（3 个核心模块 + 7 个共享库 + 4 个工具脚本），核心成果：
双引擎降级机制将搜索成功率从约 70% 提升至 95%+。
补充深挖层使邮箱整体召回率提升约 15-20%。
AI 头像比对 + 签名交叉验证双通道，确保邮箱归属准确性。
看门狗 + 心跳监控 + 浏览器自动重启，支撑 7×24 无人值守稳定运行。
三、技术难点与解决方案
反爬对抗：目标站频繁触发人机验证与登录拦截。→ 反检测浏览器绕过指纹识别；Selenium→requests 两阶段降级；搜索引擎自动切换 + 限流/禁用冷却策略。
长时间运行稳定性：Chrome 内存泄漏、配置膨胀、随机崩溃。→ 定量自动重启浏览器；配置目录超阈值自动清理；连续超时触发重建；看门狗三级自救（杀进程→重复杀→重启主进程）兜底。
AI API 容错：Vision API 偶发超时，返回 JSON 格式不稳定（markdown 包裹、截断等）。→ 双 API 主备降级；四层 JSON 解析（正则提取→直接解析→逐字符扫描→兜底提取）保证解析成功率。
准确性与召回率平衡：单纯追求邮箱数量会引入大量错误归属。→ 确立"先验证身份再采邮箱"原则：有邮箱才调 AI 比对（节省开销），签名含源平台链接零成本确认，无法比对的标记待人工复核，杜绝未验证数据流入下游。