业务和功能介绍
项目总结：TikTok 网红邮箱采集管道
一、立项背景与目标
跨境电商与品牌出海场景中，企业需大规模触达 TikTok 达人进行商务合作，但平台不公开达人邮箱。本项目构建一套自动化采集管道：从 TikTok 达人列表出发，经搜索引擎发现关联社交账号，AI 头像比对验证身份，最终提取商务邮箱并导出 Excel。核心目标：在保证身份准确性的前提下，最大化邮箱采集覆盖率。
二、软件功能与核心模块
系统采用 Python 开发，三大核心模块 + 辅助工具构成：
模块1 — 搜索采集器（google_search_scraper.py）：从 API 拉取待处理达人，通过 DuckDuckGo（Lite/Standard 双引擎自动降级）搜索社交主页链接（YouTube/Facebook/Twitter/Instagram/个人网站），分类过滤后入库。
模块2 — 社交链接验证器（social_link_verifier.py）：管道核心。多线程浏览器访问社交主页提取邮箱，找到邮箱后调用 Gemini/豆包 Vision API 做 TikTok 与社交平台的头像 AI 比对，确认同一人后更新数据库并导出 Excel。
模块3 — 网站邮箱爬取器（website_scraper_new.py）：补充管道。对模块2未找到邮箱的记录，爬取其 YouTube 简介中的个人网站或 LinkBio 页面，分层抓取（首页→联系页→隐私页→帮助页）提取邮箱。
辅助工具：Excel 初筛（Gemini 头像二次比对）、看门狗（卡死自动重启）、Excel 修复、PyInstaller 打包。核心库（core/）统一封装数据库连接池、反检测浏览器、头像下载、邮箱校验、Excel 分片导出等共享能力。
三、业务流程
整体为三级串行、逐步深挖的管道架构：
搜索发现（模块1）：API 拉取达人 → DuckDuckGo 搜索 → 链接分类过滤 → 写入 google_search_result 表（is_completed=0）。
身份验证与邮箱提取（模块2）：读取待处理记录 → Instagram 走签名分析（轻量），YouTube/Facebook/Twitter 走浏览器访问 → 页面提取邮箱 → 有邮箱则判断：签名含 TikTok 链接直接确认身份，否则下载双方头像调 AI 比对 → 结果写库（is_completed=1）+ 导出 Excel。
补充爬取（模块3）：筛选已处理但无邮箱、有个人网站链接的记录 → URL 分类（LinkBio/Website/黑名单）→ 分层爬取提取邮箱 → 第三方邮箱过滤 → 写库（is_completed=2, is_sameperson=2 待人工确认）+ 导出 Excel。
全程看门狗监控心跳，异常自动重启；网络错误不标记完成，保证可重试
一、立项背景与目标
跨境电商与品牌出海场景中，企业需大规模触达 TikTok 达人进行商务合作，但平台不公开达人邮箱。本项目构建一套自动化采集管道：从 TikTok 达人列表出发，经搜索引擎发现关联社交账号，AI 头像比对验证身份，最终提取商务邮箱并导出 Excel。核心目标：在保证身份准确性的前提下，最大化邮箱采集覆盖率。
二、软件功能与核心模块
系统采用 Python 开发，三大核心模块 + 辅助工具构成：
模块1 — 搜索采集器（google_search_scraper.py）：从 API 拉取待处理达人，通过 DuckDuckGo（Lite/Standard 双引擎自动降级）搜索社交主页链接（YouTube/Facebook/Twitter/Instagram/个人网站），分类过滤后入库。
模块2 — 社交链接验证器（social_link_verifier.py）：管道核心。多线程浏览器访问社交主页提取邮箱，找到邮箱后调用 Gemini/豆包 Vision API 做 TikTok 与社交平台的头像 AI 比对，确认同一人后更新数据库并导出 Excel。
模块3 — 网站邮箱爬取器（website_scraper_new.py）：补充管道。对模块2未找到邮箱的记录，爬取其 YouTube 简介中的个人网站或 LinkBio 页面，分层抓取（首页→联系页→隐私页→帮助页）提取邮箱。
辅助工具：Excel 初筛（Gemini 头像二次比对）、看门狗（卡死自动重启）、Excel 修复、PyInstaller 打包。核心库（core/）统一封装数据库连接池、反检测浏览器、头像下载、邮箱校验、Excel 分片导出等共享能力。
三、业务流程
整体为三级串行、逐步深挖的管道架构：
搜索发现（模块1）：API 拉取达人 → DuckDuckGo 搜索 → 链接分类过滤 → 写入 google_search_result 表（is_completed=0）。
身份验证与邮箱提取（模块2）：读取待处理记录 → Instagram 走签名分析（轻量），YouTube/Facebook/Twitter 走浏览器访问 → 页面提取邮箱 → 有邮箱则判断：签名含 TikTok 链接直接确认身份，否则下载双方头像调 AI 比对 → 结果写库（is_completed=1）+ 导出 Excel。
补充爬取（模块3）：筛选已处理但无邮箱、有个人网站链接的记录 → URL 分类（LinkBio/Website/黑名单）→ 分层爬取提取邮箱 → 第三方邮箱过滤 → 写库（is_completed=2, is_sameperson=2 待人工确认）+ 导出 Excel。
全程看门狗监控心跳，异常自动重启；网络错误不标记完成，保证可重试
项目实现
一、架构与技术栈
系统采用三级串行管道架构，Python 开发，约 10000 行代码。
搜索采集层：双搜索引擎（API + Selenium）自动降级，覆盖 YouTube/Facebook/Twitter/Instagram/个人网站五类平台，内置限流冷却与故障切换机制。
身份验证层：undetected-chromedriver 反检测浏览器 + 多线程并行处理；调用 Gemini/豆包双 Vision API 进行头像 AI 比对，主备自动降级。
补充深挖层：对未命中记录二次爬取个人网站与 LinkBio 页面（覆盖 24 个平台），分层抓取（首页→联系页→隐私页），96 个黑名单域名过滤。
公共基础层：MySQL 连接池、78 条邮箱校验规则、Excel 自动分片导出、看门狗进程三级自救、PyInstaller 打包为 exe 交付。
二、我的职责与成果
独立负责整条管道的架构设计与全量开发（3 个核心模块 + 7 个共享库 + 4 个工具脚本），核心成果：
双引擎降级机制将搜索成功率从约 70% 提升至 95%+。
补充深挖层使邮箱整体召回率提升约 15-20%。
AI 头像比对 + 签名交叉验证双通道，确保邮箱归属准确性。
看门狗 + 心跳监控 + 浏览器自动重启，支撑 7×24 无人值守稳定运行。
三、技术难点与解决方案
反爬对抗：目标站频繁触发人机验证与登录拦截。→ 反检测浏览器绕过指纹识别；Selenium→requests 两阶段降级；搜索引擎自动切换 + 限流/禁用冷却策略。
长时间运行稳定性：Chrome 内存泄漏、配置膨胀、随机崩溃。→ 定量自动重启浏览器；配置目录超阈值自动清理；连续超时触发重建；看门狗三级自救（杀进程→重复杀→重启主进程）兜底。
AI API 容错：Vision API 偶发超时，返回 JSON 格式不稳定（markdown 包裹、截断等）。→ 双 API 主备降级；四层 JSON 解析（正则提取→直接解析→逐字符扫描→兜底提取）保证解析成功率。
准确性与召回率平衡：单纯追求邮箱数量会引入大量错误归属。→ 确立"先验证身份再采邮箱"原则：有邮箱才调 AI 比对（节省开销），签名含源平台链接零成本确认，无法比对的标记待人工复核，杜绝未验证数据流入下游。
系统采用三级串行管道架构，Python 开发，约 10000 行代码。
搜索采集层：双搜索引擎（API + Selenium）自动降级，覆盖 YouTube/Facebook/Twitter/Instagram/个人网站五类平台，内置限流冷却与故障切换机制。
身份验证层：undetected-chromedriver 反检测浏览器 + 多线程并行处理；调用 Gemini/豆包双 Vision API 进行头像 AI 比对，主备自动降级。
补充深挖层：对未命中记录二次爬取个人网站与 LinkBio 页面（覆盖 24 个平台），分层抓取（首页→联系页→隐私页），96 个黑名单域名过滤。
公共基础层：MySQL 连接池、78 条邮箱校验规则、Excel 自动分片导出、看门狗进程三级自救、PyInstaller 打包为 exe 交付。
二、我的职责与成果
独立负责整条管道的架构设计与全量开发（3 个核心模块 + 7 个共享库 + 4 个工具脚本），核心成果：
双引擎降级机制将搜索成功率从约 70% 提升至 95%+。
补充深挖层使邮箱整体召回率提升约 15-20%。
AI 头像比对 + 签名交叉验证双通道，确保邮箱归属准确性。
看门狗 + 心跳监控 + 浏览器自动重启，支撑 7×24 无人值守稳定运行。
三、技术难点与解决方案
反爬对抗：目标站频繁触发人机验证与登录拦截。→ 反检测浏览器绕过指纹识别；Selenium→requests 两阶段降级；搜索引擎自动切换 + 限流/禁用冷却策略。
长时间运行稳定性：Chrome 内存泄漏、配置膨胀、随机崩溃。→ 定量自动重启浏览器；配置目录超阈值自动清理；连续超时触发重建；看门狗三级自救（杀进程→重复杀→重启主进程）兜底。
AI API 容错：Vision API 偶发超时，返回 JSON 格式不稳定（markdown 包裹、截断等）。→ 双 API 主备降级；四层 JSON 解析（正则提取→直接解析→逐字符扫描→兜底提取）保证解析成功率。
准确性与召回率平衡：单纯追求邮箱数量会引入大量错误归属。→ 确立"先验证身份再采邮箱"原则：有邮箱才调 AI 比对（节省开销），签名含源平台链接零成本确认，无法比对的标记待人工复核，杜绝未验证数据流入下游。
示例图片视频
相似推荐
有游戏关卡机制的记单词微信小程序-熊猫记单词
1，早年做过游戏开发，也玩过不少游戏，一直想把游戏里黏人的机制复刻到学习工具里，游戏黏人的机制其中之一就是“压力-释放同时建立新压力-驱动循环”最典型的就是“关卡机制”；另外，单词助记内容对牢固记单词有帮助，以及单词复习规律需符合艾宾浩斯遗忘曲线，这些都可以作为学习工具的功能。
2，小程序核心关卡系统，用户将购买到的词库里的单词灌入关卡系统，系统每天根据艾宾浩斯记忆遗忘曲规律指定的学习（复习）计划，产生一些待学习（复习）单词构成的关卡，用户进入关卡闯关是要先默写单词的（每关3~8个单词），一关单词默写结束提交后如果有错误，则这个单词会增加复习次数，并且将已有的复习计划都提前，并且自动进入学习单词的页面去学习，学习内容除了单词信息外还有助记内容。
saas平台
1.现在旅游和教培行业发展潮流，自研saas软件，区分租户及权限，方便用户使用
2.功能：系统用户，租户，票务模块，OA模块，分销模块，商管模块，财务模块
3.根据租户分配不同菜单权限，可以根据购买套餐，使用不能的模块功能
K12教育征订
整体是b2b2c模式。
主要用于用户可线上参与活动购买零售或其他商品，积分参与等等；
后台管理，商品加工，活动发布，数据统计,权限管理等等;
有支付功能，对接银行，微信，支付宝等；
还有一些对客户针对性的功能开发。
某公考教育平台小程序开发
某公考教育平台需要开发小程序版，并通过小程序实现新的营销和获客渠道。由于小程序用户客群非常大，所以开发小程序版的主要目的就是拓展小程序渠道，使用户可以通过小程序直接访问平台，并直接购课，同时通过基于小程序的营销手段，激活用户，引导用户最终使用平台产品。
网络安全ctf与awd比赛平台-网络安全赛事中心
1.立项背景:高校网络安全专业与战队在组织校内外 CTF（Capture The Flag，夺旗赛）和 AWD（Attack WithDefense，攻防对抗赛）时，长期依赖开源平台或第三方在线靶场。现有方案普遍存在三类痛点：一是开源平台功能割裂，传统解题赛（Jeopardy）与攻防对抗赛需要两套系统分别部署，数据与选手账号无法打通；二是容器靶场编排能力弱，题目环境需人工搭建，动态Flag、按队伍隔离、过期回收等能力缺失或需要大量二次开发；三是缺少面向国内高校赛事的定制化能力，如队伍审核、报名审批、真实身份核验、邮箱验证码注册、作弊检测等。本项目立项目标即自研一套统一支持 CTF 与 AWD 双赛制、全流程线上化的网络安全竞赛平台。
2.建设目标。 （1）覆盖竞赛全生命周期：建赛、出题、报名审核、选手参赛、答题计分、容器下发、排行榜、作弊检测、Writeup评审、日志审计；（2）支持三种 CTF 题型（静态题、动态附件题、容器题）与完整的 AWD 攻防对抗机制（OpenVPN靶场接入、双网络隔离、自动 Check、分池计分、靶机重置）；（3）工程上做到高可用、可运维：容器/附件/轮次全自动调度与过期回收、多级日志与审计、滑动窗口限流、启动自愈清理脏数据。目前平台已完成主体功能开发并在真实比赛环境中投入使用。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服