沧海无水

一、立项背景和目标 随着短视频电商的快速发展，带货视频需求量激增，传统人工剪辑存在效率低、成本高、产出不稳定等痛点。运营团队每天需从多个平台采集素材视频，经过下载、精剪、配音、字幕、水印等多道工序才能产出成品，流程高度依赖人工，重复劳动多且容易出错。 本项目旨在构建一套智能视频剪辑工作流系统，将任务管理、自动化编排与后端微服务相结合，实现从素材采集到成品输出的全链路自动化。核心目标：大幅提升视频生产效率、降低人力成本；借助 AI 大模型实现智能场景评分与内容筛选，保障剪辑质量；通过标准化流水线确保产出视频在时长、画幅、字幕、配音等维度上的一致性。 二、软件功能与核心功能模块 系统采用微服务架构，由三大核心服务构成： 1. 视频下载服务：支持抖音、快手、B站、YouTube 等主流平台的视频采集，自动转码为标准格式并提取元数据，为后续环节提供规范化输入。 2. 智能剪辑服务：核心处理引擎，包含七步流水线——速度调整、智能精剪（场景检测 + AI 评分 + 最优选取）、9:16 竖屏裁剪与镜像翻转、字幕翻译烧录、背景模糊填充、BGM 替换与音量调节，将长视频自动精剪为符合投放标准的竖屏短视频。 3. 视频合成服务：负责成品的多层合成，包括水印、Logo、主副标题、分段文案字幕、数据截图定时叠加，以及 TTS 口播语音混音，输出最终成品。 辅助模块包括：字幕处理（AI 硬字幕检测 → 嵌入字幕提取 → 语音转写，三级降级）、双通道翻译、文案智能分割与时间轴分配、集中式配置管理等。 三、业务流程与功能路径 任务触发：运营人员在任务管理平台创建任务，填入视频链接、文案、标题等信息。自动化工作流定时轮询，检测到新任务后启动处理流水线。 素材获取：工作流调用下载服务，自动采集并转码原始视频，返回标准化素材。 智能剪辑：素材自动流转至剪辑服务，系统进行场景检测，调用 AI 大模型对各场景进行商品相关性评分，选取最优场景组合无缝拼接，再依次完成画幅适配、字幕处理、背景模糊、BGM 混音等后处理。 成品合成：剪辑后的视频连同文案、标题、截图等素材传入合成服务，系统完成文案分割、TTS 口播生成、多层视觉与音频元素合成，输出成品视频。 状态回写：合成完成后任务状态自动更新为"剪辑完成"，运营人员可直接取用投放。 整条链路实现了从任务创建到成品交付的全程自动化，将原本数小时的人工剪辑缩短至分钟级完成。

项目总结：TikTok 网红邮箱采集管道 一、立项背景与目标 跨境电商与品牌出海场景中，企业需大规模触达 TikTok 达人进行商务合作，但平台不公开达人邮箱。本项目构建一套自动化采集管道：从 TikTok 达人列表出发，经搜索引擎发现关联社交账号，AI 头像比对验证身份，最终提取商务邮箱并导出 Excel。核心目标：在保证身份准确性的前提下，最大化邮箱采集覆盖率。 二、软件功能与核心模块 系统采用 Python 开发，三大核心模块 + 辅助工具构成： 模块1 — 搜索采集器（google_search_scraper.py）：从 API 拉取待处理达人，通过 DuckDuckGo（Lite/Standard 双引擎自动降级）搜索社交主页链接（YouTube/Facebook/Twitter/Instagram/个人网站），分类过滤后入库。 模块2 — 社交链接验证器（social_link_verifier.py）：管道核心。多线程浏览器访问社交主页提取邮箱，找到邮箱后调用 Gemini/豆包 Vision API 做 TikTok 与社交平台的头像 AI 比对，确认同一人后更新数据库并导出 Excel。 模块3 — 网站邮箱爬取器（website_scraper_new.py）：补充管道。对模块2未找到邮箱的记录，爬取其 YouTube 简介中的个人网站或 LinkBio 页面，分层抓取（首页→联系页→隐私页→帮助页）提取邮箱。 辅助工具：Excel 初筛（Gemini 头像二次比对）、看门狗（卡死自动重启）、Excel 修复、PyInstaller 打包。核心库（core/）统一封装数据库连接池、反检测浏览器、头像下载、邮箱校验、Excel 分片导出等共享能力。 三、业务流程 整体为三级串行、逐步深挖的管道架构： 搜索发现（模块1）：API 拉取达人 → DuckDuckGo 搜索 → 链接分类过滤 → 写入 google_search_result 表（is_completed=0）。 身份验证与邮箱提取（模块2）：读取待处理记录 → Instagram 走签名分析（轻量），YouTube/Facebook/Twitter 走浏览器访问 → 页面提取邮箱 → 有邮箱则判断：签名含 TikTok 链接直接确认身份，否则下载双方头像调 AI 比对 → 结果写库（is_completed=1）+ 导出 Excel。 补充爬取（模块3）：筛选已处理但无邮箱、有个人网站链接的记录 → URL 分类（LinkBio/Website/黑名单）→ 分层爬取提取邮箱 → 第三方邮箱过滤 → 写库（is_completed=2, is_sameperson=2 待人工确认）+ 导出 Excel。 全程看门狗监控心跳，异常自动重启；网络错误不标记完成，保证可重试

一、立项背景与目标 随着 AI 大模型能力的快速发展，企业对"AI 能力即服务"的需求日益增长。本项目旨在构建一个 SaaS 化的 AI 工作流自动化平台，让用户通过订阅套餐获取积分，按需消费平台上集成的各类 AI 模型与组件服务（文本生成、图像处理、视频合成、音频转写等）。项目核心目标包括：提供灵活的套餐订阅与积分计费体系、支持多租户隔离的 B2B 模式、构建可扩展的 AI 组件与模型管理后台。 二、核心功能模块 系统采用 FastAPI + MongoDB + Redis 后端 + React 18 + Ant Design 5 前端的技术架构，分为以下核心模块： 1. 系统管理模块（module_admin） 用户、角色、菜单、部门、岗位、字典、系统配置等基础 RBAC 权限管理，基于 RuoYi 框架改造，已全面迁移至 MongoDB（Motor 异步驱动）。 2. AI 服务管理模块（module_package） 管理 AI 模型（多通道路由、厂商品牌标识）、模型别名、功能组件库、组件与模型关联关系、定价模板（按 quality/quantity/duration 等维度配置积分倍率）。 3. 套餐订阅模块（module_subscription） 套餐类型（月付/季付）、套餐定义（含服务项目与积分额度）、用户订阅管理（聚合视图 + 明细记录双表模式）、积分体系（套餐积分/购买积分/赠送积分，支持月度重置与滚存）、套餐升级（新购叠加模式）。 4. 支付模块（module_payment） 集成 Stripe 与 Airwallex 支付网关，支持订阅制 Checkout、自动续费、Webhook 回调处理。 5. 定时任务模块（module_task） 套餐过期清理、积分月度重置、购买积分过期、超时订单取消等后台调度任务。 6. 多租户体系 采用共享数据库 + tenantId 字段方案，所有业务集合均支持租户级数据隔离。 三、业务流程与功能路径 用户订阅消费主流程： 用户注册 → 系统自动分配免费默认套餐 → 用户浏览套餐列表选择升级 → 通过 Stripe/Airwallex 完成支付 → 系统创建购买记录与用户套餐明细 → 用户获得对应积分额度 → 用户在前端选择 AI 组件与模型 → 系统根据基础积分×各维度倍率计算最终消耗 → 按优先级（叠加积分→当前套餐积分→购买积分）扣减 → 调用 AI 服务返回结果。 套餐升级路径： 用户发起升级 → 新购高级套餐 → 原套餐标记为 SUPERSEDED（剩余积分保留叠加至新套餐）→ 新套餐生效，积分合并可用。 管理后台路径： 管理员通过后台配置 AI 模型与组件 → 设置定价模板（维度与倍率）→ 关联组件与模型 → 创建套餐并绑定服务项目与积分额度 → 发布后用户端可见可购。