1、立项背景和目标:个人游戏主播一个人开播,普遍面临“玩了游戏就没嘴解说、没精力看弹幕、撑不了几小时”的问题。本项目目标是做一个 Mac 端 AI 直播副驾:主播专心玩游戏,AI 替他看画面做解说、替他读弹幕回弹幕,让一个人拥有两个人的直播效果。
2、软件功能与核心模块:
① 游戏舞台——内置 88 款网页游戏一键开播,其中 23 款支持托管全自动玩;
② AI 讲解——多模态大模型(云端视觉模型或本地 Ollama)周期性读取游戏画面生成口语化解说,无 API Key 自动降级到本地规则引擎,全程不冷场;edge-tts 语音合成 14 种中文音色,音色/音量/语速独立可调;
③ 弹幕互动——自动接入抖音直播间实时读取弹幕(支持自动检测直播间地址),大模型生成回复并语音播报;
④ 带货商品讲解——支持链接抓取/粘贴识别/截屏OCR 三种商品录入,自动生成带货话术(价格锚定、卖点、引导小黄车),内置广告法违禁词过滤;
⑤ 双平台推流——深度对接 OBS(obs-websocket 协议),兼容抖音直播伴侣轻量直采模式。
3、业务流程:安装软件 → 选择游戏一键开播 → AI 自动解说画面、自动回复弹幕 → 观众听到真人声解说与互动 → 可选开启商品讲解模式进行带货。
1、整体架构:Python 3.13 + FastAPI 后端本地部署,浏览器面板作前端;Playwright 通过 CDP 协议驱动系统 Chrome 采集游戏画面;pyobjc 实现菜单栏常驻应用;PyInstaller 打包成 72MB 的 DMG 安装包(免装 Python 环境双击即用)。采集、解说引擎、语音合成、弹幕回复、商品解析、授权校验各自独立成模块,经事件总线解耦。
2、我负责的模块和结果:单人全栈完成从需求到交付。集成 88 款游戏(23 款全托管);打通本地 Ollama 与 3 类云端视觉模型双通道并自动降级;OBS 集成实现自动读取插件配置、连接诊断四步定位;TTS 支持本机监听+进流双输出与 14 音色;弹幕自动回复链路延迟 3 秒内(不含模型推理);实现离线 HMAC 授权与商品带货讲解模块,最终交付可分发安装包。
3、遇到的难点、坑和解决方案:
① “点了没反应”类顽疾:逐一根因分析定位到 Playwright TargetClosedError(就绪判定失效)、macOS 原生 prompt 弹窗落到窗口背后、异步任务无事件循环等多个坑,全部修复并用真实浏览器自动化点击测试验证闭环;
② AI 声音观众听不到:设计双通道输出与连续失败自动回落机制,源不可用时无缝切换;
③ 电商站点对无头浏览器的风控拦截:建立风控页指纹识别(URL/标题特征),引导用户可见窗口手动过验证,并拦截“无价格假成功”,确保带货话术永远不念错价;
④ 打包坑:pyobjc 方法装饰、Tee 管道 isatty、PYZ 模块同步等问题,将构建脚本改造为一键可重复构建。