程序聚合 软件案例 抖音直播弹幕实时采集(WebSocket + Protobuf + X-Bogus签名)

抖音直播弹幕实时采集(WebSocket + Protobuf + X-Bogus签名)

2026-04-11 20:47:30
行业:社交、电商
载体:爬虫/脚本
技术:JavaScript、Python

业务和功能介绍

- Python:requests(获取直播间 room_id 与 cookie)、websocket-client(WSS长连接收包/回包)、gzip(解压)、protobuf(消息反序列化)、loguru(日志输出)
- JS逆向与签名:execjs 调用本地 JS 生成 signature(X-Bogus);crypto-js(MD5 生成 X-MS-STUB)
- 协议解析:Protobuf(douyin.proto + 生成 douyin_pb2.py)
- WebSocket实时数据采集
- Protobuf协议解析
- Python网络编程/长连接
- JS逆向 / 参数签名(X-Bogus)
- 数据解压(gzip)
- 反爬/鉴权参数构造
- 业务背景:抖音直播间互动信息(弹幕)通过 WebSocket 推送且采用 Protobuf + gzip 压缩,同时连接参数包含签名(signature/X-Bogus)。常规抓包仅能拿到二进制数据,无法直接解析为可用文本。
- 核心功能:
- 自动进入直播间,提取 room_id,并获取必要 cookie(ttwid)
- 计算 WebSocket 连接所需 signature(X-Bogus),构造完整 WSS URL
- 建立 WSS 长连接,实时接收二进制推送包
- PushFrame → gzip解压 → Response/Message → 按 method 过滤弹幕消息 WebcastChatMessage
- 输出格式化弹幕内容(昵称 + 文本),并在 need_ack 场景下回传 ACK 保持连接稳定

项目实现

- Step 1:HTTP 获取直播间基础信息
- 请求直播间页面,正则提取 roomId ,并从响应拿到 ttwid cookie
- Step 2:签名逆向与复用
- 组装参数串 o → MD5 得到 X-MS-STUB → 调用本地 JS 的 window.loader 生成 X-Bogus ,作为 websocket query 的 signature
- Step 3:WebSocket 通讯与协议解析
- 连接 wss://webcast100-ws-web-lq.douyin.com/webcast/im/push/v2/ (compress=gzip 等参数)
- 收到二进制帧后用 Protobuf 解析外层 PushFrame,再对 payload gzip 解压并解析内层 Response
- 遍历 messages,识别 WebcastChatMessage ,解析 ChatMessage 得到 user.nickName 与 content ,实时输出
- need_ack=True 时回 ACK 帧,提升稳定性

示例图片视频


luckdriv
3天前活跃
方向: 爬虫/脚本-爬虫/脚本、安全/逆向-安全/逆向、
交付率:100.00%
相似推荐
在线教育平台包括普通话测评、云认证(在线考试)等多个模块
软件主要功能,在线教育平台。教师上传课程内容,可供课上授课、课下布置作业以及在线考试等功能。 核心功能模块包括: 幼乐美官网:幼乐美官方网站,展示公司情况等内容 学习云平台:作为主入口,教师上传一些文件、图片、视频等内容,进行课堂展示授课 学习云管理端:对学习云的整个内容的权限设置,包括账号权限以及模块展示权限等 投屏:学习云上传的内容,教师可以通过投屏展示在课堂上得大屏幕中,并且可以通过操作学习云app实现大屏幕展示的内容切换等 云考试:学生通过云考试平台进行考试,同时教师可以在此端进行对学生考试情况的批阅 云认证:学生通过此平台进行练习并考试,教师可以对学生的考试情况进行批阅,教师对学生的试卷进行编辑 云仿真:负责展示VR教学内容 普通话:学生通过此平台练习测评普通话等级 早期幼儿教育大赛:对早教相关专业的学生进行考试
湖北交投一体化智慧管理平台-后台管理系统
1. 用户登录与身份验证 实现账号密码登录、表单校验、登录状态保持,未登录用户自动跳转登录页,保证系统访问安全。 2. 控制台数据概览 首页展示业务关键指标统计卡片、数据趋势图表,直观呈现系统整体运营情况。 3. 用户管理模块 支持用户列表查询、新增、编辑、删除、状态控制,可对用户信息进行完整管理。 4. 角色与权限管理 基于角色分配菜单与操作权限,实现不同账号权限隔离,确保数据安全与分级管理。 5. 通用数据列表管理 包含表格展示、分页、搜索筛选、排序、导出等常用功能,适配各类业务数据管理场景。 6. 表单提交与编辑 统一表单验证机制,支持新增、编辑、弹窗操作,数据提交后实时刷新列表。 7. 菜单与路由管理 左侧动态菜单、路由权限控制,根据当前用户角色自动展示可访问功能。 8. 系统布局与交互体验 采用经典后台布局(侧边栏 + 导航 + 内容区),操作简洁统一,适配 PC 端不同分辨率。 9. 系统平台包含PC端、App端(uniapp技术栈)
在线教育(学习云)-普通话测评、早教考试、云考试、720场景、可视化数据
软件主要功能,在线教育平台。教师上传课程内容,可供课上授课、课下布置作业以及在线考试等功能。 核心功能模块包括: 学习云平台:作为主入口,教师上传一些文件、图片、视频等内容,进行课堂展示授课 学习云管理端:对学习云的整个内容的权限设置,包括账号权限以及模块展示权限等 投屏:学习云上传的内容,教师可以通过投屏展示在课堂上得大屏幕中,并且可以通过操作学习云app实现大屏幕展示的内容切换等 云考试:学生通过云考试平台进行考试,同时教师可以在此端进行对学生考试情况的批阅 云认证:学生通过此平台进行练习并考试,教师可以对学生的考试情况进行批阅,教师对学生的试卷进行编辑 普通话:学生通过此平台练习测评普通话等级 早期幼儿教育大赛:对早教相关专业的学生进行考试 720全景预览:对720全景图添加锚点,可以进行场景跳转。
项目管理平台
1. 全业务闭环管理 整合 9 大模块(线索→订单→发货→财务→数据分析),覆盖客户生命周期全流程。 支持零售、工程等多业务模式,实现 “客户管理+下单平台”一体化。 2. 复杂业务突破 设计 多维度价格政策引擎,支持零售价、工程价等复杂场景,实现 每单每行价格精准分摊(如材料费、人工费 独立核算)。 对接价格评审系统,实现工程项目 成本-报价-结算 自动化联动。 3. 财务与风控创新 打通财务系统,订单流自动生成凭证,对账效率提升明显。 引入 在线电子签名,规避线下合同签署、货物签收风险,法律纠纷减少 90%。 4. 数据驱动运营 构建客户行为分析模型
飞书ai机器人通知
实现一个飞书机器人,自动采集指定外部平台(如微博、知乎、公众号、竞品官网、价格页面、GitHub等)的实时信息,根据预设规则监控用户感兴趣的内容(关键词、价格变动、上新、状态变更等),一旦命中规则,立即通过飞书机器人推送消息,并自动@指定成员、发送加急通知(应用内加急/短信/电话提醒),确保关键信息不遗漏。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服