抖音直播弹幕实时采集（WebSocket + Protobuf + X-Bogus签名）
2026-04-11 20:47:30
行业：社交、电商
载体：爬虫/脚本
技术：JavaScript、Python
业务和功能介绍
- Python：requests（获取直播间 room_id 与 cookie）、websocket-client（WSS长连接收包/回包）、gzip（解压）、protobuf（消息反序列化）、loguru（日志输出）
- JS逆向与签名：execjs 调用本地 JS 生成 signature（X-Bogus）；crypto-js（MD5 生成 X-MS-STUB）
- 协议解析：Protobuf（douyin.proto + 生成 douyin_pb2.py）
- WebSocket实时数据采集
- Protobuf协议解析
- Python网络编程/长连接
- JS逆向 / 参数签名（X-Bogus）
- 数据解压（gzip）
- 反爬/鉴权参数构造
- 业务背景：抖音直播间互动信息（弹幕）通过 WebSocket 推送且采用 Protobuf + gzip 压缩，同时连接参数包含签名（signature/X-Bogus）。常规抓包仅能拿到二进制数据，无法直接解析为可用文本。
- 核心功能：
- 自动进入直播间，提取 room_id，并获取必要 cookie（ttwid）
- 计算 WebSocket 连接所需 signature（X-Bogus），构造完整 WSS URL
- 建立 WSS 长连接，实时接收二进制推送包
- PushFrame → gzip解压 → Response/Message → 按 method 过滤弹幕消息 WebcastChatMessage
- 输出格式化弹幕内容（昵称 + 文本），并在 need_ack 场景下回传 ACK 保持连接稳定
- JS逆向与签名：execjs 调用本地 JS 生成 signature（X-Bogus）；crypto-js（MD5 生成 X-MS-STUB）
- 协议解析：Protobuf（douyin.proto + 生成 douyin_pb2.py）
- WebSocket实时数据采集
- Protobuf协议解析
- Python网络编程/长连接
- JS逆向 / 参数签名（X-Bogus）
- 数据解压（gzip）
- 反爬/鉴权参数构造
- 业务背景：抖音直播间互动信息（弹幕）通过 WebSocket 推送且采用 Protobuf + gzip 压缩，同时连接参数包含签名（signature/X-Bogus）。常规抓包仅能拿到二进制数据，无法直接解析为可用文本。
- 核心功能：
- 自动进入直播间，提取 room_id，并获取必要 cookie（ttwid）
- 计算 WebSocket 连接所需 signature（X-Bogus），构造完整 WSS URL
- 建立 WSS 长连接，实时接收二进制推送包
- PushFrame → gzip解压 → Response/Message → 按 method 过滤弹幕消息 WebcastChatMessage
- 输出格式化弹幕内容（昵称 + 文本），并在 need_ack 场景下回传 ACK 保持连接稳定
项目实现
- Step 1：HTTP 获取直播间基础信息
- 请求直播间页面，正则提取 roomId ，并从响应拿到 ttwid cookie
- Step 2：签名逆向与复用
- 组装参数串 o → MD5 得到 X-MS-STUB → 调用本地 JS 的 window.loader 生成 X-Bogus ，作为 websocket query 的 signature
- Step 3：WebSocket 通讯与协议解析
- 连接 wss://webcast100-ws-web-lq.douyin.com/webcast/im/push/v2/ （compress=gzip 等参数）
- 收到二进制帧后用 Protobuf 解析外层 PushFrame，再对 payload gzip 解压并解析内层 Response
- 遍历 messages，识别 WebcastChatMessage ，解析 ChatMessage 得到 user.nickName 与 content ，实时输出
- need_ack=True 时回 ACK 帧，提升稳定性
- 请求直播间页面，正则提取 roomId ，并从响应拿到 ttwid cookie
- Step 2：签名逆向与复用
- 组装参数串 o → MD5 得到 X-MS-STUB → 调用本地 JS 的 window.loader 生成 X-Bogus ，作为 websocket query 的 signature
- Step 3：WebSocket 通讯与协议解析
- 连接 wss://webcast100-ws-web-lq.douyin.com/webcast/im/push/v2/ （compress=gzip 等参数）
- 收到二进制帧后用 Protobuf 解析外层 PushFrame，再对 payload gzip 解压并解析内层 Response
- 遍历 messages，识别 WebcastChatMessage ，解析 ChatMessage 得到 user.nickName 与 content ，实时输出
- need_ack=True 时回 ACK 帧，提升稳定性
示例图片视频
相似推荐
企业数字化管理系统-企航 EasyOps
这个系统主要是给中小企业用来管理日常业务的。很多小公司平时用 Excel 记录客户、订单和库存，时间久了数据容易乱，也不好查。这个项目就是把客户、订单、库存、审批和报表这些内容集中到一个系统里管理.系统里有工作台、客户管理、订单管理、库存管理、审批中心和经营报表。用户可以在系统里录入客户信息，查看客户跟进情况；也可以创建订单、查看订单状态和订单金额；库存数量可以统一管理，库存低了系统会提醒；一些订单折扣、合同、退款申请可以走审批；最后还能通过报表查看销售额、客户数量、库存预警等经营数据。
刷题微信小程序
1.题库学习
多科目题库（考研数学、四级词汇、六级词汇等）
按题库/子分类浏览题目
随机答题模式
免费题 + VIP题 区分
2. 答题系统
选择题作答
自动判断正误
答对获得积分（每日上限30分）
答错自动收录错题集
3. 错题集
按科目分类管理错题
错题详情查看（含正确答案和解析）
错题删除/标记已复习
4. 积分系统
答题赚积分
每日签到（连续签到奖励递增）
积分兑换VIP
5. VIP体系
VIP月卡/季卡/年卡
VIP用户解锁全部题目
普通用户仅可做免费题
6. 排行榜
用户积分排名
查看学习进度
7. 管理员后台
题库管理（添加/删除题目）
用户管理（设置VIP/管理员）
按题库/子分类筛选
AI 智能体开发平台
本平台面向企业内部业务人员与算法开发人员打造一站式 AI 智能体低代码开发平台，解决传统大模型应用开发门槛高、流程定制繁琐、多模型调度混乱等痛点。平台核心包含智能体可视化编排、多厂商大模型接入管理、知识库向量存储、对话流程可视化拖拽、权限管控、调用数据统计六大核心模块。业务人员无需代码即可搭建行业专属智能体，支持上传企业私有文档构建专属知识库，配置问答、工具调用、多轮对话逻辑；算法人员可统一管理文心、通义、GLM 等多模型接口，配置模型限流、上下文长度、温度参数；平台完整记录智能体调用日志、Token 消耗、问答准确率，支持按部门、用户分配智能体访问权限，覆盖企业内部客服、办公辅助、数据查询等多类 AI 业务场景。
企业内部ERP系统
面向鞋类全栈 ERP 系统，覆盖从客户接单、模具管理、BOM 拆解、生产排程、出入库管理到标签打印、报表分析的全链路业务流程。系统采用前后端分离架构，后端基于 Spring Boot 3 提供 RESTful API，前端为 Vue 3 + Vite SPA，支持本地开发与 Docker 生产部署两套环境。
企业后端管理系统
后台管理系统：各类Admin后台、数据统计看板、CMS内容管理。
API接口开发：支持高并发的App/小程序接口，稳定、响应快（附接口文档）。
微信生态：公众号开发、微信支付/支付宝支付完整接入、小程序云开发。
数据与安全：数据可视化图表、防SQL注入/XSS攻击、接口签名加密。
第三方对接：短信验证码、OSS对象存储（七牛/阿里云）、邮件推送。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服