luckdriv

- Python爬虫 - Web自动化/浏览器爬虫 - 动态渲染采集 - Scrapy工程化采集 - 数据清洗与结构化存储（CSV/表格） - 反爬处理/登录态维持 - 业务背景：对商业地产行业数据进行汇总分析，需要批量获取赢商大数据平台的项目库信息，形成可分析的数据集（项目维度字段齐全、可导入Excel/BI）。 - 核心功能： - 项目列表翻页采集：按页获取项目入口链接，支持配置页数批量抓取 - 项目详情解析：进入详情页抽取关键字段并做字段名清洗与映射 - 采集稳定性：动态渲染等待、限速控制、低并发策略减少风控触发 - 数据落地：按统一字段写入 CSV，支持追加写入与断点续跑

- Python：requests.Session（会话维持/接口请求）、pandas（Excel导出） - JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑） - 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头） - 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重 - Python爬虫 / 接口采集 - JS逆向 / 加密参数还原 - AES/RSA 加解密 - 验证码对抗（滑块） - Session会话保持 - 数据清洗与表格落地（Excel） - 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批量获取。项目目标是实现企业分页查询数据的自动化采集与结构化导出，用于企业库分析/数据归档。 - 核心功能： - 企业列表分页采集：按 pageNum/pageSize 拉取企业 records - 反爬突破：还原前端加密参数（RSA/AES）与滑块验证码校验链路 - 稳定采集：requests.Session 维持校验后的状态；企业名称去重避免重复写入 - 交付产物：字段统一清洗后导出 Excel（示例文件为“云南企业数据.xlsx”）

- Python：requests（获取直播间 room_id 与 cookie）、websocket-client（WSS长连接收包/回包）、gzip（解压）、protobuf（消息反序列化）、loguru（日志输出） - JS逆向与签名：execjs 调用本地 JS 生成 signature（X-Bogus）；crypto-js（MD5 生成 X-MS-STUB） - 协议解析：Protobuf（douyin.proto + 生成 douyin_pb2.py） - WebSocket实时数据采集 - Protobuf协议解析 - Python网络编程/长连接 - JS逆向 / 参数签名（X-Bogus） - 数据解压（gzip） - 反爬/鉴权参数构造 - 业务背景：抖音直播间互动信息（弹幕）通过 WebSocket 推送且采用 Protobuf + gzip 压缩，同时连接参数包含签名（signature/X-Bogus）。常规抓包仅能拿到二进制数据，无法直接解析为可用文本。 - 核心功能： - 自动进入直播间，提取 room_id，并获取必要 cookie（ttwid） - 计算 WebSocket 连接所需 signature（X-Bogus），构造完整 WSS URL - 建立 WSS 长连接，实时接收二进制推送包 - PushFrame → gzip解压 → Response/Message → 按 method 过滤弹幕消息 WebcastChatMessage - 输出格式化弹幕内容（昵称 + 文本），并在 need_ack 场景下回传 ACK 保持连接稳定