抖音用户公开数据自动化采集系统
1.支持用户对关注主页的信息抓取
2.签名逆向破解、反爬绕过、数据清洗与结构化输出,用户指定输出格式存储
3.累计完成 589 条实战数据采集,支持批量处理和增量更新
1.后端采用FastAPI框架构建RESTful API服务,前端使用Vue3 + Vant UI提供管理界面。
2.核心技术突破:逆向分析抖音签名参数生成逻辑,实现纯Python签名算法,无需依赖Node.js执行环境。
3.采用Playwright协议进行浏览器自动化操作,支持无头模式与有头模式灵活切换。
4.PostgreSQL数据库存储结构化用户数据,SQLAlchemy ORM管理数据模型。
5.代理IP池动态调度机制,配合指数退避重试策略,确保长时间稳定采集不被封禁。
6.Docker Compose一键部署,包含完整的日志收集与监控告警体系。