etl工程-海外电商平台竞品监控

1. 竞品数据采集：通过分析目标平台前端交互逻辑，识别并复现数据接口，自动采集竞品库存、销量、价格等核心经营数据，替代高成本第三方数据服务。
2. 数据解密与解析：针对平台接口的AES加密机制，提取前端硬编码密钥并复现加密逻辑，实现数据的稳定获取与解析。
3. 竞品对比分析：将采集到的多维度数据进行横向对比，直观呈现自身与主要竞品在库存、销量等关键指标上的差异，辅助经营决策。
4. 市场机会识别：基于持续采集的数据，及时发现竞品库存不足、补货滞后等市场窗口期，为团队抢占市场份额提供决策依据。

整体架构和设计思路
系统采用模块化分层架构，整体分为数据采集层、数据处理层、数据存储层、业务展示层四层。核心设计思路是"搜索与获取分离"——通过搜索定位目标竞品，再按需获取详细数据，在保证数据完整性的同时有效控制采集成本。数据流转链路为：搜索定位 → 候选过滤 → AI分流 → 人工确认 → API获取 → ETL同步 → 仪表盘展示。系统通过飞书多维表格实现数据落地，采用主表存储品类索引、子表分散存储各品类数据的结构，通过链接跳转实现数据关联，在轻量级协作工具中构建了接近关系型数据库的范式结构。

模块技术栈
1. 数据采集模块：Node.js + 逆向分析技术，通过分析目标平台前端交互逻辑，识别并复现数据接口，自动采集竞品库存、销量、价格等核心经营数据。
2. 数据解密模块：针对平台接口的AES加密机制，提取前端硬编码密钥并复现加密逻辑，实现数据的稳定获取与解析。
3. 数据处理与存储模块：Python + 飞书多维表格，通过ETL同步将采集数据清洗、标准化后写入飞书，利用主表子表分离架构管理多品类数据。
4. 业务展示模块：飞书多维表格仪表盘，实时呈现竞品对比分析结果，支持库存、销量、价格等多维度可视化。

负责模块
独立负责系统全链路开发，包括数据采集、接口逆向破解、数据解密、ETL同步、飞书多维表格架构设计及仪表盘搭建。

遇到的难点
1. 接口逆向分析：目标平台无公开API，需通过分析前端交互逻辑定位数据接口，并破解AES加密机制，提取密钥并复现加密逻辑。
2. 数据一致性保障：多子表分散存储架构下，需确保数据同步的准确性与一致性，避免脏数据进入生产环境。
3. 架构设计权衡：在飞书多维表格单表行数限制下，设计主表子表分离的索引架构，兼顾扩展性与维护成本。