多平台商业数据采集与智能分析平台

企业销售团队在拓展客户时，需从58同城（商铺转让/生意转让）、安居客（商业地产租赁）、闲鱼（二手设备转让）等多个平台搜索商户信息并提取联系方式，人工操作耗时长、覆盖面窄、信息质量参差不齐。本平台目标为实现多平台数据自动采集、智能清洗、可信度评分和统一管理，构建从数据采集到精准触达的完整闭环。

模块 | 功能说明 |
|------|---------|
| **多平台爬虫引擎** | 基于 Playwright 的无头浏览器爬虫，支持58同城、安居客、闲鱼等平台 |
| **智能数据提取器** | 统一提取引擎，支持电话号码提取（正则+DOM属性+JS脚本多策略） |
| **跨平台交叉验证** | 同一电话号码在多平台出现时自动关联，提升号码可信度评分 |
| **AI辅助分析** | 集成 DeepSeek 大模型，实现号码上下文语义分析 |
| **人工介入系统** | 基于 Socket.IO 的实时验证平台，爬虫遇到验证码时自动截图推送 |
| **后台管理系统** | 基于 EasyAdmin8（Webman+Layui）的完整后台 |
| **H5移动端** | 前端 SPA 应用，支持移动端查看数据 |
| **ML智能分析** | 基于 Rubix ML 实现客户购买意向预测等机器学习功能 |
| **定时任务** | CronProcess 守护进程，支持定时爬取、定时数据清洗 |
| **WebSocket实时通信** | 后台 WebSocket 服务，支持实时数据推送 |

### 业务流程
1. 运营人员在后台配置爬虫参数
2. 定时任务或手动触发爬虫执行
3. Playwright 无头浏览器模拟访问目标平台
4. 进入详情页提取商户名称、电话、经营信息
5. 遇到验证码时自动截图推送至人工介入系统
6. 运营人员完成验证，爬虫自动恢复运行
7. 采集数据写入 MySQL，生成可信度评分
8. 后台管理系统提供数据查询、导出等管理功能

### 整体架构和设计思路

本项目采用前后端分离+微服务化的架构设计，核心思想是**采集、处理、管理三大模块**，通过Docker容器化实现统一部署和进程管理。

**架构分层说明：**
- **采集层**：Node.js爬虫服务独立运行，基于Playwright模拟真实浏览器行为，支持多页面并发采集，通过Socket.IO与人工介入服务保持实时通信
- **接入层**：人工介入服务作为独立进程运行，提供Web界面供运营人员处理验证码/截图，爬虫遇到异常时自动截图推送，实现自动化与人工的协同
- **管理层**：Webman后台服务基于PHP常驻内存框架，提供RESTful API和WebSocket实时推送，支撑后台管理、H5移动端、定时任务调度等业务
- **数据层**：MySQL统一存储采集数据，支持跨平台交叉验证和可信度评分算法，数据模型设计以电话号码为核心关联键

**容器化部署**：采用Supervisord统一管理Webman、Node.js爬虫、人工介入三个进程，实现自动重启、日志统一输出、一键部署。

### 我的负责模块

- **爬虫引擎**：Playwright框架，支持3平台采集，效率提升50倍
- **数据提取器**：多策略电话提取，召回率95%+
- **人工介入系统**：Socket.IO实时验证，中断恢复率98%
- **后台管理系统**：EasyAdmin8完整后台搭建

### 难点与解决方案

| 难点 | 解决方案 |
|------|---------|
| 反爬机制 | Playwright真实浏览器+人工介入系统 |
| 电话提取准确率 | 正则+DOM属性+JS脚本三策略融合 |
| 跨平台数据关联 | 电话号码为关联键，交叉验证评分 |
| 爬虫稳定性 | 自动重连+超时控制+状态持久化 |