视频调度系统

本项目旨在解决批量 Android 终端执行重复性业务流程时人工效率低、定时精准度差、多设备难以协同等痛点。系统整合设备群控、视觉识别、分布式任务调度等技术，构建了一套高可用的自动化操作平台，适用于需要大规模设备并发执行定时或即时任务的各类业务场景。 软件核心功能涵盖：多设备自动发现与并发管理；基于 Redis 的分布式任务队列与优先级调度；定时任务与即时任务双模式支持；基于 OCR 文字识别与 OpenCV 图像模板匹配的 UI 元素智能定位；可视化参数配置与执行状态监控；异常重试与屏幕变化检测等容错机制。 核心功能模块包括： 设备管理模块：通过 ADB 协议自动扫描局域网内在线 Android 设备，动态维护设备池，支持多设备并行接入与状态监控。 视觉识别模块：集成阿里云 OCR 服务实现全屏文字识别与坐标提取，同时基于 OpenCV 实现图像模板匹配，提供双重元素定位策略，适配不同 UI 场景。 任务调度模块：采用 Redis 有序集合作为中央任务队列，以时间戳为 Score 实现任务的精准排序；Dispatcher 进程轮询分发，支持即时执行与"预执行-正式执行"两阶段复杂时序逻辑。 自动化引擎模块：基于 uiautomator2 封装点击、滑动、应用启停、截图等原子操作，支持区域限定点击、偏移点击、索引点击等高级交互模式。 配置与监控模块：基于 TKinter 构建 Windows 桌面配置端，支持业务参数录入、设备选择、功能模式切换、实时日志展示与任务状态反馈。 业务流程描述：用户通过可视化界面配置目标业务流程参数（如区域、分类、目标对象、索引等）及期望执行时间；系统校验参数后生成结构化任务并序列化存入 Redis 队列；Dispatcher 按时间策略轮询，将到期任务推送至对应设备的 Worker 进程；Worker 驱动设备完成解锁、应用启动、页面导航、元素识别与点击、结果确认等全链路操作；最终系统生成独立日志文件并反馈执行结果。

## 一、项目概述 本项目是一个基于 Java 的**东京奥运会（2020）赛事数据爬虫与可视化系统**，以新浪体育东京奥运专题页面（`http://2020.sina.com.cn/`）为数据来源，自动抓取奥运**新闻资讯**和**中国代表团各项目奖牌数据**，持久化存储至本地 MySQL 数据库，并通过图形化桌面界面（Java Swing）进行数据展示与查询。 --- ## 二、业务背景 东京奥运会于 2021 年 7 月 23 日至 8 月 8 日举行（因疫情延期一年）。新浪体育为此开设了专题页面，提供实时新闻报道和各项目奖牌查询 API。本项目通过爬虫技术对上述数据进行采集，服务于以下业务场景： - **赛事跟踪**：快速聚合奥运新闻，方便集中浏览。 - **奖牌统计**：自动汇总中国代表团在射击、乒乓球、举重、跳水等 13 个重点项目的金/银/铜牌数量。 - **数据查询**：支持按关键词检索新闻标题和赛事名称，实现快速定位。 --- ## 三、系统功能介绍 ### 3.1 主界面 — 爬虫启动 | 功能 | 说明 | |------|------| | **一键爬取** | 点击"开始爬取"按钮，系统自动清空旧数据并重新采集 | | **新闻采集** | 抓取新浪奥运首页的新闻链接，逐条进入详情页提取完整内容 | | **奖牌采集** | 依次调用新浪奥运奖牌 API，获取 13 个运动项目的实时奖牌数据 | | **进度反馈** | 控制台打印"....."进度提示；采集完成后弹出"爬取成功"对话框 | | **自动跳转** | 成功后自动关闭启动窗口，打开"奥运数据一览"展示窗口 | ### 3.2 数据展示界面 — 奥运数据一览 #### Tab 1：新闻信息 | 功能 | 说明 | |------|------| | **列表展示** | 以表格展示所有新闻的标题、发布时间、发布者、正文内容 | | **关键词搜索** | 在搜索框输入新闻标题关键词，点击"查询"进行模糊匹配过滤 | | **实时刷新** | 界面加载时自动从数据库读取最新数据 | #### Tab 2：奖牌信息 | 功能 | 说明 | |------|------| | **列表展示** | 以表格展示 13 个运动项目的金牌、银牌、铜牌合计数 | | **关键词搜索** | 支持按赛事名称（如"乒乓球"）进行模糊查询 | | **实时刷新** | 组件渲染时自动加载数据库记录 | **涵盖的 13 个赛事项目：** > 射击、篮球、三对三篮球、田径、游泳、乒乓球、羽毛球、举重、跳水、蹦床、竞技体操、艺术体操、赛艇

【立项背景与目标】 随着电商平台竞争加剧，企业对竞品价格监控、市场趋势分析和用户评论洞察的需求日益迫切。传统人工采集方式效率低下、覆盖不全、数据滞后。本系统旨在构建一套自动化、分布式的电商数据采集与分析平台，实现对主流电商平台（淘宝、京东、拼多多、抖音）商品数据的全天候自动采集与智能分析，为企业提供实时、准确的市场情报和决策支持。 【核心功能模块】 1. 分布式采集引擎：基于Scrapy+Redis构建，支持多节点并行采集，内置代理IP池自动切换、Cookie管理、验证码识别等反爬对抗模块，日均采集能力超过120万条商品数据。 2. 任务调度中心：提供可视化任务配置界面，支持Cron定时调度、实时流式采集与手动触发三种模式，可自定义目标平台、商品品类、采集字段（标题、价格、销量、评价、店铺信息等）。 3. 数据清洗与存储管道：自动完成数据去重、格式标准化、异常值过滤，结构化存入MySQL集群，同时同步至Elasticsearch实现毫秒级全文检索。 4. 智能分析模块：提供价格波动趋势分析、竞品销量排名、用户评论情感分析（好评/中评/差评自动分类），通过ECharts大屏实时可视化呈现。 5. 异常告警系统：支持价格突变、商品下架、评论异常等场景的阈值告警，通过钉钉/邮件/飞书实时推送。 【业务流程】 用户配置采集任务（选择平台→品类→字段→调度策略）→系统自动分发至Celery任务队列→Redis去重后分配给各Worker节点→Scrapy/Playwright执行页面抓取→数据经清洗管道处理后入库→前端Dashboard实时展示采集进度与数据分析结果→异常数据触发告警通知。

建设目标在于解决前台数据服务需求与后台数据服务供给相匹配的问题，提高数据产品服务的规模化生产能力、快速需求响应能力和组件化可复用能力。 在产品层面，数据中台的总体架构分为16个子域：数据门户、数据展示中心、自助查询中心、数据交换中心、作业调度中心、元数据资产中心、文件管理中心、智能AI分析中心、流数据实时分析中心、数据标签中心、数据指标中心、自然语言NLP中心、图像识别OCR中心、智能推荐中心、知识图谱中心、时序预测中心。

一、项目背景 面向市大数据局、公安、市监局等政务部门开展项目，各部门已完成数据治理工作，但数据加工需开发人员手写代码实现，存在需求响应慢、业务人员无法自主操作、数据处理效率低等痛点，亟需搭建低门槛数据处理平台。 二、项目目标 1. 采集政务数据元数据信息，实现库表、字段及业务含义统一管理 2. 搭建拖拽式可视化建模平台，通过算子实现数据自助加工，降低使用门槛 3. 新增定时任务调度功能，实现建模任务自动化执行 4. 对接BI报表模块，实现加工数据可视化展示 5. 提升数据处理与需求交付效率，支撑政务业务自助数据分析 三、项目概述 搭建政务低代码可视化数据建模平台，自动采集治理后数据的元数据信息，提供过滤、排重、聚合、拆分等拖拽式算子，实现业务人员自主数据加工。支持建模任务定时调度、结果数据异构系统同步与级联分析，同时打通BI报表模块，可自主生成柱状图、折线图、甘特图等图表，完成数据加工到可视化全流程自助化。