业务和功能介绍
## 一、项目概述
本项目是一个基于 Java 的**东京奥运会（2020）赛事数据爬虫与可视化系统**，以新浪体育东京奥运专题页面（`http://2020.sina.com.cn/`）为数据来源，自动抓取奥运**新闻资讯**和**中国代表团各项目奖牌数据**，持久化存储至本地 MySQL 数据库，并通过图形化桌面界面（Java Swing）进行数据展示与查询。
---
## 二、业务背景
东京奥运会于 2021 年 7 月 23 日至 8 月 8 日举行（因疫情延期一年）。新浪体育为此开设了专题页面，提供实时新闻报道和各项目奖牌查询 API。本项目通过爬虫技术对上述数据进行采集，服务于以下业务场景：
- **赛事跟踪**：快速聚合奥运新闻，方便集中浏览。
- **奖牌统计**：自动汇总中国代表团在射击、乒乓球、举重、跳水等 13 个重点项目的金/银/铜牌数量。
- **数据查询**：支持按关键词检索新闻标题和赛事名称，实现快速定位。
---
## 三、系统功能介绍
### 3.1 主界面 — 爬虫启动
| 功能 | 说明 |
|------|------|
| **一键爬取** | 点击"开始爬取"按钮，系统自动清空旧数据并重新采集 |
| **新闻采集** | 抓取新浪奥运首页的新闻链接，逐条进入详情页提取完整内容 |
| **奖牌采集** | 依次调用新浪奥运奖牌 API，获取 13 个运动项目的实时奖牌数据 |
| **进度反馈** | 控制台打印"....."进度提示；采集完成后弹出"爬取成功"对话框 |
| **自动跳转** | 成功后自动关闭启动窗口，打开"奥运数据一览"展示窗口 |
### 3.2 数据展示界面 — 奥运数据一览
#### Tab 1：新闻信息
| 功能 | 说明 |
|------|------|
| **列表展示** | 以表格展示所有新闻的标题、发布时间、发布者、正文内容 |
| **关键词搜索** | 在搜索框输入新闻标题关键词，点击"查询"进行模糊匹配过滤 |
| **实时刷新** | 界面加载时自动从数据库读取最新数据 |
#### Tab 2：奖牌信息
| 功能 | 说明 |
|------|------|
| **列表展示** | 以表格展示 13 个运动项目的金牌、银牌、铜牌合计数 |
| **关键词搜索** | 支持按赛事名称（如"乒乓球"）进行模糊查询 |
| **实时刷新** | 组件渲染时自动加载数据库记录 |
**涵盖的 13 个赛事项目：**
> 射击、篮球、三对三篮球、田径、游泳、乒乓球、羽毛球、举重、跳水、蹦床、竞技体操、艺术体操、赛艇
本项目是一个基于 Java 的**东京奥运会（2020）赛事数据爬虫与可视化系统**，以新浪体育东京奥运专题页面（`http://2020.sina.com.cn/`）为数据来源，自动抓取奥运**新闻资讯**和**中国代表团各项目奖牌数据**，持久化存储至本地 MySQL 数据库，并通过图形化桌面界面（Java Swing）进行数据展示与查询。
---
## 二、业务背景
东京奥运会于 2021 年 7 月 23 日至 8 月 8 日举行（因疫情延期一年）。新浪体育为此开设了专题页面，提供实时新闻报道和各项目奖牌查询 API。本项目通过爬虫技术对上述数据进行采集，服务于以下业务场景：
- **赛事跟踪**：快速聚合奥运新闻，方便集中浏览。
- **奖牌统计**：自动汇总中国代表团在射击、乒乓球、举重、跳水等 13 个重点项目的金/银/铜牌数量。
- **数据查询**：支持按关键词检索新闻标题和赛事名称，实现快速定位。
---
## 三、系统功能介绍
### 3.1 主界面 — 爬虫启动
| 功能 | 说明 |
|------|------|
| **一键爬取** | 点击"开始爬取"按钮，系统自动清空旧数据并重新采集 |
| **新闻采集** | 抓取新浪奥运首页的新闻链接，逐条进入详情页提取完整内容 |
| **奖牌采集** | 依次调用新浪奥运奖牌 API，获取 13 个运动项目的实时奖牌数据 |
| **进度反馈** | 控制台打印"....."进度提示；采集完成后弹出"爬取成功"对话框 |
| **自动跳转** | 成功后自动关闭启动窗口，打开"奥运数据一览"展示窗口 |
### 3.2 数据展示界面 — 奥运数据一览
#### Tab 1：新闻信息
| 功能 | 说明 |
|------|------|
| **列表展示** | 以表格展示所有新闻的标题、发布时间、发布者、正文内容 |
| **关键词搜索** | 在搜索框输入新闻标题关键词，点击"查询"进行模糊匹配过滤 |
| **实时刷新** | 界面加载时自动从数据库读取最新数据 |
#### Tab 2：奖牌信息
| 功能 | 说明 |
|------|------|
| **列表展示** | 以表格展示 13 个运动项目的金牌、银牌、铜牌合计数 |
| **关键词搜索** | 支持按赛事名称（如"乒乓球"）进行模糊查询 |
| **实时刷新** | 组件渲染时自动加载数据库记录 |
**涵盖的 13 个赛事项目：**
> 射击、篮球、三对三篮球、田径、游泳、乒乓球、羽毛球、举重、跳水、蹦床、竞技体操、艺术体操、赛艇
项目实现
四、项目技术架构
### 4.1 技术栈
| 层次 | 技术 / 库 | 版本 | 用途 |
|------|-----------|------|------|
| **界面层** | Java Swing | JDK 内置 | 桌面 GUI 组件 |
| **爬虫层** | Jsoup | 1.8.1 | HTML 解析、DOM 元素提取 |
| **HTTP 层** | Apache HttpClient | 4.5.6 | 发送 HTTP GET 请求、超时配置 |
| **JSON 层** | FastJSON | 1.2.73 | 解析新浪奖牌 API 返回的 JSONP 数据 |
| **数据层** | MySQL + JDBC | 5.7 / 5.1.21 | 数据持久化存储 |
| **日志层** | commons-logging | 1.2 | HttpClient 依赖 |
### 4.2 项目目录结构
```
2. 源代码/
├── src/
│ ├── dao/
│ │ ├── Crawler.java # 新闻爬虫核心类
│ │ ├── HttpRequestUtil.java # HTTP 工具类（奖牌 API 调用）
│ │ ├── DBManager.java # 数据库连接管理（静态单例）
│ │ ├── NewsInfoDao.java # 新闻数据库操作
│ │ └── MedalDao.java # 奖牌数据库操作
│ ├── model/
│ │ └── NewsInfo.java # 新闻实体类（POJO）
│ └── View/
│ ├── MainFrame.java # 主窗口（爬虫触发入口）
│ └── OlympicFrame.java # 数据展示窗口（选项卡页面）
├── lib/ # 第三方依赖 JAR 包
└── out/ # 编译输出目录
```
---
## 五、核心模块实现详解
### 5.1 新闻爬虫 — `Crawler.java`
**工作流程：**
```
访问 http://2020.sina.com.cn/
│
├─ 提取 class="ty-card-tt" 的卡片标题链接
│
└─ 提取 class="ty-card-type10-makeup" 的列表链接
│
└─ 遍历每条链接 → 访问详情页
### 4.1 技术栈
| 层次 | 技术 / 库 | 版本 | 用途 |
|------|-----------|------|------|
| **界面层** | Java Swing | JDK 内置 | 桌面 GUI 组件 |
| **爬虫层** | Jsoup | 1.8.1 | HTML 解析、DOM 元素提取 |
| **HTTP 层** | Apache HttpClient | 4.5.6 | 发送 HTTP GET 请求、超时配置 |
| **JSON 层** | FastJSON | 1.2.73 | 解析新浪奖牌 API 返回的 JSONP 数据 |
| **数据层** | MySQL + JDBC | 5.7 / 5.1.21 | 数据持久化存储 |
| **日志层** | commons-logging | 1.2 | HttpClient 依赖 |
### 4.2 项目目录结构
```
2. 源代码/
├── src/
│ ├── dao/
│ │ ├── Crawler.java # 新闻爬虫核心类
│ │ ├── HttpRequestUtil.java # HTTP 工具类（奖牌 API 调用）
│ │ ├── DBManager.java # 数据库连接管理（静态单例）
│ │ ├── NewsInfoDao.java # 新闻数据库操作
│ │ └── MedalDao.java # 奖牌数据库操作
│ ├── model/
│ │ └── NewsInfo.java # 新闻实体类（POJO）
│ └── View/
│ ├── MainFrame.java # 主窗口（爬虫触发入口）
│ └── OlympicFrame.java # 数据展示窗口（选项卡页面）
├── lib/ # 第三方依赖 JAR 包
└── out/ # 编译输出目录
```
---
## 五、核心模块实现详解
### 5.1 新闻爬虫 — `Crawler.java`
**工作流程：**
```
访问 http://2020.sina.com.cn/
│
├─ 提取 class="ty-card-tt" 的卡片标题链接
│
└─ 提取 class="ty-card-type10-makeup" 的列表链接
│
└─ 遍历每条链接 → 访问详情页
示例图片视频
相似推荐
Java 应用集群迁移与 Elasticsearch 数据同步
一、背景与目标
客户因业务调整，需要将现有生产环境的网站服务及数据完整迁移至新服务器。涉及约 10 个 Java 网络应用程序及配套的搜索、消息队列服务。目标是在保证数据完整性的前提下，实现业务的平滑割接，确保迁移后服务可正常访问。
二、功能模块
1.全量服务迁移： 涵盖 Elasticsearch 7.8.0 搜索引擎、Nginx 反向代理、RabbitMQ 消息队列及 Redis 缓存服务的部署与配置还原。
2.Java 应用部署： 迁移并配置 10 个左右的 Java 后端应用，恢复其 JVM 参数及配置文件。
3.数据一致性保障： 执行数据库与索引数据的导出导入操作，确保新旧环境数据一致。
CentOS7 Docker 基础运行环境搭建与组件部署
客户需要在单台 CentOS 7 服务器上快速构建一套标准化的后端开发与运行环境。目标是替代繁琐的手动安装过程，通过容器化技术统一部署 MySQL、MongoDB、Redis、Kafka、Zookeeper、MinIO 等中间件，并预置 GoLang 开发环境，确保环境的一致性和可移植性。
功能模块：
1.中间件容器化： 集成 MySQL 5.7+、MongoDB 6.0+、Redis 7.0+、Kafka 及 Zookeeper 等核心组件，通过 Docker Compose 进行统一编排启动。
2.对象存储服务： 部署 MinIO 对象存储，用于非结构化数据的存储测试。
3.环境初始化： 编写初始化脚本，自动完成各组件的用户名密码配置（如 mysql/mongodb/redis/minio 统一认证），并安装 GoLang 1.18 及 Git 工具链，交付即可用的基础镜像环境。
MyDiary
海外版 Android 应用独立开发实践，基于 Kotlin + Jetpack Compose + MVVM 架构，覆盖音乐播放器与隐私日记两款产品。音乐播放器支持本地音频扫描、后台播放、通知/媒体会话控制、播放队列、进度控制、循环模式及状态持久化；隐私日记支持富文本编辑、图片/表情/标签、多字体主题、时间线浏览、本地密码锁、云同步备份恢复与数据导出，注重海外用户隐私合规、流畅交互与数据安全保障。负责需求分析、UI/UX、架构设计、音视频/数据存储/同步模块实现及持续迭代。
半熟类社交平台
重逢的创建初衷是提供一个平台，为用户维护个人的半熟社交人际关系，辅助用户整合非日常交流好友资源，以此为用户提供可能需要的人际关系价值。项目的主要通过iOS和Android两个主流平台APP提供服务，后端通过ECS中PHP提供平台服务，并通过Python提供一定的数据分析服务。
求职投递管理平台
当前大学生求职海投过程中，经常出现投递企业过多、面试进度混乱、遗忘跟进简历状态等问题，缺少轻量化的进度跟踪工具。本求职投递管理系统以此为背景立项，目标是打造一款浏览器本地存储的求职台账工具。系统包含投递记录管理、待办事项提醒、进度数据看板、求职漏斗统计、数据导出备份五大核心模块。用户可以新增、检索、筛选所有投递记录，实时查看投递、笔试、面试、offer 全流程状态；首页看板可视化展示投递总量、面试数量与回应率，临近面试任务自动提醒，所有数据保存在浏览器本地，无需后端服务器，保障个人求职隐私安全。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服