业务和功能介绍
1. 立项背景和目标
1.1 立项背景
文旅行业数据量激增，景点信息分散杂乱，传统方式难以高效处理和分析。为实现旅游数据的自动化采集、深度分析与可视化应用，构建旅游大数据推荐系统，助力文旅数字化升级。
1.2 项目目标
完成携程景点数据爬取、分布式存储与清洗，构建分层数据仓库；
实现景点数据多维度分析，挖掘评分、热度、价格、地域分布规律；
开发数据可视化大屏，直观展示统计结果，支撑运营决策；
搭建后台管理系统，实现景点管理、数据仪表盘与精准推荐。
2. 软件功能、核心模块介绍
数据采集模块：Python 爬虫抓取携程全国景点数据，含 25 个关键字段，输出 CSV 文件。
大数据存储模块：搭建 Hadoop+Spark+Hive 集群，构建 ODS/DWD 分层数据仓库，实现数据分布式存储与管理。
数据清洗分析模块：PySpark+Hive SQL 完成数据清洗、去重、标准化；实现评分 / 价格 / 热度分档、区域统计、综合评分建模等多维度分析。
数据可视化模块：DataEase 制作数据大屏，生成柱状图、饼图、雷达图、地图等，直观呈现数据。
后台管理模块：基于若依框架开发，实现景点信息管理、数据仪表盘、图表接口开发与优质景点推荐。
3. 业务流程、功能路径
整体流程：数据采集 → 存储 → 清洗 → 分析 → 可视化 → 后台管理与推荐
采集：Python 爬虫爬取携程数据，导出 CSV。
存储：HDFS 上传数据，Hive 建库建表。
清洗分析：Spark 清洗数据，Hive SQL 多维度分析，结果存入 MySQL。
可视化：DataEase 连接 MySQL，设计并发布数据大屏。
后台：若依框架开发管理系统，实现数据展示、管理与推荐功能。
1.1 立项背景
文旅行业数据量激增，景点信息分散杂乱，传统方式难以高效处理和分析。为实现旅游数据的自动化采集、深度分析与可视化应用，构建旅游大数据推荐系统，助力文旅数字化升级。
1.2 项目目标
完成携程景点数据爬取、分布式存储与清洗，构建分层数据仓库；
实现景点数据多维度分析，挖掘评分、热度、价格、地域分布规律；
开发数据可视化大屏，直观展示统计结果，支撑运营决策；
搭建后台管理系统，实现景点管理、数据仪表盘与精准推荐。
2. 软件功能、核心模块介绍
数据采集模块：Python 爬虫抓取携程全国景点数据，含 25 个关键字段，输出 CSV 文件。
大数据存储模块：搭建 Hadoop+Spark+Hive 集群，构建 ODS/DWD 分层数据仓库，实现数据分布式存储与管理。
数据清洗分析模块：PySpark+Hive SQL 完成数据清洗、去重、标准化；实现评分 / 价格 / 热度分档、区域统计、综合评分建模等多维度分析。
数据可视化模块：DataEase 制作数据大屏，生成柱状图、饼图、雷达图、地图等，直观呈现数据。
后台管理模块：基于若依框架开发，实现景点信息管理、数据仪表盘、图表接口开发与优质景点推荐。
3. 业务流程、功能路径
整体流程：数据采集 → 存储 → 清洗 → 分析 → 可视化 → 后台管理与推荐
采集：Python 爬虫爬取携程数据，导出 CSV。
存储：HDFS 上传数据，Hive 建库建表。
清洗分析：Spark 清洗数据，Hive SQL 多维度分析，结果存入 MySQL。
可视化：DataEase 连接 MySQL，设计并发布数据大屏。
后台：若依框架开发管理系统，实现数据展示、管理与推荐功能。
项目实现
一、整体设计思路与技术栈
整体采用数据采集→存储→清洗分析→可视化→后台管理全链路架构，分层解耦、流程闭环。
数据采集：Python、requests、Cookie 反爬
大数据环境：Hadoop、Hive、Spark、MySQL
数据处理：PySpark、Hive SQL、数据分层建模
可视化：DataEase、ECharts
后台系统：若依 RuoYi-Vue、SpringBoot、Redis
二、本人负责模块与成果（量化）
本人主要负责数据采集、大数据环境搭建、数据清洗分析、数据迁移核心模块：
爬虫采集：用 Python 完成携程景点爬虫，突破反爬限制，成功抓取全国31 省市、35 页 / 城市共4.2 万条景点数据，涵盖 25 个关键字段，数据完整率98%。
大数据环境搭建：独立部署 Hadoop+Hive+Spark 集群，完成配置、格式化、服务启停，环境稳定性100%。
数据清洗分析：使用 PySpark+Hive SQL 完成去重、空值处理、格式标准化，清洗后有效数据4.1 万条；完成评分 / 价格 / 热度分档、区域统计、景区等级分析、综合评分模型，输出8 张分析表。
数据迁移：将 Hive 分析结果4.1 万条数据成功迁移至 MySQL，为可视化与后台提供稳定数据源。
三、遇到的难点及解决方案
难点一：携程反爬严格，频繁封禁请求
解决：配置浏览器请求头 + 有效 Cookie + 随机延时 1–10 秒，模拟真人访问，成功稳定爬取数据，无封禁。
难点二：Hive 建表后数据加载失败、中文乱码
解决：调整CSV 序列化格式、指定 UTF-8 编码、跳过表头，重新创建外部表，数据正常加载，乱码问题彻底解决。
难点三：Spark 连接 Hive 失败、依赖缺失
解决：复制hive-site.xml到 Spark 配置目录，添加MySQL 驱动包，配置环境变量，成功连接并查询 Hive 数据。
整体采用数据采集→存储→清洗分析→可视化→后台管理全链路架构，分层解耦、流程闭环。
数据采集：Python、requests、Cookie 反爬
大数据环境：Hadoop、Hive、Spark、MySQL
数据处理：PySpark、Hive SQL、数据分层建模
可视化：DataEase、ECharts
后台系统：若依 RuoYi-Vue、SpringBoot、Redis
二、本人负责模块与成果（量化）
本人主要负责数据采集、大数据环境搭建、数据清洗分析、数据迁移核心模块：
爬虫采集：用 Python 完成携程景点爬虫，突破反爬限制，成功抓取全国31 省市、35 页 / 城市共4.2 万条景点数据，涵盖 25 个关键字段，数据完整率98%。
大数据环境搭建：独立部署 Hadoop+Hive+Spark 集群，完成配置、格式化、服务启停，环境稳定性100%。
数据清洗分析：使用 PySpark+Hive SQL 完成去重、空值处理、格式标准化，清洗后有效数据4.1 万条；完成评分 / 价格 / 热度分档、区域统计、景区等级分析、综合评分模型，输出8 张分析表。
数据迁移：将 Hive 分析结果4.1 万条数据成功迁移至 MySQL，为可视化与后台提供稳定数据源。
三、遇到的难点及解决方案
难点一：携程反爬严格，频繁封禁请求
解决：配置浏览器请求头 + 有效 Cookie + 随机延时 1–10 秒，模拟真人访问，成功稳定爬取数据，无封禁。
难点二：Hive 建表后数据加载失败、中文乱码
解决：调整CSV 序列化格式、指定 UTF-8 编码、跳过表头，重新创建外部表，数据正常加载，乱码问题彻底解决。
难点三：Spark 连接 Hive 失败、依赖缺失
解决：复制hive-site.xml到 Spark 配置目录，添加MySQL 驱动包，配置环境变量，成功连接并查询 Hive 数据。
示例图片视频
相似推荐
每日数据聚合展示平台
立项背景：为解决多平台公开数据（天气、汇率、热搜等）分散、获取效率低、缺乏可视化监控的问题，设计并实现了该数据聚合展示平台，将多源异构数据统一抓取、清洗并归档展示。
核心功能：包含四个数据源（天气、每日一句、汇率、百度热搜）的定时抓取，采用 Quartz 动态注册 4 个 Job 按 cron 调度。后端入库后，前端通过 ECharts 进行多维度可视化展示，包括温度趋势折线图、汇率柱状图、热搜标签饼图以及任务执行日志。
业务流程：定时任务触发抓取 -> 统一入库 -> 任务日志记录（耗时/成功失败） -> 前端仪表盘展示，形成完整的数据采集与监控闭环。
APP-金色财经
1. 负责《金色财经》APP项目的整体架构设计与实施，确保服务端的高性能与稳定运行。
2. 主导快讯与文章数据的抓取策略，通过go语言实现高效的数据采集与处理流程。
3. 利用gin框架搭建RESTful API服务，优化请求响应速度，提升用户体验。
4. 针对数据展示需求，设计并实现了与百度等平台数据小卡片的集成与刷新机制。
5. 管理并优化数据库交互，采用mysql与redis配合，保障数据存储的高效与准确。
6. 引入rocketmq消息队列，确保在高并发场景下系统的消息处理能力与稳定性。
视频去除字幕
1.快速去除字幕，简单背景偏纯色的时候使用时推荐，速度块
2.高清ai修复去字幕，复杂背景使用，使用本地大模型修复，视频无需上传到网络，私密性好，但是耗时比较长，cpu要求2核心以上，内存8g，大部分电脑可以跑
日历管理类App-芝麻日历
芝麻日历是一款面向家庭、多成员协同及日常生活管理场景的移动端应用，项目目标是将家庭事务、日程安排、任务执行、成员互动和设备协同等能力整合到同一套系统中，帮助用户以更低成本完成家庭日历管理和信息同步。系统围绕“家庭共用日历”这一核心目标展开，兼顾个人使用体验与多人共享需求，支持 Android、iOS 等移动端设备使用。
软件核心功能模块主要包括：账户登录注册与找回密码、动态通知与邀请处理、日历事项管理、任务管理、奖励与惩罚管理、餐食计划管理、相册管理、贺卡功能、设备管理、用户管理以及第三方日历同步等。其中，日历事项模块支持按月视图和周视图查看事项、新增编辑删除事项、设置参与成员及重复规则；任务模块支持新增任务、完成任务、筛选任务和配置显示规则；奖励与惩罚模块用于家庭成员积分激励；餐食模块用于一周餐食安排；相册和贺卡模块承担家庭内容留存与互动表达；设备管理和用户管理则用于完成家庭设备绑定、成员协作和权限管理。
在业务流程上，用户通常先完成注册登录，再进入首页查看动态、通知和主要功能入口；随后可根据需要创建日历事项、任务或奖励内容，并通过成员维度进行协同分配；在设备和成员接入后，系统还支持邀请处理、设备激活、用户管理和多端数据共享；对于有外部日历需求的用户，系统提供 Google、Outlook、iCloud、订阅链接等同步能力，用户可完成第三方账号绑定、日历选择、同步状态查看和结果确认，从而形成“注册登录 -> 家庭成员协同 -> 日历/任务/奖励等业务操作 -> 设备与同步扩展”的完整功能路径。
大文集团融媒体项目，报社核心系统策采编发系统，网站、APP显示
应技术发展升级采编、发布、网站系统，基于SpringBoot、ES、Mysql、MongoDB、Redis等技术升级
1、报题策划下达。
2、稿件编辑、发布。
3、发布系统，渠道、栏目、稿件管理。
4、网站:、：根据UI设计图使用H5、JS、swiper进行开发。
1、报题策划下达。
2、稿件编辑、发布。
3、发布系统，渠道、栏目、稿件管理。
4、网站:、：根据UI设计图使用H5、JS、swiper进行开发。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服