微微分分

1. 立项背景和目标 1.1 立项背景 文旅行业数据量激增，景点信息分散杂乱，传统方式难以高效处理和分析。为实现旅游数据的自动化采集、深度分析与可视化应用，构建旅游大数据推荐系统，助力文旅数字化升级。 1.2 项目目标 完成携程景点数据爬取、分布式存储与清洗，构建分层数据仓库； 实现景点数据多维度分析，挖掘评分、热度、价格、地域分布规律； 开发数据可视化大屏，直观展示统计结果，支撑运营决策； 搭建后台管理系统，实现景点管理、数据仪表盘与精准推荐。 2. 软件功能、核心模块介绍 数据采集模块：Python 爬虫抓取携程全国景点数据，含 25 个关键字段，输出 CSV 文件。 大数据存储模块：搭建 Hadoop+Spark+Hive 集群，构建 ODS/DWD 分层数据仓库，实现数据分布式存储与管理。 数据清洗分析模块：PySpark+Hive SQL 完成数据清洗、去重、标准化；实现评分 / 价格 / 热度分档、区域统计、综合评分建模等多维度分析。 数据可视化模块：DataEase 制作数据大屏，生成柱状图、饼图、雷达图、地图等，直观呈现数据。 后台管理模块：基于若依框架开发，实现景点信息管理、数据仪表盘、图表接口开发与优质景点推荐。 3. 业务流程、功能路径 整体流程：数据采集 → 存储 → 清洗 → 分析 → 可视化 → 后台管理与推荐 采集：Python 爬虫爬取携程数据，导出 CSV。 存储：HDFS 上传数据，Hive 建库建表。 清洗分析：Spark 清洗数据，Hive SQL 多维度分析，结果存入 MySQL。 可视化：DataEase 连接 MySQL，设计并发布数据大屏。 后台：若依框架开发管理系统，实现数据展示、管理与推荐功能。