同花顺数据采集

产品模块：酒店/包房，机票/切位，门票，一日游，跟团游，打包产品。 订单模块：对接OTA，代下单，订单确认，收款，申请付款，发票 财务：对账，收付款，佣金，结账，发票（可接电子发票）银行日记账。 报表：收益报表，客户报表，业绩报表等。

1. 立项背景和目标 1.1 立项背景 文旅行业数据量激增，景点信息分散杂乱，传统方式难以高效处理和分析。为实现旅游数据的自动化采集、深度分析与可视化应用，构建旅游大数据推荐系统，助力文旅数字化升级。 1.2 项目目标 完成携程景点数据爬取、分布式存储与清洗，构建分层数据仓库； 实现景点数据多维度分析，挖掘评分、热度、价格、地域分布规律； 开发数据可视化大屏，直观展示统计结果，支撑运营决策； 搭建后台管理系统，实现景点管理、数据仪表盘与精准推荐。 2. 软件功能、核心模块介绍 数据采集模块：Python 爬虫抓取携程全国景点数据，含 25 个关键字段，输出 CSV 文件。 大数据存储模块：搭建 Hadoop+Spark+Hive 集群，构建 ODS/DWD 分层数据仓库，实现数据分布式存储与管理。 数据清洗分析模块：PySpark+Hive SQL 完成数据清洗、去重、标准化；实现评分 / 价格 / 热度分档、区域统计、综合评分建模等多维度分析。 数据可视化模块：DataEase 制作数据大屏，生成柱状图、饼图、雷达图、地图等，直观呈现数据。 后台管理模块：基于若依框架开发，实现景点信息管理、数据仪表盘、图表接口开发与优质景点推荐。 3. 业务流程、功能路径 整体流程：数据采集 → 存储 → 清洗 → 分析 → 可视化 → 后台管理与推荐 采集：Python 爬虫爬取携程数据，导出 CSV。 存储：HDFS 上传数据，Hive 建库建表。 清洗分析：Spark 清洗数据，Hive SQL 多维度分析，结果存入 MySQL。 可视化：DataEase 连接 MySQL，设计并发布数据大屏。 后台：若依框架开发管理系统，实现数据展示、管理与推荐功能。

立项背景与目标：哈尔滨年均游客超亿人次，美食选择是核心痛点——各平台评分分散（携程、美团、大众点评、抖音），缺乏统一客观的排名参考。本项目整合四大平台数据，为本地居民和游客提供一站式哈尔滨餐厅综合排行榜，降低决策成本。 核心功能模块：① 排行榜首页 — TOP 3 领奖台展示 + 完整排名列表，12种菜系分类筛选（东北菜/俄式西餐/烧烤/铁锅炖/小吃/清真/火锅/韩餐/自助等），4种排序方式（综合推荐/评分最高/评价最多/抖音热度），星级可视化评分，排名升降箭头，骨架屏加载。② 餐厅详情页 — 轮播图、三平台评分明细、招牌菜品列表、一键地图导航、外链跳转美团/大众点评。③ 附近餐厅 — 基于地理位置距离排序，地图导航。④ 搜索筛选 — 关键词搜索 + 分类/区域/排序组合筛选 + 历史记录。⑤ 设置中心 — 深色模式、省流量模式、自动更新、缓存管理、意见反馈。 业务流程：用户进入排行榜首页 → 按菜系/区域筛选 → 按排序方式浏览排名 → 点击餐厅进入详情查看多平台评分和招牌菜 → 一键导航或跳转外部平台下单。每周一凌晨云函数自动更新评分数据。

本项目是一套面向香港地区的“空气污染规避导航系统”，目标是在传统最短路径导航基础上，引入空气污染数据分析能力，为用户提供更加健康的出行路线规划方案。 传统地图导航通常仅考虑距离、时间或拥堵情况，而本系统会结合香港区域空气污染数据，对道路进行污染权重分析，尽量减少用户在出行过程中暴露于高污染区域的时间，适用于步行、骑行等对空气质量较敏感的场景。 系统支持用户在地图中自由选择起点与终点，并通过后端智能路径规划服务生成污染暴露更低的路线。用户可在地图中实时查看路线结果、污染热力覆盖区域以及导航路径。 核心功能包括： 1. 香港区域地图浏览与定位 基于 Mapbox 实现高性能地图渲染，支持地图缩放、拖拽、定位及路径展示。 2. 自定义起点终点选取 用户可自由点击地图选择任意地点作为导航起点与终点。 3. 污染规避路径规划 系统综合道路长度、区域污染浓度等多维数据进行路径计算，而非简单采用最短距离算法。 4. 污染热力数据可视化 通过自定义 Tile 图层将污染数据叠加至地图，实现污染区域可视化展示。 5. 后端路径计算服务 所有路径规划逻辑均运行于服务端，移动端仅负责交互与结果展示，便于后续扩展复杂算法。 该系统适用于智慧城市、绿色出行、健康导航、环保监测等相关领域，也适合需要自定义路径规划逻辑的地图类应用场景。

个人业余项目 1. 针对旅游用户的一款心得分享小程序 2. 包含小程序、管理后台Web、用户后台Web 3. 功能主要为发布图片、文字、视频博文，其它用户评论、点赞、收藏 4. 后台有热度算法可以对博文置顶、分类、推荐等操作 5. 愿景为打造一个真实旅游心得分享平台，根据平台用户真实喜好推送最适合用户的旅游攻略