城市公交大脑 -城市公交大脑

公交大脑是一个立体化公交服务平台，包括系统管理系统，基础信息系统，客流分析系统，排班系统，线网优化系统五大模块。公交大脑收集，管理，融合，挖掘公交相关数据。解决政府、公交企业迫切需要了解公交客流数据的问题。目前已经实现前四个系统并在贵阳，深圳，西安,宁波上线。线网优化系统计划2020年初上线。
公交大脑大数据平台采用CDH5.12.0社区版搭建，本地大数据测试集群服务器为6台。组件有HDFS，Hive,Spark2.0,YARN(MR2),ZooKeeper,Sqoop,Hue,Oozie,Hbase,Flume。
公交大脑web应用后台采用微服务架构，具体为16个微服务。其中基础的有Eureka服务，配置中心服务，网关服务，ZipKin服务，Turbine服务，Security服务，相应的模块服务。每个模块对应生产者和消费者。前端主要使用的是vue框架。
1. 数据采集
A) GPS数据采集，通过socket形式获取数据流，处理完存储在HDFS上。阿里云备份一份。
B) IC卡数据通过脚本从数据库获取到数据，存储在hdfs上。
C) 线路基础信息从数据库中查询。
2. 数据清洗
清洗阶段主要通过MapReduce进行清洗。在清洗阶段会调用算法，对数据进行计算。具体有上下车算法，到离站算法，换乘算法等。
3. 数据仓库
该层是清洗过后的数据，是一致的，干净的，规范的。具体有三张表,分别是GPS,IC,BUS三张底表。
4. 数据APP层(应用层)
该层所有表以app开头，通过hive或sparksql将计算出的数据导入mysql表中。为具体业务服务提供数据。
5. Web展示
Web应用采用微服务架构java语言编写，前端主要使用vue框架进行页面展示。

责任描述：
参与了整个公交大脑的开发过程，主要工作在客流分析系统和排班系统。客流系统主要包括客流概览，区域客流，线路客流，站点客流，出行特征，支付分布，营收统计等模块，为这些模块提供数据。排班系统依托于客流数据，在客流数据和其他因素的基础上，通过算法分析，计算出发车时刻表和行车安排计划。通过客流分析和自动排班系统的试用，使得公交集团的收益提高和并且提高办公效率。