出行 爬虫/脚本 软件定制 案例

公交大脑是一个立体化公交服务平台，包括系统管理系统，基础信息系统，客流分析系统，排班系统，线网优化系统五大模块。公交大脑收集，管理，融合，挖掘公交相关数据。解决政府、公交企业迫切需要了解公交客流数据的问题。目前已经实现前四个系统并在贵阳，深圳，西安,宁波上线。线网优化系统计划2020年初上线。 公交大脑大数据平台采用CDH5.12.0社区版搭建，本地大数据测试集群服务器为6台。组件有HDFS，Hive,Spark2.0,YARN(MR2),ZooKeeper,Sqoop,Hue,Oozie,Hbase,Flume。 公交大脑web应用后台采用微服务架构，具体为16个微服务。其中基础的有Eureka服务，配置中心服务，网关服务，ZipKin服务，Turbine服务，Security服务，相应的模块服务。每个模块对应生产者和消费者。前端主要使用的是vue框架。 1. 数据采集 A) GPS数据采集，通过socket形式获取数据流，处理完存储在HDFS上。阿里云备份一份。 B) IC卡数据通过脚本从数据库获取到数据，存储在hdfs上。 C) 线路基础信息从数据库中查询。 2. 数据清洗 清洗阶段主要通过MapReduce进行清洗。在清洗阶段会调用算法，对数据进行计算。具体有上下车算法，到离站算法，换乘算法等。 3. 数据仓库 该层是清洗过后的数据，是一致的，干净的，规范的。具体有三张表,分别是GPS,IC,BUS三张底表。 4. 数据APP层(应用层) 该层所有表以app开头，通过hive或sparksql将计算出的数据导入mysql表中。为具体业务服务提供数据。 5. Web展示 Web应用采用微服务架构java语言编写，前端主要使用vue框架进行页面展示。

1.并行进行爬虫，并配有终止自启功能 2.按用户需求所需要格式组织成csv、json等 3.可借助LLM能力作意图识别等多种基于llm的操作 4.自动爬取、自动纠错 5.多尺度灵活爬取，不同空间、时间、范围 6.支持百度、高德多平台爬取 7.可根据指定渠道爬取 8.支持多层级深入爬取 9.根据需求制定反爬策略