基于爬虫的电商数据采集与分析系统

公交大脑是一个立体化公交服务平台，包括系统管理系统，基础信息系统，客流分析系统，排班系统，线网优化系统五大模块。公交大脑收集，管理，融合，挖掘公交相关数据。解决政府、公交企业迫切需要了解公交客流数据的问题。目前已经实现前四个系统并在贵阳，深圳，西安,宁波上线。线网优化系统计划2020年初上线。 公交大脑大数据平台采用CDH5.12.0社区版搭建，本地大数据测试集群服务器为6台。组件有HDFS，Hive,Spark2.0,YARN(MR2),ZooKeeper,Sqoop,Hue,Oozie,Hbase,Flume。 公交大脑web应用后台采用微服务架构，具体为16个微服务。其中基础的有Eureka服务，配置中心服务，网关服务，ZipKin服务，Turbine服务，Security服务，相应的模块服务。每个模块对应生产者和消费者。前端主要使用的是vue框架。 1. 数据采集 A) GPS数据采集，通过socket形式获取数据流，处理完存储在HDFS上。阿里云备份一份。 B) IC卡数据通过脚本从数据库获取到数据，存储在hdfs上。 C) 线路基础信息从数据库中查询。 2. 数据清洗 清洗阶段主要通过MapReduce进行清洗。在清洗阶段会调用算法，对数据进行计算。具体有上下车算法，到离站算法，换乘算法等。 3. 数据仓库 该层是清洗过后的数据，是一致的，干净的，规范的。具体有三张表,分别是GPS,IC,BUS三张底表。 4. 数据APP层(应用层) 该层所有表以app开头，通过hive或sparksql将计算出的数据导入mysql表中。为具体业务服务提供数据。 5. Web展示 Web应用采用微服务架构java语言编写，前端主要使用vue框架进行页面展示。

随着城市机动车保有量激增，传统停车场存在收费混乱、车位利用率低、管理效率差、用户体验不佳等痛点：人工收费易出现漏收 / 错收、排队拥堵；车主难以实时查询车位、预约停车；管理者无法精准监控车场运营数据、优化资源配置。本平台旨在通过数字化手段，实现停车场收费自动化、管理智能化、服务便捷化 用户端：支持车位查询、预约、无感支付，减少停车等待时间；​ 管理端：实现收费规则灵活配置、车辆进出实时监控、运营数据可视化分析；​ 收费端：保障车辆识别准确率、支付安全性，支持多车场统一管理与扩容

背景与目标：“项目旨在为电动两轮车提供一款高可靠、高兼容性的智能仪表解决方案。核心目标是通过一套高度可定制的软件系统，适配市场上主流的中控与控制器，满足不同整车厂客户对UI界面和通讯协议的多样化需求，缩短客户项目的开发周期。” 功能与模块：“软件核心功能包括：1）多协议通讯枢纽：稳定解析并处理来自中控的UART/CAN协议（如八方、锂电2号、km5s、苏州同盛、柯蒂斯、安乃达、英凡蒂、万佳等超10种），并可靠转发OTA数据至控制器；2）双屏UI显示引擎：适配TFT彩屏与数码管屏，实现车速、电量、档位、故障等信息的实时、流畅显示；设置菜单可设置各种协议参数（如轮径、限速、磁钢数等）和系统参数（如开机密码、自动关机时间等、tft屏多语言设置）；3）客户定制化框架：通过配置化方式，快速响应客户对显示布局、主题、功能的定制需求。” 业务流程：“典型工作流程为：仪表上电初始化→与中控握手并持续接收数据→根据协议解析车速、电池状态等关键信息→调用UI渲染引擎更新屏幕显示。同时实时监听升级指令，一旦触发，则安全进入OTA流程，将固件包转发至下级控制器。”

建立一个基于出租车大数据的智能分析系统，通过机器学习算法挖掘数据价值，为城市交通管理、出租车运营优化和乘客出行提供决策支持，高频轨迹分析目标，从海量数据中识别城市主要出行走廊，可视化展示高频出行模式，为交通流预测和路径规划提供基础，公共交通优化目标，识别出租车上下车热点区域，分析现有公共交通覆盖盲区，提出新公交线路规划建议，提高公共交通资源利用效率，运营效率提升目标，预测出租车接客热点区域，为司机提供实时巡航建议，为乘客推荐易打车地点

海南省充电桩的监管与服务，包括海南充电桩信息系统、扫码充电、找桩用桩、集团客户充电、直连直通等功能。项目涵盖监管对接平台、官方网站、管理后台、App、微信小程序和数据大屏等多个子系统。 该项目以充电桩为核心，囊括多个子业务系统，通过中电联102协议进行监管对接和扫码充电对接，通过南网协议完成直连直通对接，面向集团企业提供集团客户充电服务，形成完整的业务生态系统。