出行 爬虫/脚本 软件定制 案例

【立项背景与目标】 网约车平台每来一个司机注册申请，审核员要打开后台，逐项核对身份证、驾驶证、行驶证、交强险、网约车驾驶员证、网约车运输证六类证件，还要确认车辆有没有被其他司机绑定、这辆车符不符合入驻城市的准入要求。其中很大一部分是机械判断——证件号对不对、过期没有、年龄够不够、车龄超没超、准驾车型符不符。真正麻烦的是两件事：一是各地准入规则不一样，全国近百个城市的要求都不同，规则散在多份表格里，新人上手容易出错；二是同一个人审同一份材料，早上的结论和下午可能就不一样。我在做人工复检时发现，工具判断和人工判断的分歧几乎全部集中在"边界情况"上，说明问题不在人的态度，而在于规则从来没有被明确写下来。本项目要做的就是把这些标准固化下来：机械判断交给程序，需要主观判断的（照片合不合规、信息真不真）留给人。 【核心功能模块】 一、审核单自动定位与信息抽取：输入司机 ID，自动在待审队列里找到对应审核单，拉取六类证件的全部字段（含平台已识别的 OCR 结果），不需要人工复制粘贴。 二、证件核验自动化：对未核验的证件，一键发起平台核验并自动轮询取回结论。把原本"点按钮—等结果—看结论"三步，合并成一步。 三、政务网站自动查询：深圳、西安两地的运输证需要去交通主管部门官网按车牌查询。深圳官网有图形验证码，用浏览器自动化配合 OCR 识别；西安官网没有验证码，直接用 HTTP 请求解析返回页面。同样是查一个证，两套手段，成本差了一个数量级。 四、城市准入规则引擎：把全国近百个城市的准入口径——哪些证件必须上传、交强险是否强制、有没有官网查询渠道——做成一份可配置的表，判定时按城市自动套用。口径变了只改配置，不改代码。 五、三态判定引擎：每一单输出"可通过 / 需人工 / 不能通过"三种结论之一，并把判定依据逐条写清楚，方便人工复核和对账。 六、台账输出：批量审核后自动生成 Excel 反馈台账，结论按三态着色，附汇总表与核验结果表。 【流程说明】 输入司机 ID 或批量拉取待审队列 → 拉取审核详情 → 对未核验证件发起系统核验 → 深圳/西安车证转官网查询 → 按城市准入规则逐项判定 → 输出三态结论与逐条原因 → 生成 Excel 台账，人工只需处理"需人工"那部分。 这里有一条我坚持的原则：工具只做"核对 + 通过 + 标记"，永远不调用驳回接口。所有"不能通过"的结论都只是标记，最终怎么处置由人来定。我把产品定位成"审核员的副驾"，而不是替代者。

从高德地图实时交通报告页面的 XHR API 接口抓取全国城市拥堵数据， 包含拥堵延时指数、周环比变化趋势、畅通状态行驶速度等指标。 自动按拥堵程度排名并生成 Top 10 柱状图，支持全量 CSV 导出。 可用于城市交通分析、研究报告数据支撑、交通规划参考。

本项目面向高校课程设计需求，实现图书信息全生命周期管理，包含图书新增、按编号 / 书名检索、信息修改、数据删除、全量信息浏览五大核心功能；程序启动自动从本地 txt 文件加载历史数据，完成操作后自动落地保存，搭配彩色边框美化菜单，提升交互观感，适配课程作业交付场景。

本项目面向南航机票查询场景，目标是在接口存在风控验证时，仍能稳定完成航班数据获取。系统采用“参数获取与数据请求解耦”设计：先通过本地脚本生成基础请求参数并尝试直连查询；若命中滑块验证，则自动切换浏览器辅助流程，完成验证并仅导出可用 cookies/WAF 参数；最后由主流程统一发起直连查询并输出结构化结果。核心能力包括：自动/半自动双模式验证、请求重试与机场码兜底、结果与参数摘要统一输出、异常阶段可追踪，满足自动化查询和问题定位需求。

公交大脑是一个立体化公交服务平台，包括系统管理系统，基础信息系统，客流分析系统，排班系统，线网优化系统五大模块。公交大脑收集，管理，融合，挖掘公交相关数据。解决政府、公交企业迫切需要了解公交客流数据的问题。目前已经实现前四个系统并在贵阳，深圳，西安,宁波上线。线网优化系统计划2020年初上线。 公交大脑大数据平台采用CDH5.12.0社区版搭建，本地大数据测试集群服务器为6台。组件有HDFS，Hive,Spark2.0,YARN(MR2),ZooKeeper,Sqoop,Hue,Oozie,Hbase,Flume。 公交大脑web应用后台采用微服务架构，具体为16个微服务。其中基础的有Eureka服务，配置中心服务，网关服务，ZipKin服务，Turbine服务，Security服务，相应的模块服务。每个模块对应生产者和消费者。前端主要使用的是vue框架。 1. 数据采集 A) GPS数据采集，通过socket形式获取数据流，处理完存储在HDFS上。阿里云备份一份。 B) IC卡数据通过脚本从数据库获取到数据，存储在hdfs上。 C) 线路基础信息从数据库中查询。 2. 数据清洗 清洗阶段主要通过MapReduce进行清洗。在清洗阶段会调用算法，对数据进行计算。具体有上下车算法，到离站算法，换乘算法等。 3. 数据仓库 该层是清洗过后的数据，是一致的，干净的，规范的。具体有三张表,分别是GPS,IC,BUS三张底表。 4. 数据APP层(应用层) 该层所有表以app开头，通过hive或sparksql将计算出的数据导入mysql表中。为具体业务服务提供数据。 5. Web展示 Web应用采用微服务架构java语言编写，前端主要使用vue框架进行页面展示。

1.并行进行爬虫，并配有终止自启功能 2.按用户需求所需要格式组织成csv、json等 3.可借助LLM能力作意图识别等多种基于llm的操作 4.自动爬取、自动纠错 5.多尺度灵活爬取，不同空间、时间、范围 6.支持百度、高德多平台爬取 7.可根据指定渠道爬取 8.支持多层级深入爬取 9.根据需求制定反爬策略