云南省建设监管公共服务平台企业数据采集（滑块校验 + 加密参数逆向 + Excel落地）
2026-04-11 20:21:35
行业：内容平台、政务服务
载体：爬虫/脚本
技术：JavaScript、Python、Pandas
业务和功能介绍
- Python：requests.Session（会话维持/接口请求）、pandas（Excel导出）
- JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑）
- 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头）
- 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重
- Python爬虫 / 接口采集
- JS逆向 / 加密参数还原
- AES/RSA 加解密
- 验证码对抗（滑块）
- Session会话保持
- 数据清洗与表格落地（Excel）
- 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批量获取。项目目标是实现企业分页查询数据的自动化采集与结构化导出，用于企业库分析/数据归档。
- 核心功能：
- 企业列表分页采集：按 pageNum/pageSize 拉取企业 records
- 反爬突破：还原前端加密参数（RSA/AES）与滑块验证码校验链路
- 稳定采集：requests.Session 维持校验后的状态；企业名称去重避免重复写入
- 交付产物：字段统一清洗后导出 Excel（示例文件为“云南企业数据.xlsx”）
- JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑）
- 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头）
- 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重
- Python爬虫 / 接口采集
- JS逆向 / 加密参数还原
- AES/RSA 加解密
- 验证码对抗（滑块）
- Session会话保持
- 数据清洗与表格落地（Excel）
- 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批量获取。项目目标是实现企业分页查询数据的自动化采集与结构化导出，用于企业库分析/数据归档。
- 核心功能：
- 企业列表分页采集：按 pageNum/pageSize 拉取企业 records
- 反爬突破：还原前端加密参数（RSA/AES）与滑块验证码校验链路
- 稳定采集：requests.Session 维持校验后的状态；企业名称去重避免重复写入
- 交付产物：字段统一清洗后导出 Excel（示例文件为“云南企业数据.xlsx”）
项目实现
- 逆向方式：从站点前端打包代码中抽离加密逻辑（main.js/mod.js），在本地通过 execjs 直接复用加密函数，避免手写还原细节
- 关键流程（接口级）：
- 首次调用企业查询接口 findPage ，若返回 captchaType=blockPuzzle 则获取 original/jigsaw 图片、token、secretKey
- 将两张 base64 图片提交打码服务，得到滑动距离 x（y 固定为 5）
- 调用验证码校验接口 captcha/check （参数中 pointJson 走 AES），并生成 CaptchaVerification （AES）作为后续请求头
- 再次请求 findPage 携带 CaptchaVerification 获取真实业务数据 records
- 循环翻页采集，抽取字段（name、creditCode、legalPerson、province、city、county、address、entRegType、id 等）并写入 Excel
- 关键流程（接口级）：
- 首次调用企业查询接口 findPage ，若返回 captchaType=blockPuzzle 则获取 original/jigsaw 图片、token、secretKey
- 将两张 base64 图片提交打码服务，得到滑动距离 x（y 固定为 5）
- 调用验证码校验接口 captcha/check （参数中 pointJson 走 AES），并生成 CaptchaVerification （AES）作为后续请求头
- 再次请求 findPage 携带 CaptchaVerification 获取真实业务数据 records
- 循环翻页采集，抽取字段（name、creditCode、legalPerson、province、city、county、address、entRegType、id 等）并写入 Excel
示例图片视频
相似推荐
聚合支付系统
该项目是通过对接不同的上游支付渠道，封装被扫/主扫支付、订单查询、支付异步回调、退款等全套HTTP接口。映射出不同的支付场景，例如POS机收款、商店收款码、商户收银插件、微信公众号、微信小程序等
商户进件成功后可以建立不同的门店，门店下可以新增店长店员。门店收载后店长可以查询门店交易信息，商户可以查询所有门店交易信息等等
量化
核心要解决的是加密货币量化交易的痛点：
人工盯盘不可持续 — 7×24 小时行情，人不可能实时做技术指标计算 + 风控 + 下单。
策略无法自动进化 — 传统量化策略写死参数后不会自我迭代。
赛道：加密货币衍生品
三模式运行：read_only（只读模拟）/ demo（模拟盘，自动加 x-simulated-trading）/ live（实盘，强制过安全检查清单）。
内部-宁波银行对公营销决策系统
该项目是宁波银行自己的名为星云平台中的脚手架搭建的微服务项目，本系统包含7个微服务分别 是：数据集服务、标签服务、客户群服务、决策服务、触点服务、事件服务、工单服务。整体是的数据集跑批到每个标签，客户群中配置每个客户群所包含的标签，用户主要在决策的画布中配置营销模型，包含决策所属的客户群，发放的权益种类、发放的时间和频率、发放后续的处理。主要用于银行在做一些业务推广时，需要通过发奖的方式达到宣传效果。会针对不同权益奖品所用到的不同的发放规则，发放客户群，发放时机落地到每一个策略中，以达到业务需求。
C++高性能量化回测系统-QuantPilot
面向个人投资者的A股策略回测平台，解决"策略上线前无法验证"的痛点。
核心功能：①双均线、动量、网格三类内置策略模板，支持参数化配置；②基于真实历史行情的逐笔撮合回测引擎；③收益曲线、最大回撤、夏普比率等绩效指标自动计算与可视化报告。使用流程：导入行情数据→选择策略配置参数→运行回测→查看绩效报告，全程无需编程基础。
某金融风控和模型系统
1. 风控决策引擎的研发与优化（核心主线）
这是我工作中最核心、贯穿始终的部分。我负责开发和维护机审规则引擎，它决定了贷款申请能否通过审批。具体工作包括：
开发了大量风控规则，例如：经纬度反欺诈规则、AppListName规则、银行卡信息核验、内部人脸黑名单（百度接口）、多平台共债规则、首复贷进件限制、逾期天数限制等。
主导了机审规则的两次大版本优化（2021/2/18-3/10），大幅提升了规则执行的效率与可维护性。
引入了RocketMQ，将风控规则调用、埋点数据上报等改为异步解耦，提升了系统吞吐量。
2. 多国支付网关对接（关键业务闭环）
我独立负责了泰国、尼日利亚、印尼等多个国家的支付渠道对接，完成了从支付下单、回调验签到放款、还款的完整闭环。其中：
尼日利亚支付是你投入时间最长的模块之一（持续从5月到7月），涉及Paystack渠道的深度集成，包括USSD还款、BVN（银行验证号）验证、核销对账等复杂业务。
我解决了多个生产环境的关键问题，如还款数据重复写入、姓名验证BUG等，保障了资金安全。
3. 电销与催收管理系统的功能开发
你为越南/菲律宾市场开发了电销名单自动分单系统，包括案件分配、回收时间逻辑、意向客户标记、拨打任务查询等功能，提升了贷后转化效率。同时，也涉及催收系统的部分功能（如手动分配催收订单）。
4. 数据模型与报表支持
我配合风控模型团队，将多个模型分（菲律宾模型02、越南H5模型、越南模型11/13、贷中评分卡模型等） 落地到系统中，并根据模型结果进行风险定价和档位评定。同时，我为运营提供了大量数据支持（如商户对账单、跑马灯SQL优化等）。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服