云南省建设监管公共服务平台企业数据采集（滑块校验 + 加密参数逆向 + Excel落地）
2026-04-11 20:21:35
行业：内容平台、政务服务
载体：爬虫/脚本
技术：JavaScript、Python、Pandas
业务和功能介绍
- Python：requests.Session（会话维持/接口请求）、pandas（Excel导出）
- JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑）
- 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头）
- 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重
- Python爬虫 / 接口采集
- JS逆向 / 加密参数还原
- AES/RSA 加解密
- 验证码对抗（滑块）
- Session会话保持
- 数据清洗与表格落地（Excel）
- 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批量获取。项目目标是实现企业分页查询数据的自动化采集与结构化导出，用于企业库分析/数据归档。
- 核心功能：
- 企业列表分页采集：按 pageNum/pageSize 拉取企业 records
- 反爬突破：还原前端加密参数（RSA/AES）与滑块验证码校验链路
- 稳定采集：requests.Session 维持校验后的状态；企业名称去重避免重复写入
- 交付产物：字段统一清洗后导出 Excel（示例文件为“云南企业数据.xlsx”）
- JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑）
- 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头）
- 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重
- Python爬虫 / 接口采集
- JS逆向 / 加密参数还原
- AES/RSA 加解密
- 验证码对抗（滑块）
- Session会话保持
- 数据清洗与表格落地（Excel）
- 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批量获取。项目目标是实现企业分页查询数据的自动化采集与结构化导出，用于企业库分析/数据归档。
- 核心功能：
- 企业列表分页采集：按 pageNum/pageSize 拉取企业 records
- 反爬突破：还原前端加密参数（RSA/AES）与滑块验证码校验链路
- 稳定采集：requests.Session 维持校验后的状态；企业名称去重避免重复写入
- 交付产物：字段统一清洗后导出 Excel（示例文件为“云南企业数据.xlsx”）
项目实现
- 逆向方式：从站点前端打包代码中抽离加密逻辑（main.js/mod.js），在本地通过 execjs 直接复用加密函数，避免手写还原细节
- 关键流程（接口级）：
- 首次调用企业查询接口 findPage ，若返回 captchaType=blockPuzzle 则获取 original/jigsaw 图片、token、secretKey
- 将两张 base64 图片提交打码服务，得到滑动距离 x（y 固定为 5）
- 调用验证码校验接口 captcha/check （参数中 pointJson 走 AES），并生成 CaptchaVerification （AES）作为后续请求头
- 再次请求 findPage 携带 CaptchaVerification 获取真实业务数据 records
- 循环翻页采集，抽取字段（name、creditCode、legalPerson、province、city、county、address、entRegType、id 等）并写入 Excel
- 关键流程（接口级）：
- 首次调用企业查询接口 findPage ，若返回 captchaType=blockPuzzle 则获取 original/jigsaw 图片、token、secretKey
- 将两张 base64 图片提交打码服务，得到滑动距离 x（y 固定为 5）
- 调用验证码校验接口 captcha/check （参数中 pointJson 走 AES），并生成 CaptchaVerification （AES）作为后续请求头
- 再次请求 findPage 携带 CaptchaVerification 获取真实业务数据 records
- 循环翻页采集，抽取字段（name、creditCode、legalPerson、province、city、county、address、entRegType、id 等）并写入 Excel
示例图片视频
相似推荐
信贷工厂
项目背景
信贷工厂模式以 “标准化、流程化、批量化” 为核心，旨在高效服务中小微企业客群，但传统客户管理存在三大痛点，信息分散、资质审核与信息更新无统一规则、客户状态变化无法实时监控，风险响应滞后。
核心目标
风险管控：集中管理客户全生命周期信息，建立动态资质评估与预警机制，筑牢批量业务风险底线。
效率提升：实现 “一次录入、多环节复用”，将客户信息核验时间缩短 50% 以上。
合规管理：通过标准化字段、操作留痕与权限管控，满足监管对信息可追溯、操作可审计的要求。
业务赋能：打通与客户评级、授信、用信、还款审批等模块的数据链路，为风险模型提供精准准客户维度数据。
核心功能
通过深度整合三大外部数据源（同盾、汇发、天眼查），构建 “实时校验 - 动态预警” 的自动化风控体系，为批量信贷业务提供数据驱动的风险决策依据。
通过系统与银行核心业务系统的深度对接，构建信贷工厂批量业务的端到端线上化闭环，打通客户管理、外部风控与银行信贷全流程的数据流，实现准入、授信、用信、还款的自动化协同，是支撑信贷工厂规模化运营的关键链路。
风控管理平台
这是一个对接，阿里风控大脑 + 钉钉一体化的产品申请风险管控解决方案，核心实现产品申请从智能风险识别到风险流程管控、线上审批的全闭环管理，既提升风控判定精准度与审批效率，又从源头降低产品申请环节的各类风险，保障业务合规高效推进。实现产品申请风险早识别、早管控、快审批，适配企业新品立项、产品迭代等各类产品申请场景。
深交所BPM项目-业务管理系统
1.交易所对地方债、金融债、公司债、ABS等固定收益产品的基础业务发行审批、上市、派息、兑付、等正常流程；固定收益产品的赎回、回售、违约等特殊流程；
2.非固收类产品：ETF基金的每日份额计算、分级基金折算业务、股票上市注册制上线；
广发银行投行部业务管理系统敏捷优化项目-投行部业务管理系统
1.投行部主要负责对大型投资项目进行管理追踪；
2.处理对日常投行业务流程管理外，例如项目报备、投资审批、放款追踪、回款提醒、项目结清等全流程外，还新增了对资产支持证券产品进行内部评级，不同评级下监管要求不同，需要结合市场消息、内部数据、外购数据等对标的物进行监控，如发现异常，则进行提醒，以及安季度生成报告等功能。
广发证券结算系统中台1.0-结算系统中台
1.各个基金公司都有自己的结算系统，需要遵循证监会的基金管理规范，对基金进行周期估值；该系统或外购或自研，结算系统准确依托于数据输入的准确，结算系统中台，就是一个针对结算系统的输入进行管理、监控的系统；
2.结算中台需要承载功能很多，作为结算系统的输入，需要对结算数据的管理，进行任务化、流程化，基金 结算通常都是周期性质 ，所以【任务中心】和【产品日历】，就是待办功能的核心；
3.结算中心还需要对异常的数据输入进行监控，在设定了监控指标之后，系统自动对异常进行识别与提醒，并以任务待办形式修复异常，并对操作留痕；
4.结算中台作为独立部门，仍有年度、季度的报表编制等功能；
5.结算中台出于风险考虑还需要对外部消息进行识别与提醒。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服