业务和功能介绍
1. 立项背景和目标
为满足公司对多源异构数据（如天眼查、招标公告等）的自动化采集与标准化治理需求，本项目旨在构建一套稳定可靠的数据管道。主要目标是实现从数据自动采集、清洗、入库到质量监控的全流程自动化，为上层业务分析提供高质量的数据基础。
2. 软件功能、核心功能模块的介绍
系统主要包括三大模块：1）自动化采集模块：基于Playwright等工具，实现多平台数据的定时爬取和环境迁移，成功交付超12,000条完整公告数据；2）ETL与数据治理模块：设计标准化数据表20余张，并开发智能清洗算法，将核心字段覆盖率从0.37%提升至99.58%，修复无效数据300余条；3）运维监控模块：通过Docker部署和飞书机器人，实现容器健康状态定时告警。
3. 业务流程、功能路径描述
采集脚本定时启动 → 从目标网站获取原始数据 → 进入ETL清洗层，根据预设规则进行数据抽取、清洗与标准化转换 → 清洗后的数据写入PostgreSQL标准化表 → 质量监控脚本每日检查数据覆盖率等指标 → 结果通过飞书推送给团队。整个流程无人值守，异常问题通过脚本自动修复或报警。
为满足公司对多源异构数据（如天眼查、招标公告等）的自动化采集与标准化治理需求，本项目旨在构建一套稳定可靠的数据管道。主要目标是实现从数据自动采集、清洗、入库到质量监控的全流程自动化，为上层业务分析提供高质量的数据基础。
2. 软件功能、核心功能模块的介绍
系统主要包括三大模块：1）自动化采集模块：基于Playwright等工具，实现多平台数据的定时爬取和环境迁移，成功交付超12,000条完整公告数据；2）ETL与数据治理模块：设计标准化数据表20余张，并开发智能清洗算法，将核心字段覆盖率从0.37%提升至99.58%，修复无效数据300余条；3）运维监控模块：通过Docker部署和飞书机器人，实现容器健康状态定时告警。
3. 业务流程、功能路径描述
采集脚本定时启动 → 从目标网站获取原始数据 → 进入ETL清洗层，根据预设规则进行数据抽取、清洗与标准化转换 → 清洗后的数据写入PostgreSQL标准化表 → 质量监控脚本每日检查数据覆盖率等指标 → 结果通过飞书推送给团队。整个流程无人值守，异常问题通过脚本自动修复或报警。
项目实现
1. 整体架构和设计思路
项目采用经典ETL架构，分为采集层、清洗层、存储层和监控层。采集层使用Playwright和BeautifulSoup，解决JS动态渲染和反爬问题；清洗层基于Python脚本实现，存储层采用PostgreSQL，并设计了"城市-线路-站点"三级视图；监控层通过Docker部署，用飞书Webhook进行异常告警。
2. 我负责的模块和量化成果
独立负责全流程开发。采集端，修复了一个涉及Playwright驱动依赖、进度文件解析和环境迁移的爬虫项目，完整交付了12,138条招标公告及配套PDF文件。ETL端，设计了20余张标准化数据表，并开发了正则匹配+关键词权重算法修复315条无效标题。治理端，编写的数据清洗脚本将核心字段覆盖率从0.37%提升至99.58%，处理了11万余条记录。运维端，实现了6个Docker容器的健康监控自动推送。
3. 遇到的难点和解决方案
难点一：中广核爬虫环境迁移后驱动缺失、进度文件越界导致崩溃。解决：逐一排查依赖，修正文件解析逻辑，增加异常捕获。难点二：原始数据大量缺失，如location字段覆盖率仅0.37%。解决：编写清洗脚本，用region字段进行匹配填充，并建立数据质量监控防止再次恶化。难点三：分布式场景下ID重复。解决：设计类雪花算法，生成带地域标识的唯一ID。
项目采用经典ETL架构，分为采集层、清洗层、存储层和监控层。采集层使用Playwright和BeautifulSoup，解决JS动态渲染和反爬问题；清洗层基于Python脚本实现，存储层采用PostgreSQL，并设计了"城市-线路-站点"三级视图；监控层通过Docker部署，用飞书Webhook进行异常告警。
2. 我负责的模块和量化成果
独立负责全流程开发。采集端，修复了一个涉及Playwright驱动依赖、进度文件解析和环境迁移的爬虫项目，完整交付了12,138条招标公告及配套PDF文件。ETL端，设计了20余张标准化数据表，并开发了正则匹配+关键词权重算法修复315条无效标题。治理端，编写的数据清洗脚本将核心字段覆盖率从0.37%提升至99.58%，处理了11万余条记录。运维端，实现了6个Docker容器的健康监控自动推送。
3. 遇到的难点和解决方案
难点一：中广核爬虫环境迁移后驱动缺失、进度文件越界导致崩溃。解决：逐一排查依赖，修正文件解析逻辑，增加异常捕获。难点二：原始数据大量缺失，如location字段覆盖率仅0.37%。解决：编写清洗脚本，用region字段进行匹配填充，并建立数据质量监控防止再次恶化。难点三：分布式场景下ID重复。解决：设计类雪花算法，生成带地域标识的唯一ID。
示例图片视频
相似推荐
聚合支付系统
该项目是通过对接不同的上游支付渠道，封装被扫/主扫支付、订单查询、支付异步回调、退款等全套HTTP接口。映射出不同的支付场景，例如POS机收款、商店收款码、商户收银插件、微信公众号、微信小程序等
商户进件成功后可以建立不同的门店，门店下可以新增店长店员。门店收载后店长可以查询门店交易信息，商户可以查询所有门店交易信息等等
量化
核心要解决的是加密货币量化交易的痛点：
人工盯盘不可持续 — 7×24 小时行情，人不可能实时做技术指标计算 + 风控 + 下单。
策略无法自动进化 — 传统量化策略写死参数后不会自我迭代。
赛道：加密货币衍生品
三模式运行：read_only（只读模拟）/ demo（模拟盘，自动加 x-simulated-trading）/ live（实盘，强制过安全检查清单）。
内部-宁波银行对公营销决策系统
该项目是宁波银行自己的名为星云平台中的脚手架搭建的微服务项目，本系统包含7个微服务分别 是：数据集服务、标签服务、客户群服务、决策服务、触点服务、事件服务、工单服务。整体是的数据集跑批到每个标签，客户群中配置每个客户群所包含的标签，用户主要在决策的画布中配置营销模型，包含决策所属的客户群，发放的权益种类、发放的时间和频率、发放后续的处理。主要用于银行在做一些业务推广时，需要通过发奖的方式达到宣传效果。会针对不同权益奖品所用到的不同的发放规则，发放客户群，发放时机落地到每一个策略中，以达到业务需求。
C++高性能量化回测系统-QuantPilot
面向个人投资者的A股策略回测平台，解决"策略上线前无法验证"的痛点。
核心功能：①双均线、动量、网格三类内置策略模板，支持参数化配置；②基于真实历史行情的逐笔撮合回测引擎；③收益曲线、最大回撤、夏普比率等绩效指标自动计算与可视化报告。使用流程：导入行情数据→选择策略配置参数→运行回测→查看绩效报告，全程无需编程基础。
某金融风控和模型系统
1. 风控决策引擎的研发与优化（核心主线）
这是我工作中最核心、贯穿始终的部分。我负责开发和维护机审规则引擎，它决定了贷款申请能否通过审批。具体工作包括：
开发了大量风控规则，例如：经纬度反欺诈规则、AppListName规则、银行卡信息核验、内部人脸黑名单（百度接口）、多平台共债规则、首复贷进件限制、逾期天数限制等。
主导了机审规则的两次大版本优化（2021/2/18-3/10），大幅提升了规则执行的效率与可维护性。
引入了RocketMQ，将风控规则调用、埋点数据上报等改为异步解耦，提升了系统吞吐量。
2. 多国支付网关对接（关键业务闭环）
我独立负责了泰国、尼日利亚、印尼等多个国家的支付渠道对接，完成了从支付下单、回调验签到放款、还款的完整闭环。其中：
尼日利亚支付是你投入时间最长的模块之一（持续从5月到7月），涉及Paystack渠道的深度集成，包括USSD还款、BVN（银行验证号）验证、核销对账等复杂业务。
我解决了多个生产环境的关键问题，如还款数据重复写入、姓名验证BUG等，保障了资金安全。
3. 电销与催收管理系统的功能开发
你为越南/菲律宾市场开发了电销名单自动分单系统，包括案件分配、回收时间逻辑、意向客户标记、拨打任务查询等功能，提升了贷后转化效率。同时，也涉及催收系统的部分功能（如手动分配催收订单）。
4. 数据模型与报表支持
我配合风控模型团队，将多个模型分（菲律宾模型02、越南H5模型、越南模型11/13、贷中评分卡模型等） 落地到系统中，并根据模型结果进行风险定价和档位评定。同时，我为运营提供了大量数据支持（如商户对账单、跑马灯SQL优化等）。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服