面向行业级金融数据开放场景。平台需把外部多家资讯商数据与内部业务系统数据统一接入,形成可持续供给的数据底座,并向使用方以数据库直连、文件下载、API 接口、数据沙箱四种形态开放。
立项前有三个痛点:一是多源资讯数据格式与字段口径各不相同,同一业务含义在不同库里存在多种编码,跨系统取数经常对不上;二是出口分散,直连库、导出文件与接口各自取数,同一指标在不同出口结果不一致,交付时反复对数;三是接入与加工链路缺少统一分层,源系统结构一变就直接冲击下游。
我在项目中负责数据库搭建、ETL 配置、调度任务配置、统一数据出口四段实施,目标是做到"入库可回溯、口径唯一、出口一致"。
最终形成的链路是:资讯数据按日与实时进入贴源层,经清洗、编码统一与实体收敛后收口到标准层,再面向开放需求沉淀服务层表与视图;四种交付形态统一从服务层取数,同一指标口径只维护一处。
除建设本身,我还处理了平台积累的调度依赖问题:约 336 个任务的依赖长期靠人工在配置表填写(沿用旧系统 planid 结构),漏配、错配、多配要等任务跑挂才暴露。我把判定口径从"表级血缘"改为"写入范围与读取范围是否相交",并把多域主数据映射按"域×系统"建模做完整性检查,使"不报错但算错"的场景可被提前发现。
日常工作中用 AI 辅助生成转换 SQL、质量校验脚本与依赖分析,产出均经人工复核后落地,压缩了重复编码时间。
这段经历对我最有价值的地方是:把"数据不一致"从一个只能靠反复对数沟通的协作问题,变成了可以用建模、约束与校验在链路上拦截的工程问题。
一、系统与分工
平台按数据接入、存储、处理、调度、服务五层组织,配套基础运维监控。实施重点落在数据库、ETL、调度三部分,部署与组件配置不在本案例展开。
二、数据库搭建
基于 OceanBase 按 ODS 贴源层、标准层、服务层建库建表:ODS 保留源系统结构,保证数据可回溯;标准层完成清洗、编码统一与实体收敛;服务层输出稳定表与视图用于开放交付。同步落分区策略、主键去重、增量字段识别规则,并划分直连只读账户与沙箱受限账户。效果是源结构变更只需调整标准层映射,下游不受冲击。
三、ETL 配置
用 Flink 作业完成多源抽取、字段映射、编码转换、空值处理与多源合并,结果写入对应分层表。转换规则尽量配置化,减少作业硬编码;链路内嵌记录数比对、主键唯一性、关键字段非空三类校验,异常输出差异明细而不是静默丢弃——这决定了后期能不能对数。
四、调度任务配置
在内部调度系统编排"接入→ODS→标准层→服务层"依赖,配置上游完成触发、失败重试、告警、阻断下游与按日期区间补数。调度侧只负责触发 Flink 作业与 SQL 任务,实现执行与策略解耦,同一批作业可复用于日批和补批。
五、依赖治理
约 336 个任务的依赖长期靠人工在配置表填写,漏配、错配、多配只能等跑挂才发现。做了三件事:用"写入范围与读取范围相交"替代表级血缘,避免多写者场景血缘退化成全连接;把多域主数据映射按"域×系统"建模,用完整性检查定位"该等 N 个系统映射只等了 M 个"这类不报错但算错的场景;给配置表加公式校验(ID 反查任务名、期望与实际比对、重复与自依赖),下载前即可发现问题。
六、统一出口
以服务层作为唯一基准输出源,在 ETL 与调度层收敛出口,四种开放形态统一取数,交付口径一致、对数成本明显下降。全程用 AI 辅助生成转换 SQL、校验脚本与依赖分析,产出经人工复核后上线。
七、结果
四种开放形态从同一基准源取数后,跨出口的同一指标不再需要对数;源系统结构变更的影响收敛在标准层,下游改造成本降低;质量校验输出的差异明细让异常能定位到具体字段,而不是整批重跑;调度执行与策略解耦后,同一批作业在日批与补批场景复用,减少了重复配置与人工盯链路的负担。