基于 AI 辅助的行业级开放数据平台-OceanBase 分层建库与 ETL 调度落地
面向行业级金融数据开放场景。平台需把外部多家资讯商数据与内部业务系统数据统一接入,形成可持续供给的数据底座,并向使用方以数据库直连、文件下载、API 接口、数据沙箱四种形态开放。
立项前有三个痛点:一是多源资讯数据格式与字段口径各不相同,同一业务含义在不同库里存在多种编码,跨系统取数经常对不上;二是出口分散,直连库、导出文件与接口各自取数,同一指标在不同出口结果不一致,交付时反复对数;三是接入与加工链路缺少统一分层,源系统结构一变就直接冲击下游。
我在项目中负责数据库搭建、ETL 配置、调度任务配置、统一数据出口四段实施,目标是做到"入库可回溯、口径唯一、出口一致"。
最终形成的链路是:资讯数据按日与实时进入贴源层,经清洗、编码统一与实体收敛后收口到标准层,再面向开放需求沉淀服务层表与视图;四种交付形态统一从服务层取数,同一指标口径只维护一处。
除建设本身,我还处理了平台积累的调度依赖问题:约 336 个任务的依赖长期靠人工在配置表填写(沿用旧系统 planid 结构),漏配、错配、多配要等任务跑挂才暴露。我把判定口径从"表级血缘"改为"写入范围与读取范围是否相交",并把多域主数据映射按"域×系统"建模做完整性检查,使"不报错但算错"的场景可被提前发现。
日常工作中用 AI 辅助生成转换 SQL、质量校验脚本与依赖分析,产出均经人工复核后落地,压缩了重复编码时间。
这段经历对我最有价值的地方是:把"数据不一致"从一个只能靠反复对数沟通的协作问题,变成了可以用建模、约束与校验在链路上拦截的工程问题。
金融
大数据