程序聚合 软件案例 基于 AI 辅助的行业级开放数据平台-OceanBase 分层建库与 ETL 调度落地

基于 AI 辅助的行业级开放数据平台-OceanBase 分层建库与 ETL 调度落地

2026-10-31 21:28:50
行业:金融、大数据
载体:云服务/云平台
技术:Oracle SQL Developer

业务和功能介绍

面向行业级金融数据开放场景。平台需把外部多家资讯商数据与内部业务系统数据统一接入,形成可持续供给的数据底座,并向使用方以数据库直连、文件下载、API 接口、数据沙箱四种形态开放。

立项前有三个痛点:一是多源资讯数据格式与字段口径各不相同,同一业务含义在不同库里存在多种编码,跨系统取数经常对不上;二是出口分散,直连库、导出文件与接口各自取数,同一指标在不同出口结果不一致,交付时反复对数;三是接入与加工链路缺少统一分层,源系统结构一变就直接冲击下游。

我在项目中负责数据库搭建、ETL 配置、调度任务配置、统一数据出口四段实施,目标是做到"入库可回溯、口径唯一、出口一致"。

最终形成的链路是:资讯数据按日与实时进入贴源层,经清洗、编码统一与实体收敛后收口到标准层,再面向开放需求沉淀服务层表与视图;四种交付形态统一从服务层取数,同一指标口径只维护一处。

除建设本身,我还处理了平台积累的调度依赖问题:约 336 个任务的依赖长期靠人工在配置表填写(沿用旧系统 planid 结构),漏配、错配、多配要等任务跑挂才暴露。我把判定口径从"表级血缘"改为"写入范围与读取范围是否相交",并把多域主数据映射按"域×系统"建模做完整性检查,使"不报错但算错"的场景可被提前发现。

日常工作中用 AI 辅助生成转换 SQL、质量校验脚本与依赖分析,产出均经人工复核后落地,压缩了重复编码时间。

这段经历对我最有价值的地方是:把"数据不一致"从一个只能靠反复对数沟通的协作问题,变成了可以用建模、约束与校验在链路上拦截的工程问题。

项目实现

一、系统与分工
平台按数据接入、存储、处理、调度、服务五层组织,配套基础运维监控。实施重点落在数据库、ETL、调度三部分,部署与组件配置不在本案例展开。

二、数据库搭建
基于 OceanBase 按 ODS 贴源层、标准层、服务层建库建表:ODS 保留源系统结构,保证数据可回溯;标准层完成清洗、编码统一与实体收敛;服务层输出稳定表与视图用于开放交付。同步落分区策略、主键去重、增量字段识别规则,并划分直连只读账户与沙箱受限账户。效果是源结构变更只需调整标准层映射,下游不受冲击。

三、ETL 配置
用 Flink 作业完成多源抽取、字段映射、编码转换、空值处理与多源合并,结果写入对应分层表。转换规则尽量配置化,减少作业硬编码;链路内嵌记录数比对、主键唯一性、关键字段非空三类校验,异常输出差异明细而不是静默丢弃——这决定了后期能不能对数。

四、调度任务配置
在内部调度系统编排"接入→ODS→标准层→服务层"依赖,配置上游完成触发、失败重试、告警、阻断下游与按日期区间补数。调度侧只负责触发 Flink 作业与 SQL 任务,实现执行与策略解耦,同一批作业可复用于日批和补批。

五、依赖治理
约 336 个任务的依赖长期靠人工在配置表填写,漏配、错配、多配只能等跑挂才发现。做了三件事:用"写入范围与读取范围相交"替代表级血缘,避免多写者场景血缘退化成全连接;把多域主数据映射按"域×系统"建模,用完整性检查定位"该等 N 个系统映射只等了 M 个"这类不报错但算错的场景;给配置表加公式校验(ID 反查任务名、期望与实际比对、重复与自依赖),下载前即可发现问题。

六、统一出口
以服务层作为唯一基准输出源,在 ETL 与调度层收敛出口,四种开放形态统一取数,交付口径一致、对数成本明显下降。全程用 AI 辅助生成转换 SQL、校验脚本与依赖分析,产出经人工复核后上线。

七、结果
四种开放形态从同一基准源取数后,跨出口的同一指标不再需要对数;源系统结构变更的影响收敛在标准层,下游改造成本降低;质量校验输出的差异明细让异常能定位到具体字段,而不是整批重跑;调度执行与策略解耦后,同一批作业在日批与补批场景复用,减少了重复配置与人工盯链路的负担。

示例图片视频


隐世的鱼
15天前活跃
方向: 数据库工程师-数据库、人工智能-人工智能其他、
交付率:100.00%
相似推荐
农业生产管理系统
农业版 MES 系统结合物联网技术、遥感技术,对农事作业的各个阶段进行数据采集和分析,结合大数据技术,对农事生产环节进行精细化和标准化管理。有AI Agent 农事专家,基于农业专业教材构建RAG知识库,微调常见病虫害图片,提升指定作物病虫害识别精度。
直播电商 AI Agent 工作台(LiveStream Agent Studio)
本项目面向抖音直播电商团队(直播运营、投放、内容编导、复盘分析),解决一个很具体的效率问题:团队的日常工作分散在蝉妈妈看榜单、录屏工具录直播、第三方转写、手工把逐字稿和巨量百应分钟流量表对在一起、再另外写短视频脚本这几件事上。工具之间不互通,产物散落在各个文件夹和 Excel 里,一次复盘做完很难复用,也很难追到"这句话术对应的流量变化"。 目标是做一个 Windows 本地优先的 AI Agent 工作台,把"选主播—拆直播—做复盘—写脚本"四段工作收进同一个入口,素材、配置和产出都留在本机,任务是可追踪、可复用的,而不是一次性脚本。 软件包含四个 Agent 和两个中心: 1. 主播发现 Agent:管理关注领域、候选主播和达人研究任务,读取用户自己账号正常可见的蝉妈妈榜单与主播主页,生成结构化的达人拆解报告,并把确认的候选主播加入后续录制名单。 2. 直播拆解 Agent:把完整直播视频转成带秒级时间戳的结构化逐字稿,自动完成音频提取、云端转写和内容整理,导出可直接继续分析的 Excel。 3. 直播复盘 Agent:把同一场直播的逐字稿与巨量百应分钟级流量数据对齐,分析不同话术阶段对应的进入、离开、实时在线、平均停留、互动、商品曝光与点击的变化,输出 Excel 和 Word 双份复盘报告。 4. 短视频编导 Agent:根据用户提供的参考短视频链接提取真实逐字稿,在保留内容逻辑、不复制原文的前提下,生成原创口播脚本、内容结构、分镜和拍摄建议。 5. 统一任务中心:集中查看每个任务的进度、运行状态、失败原因和输出文件,不用在多个脚本和文件夹之间来回切换。 6. 本地设置中心:统一配置用户自己的阿里云百炼 DashScope、OSS、平台登录状态,以及可选的直播录制助手路径。 业务流程是一条完整闭环:在主播发现里筛人 → 加入录制名单 → 录屏 → 拆解出逐字稿 → 复盘出话术与流量的关系 → 用复盘结论去写下一轮短视频脚本。四段产物都挂在同一个任务下,可以随时回看。
TTF
项目底层数据读取逻辑采用C语言开发,C++承载AI相关计算逻辑,C#搭建简易控制台交互界面。爬虫脚本按照设定周期拉取仓储业务数据,完成数据格式化处理;AI模块对货品信息进行匹配识别,在本地完成全部计算并输出统计文件。软件可部署于普通PC,支持自定义采集周期,能够根据不同仓库业务规则灵活修改脚本参数,适配中小型物流仓储自动化统计需求,不需要复杂服务器环境,部署门槛低,方便快速落地使用。
去中心化双环网络拓扑架构 — 无中心节点、双向冗余、故障自愈、就近路由的分布式服务平台。-NodeRing
项目地址:https://gitee.com/hahanjh/node-ring NodeRing 是一套运行在应用层的双环网络架构。若干节点首尾相连构成闭合环,每个节点同时接入主环和副环两条独立链路,形成 4 条路径(2 环 × 2 方向),实现电信级可靠性。在业务连续性、扩展性、可靠性、负载均衡等方面有显著优势,并且性价比极高,没有额外的硬件成本。 核心特性: 去中心化 — 无中心节点,所有节点逻辑对等,通过泛洪自动同步全网状态 双环冗余 — 主环/副环互为备份,任意单点故障不影响业务,故障自愈 ≤ 50ms 就近路由 — 本地全局视图 + 双向 BFS,自动选择跳数最少、延迟最低的路径 异构挂载 — 每个节点可挂接任意语言/平台的服务和客户端 负载均衡 — 双向冗余,自动分流,单个节点故障不影响整体负载 高扩展性 — 扩容只需简单配置即可随时增加新节点 业务连续 — 一个服务,可在相同或不同节点上部署多个实例,单个服务实例故障不会影响整体业务运行 优雅降级 — 多处故障时自动退化为更简单形态,仍提供有限服务 协议简洁 — TCP + MessagePack,无复杂路由协议,易于实现和调试 适用场景 场景 说明 内网/园区网络 节点物理距离可控,双环冗余提供高可用 边缘计算 节点具备本地处理能力,减少云端依赖 IoT 聚合与转发 异构端点挂载,本地预处理减少跨环流量 中等规模部署(10–200 节点) 泛洪开销可忽略,路由收敛快 高可用要求 故障自愈 ≤ 50ms,达到电信级可靠性 去中心化需求 无中心节点,避免单点故障和注册中心瓶颈
xx电费数据采集与报表推送服务
本项目是一个基于 Spring Boot 3.1.5 + Java 17 的xx数据后台服务,围绕"电力采集数据归档"与"电费财务报表推送"两大业务展开:系统每 5 分钟从 InfluxDB 时序库拉取各测点的电力采集数据(电压、电流、功率、电能等),按设备聚合成电力数据日志落库到达梦数据库;同时通过定时任务解析财务部门产出的《xx电费财务报表(财务版)》Excel,提取用电大类、公司、责任部门、电量电费等明细,组装为标准 JSON 并携带 token 推送至外部互动物流服务平台,实现电费数据(日报/月报)的自动上报,并提供网页上传、手动补推、测点清单导出等辅助功能。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服