程序聚合 软件案例 统基于Oracle GoldenGate实时采集/定时任务实现数据同步平台

统基于Oracle GoldenGate实时采集/定时任务实现数据同步平台

2025-04-15 10:24:31
行业:医疗健康、大数据
载体:网站
技术:Java、Spring Boot、Apache Kafka

业务背景

医院信息化建设中,包含很多的系统,比如 HIS(医院信息系统)、LIS(实验室信息管理系统)、PACS(影像归档和通信系统)LIS(电子病历)、体检等,这些系统分别由不同的厂商建设,厂商数据库各不同,同时生产的数据也分布在不同的服务器。

院方需要建设临床数据中心(CDR)系统,对数据进行采集、清洗、存储等处理,构建医院的临床数据中心,独立建设、统一标准的数据,在科研教学和循证医学方面发挥更大的作用。

该系统基于Oracle GoldenGate实时采集/定时任务实现数据融合。同时满足模型管理、数据监控、数据修复等综合性一体化平台

功能介绍

实时同步:
模型配置,通过配置数据源,可以读取源库的库表结构到本地,同时根据业务进行表结构的微调。
同步,通过中间件OGG for BigData,将Oracle数据库中的变化数据实时传输到Kafka。服务端作为消费者,处理Kafka中的数据,将数据新增或更新到CDR库中。
主题监控,查看Kafka消费信息,监控消费速率,偏移量,待同步数据等。

定时任务:
集成Kettle,实现在线编辑ktr,支持定时增量或全量抽取数据 。

系统监控:
实现对OGG进程状态的实时监控,远程启停,参数配置。

项目实现

个人工作职责:
1.参与平台前端和后端功能开发以及日常维护
2.定时任务功能开,基于ETL工具Kettle实现定时抽取数据,支持在线编辑ktr文件
3.使用JMX远程连接Monitor Agent对OGG进程进行管理,实现对OGG进程状态的实时监控,远程启停,参数配置
4.基于Veridata,迁移数据修复功能到数据同步平台,简化了Veridata的使用

示例图片视频


默认昵称-10475
24小时内活跃
方向: 后端-Java、
交付率:100.00%
相似推荐
toB大数据平台,基于数据仓库构建采数平台,承载决策、大屏应用-数据要素平台
1、数据安全管理:包含脱敏算法配置、脱敏规则配置、敏感字段管理、敏感方案管理,使用者可通过配置算法和规则,对敏感数据进行保护,防止数据泄露,保障数据安全。 2、数据标准管理:基础词根管理、基础字段管理、数据目录管理、标准字典管理,帮助使用者统一数据规范,便于数据的理解、查询与使用。 3、数据模型管理:数据模型定义、管理、查询、模型数据填报和查询,使用者能定义和管理数据模型,填报与查询模型相关数据,利于数据的结构化处理与分析。 4、数据同步管理:采集对象管理、数据源同步、自定义数据集、数据同步跟踪,实现不同数据源的数据同步,使用者可管理采集对象,跟踪同步情况,获取所需数据集。 5、系统流转情况:使用者首先在数据安全管理模块配置敏感数据的脱敏算法和规则,管理敏感字段和方案。接着在数据角色管理模块设置不同角色权限。之后通过数据标准管理模块规范数据基础。再到数据模型管理模块定义、管理数据模型并进行数据填报与查询。最后在数据同步管理模块,管理采集对象,实现数据源同步,自定义数据集并跟踪同步状态,完成数据从安全处理、权限管控、标准规范到模型构建及同步的全流程操作。
针对住房公积金业务数据进行数据质量和业务风险检查的审计系统-稽核审计系统
1. 政策管理模块:实现线下纸质政策电子化存档,为业务审计提供权威依据,方便使用者随时查阅政策,确保业务操作合规性。 2、模型管理模块:针对不同业务审计场景构建模型,且能灵活配置参数。使用者可根据实际审计需求定制模型,提升审计针对性和准确性。 3、任务执行模块:支持手动、定时调度模型异步执行,自动获取审计风险数据,帮助使用者高效、及时地获取风险信息,节省人力和时间成本。 4、风险台账模块:汇聚风险数据并统计周期风险情况及趋势,使用者能直观了解风险全貌,辅助决策与风险防控。 5、风险分发、审核模块:对单笔业务风险进行区域核实跟踪并反馈,经上级领导审核,使风险处理流程化、规范化,保障业务风险得到有效管控。
toc旅游平台-同程旅游
介绍: 主要模块有机场直达 、包车 、拼车 、自驾、推荐、订单、我的等等。 职责: 参与产品的前期设计并提出相应的建议, 主要负责完成了接送机 、团队包车 、跨城拼车、景区直达 、推荐、订单、我的等模块的开发工作。
toC平台电商-京东到家
京东到家是一个本地即时零售平台,为消费者提供超市便利和生鲜果蔬、手机数码、医药健康、个护美妆、鲜花、蛋糕、服饰、家居、家电等海量商品,主要模块有商品推荐、商品分类、购物车、订单、优惠券、搜索、个人中心等模块。
客户关系管理系统
售前-售中-售后全业务流程管理,从获取客源开始再到最后的发货安装,每一步都可以和CRM进行匹配。 (1)销售过程实时了解 如何实现:无论在哪,销售员都能通过移动端及时查看并更新客户情况,领导也能实时查看月度、季度业绩完成情况,每个销售跟进情况,便于实时指导 功能点:客户管理、跟进记录、访客计划、数据看板等 (2)提高售后工作效率 如何实现:通过系统派遣人员到场安装及维护,安装进展及耗费时长一目了然,减少与销售及相关人员的沟通时间 功能点:跟进记录、工单动态、工单进展等
帮助文档   Copyright @ 2021-2024 程序聚合 | 浙ICP备2021014372号
人工客服