医院信息化建设中,包含很多的系统,比如 HIS(医院信息系统)、LIS(实验室信息管理系统)、PACS(影像归档和通信系统)LIS(电子病历)、体检等,这些系统分别由不同的厂商建设,厂商数据库各不同,同时生产的数据也分布在不同的服务器。
院方需要建设临床数据中心(CDR)系统,对数据进行采集、清洗、存储等处理,构建医院的临床数据中心,独立建设、统一标准的数据,在科研教学和循证医学方面发挥更大的作用。
该系统基于Oracle GoldenGate实时采集/定时任务实现数据融合。同时满足模型管理、数据监控、数据修复等综合性一体化平台
实时同步:
模型配置,通过配置数据源,可以读取源库的库表结构到本地,同时根据业务进行表结构的微调。
同步,通过中间件OGG for BigData,将Oracle数据库中的变化数据实时传输到Kafka。服务端作为消费者,处理Kafka中的数据,将数据新增或更新到CDR库中。
主题监控,查看Kafka消费信息,监控消费速率,偏移量,待同步数据等。
定时任务:
集成Kettle,实现在线编辑ktr,支持定时增量或全量抽取数据 。
系统监控:
实现对OGG进程状态的实时监控,远程启停,参数配置。
个人工作职责:
1.参与平台前端和后端功能开发以及日常维护
2.定时任务功能开,基于ETL工具Kettle实现定时抽取数据,支持在线编辑ktr文件
3.使用JMX远程连接Monitor Agent对OGG进程进行管理,实现对OGG进程状态的实时监控,远程启停,参数配置
4.基于Veridata,迁移数据修复功能到数据同步平台,简化了Veridata的使用