在经过多年的信息系统建设,各企事业单位收集了海量的数据,且数据还正以指数级增长,企业迫切需要高效、精确、科学的分析数据,以找出其背后的寓意,进而了解企业的经营状况和外部环境,做出科学的决断,在现代激烈的竞争中胜出。所以,如何将数据点石成金,更是摆在我们面前很现实也很诱人的一个问题。然而企业在对数据进行利用时,通常都会碰到各种问题,比如:
各IT系统分别建立,形成一个个信息孤岛,数据难以共享。
网状数据交互,重复采集数据,增加开发和维护的成本和复杂度。
数据质量差,存在大量“脏”数据。
数据理解差异、口径不同,导致统计报表不一致。
数据未有效整合,难以进行综合分析。
大量历史数据被遗失,对历史数据的分析难以进行。
数据查询分析需要在多个系统中交叉进行。
数据量增长迅速,数据查询日益复杂,加重业务系统的负荷。
缺少高层次的数据应用模式,对数据价值的发掘不够
因此,从数据利用的长远考虑,对各企事业单位而言,构建一个统一的、集成的、标准化的企业级数据平台是势在必行的。
昊合数据整合平台(HAOHE DI)是一款轻量级数据整合类工具软件,具有开发容易、部署简单、运维轻松的特点,产品采用先抽取加载到目标数据库后再进行清洗转换的 ELT 方式,充分利用数据库服务器自身的性能优势,通过异构数据采集、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎,开发人员只需要掌握基本的 SQL 语言就可以准确、高效的实现企业内数据整合的开发工作,同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能,为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。
主要功能是负责将原始数据采集、清洗、转换(ETL)后加载到企业级数据中心中,其具备实时数据采集和定时数据采集的功能,同时集成元数据管理、数据质量控制、任务调度等功能。
本人负责该项目的架构搭建、核心业务的开发设计及项目组日常管理工作。
技术栈:Spring MVC + Kettle + RESTful + Bootstrap