数据整合平台（HHDI）

在经过多年的信息系统建设，各企事业单位收集了海量的数据，且数据还正以指数级增长，企业迫切需要高效、精确、科学的分析数据，以找出其背后的寓意，进而了解企业的经营状况和外部环境，做出科学的决断，在现代激烈的竞争中胜出。所以，如何将数据点石成金，更是摆在我们面前很现实也很诱人的一个问题。然而企业在对数据进行利用时，通常都会碰到各种问题，比如：
 各IT系统分别建立，形成一个个信息孤岛，数据难以共享。
 网状数据交互，重复采集数据，增加开发和维护的成本和复杂度。
 数据质量差，存在大量“脏”数据。
 数据理解差异、口径不同，导致统计报表不一致。
 数据未有效整合，难以进行综合分析。
 大量历史数据被遗失，对历史数据的分析难以进行。
 数据查询分析需要在多个系统中交叉进行。
 数据量增长迅速，数据查询日益复杂，加重业务系统的负荷。
 缺少高层次的数据应用模式，对数据价值的发掘不够
因此，从数据利用的长远考虑，对各企事业单位而言，构建一个统一的、集成的、标准化的企业级数据平台是势在必行的。

昊合数据整合平台（HAOHE DI）是一款轻量级数据整合类工具软件，具有开发容易、部署简单、运维轻松的特点，产品采用先抽取加载到目标数据库后再进行清洗转换的 ELT 方式，充分利用数据库服务器自身的性能优势，通过异构数据采集、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎，开发人员只需要掌握基本的 SQL 语言就可以准确、高效的实现企业内数据整合的开发工作，同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能，为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。

主要功能是负责将原始数据采集、清洗、转换（ETL）后加载到企业级数据中心中，其具备实时数据采集和定时数据采集的功能，同时集成元数据管理、数据质量控制、任务调度等功能。
本人负责该项目的架构搭建、核心业务的开发设计及项目组日常管理工作。
技术栈：Spring MVC + Kettle + RESTful + Bootstrap