数据采集:通过页面化的配置,实现数据源、数据库、数据表的接入。
同步引擎:通过配置采集方式、采集周期、采集频率、数据源、目标表等参数,配置数据采集及数据落地。
数据资产:主要是数据表的元数据、数据表的数据预览
数据报表工具:配置数据大屏、数据报表的工具,支持sql
数据质量:集成数据质量校验规则
数据开发:支持画布式的节点任务数据开发配置
数据任务:主要是监控数据开发、数据采集任务的状态,包括执行时间、执行结果、执行日志等。
基本包含一些大数据的普适功能。
为团队负责前期的需求整理,基础大数据平台功能整理,业务应用的大数据技术组件整理及二次开发。负责大数据平台的业务梳理、数据量调研、日数据业务应用、数据采集的相关数据体量、数据效能的评估,以及服务器的体量的建议准备。
项目实现了的客户内部的多源数据的整合,每日数据的统一采集、校验,数据质量评估,以及数据报表及报告功能。
属于较为常规的大数据普适功能。