大数据 网站 软件案例

1.数据集成：支持多种不同类型数据源mysql\sqlserver\oracle等 2.数据任务：DAG可视化任务抽取，支持实时(flink)和离线(datax)数据抽取 3.数据接口：通过SQL语句，可以在线实现API调试和输出api 4.数据应用：支持数据输出成组件，可在线编辑组件，组装成大屏页面

授权方等信息的录入以及对接而来的数据信息到系统中来，进行数据资源信息的申请，审批。 根据各种场景，各种方案等对不同种类的数据资源进行授权，授权结束资源成为产品，服务时，进行分发。

实时同步: 模型配置，通过配置数据源，可以读取源库的库表结构到本地，同时根据业务进行表结构的微调。 同步，通过中间件OGG for BigData，将Oracle数据库中的变化数据实时传输到Kafka。服务端作为消费者，处理Kafka中的数据，将数据新增或更新到CDR库中。 主题监控，查看Kafka消费信息，监控消费速率，偏移量，待同步数据等。 定时任务: 集成Kettle，实现在线编辑ktr，支持定时增量或全量抽取数据 。 系统监控: 实现对OGG进程状态的实时监控，远程启停，参数配置。

日志数据采集：通过采集引擎，从日志数据源主机节点把指定的日志文件平稳、安全的采集到采集服务器，并对日志内容 进行指标过滤分析。日志数据处理：对采集上来的日志文件内容进行解析过滤，实时检索分析、实时挖掘计算，输出原生指标和合成 指标数据。日志数据入库：将处理过的日志和解析出来的指标数据，分别持久化到HDFS库和指标库。 日志业务能力：根据日志应用的业务需求，构建对应的业务开放能力接口，为各个日志应用提供数据来源