AMP平台是一个低代码平台,用户只需要配置Yaml 即可完成对数据的ETL功能,AMP平台集成了AWS、aliyun、tencentyun,可以做到多云随意切换。底层执行引擎为自研的Operator,支持Flink/Spark引擎,调度系统为Apache Dolphinscheduler(二开)。
1、低代码平台,配置化执行实时离线任务;
2、外部服务数据流接入,小时级接入,无需开发任务;
3、调度配置化,自定义调度配置,可;无缝衔接crontab quartz;
4、yaml 化操作,简化代码流程;
5、一键部署发布任务,实时监控告警;
6、一体化日志链路追踪,精准定位数据问题。
1、二次开发Apache Dolphinscheduler,修复Master bug、优化Worker、API等执行性能。优化UI部分 Docker打包问题,优化Memory/CPU计算问题,部署至K8s
2、移除原先平台集成AirFlow, 开发Dolphin Utils,彻底解耦原先业务,支持平台调度。
3、平台任务日志模块开发,WorkFlow与TaskFlow 日志解耦,优化服务。
4、Operator开发,支持调用AI 模型打标,优化老版本打标Operator。
5、引入Nacos,优化平台配置项服务,支持混合云部署(DNS解析转发)