为企业打造一款通用数据采集软件产品,其作用是提供给To B的企业客户对散落在各异构系统中的数据进行统一采集、预处理和数据写入。并支持对数据采集任务进行调度。
系统功能如下:
1、数据采集:数据库表采集、文件采集、API接口采集、数据库日志采集、大数据组件采集;
2、数据搬迁:支持异构存储系统间的数据无缝迁移,支持自动建表、增量更新;
3、数据同步:支持异构存储系统间的数据快速同步,支持同步对账,全量+增量同步模式;
4、采集任务设计:支持界面化对数据采集任务,拖拉拽设计采集任务字段映射关系;
5、采集任务调度:支持对采集任务进行多种模式调度,如定时、事件触发,并实时监控任务
6、采集任务告警:支持对采集任务异常情况进行告警通知。
本项目参与人员共3人,后端2名,前端1名,周期半年左右,本人为该产品的架构设计者,负责搭建整体开发框架、分布式扩展架构设计、关键代码编写、系统性能优化,同时也会参与产品功能设计和流程梳理。