某企业ToB数据采集产品设计及研发

为企业打造一款通用数据采集软件产品，其作用是提供给To B的企业客户对散落在各异构系统中的数据进行统一采集、预处理和数据写入。并支持对数据采集任务进行调度。
系统功能如下：
1、数据采集：数据库表采集、文件采集、API接口采集、数据库日志采集、大数据组件采集；
2、数据搬迁：支持异构存储系统间的数据无缝迁移，支持自动建表、增量更新；
3、数据同步：支持异构存储系统间的数据快速同步，支持同步对账，全量+增量同步模式；
4、采集任务设计：支持界面化对数据采集任务，拖拉拽设计采集任务字段映射关系；
5、采集任务调度：支持对采集任务进行多种模式调度，如定时、事件触发，并实时监控任务
6、采集任务告警：支持对采集任务异常情况进行告警通知。

本项目参与人员共3人，后端2名，前端1名，周期半年左右，本人为该产品的架构设计者，负责搭建整体开发框架、分布式扩展架构设计、关键代码编写、系统性能优化，同时也会参与产品功能设计和流程梳理。