主数据系统

一、立项背景与目标
立项背景
在数字化转型浪潮下，公司业务版图持续扩张，并配套部署了 ERP、CRM、SRM、HR 等核心业务系统。然而，各系统独立演进、标准不一，导致 "数据孤岛" 问题日益凸显：
数据多头维护：同一人员在不同系统编码、名称、岗位等关键属性存在差异，形成"一物多码"乱象
质量参差不齐：主数据缺失，重复率增高，直接影响数据的准确性
流程效率低下：跨系统数据核对耗时，占用大量业务处理时间。
合规风险加剧：分散管理的主数据难以满足审计追溯要求
项目目标
1. 建立企业级"黄金数据源"：构建覆盖人、财、物等几大主题的主数据平台，实现"一数一源"标准化管理，数据一致性≥99.5%
2. 打造高效数据供应链：通过自动化集成、清洗、分发机制，将主数据更新时效从 T+3 缩短至 T+0，跨系统数据核对效率提升 80%
3. 构建可持续数据治理体系：建立覆盖数据标准、质量、安全、生命周期管理的"四位一体"治理框架
二、软件功能与核心模块
1. 数据集成中心
多源异构采集：支持 mysql、kafka、泛微OA等系统接口，通过 API、ETL、消息队列三种方式实时/定时采集数据
增量捕获机制：采用数据库日志解析技术，实现秒级增量数据识别，降低网络传输负载
2. 数据清洗工厂
智能质检引擎：预设多种业务规则（如员工手机号正则校验），支持自定义扩展
异常数据修复：提供标准化修复建议（如地址补全、名称统一），支持批量/单条处理，修复效率提升数倍
3. 数据分发服务
订阅式分发：业务系统可按主题域、数据粒度订阅所需主数据，支持 Kafka、MQ 消息推送及 API 拉取双模式
分发溯源追踪：记录每条数据分发路径、时间、状态，形成"数据流转地图"，实现全链路透明化管理
4. 组织架构管理套件
部门架构管理：
可视化拖拽构建部门树，支持虚拟组织（如项目组）挂靠
穿透查询：点击部门可查看"一人多岗"员工列表及空岗明细，关联显示岗位 JD 与招聘进度
职位体系管理：
岗位图谱：以拓扑图展示职位汇报关系
员工全景档案：
360° 员工视图：整合基本信息、合同、考勤、培训等数据，支持时间轴追溯历史变更
多源比对：自动标记HR，OA等系统不一致的字段（如员工ID），一键发起协同确认
操作审计：记录信息修改的"人员-时间-字段-旧值-新值"全量日志，满足审计要求
动态架构图：
交互式架构图：支持在线拖拽调整汇报关系，变更自动同步至其他系统

项目实现总结

一、整体架构与设计思路
数据源层：对接 OA、CRM、HR 等系统，采用 API/ETL/消息队列三种采集模式。
集成与清洗层：
数据集成中心：Spring Cloud + Kafka 实现流式采集；Flink 做实时 ETL；Canal 解析数据库日志捕获增量。
数据清洗工厂：Spark 分布式内存计算 + 规则引擎 Drools。
主数据服务层：
微服务架构（Spring Boot），按主题域（人，财，物）拆服务；注册中心 Nacos。
持久化：MySQL 8.0 存主数据；MongoDB 存大字段/日志；Redis 缓存。
治理与标准层：
数据标准工作台：Vue3 + AntV 做可视化建模；
分发与消费层：
双模式分发：Kafka 主题订阅（实时）。

二、技术难点
1. 多源异构实时同步
源头表结构差异大、增量识别方式不一（触发器、时间戳、日志），需统一封装。
2. 去重准确性
简称/别名多，仅用相似度容易误合并。
3. 跨系统分布式事务
主数据审批通过后需同时写入 OA、SRM、CRM等系统；各系统数据库类型和权限域不同，高并发下性能下降。
4. 组织架构版本与并发编辑
可视化拖拽架构图时，多人同时修改同一节点会导致关系环或断链。