zzzz

数字孪生数据质量校验平台 业务与功能：本项目是电信运营商 IP 骨干网数字孪生工程的数据质量校验后端平台。各省网络采集数据（设备、链路、BGP/VPN/SRv6 路由、流量等 30 余类）以 Excel/CSV 按批次上报，平台负责解析入库、自动化质量校验、生成核查报告，并将问题回标到源 Excel 单元格，保障进入孪生库的数据准确、完整、一致。 背景与目标：数据质量决定孪生仿真精度，而人工核对数万行多表数据效率低、易遗漏，且问题难以精确定位。项目目标是实现“解析→校验→报告→标注→打包下载”全链路自动化，校验结果精确到单元格，规则可配置（100+ 复杂校验器），基于 Spark 支撑大数据量，并按省份、批次隔离管理。 核心模块：①文件解析模块（UnifiedFileParserController 统一编排，多引擎解析）；②规则校验模块（数据库规则驱动 + 跨表关联、唯一性、格式等复杂校验器）；③结果输出模块（Excel 回标、HTML 报告、数据分类统计与质量评分）；④批次与文件管理模块（批次信息、ZIP 打包下载、按批次删除）。 业务流程：各省提交批次文件 → 解析入 Spark/MySQL → 执行规则校验并落库 validation_result（含行列定位）→ 统计评分并判定“通过/不通过” → 导出核查报告 → 在源 Excel 上标注问题 → 打包 ZIP 并回写下载路径 → 用户下载报告与标注文件，修复后重新上报。