股票数据入库
1. 金融行情数据采集与本地落盘
C++ 数据接入程序
实时接收金融行情数据
高性能数据写入
按文件大小/时间进行滚动切分
生成 xxx.log.1、xxx.log.2、xxx.log.N 等二进制数据文件
↓
2. Python 数据解析与格式转换
Python 批处理程序扫描数据目录
自动读取多个二进制数据文件
解析并校验原始数据
数据清洗与字段标准化
汇总转换为统一格式 CSV 文件
↓
3. 数据压缩与安全传输
对 CSV 数据进行 ZIP 压缩
生成标准化数据包
通过 SCP 安全传输至目标服务器
记录传输状态及操作日志
支持失败重试机制
↓
4. 数据质量校验与异常告警
自动执行数据质量检查
检查文件完整性
检查数据条数
检查字段及数据格式
检查数据时间范围
检查数据连续性/完整性
异常数据自动触发告警
校验结果:
🟢 数据合格 → 进入正式存储
🔴 数据不合格 → 触发告警 → 运维人员介入处理
↓
5. 数据持久化存储
数据写入指定存储目录
按日期/业务维度进行目录组织
支持历史数据查询
支持长期归档
支持后续备份及数据生命周期管理
金融