1. 实时监控与预警
业务监控:实时追踪核心业务指标(GMV、DAU、转化率等)
异常检测:自动识别系统异常、业务异常并及时告警
性能监控:系统资源使用率、API响应时间等实时监控
2. 实时数据服务
数据大屏:管理层实时数据可视化
实时报表:业务部门实时数据查询
API服务:为其他系统提供实时数据接口
数据源 → 采集层 → 处理层 → 存储层 → 应用层
↓ ↓ ↓ ↓ ↓
日志/DB Flink 流计算 Redis Dashboard
消息队列 Spark 引擎 ClickHouse 告警系统
IoT Kafka 规则引擎 ES 推荐引擎
流式数据处理
数据清洗:过滤无效数据、格式标准化
数据转换:字段映射、数据脱敏、格式转换
数据丰富:关联维表、数据打标
窗口计算:滚动窗口、滑动窗口、会话窗口