在技术运营监测系统中,设计并实施了一套全面的监控机制,实时监测包括期权、债券、港股通、竞价等交易系统的关键指标,如耗时时延、服务器状态、吞吐量、内存、磁盘及系统运行状态等,确保交易系统的稳定运行。
数据采集模块,数据计算模块,数据可视化模块
采集系统的一些耗时时延、服务器状态、吞吐量、内存、磁盘及系统运行状态等关键指标,通过计算关键指标的一些最值,均值,环比,占比等,提供可视化的报表展示,以及报表的下载
采用Idea、Maven、JDK8、MySQL、Git及Node等工具和技术,在后端开发中使用SpringBoot和Mybatis框架,引入Shardingsphere、Kafka、ELK等技术,提升系统性能与稳定性,设计基于TSDB+ELK的实时监控体系,处理日均千万级交易指标订单数据,时延预警响应速度提升90%
实施基于agent的数据采集方案,通过Kafka集群传输实时采集的指标数据,并利用Logstash和Redis进行数据清洗与过滤,将时序性数据存储至TSDB,支持报表界面的数据展示,同时提供Java服务监听Kafka进行实时数据处理。
采用分库分表方式存储证券公司登录交易系统的时延信息,优化数据查询效率,避免单一数据库性能瓶颈,快速获取时延信息,支持后续分析与决策。
完成信创国产化改造,开发Kafka拦截器实现消息过滤,降低华为版Kafka适配成本30%,自定义分表策略实现对时延数据的分表,确保系统兼容性与高效运行。
利用华为云实现项目的国产化部署,保障项目稳定高效运行,满足技术国产化的需求。