1、立项背景
OMS-DATA是供应链服务套件里的基础数据服务,维护着商品,仓库,货主信息和关
系,统一收口供应链底盘数据。
2、功能
从上游接收数据,存储入库,记录节点日志,稳定分发下游。从开发到上线到运维都有一
套成熟的治理机制,保证数据链路闭环。服务自接手至今已稳定运行400余天,曾多次独立承担技术改造和重大功能研发。
3、流程
接收kafka数据->存库->消息广播->下发下游
技术实现:项目采用微服务架构,利用SpringBoot框架做开发,SFMQ和KAFKA做消息中间件,
MySQL和Hbase作为存储介质,Redis作缓存和分布式锁,数据库为主从+主备部署模式。
成果产出:功能研发:数据异步导入导出、详细操作日志记录、异常报文监控;技术改造:将OMSDATA日志存储中间件由MySQL迁移至Hbase,消息中间件SFMQ迁移KAFKA、Php服务迁移Java
服务,分布式高并发场景取出唯一订单号等;
稳定性保障:接手后提升项目稳定性,将处理上游失败的报文放到“异常报文管理”中,实现页面点
击即可修改报文并快速重新消费,解决90%用户反馈上游下发数据但是当前系统未收到的问题;对项
目的潜在风险主动发现,针对下发的数据,如果下游返回的状态码异常或在本服务处理数据的过程中
发生异常,及时报警感知;如果下游返回的状态码正常但下游处理异常,添加趋势面板监控,主动感
知下游是否接受数据成功。