券商的app软件,提供实时的业务数据接口,多个小组合作,通过异步回调的方法,共同完成多个业务模块的代码编写,包括证券信息展示面板,计算指标等
包括原始数据的采集,清洗,聚合导入,K线图模块,分时图模块,秒级行情,分钟级别行情,指标模块,数据分析模块,新闻展示模块,用户问答模块,实时聚合功能,编写了80多个功能指标,最后完成数据sink,写入HBase和MySQL,
使用Flink+Kafka+MySQL,编写业务代码实现,使用FLume从数据源采集数据,并进行数据清洗,然后用Kafka作为MQ,多管道采集分流数据,使用到了双流join等技术,处理了数据倾斜,上线测试灰度测试,异步数据同步等技术