公司的IA估值系统实现了组合的盘中实时估值,行情大数据平台提供了秒级行情。将这两部
分数据接入进来,将组合分析从T-1提速至盘中实时,这样投资经理的投资操作、市场行情
变化就可以实时体现在当前的组合分析结果中。
接入实时行情,基于T-1日持仓,进行盘中实时分析;以持仓分析功能业务为突破口,引入实时行情,进行快速落地。
1)通过Python抓取昨日离线数据发送到不同topic。
2)通过Flink程序接收“证券实时行情”,转换并发送Kafka;通过Python接收“基准实时行情”并发送Kafka。
3)Python发送日期字符串到Kafka。
4)Flink主程序接收Kafka数据并转换成实体类,根据日期匹配出正确数据,数据哪一环确实不能下行。
5)通过Flink DataStream构建实时计算系统、行情检测报警系统、行情转换系统、行情订阅系统。
6)对实时计算系统进行数据倾斜优化、内存优化等调优操作。
7)大数据平台离线数据Python脚本转发Kafka。
8)接收kafka中证券行情数据、。
9)通过java,对相关200多个指标进行排版计算,得出最后展示的90多个指标。
10)实时数据发送redis。