公司需要基于新的数据平台为游戏业务拓展新的数据服务,包括数据同步、数据实时/离线统计、用户画像、商品推荐等
在新的大数据处理流水线中,整合了数据日志采集、队列数据同步数仓、实时/离线统计、用户画像、用户留存预测、用户真实性别预测、用户真实年龄预测、用户商品推荐等功能,并为以上功能统一了接口规范(包括数据同步、数据统计、模型的训练和预测),便于日后业务拓展需要。
● 实现了kafka数据同步到hbase
● 实现了累加计数、按字段加和、按字段取极值等几种通用画像算子
● 实现了实时/离线统计的定时任务调度
● 实现了7、14、30天的用户基础画像及用户历史画像功能
● 实现了部分用户标签(如性别、年龄、留存等)的预测功能
● 实现了西游2的商品及礼包推荐功能