从0搭建大数据平台。fastapi定期ETL多个数据源多个层级&字段&类型的大量数据,日处理0.7tb数据。将复杂业务数据存储到数仓并分析挖掘展示。
polars清洗入数据仓库HDFS ods,spark定期计算mds/sds数据存储Hive,Azkaban管理同步任务&计算任务,redash展示灵活透视表,为业务和老板提供数据支持。
简单的ARMA预测模型预测业务未来走势,图表输出。推荐模型构建业务主特征,提高转化率和效率,指导销售工作。
长期迭代项目,负责从0搭建大数据平台,数据仓库的设计,多数据源不同层级数据采集,入仓hdfs,计算并更新到hive和业务平台。