市场与消费者行为分析及推荐系统

1.立项背景
现有微服务架构的购物网站平台，但首页推荐长期依赖简单规则及人工运营，无法基于用户推荐且转化率偏低。因此上层觉得开发市场分析和个性化推荐服务。
2.项目目标：
•在不改动现有 Java 微服务整体架构的前提下，引入机器学习推荐与预测系统。
•用户登录首页提供个性化推荐列表，推荐结果按天离线更新，且可扩展到其他场景。
3.主要痛点：
•传统市场分析预测造成的用户点击率低和下单率差距大。
•线上实时性与线下复杂计算的要平衡，不能造成线上接口延迟。
4.软件核心功能介绍
这是一个离线训练的推荐系统，根据用户历史行为与特征，生成 Top K 个个性化推荐商品，并通过接口返回给前端展示。功能模块：
•数据与特征服务模块： 汇总 MySQL的订单表等及埋点统计点击数据；使用 Spark SQL 生成多维度特征表。
•序列建模与RNN召回: 把用户购买行为明细加工为时间序列；通过 PyTorch 实现 RNN模型，预测未来用户感兴趣的商品，生成结果表。
•精排打分LR模块LR：基于 Spark MLlib 的 Logistic Regression 模型，对候选集合进行购买概率预测排序。
•推荐结果融合与存储模块：对模型输出进行规格化，将最终推荐结果写入 MongoDB。
•发布推荐查询服务模块：辑封装到基于 Flask 的查询 API 中，供登录/首页推荐服务调用。
•调度与运维模块：通过 Docker + cron（或调度平台）定时调度 Spark 作业与 Python 推理脚本。
5. 业务流程、功能路径描述：
1)离线计算流程
•定时任务启动服务从 MySQL同步前一日数据到大数据平台, 生成/更新特征表。
•模型学习用户下单行为序列样本，利用训练好的模型对全量用户进行批量推理。
•将推理结果写入 MongoDB。
2)线上推荐查询流程
•用户登录电视台 App/网站首页。
•首页服务调用内部推荐服务接口,将查询结果返回前端。未命中返回默认热门商品。

1.整体架构
•使用python+flask搭建服务,采用两阶段推荐方案，实现粗颗粒筛选候选集进而精细排序打分。
•将推荐算法与前端查询解耦，规避接口的延迟可能。
2.核心技术栈
•数据层: MySQL存储商品、订单与行为明细等信息。
•数据预处理层: Spark SQL：特征抽取与数据清洗。
•模型层：PyTorch实现 RNN序列模型; Spark MLlib实现 Logistic Regression 精排预测模型。
•结果存储层: MongoDB以文档形式存储用户级推荐结果。
3.我负责的模块
作为团队组长负责整体框架搭建包括：
•设计并实现了产品/用户特征计算管道（Python/Spark），将分散的基于 RMI 的统计数据重构为机器学习驱动的推荐微服务。
•使用 Spark SQL 聚合用户行为和交易数据，并为预测模型构建基于 Hive 的特征表和用户行为序列模型。
•设计了两阶段机器学习管道——PyTorch RNN 序列 + Spark MLlib LR——用于预测用户的复购行为，并将每个用户的候选集和评分持久化到 MongoDB 中。
•将推荐查询逻辑封装到基于 Flask 的查询 API 中，供登录/首页推荐服务调用。
•设计了一条只读分析路径，其中 API 从候选存储读取数据，而 Kafka 将行为事件发布到特征存储，从而实现读写分离，避免影响核心事务处理路径。
•与运维团队合作，使用 Docker 将模型容器化，并将批量训练集成到基于 cron 的调度中，从而实现模型每日自动刷新。
4.影响：
•在促销场景下，推荐点击率 (CTR) 提升约 6-10%，订单转化率大幅度提升。
•与传统预测相比，显著降低了滞销库存率。