中山大学研究院海洋共享平台

1、立项背景和目标 传统企业在用户运营过程中面临数据分散、分析效率低、用户画像不清晰等问题。运营人员经常需要在多个系统间切换查看数据，无法快速获取用户行为全貌。为了解决这一痛点，我决定开发一套用户行为数据分析看板系统，目标是实现用户数据一站式查询、用户画像自动生成以及核心行为指标的可视化展示，将数据分析时间从小时级缩短至分钟级。 2、软件功能、核心功能模块的介绍 系统包含三大核心模块： 用户画像分析模块：基于用户行为数据自动生成画像标签，包括用户活跃时段（是否为夜猫子）、价值等级（高价值/低价值）、转化潜力（高转化率/低转化率）等多维度标签，帮助运营团队快速定位目标用户群体。 全局趋势分析模块：对用户四大核心行为（浏览、加购、购买、收藏）进行24小时内的时间分布统计，同时提供最畅销产品排行榜，让决策者一目了然地掌握整体运营态势。 精准查询模块：支持通过用户ID或产品ID进行精确检索，系统自动返回该用户/产品的完整画像数据和关联行为记录，满足精细化运营场景下的快速查询需求。 3、业务流程、功能路径描述 用户进入系统后，可直接在首页看到全局趋势概览，包括24小时行为分布柱状图、畅销产品排名等。如需深入了解特定用户，可在查询框输入用户ID，系统调用后端API查询数据库，返回该用户的画像标签和行为明细，并生成可视化图表。产品分析同理。整个流程从输入到结果展示控制在3秒以内。

商品数据采集 → 数据清洗 → 多维统计分析 → 专业Excel报表自动生成 功能介绍 多页商品数据自动采集，支持请求间隔与反爬对抗 数据去重、异常值清洗、格式标准化处理 多维度统计分析：价格分布、销量排行、评分对比、分类占比 双Sheet Excel报表输出：商品明细页 + 数据概览页 热销商品自动高亮、条件格式、自适应列宽

该项目是一个基于大数据引擎作为底层能力支撑，上层应用使用java做业务功能的开发的平台，核心功能，贴源数据集 接入，数据建模，数据集创建，模型填充，数据查询，数据资产管理等相关核心功能,结合其他的运维平台将数据发挥作用与集中管理。

使用工具：MySQL、SQL Server、PyCharm、WPS 自2010年公安机关开展网络赌博专项整治以来，打击力度持续加大。2019—2023年初疫情导致网络赌博激增，我司配合多地公安机关成立专案组，提供全链条数据技术支撑。 一、数据采集与入库 将渗透爬取的赌博网站后台数据（会员、充值提现、代理关系、佣金等多表）导入MySQL，梳理表结构及关联关系，绘制ER图。针对银行反馈的千万级流水数据，编写Python分块清洗脚本（chunk_size=10万行），完成去空格、日期格式化、金额校验、去重等操作，通过LOAD DATA LOCAL INFILE批量导入，效率提升数十倍。 二、赌客与代理分析 数据量<100万时，使用Excel的VLOOKUP/XLOOKUP快速匹配代理与会员；数据量>100万时，编写MySQL复杂查询（多表JOIN+窗口函数）提取代理信息、名下会员、佣金等。对平台工作人员的支付宝流水，通过转账备注、周期性规律、虚拟币兑换记录挖掘关联人员。 三、资金穿透与跑分团伙识别 通过赌客银行卡流水进行资金追溯，向上找出出款卡、向下找出入款卡，对多张赌客卡的共同转入/转出方做聚合分析，标记疑似跑分卡并上报申调，确认后整理涉案金额及日期，最终冻结划扣。通过Python调用区块链浏览器API追踪虚拟币资金去向，识别混币和变现行为。 四、涉案人员档案制作 根据各地公安申调模板差异，持续维护Python代码，批量生成标准化银行卡申调表。整合代理信息、会员、佣金、涉案金额、关联账号等，生成代理“一人一档”。针对不同类型跑分卡，批量生成冻结“一卡一档”审批表。对代理个人卡流水全面分析，统计提现金额、消费水平、合法收入，判断其退赃退赔能力。 五、成果输出 制作包含涉案金额汇总、资金流向图、代理层级图的可视化报表，配合抓捕行动提供数据落查支撑，案件收网后完成全量审计，形成完整证据链。 以上为项目核心技术实现，全程为公安机关打击网络赌博提供高效、精准的数据支撑。

本系统主要服务保险业务人员。 通过分析用户（保险业务员）通讯录帮助业务员分析通讯录人脉关系，一度人脉、二度人脉等， 通过分析通讯录可协助用户实时掌握联系人动态，通过通讯录实现增员、获客； 通过通讯录可进一步拓展二度人脉，可通过通讯录联系人找到其同学、同乡、校友、同事等二度、三度人脉，进一步扩大增员、获客范围。