业务和功能介绍
一、立项背景与目标
1.1 立项背景
随着平台业务规模的快速扩张，传统的离线数据分析模式已无法满足业务对数据时效性的迫切需求。业务运营团队需要分钟级甚至秒级的实时数据反馈来支撑决策，而现有的T+1离线分析模式存在明显的数据滞后性，导致运营策略调整滞后、用户体验优化不及时、市场机会错失等问题。
在此背景下，亟需构建一套批流一体（Batch-Stream Unification）的实时数仓平台，通过统一的技术栈和计算引擎，实现实时数据与离线数据的融合处理，为客户提供全链路、全时效的数据分析服务。
1.2 项目目标
核心目标：
实时性：实现秒级延迟的实时数据处理，支撑实时用户访问数、实时下单数等关键业务指标的即时呈现
一致性：通过统一的数据源和计算逻辑，消除实时与离线数据的口径差异，确保数据分析结果的一致性
业务目标：
为运营团队提供实时业务监控能力，实现数据驱动的即时决策
为产品团队提供用户行为分析能力，支持产品功能优化与用户体验提升
二、软件功能概述
欧冶分析中心实时数仓是一套企业级批流一体大数据分析平台，采用业界主流的Lambda架构演进方案，结合Flink的流批一体能力，为客户提供从数据采集、处理、存储到服务的全栈式数据分析解决方案。
实时业务流程
实时业务流程
流程一：实时用户行为分析流程
用户访问平台 → 前端埋点采集 → 日志异步上报 → 服务器日志文件 → Kafka消息队列 → Flink实时写入 → MySQL查询 → 前端数据展示
(数据缓冲) (聚合计算) (结果存储) (Dashboard)
1.1 立项背景
随着平台业务规模的快速扩张，传统的离线数据分析模式已无法满足业务对数据时效性的迫切需求。业务运营团队需要分钟级甚至秒级的实时数据反馈来支撑决策，而现有的T+1离线分析模式存在明显的数据滞后性，导致运营策略调整滞后、用户体验优化不及时、市场机会错失等问题。
在此背景下，亟需构建一套批流一体（Batch-Stream Unification）的实时数仓平台，通过统一的技术栈和计算引擎，实现实时数据与离线数据的融合处理，为客户提供全链路、全时效的数据分析服务。
1.2 项目目标
核心目标：
实时性：实现秒级延迟的实时数据处理，支撑实时用户访问数、实时下单数等关键业务指标的即时呈现
一致性：通过统一的数据源和计算逻辑，消除实时与离线数据的口径差异，确保数据分析结果的一致性
业务目标：
为运营团队提供实时业务监控能力，实现数据驱动的即时决策
为产品团队提供用户行为分析能力，支持产品功能优化与用户体验提升
二、软件功能概述
欧冶分析中心实时数仓是一套企业级批流一体大数据分析平台，采用业界主流的Lambda架构演进方案，结合Flink的流批一体能力，为客户提供从数据采集、处理、存储到服务的全栈式数据分析解决方案。
实时业务流程
实时业务流程
流程一：实时用户行为分析流程
用户访问平台 → 前端埋点采集 → 日志异步上报 → 服务器日志文件 → Kafka消息队列 → Flink实时写入 → MySQL查询 → 前端数据展示
(数据缓冲) (聚合计算) (结果存储) (Dashboard)
项目实现
整体架构：
1.构建实时数据处理链路：通过前端埋点采集用户行为日志，利用 Filebeat + Logstash 将数据实时传输至 Kafka。基于 Flink 计算引擎对数据进行清洗与聚合，并将结果实时写入 MySQL，供前端接口调用展示。
2.设计离线数仓分层架构：使用 Sqoop 将业务库数据定时采集至 大数据平台的 ODS 层。利用 Spark 引擎对 Kafka 中的用户行为数据进行小时级与天级批量处理，经过 DWD、DWS 等多层加工，最终将汇总结果（ADS 层）通过 Sqoop 同步推送至 MySQL，满足复杂离线分析需求。
我负责使用Flink 将kafka中的数据 进行清洗与聚合，并将结果实时写入 MySQL，负责实时计算和处理
1.构建实时数据处理链路：通过前端埋点采集用户行为日志，利用 Filebeat + Logstash 将数据实时传输至 Kafka。基于 Flink 计算引擎对数据进行清洗与聚合，并将结果实时写入 MySQL，供前端接口调用展示。
2.设计离线数仓分层架构：使用 Sqoop 将业务库数据定时采集至 大数据平台的 ODS 层。利用 Spark 引擎对 Kafka 中的用户行为数据进行小时级与天级批量处理，经过 DWD、DWS 等多层加工，最终将汇总结果（ADS 层）通过 Sqoop 同步推送至 MySQL，满足复杂离线分析需求。
我负责使用Flink 将kafka中的数据 进行清洗与聚合，并将结果实时写入 MySQL，负责实时计算和处理
示例图片视频
相似推荐
期货交易信号量捕捉
1.获取期货当前行情价格
2.获取最新每一天的布林带上下轨
3.当价格接近上下轨时捕捉信号，让AI分析当前做空还是做多，AI提示做空/做多买入该产品，推送微信公众号。
4.止损/移动止盈 监控持仓产品，推送微信公众号
5.统计历史交易收益/当前持仓收益，推送微信公众号
Python脚本 / 数据可视化 / 多源数据可视化分析系统-多源数据可视化分析系统
本系统是一套面向多源数据的可视化分析工具，基于Python数据分析生态构建，可读取结构化Excel数据源并自动生成专业级分析图表和HTML报告。
系统聚焦两大分析场景：
1. A股金融市场分析：读取沪深A股4000+只股票的实时数据，自动生成板块分布饼图、成交量Top15排行柱状图、涨跌幅分布直方图，直观展示市场结构和资金动向。针对个股（如贵州茅台600519），生
成日K线走势图并叠加MA20/MA60双均线，标注历史最高收盘价，辅助技术分析决策。
2. 豆瓣影评数据分析：读取豆瓣电影Top250完整榜单，生成评分分布直方图、评分区间占比饼图，以及年度电影数量与平均评分的双Y轴趋势图。可直观看到经典电影年代分布和评分走势。
所有图表统一采用专业配色方案，支持中文渲染，输出为高分辨率PNG图片（150
DPI）。同时自动生成一个响应式HTML分析报告页面，将所有图表嵌入精美卡片布局，包含概览统计卡片和技术指标说明，可直接用于演示汇报或嵌入Web页面。
全行分布式分布式准规范化推广项目
项目描述:
通过本项目实现各个业务系统间服务的标准化调用和全行统一分布式架构，通过对报文标准改造后，将为灰度发布、多版本并行、热力地图采数、交易服务统一监控、交易全局路由、快速迭代开发等提供支撑基础。本项目涉及范围改造40多个系统，横跨研发8个团队，属于部门级重点项目。项目角色: 项目经理，统筹协调各方资源，保障项目进度，解决资源冲突，及时响应各系统需求，分批次调整投产策略，整理项目交付材料；
美团金融-清结算平台-Java开发工程师
构建面向美团金融部门多业务线(如信贷、数据分、短信、AI语音等)的统一清分系统，涵盖事件入库、实时与
定时清分、计价计算、结算单生成、资金对账等。
个人职责：
清分领域负责人:设计开发通用计价模型，适配不同业务线的多样化计价规则(固定收费、阶梯计价、动态调差
等)，支持灵活扩展和快速迭代
核心系统技术负责人:设计并开发了清分系统的核心组件，包括天级合并计价引擎、全额累进调差引擎、超额累
进调差引擎等，解决期中、期末调差的数据回刷问题，以及每日千万级数据的清分计价问题
稳定性负责人:负责计价与结算系统稳定性治理，包括方案设计与落地、告警与排查机制优化，以及数据补偿能
力的完善，保障业务高效稳定运行。
在线视频客服系统
基于WebRTC技术搭建线上视频客服系统，核心功能涵盖实时音视频交互、在线合同签署、多端（PC/移动）适配、弱网环境抗丢包优化。
项目已落地湖南财信人寿、上海邮惠万家、一汽金融、比亚迪等企业，通过技术赋能实现客户沟通效率与服务体验的同步提升。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服