业务和功能介绍
一、立项背景与目标
1.1 立项背景
随着平台业务规模的快速扩张，传统的离线数据分析模式已无法满足业务对数据时效性的迫切需求。业务运营团队需要分钟级甚至秒级的实时数据反馈来支撑决策，而现有的T+1离线分析模式存在明显的数据滞后性，导致运营策略调整滞后、用户体验优化不及时、市场机会错失等问题。
在此背景下，亟需构建一套批流一体（Batch-Stream Unification）的实时数仓平台，通过统一的技术栈和计算引擎，实现实时数据与离线数据的融合处理，为客户提供全链路、全时效的数据分析服务。
1.2 项目目标
核心目标：
实时性：实现秒级延迟的实时数据处理，支撑实时用户访问数、实时下单数等关键业务指标的即时呈现
一致性：通过统一的数据源和计算逻辑，消除实时与离线数据的口径差异，确保数据分析结果的一致性
业务目标：
为运营团队提供实时业务监控能力，实现数据驱动的即时决策
为产品团队提供用户行为分析能力，支持产品功能优化与用户体验提升
二、软件功能概述
欧冶分析中心实时数仓是一套企业级批流一体大数据分析平台，采用业界主流的Lambda架构演进方案，结合Flink的流批一体能力，为客户提供从数据采集、处理、存储到服务的全栈式数据分析解决方案。
实时业务流程
实时业务流程
流程一：实时用户行为分析流程
用户访问平台 → 前端埋点采集 → 日志异步上报 → 服务器日志文件 → Kafka消息队列 → Flink实时写入 → MySQL查询 → 前端数据展示
(数据缓冲) (聚合计算) (结果存储) (Dashboard)
1.1 立项背景
随着平台业务规模的快速扩张，传统的离线数据分析模式已无法满足业务对数据时效性的迫切需求。业务运营团队需要分钟级甚至秒级的实时数据反馈来支撑决策，而现有的T+1离线分析模式存在明显的数据滞后性，导致运营策略调整滞后、用户体验优化不及时、市场机会错失等问题。
在此背景下，亟需构建一套批流一体（Batch-Stream Unification）的实时数仓平台，通过统一的技术栈和计算引擎，实现实时数据与离线数据的融合处理，为客户提供全链路、全时效的数据分析服务。
1.2 项目目标
核心目标：
实时性：实现秒级延迟的实时数据处理，支撑实时用户访问数、实时下单数等关键业务指标的即时呈现
一致性：通过统一的数据源和计算逻辑，消除实时与离线数据的口径差异，确保数据分析结果的一致性
业务目标：
为运营团队提供实时业务监控能力，实现数据驱动的即时决策
为产品团队提供用户行为分析能力，支持产品功能优化与用户体验提升
二、软件功能概述
欧冶分析中心实时数仓是一套企业级批流一体大数据分析平台，采用业界主流的Lambda架构演进方案，结合Flink的流批一体能力，为客户提供从数据采集、处理、存储到服务的全栈式数据分析解决方案。
实时业务流程
实时业务流程
流程一：实时用户行为分析流程
用户访问平台 → 前端埋点采集 → 日志异步上报 → 服务器日志文件 → Kafka消息队列 → Flink实时写入 → MySQL查询 → 前端数据展示
(数据缓冲) (聚合计算) (结果存储) (Dashboard)
项目实现
整体架构：
1.构建实时数据处理链路：通过前端埋点采集用户行为日志，利用 Filebeat + Logstash 将数据实时传输至 Kafka。基于 Flink 计算引擎对数据进行清洗与聚合，并将结果实时写入 MySQL，供前端接口调用展示。
2.设计离线数仓分层架构：使用 Sqoop 将业务库数据定时采集至 大数据平台的 ODS 层。利用 Spark 引擎对 Kafka 中的用户行为数据进行小时级与天级批量处理，经过 DWD、DWS 等多层加工，最终将汇总结果（ADS 层）通过 Sqoop 同步推送至 MySQL，满足复杂离线分析需求。
我负责使用Flink 将kafka中的数据 进行清洗与聚合，并将结果实时写入 MySQL，负责实时计算和处理
1.构建实时数据处理链路：通过前端埋点采集用户行为日志，利用 Filebeat + Logstash 将数据实时传输至 Kafka。基于 Flink 计算引擎对数据进行清洗与聚合，并将结果实时写入 MySQL，供前端接口调用展示。
2.设计离线数仓分层架构：使用 Sqoop 将业务库数据定时采集至 大数据平台的 ODS 层。利用 Spark 引擎对 Kafka 中的用户行为数据进行小时级与天级批量处理，经过 DWD、DWS 等多层加工，最终将汇总结果（ADS 层）通过 Sqoop 同步推送至 MySQL，满足复杂离线分析需求。
我负责使用Flink 将kafka中的数据 进行清洗与聚合，并将结果实时写入 MySQL，负责实时计算和处理
示例图片视频
相似推荐
某信托公司标的中心系统
本项目通过构建全新的标的中心平台，采用分布式实时数据计算架构，打造公司级标准化数据模型体系，实现多源异构标的信息的
智能化聚合与清洗，建立统一的标的数据服务门户，有效解决了各业务条线在标的数据应用中存在的准确性不足、统计口径差异、
编码规则不统一等核心痛点问题。
桃园天下金融股票数据分析网站
搭建在Web端上的，可以供广大股民用来进行公司股票数据分析和股票买卖策略生成的全能性网站。目前该网站在我们内部已经开发的非常成熟，完善，以下是它的主要功能介绍:
1.首先是最基本的用户登陆注册功能，注册成功进入首页之前由于我们这个软件是一个付费软件，所以会先进入一个套餐选择界面，首次注册使用网站会为您提供一个5天免费使用权限。
2.网站首页分为侧边栏，中间页面展示部分。侧边栏包含个股，新闻等一些工具，其中最主要的个股模块，该模块中会显示一个非常关键的图表，这个图表显示当前股市上自开盘以来的所有股票走势图表还有相关的指标展示。
3.还有一些工具栏例如：股票收益率分析，股票实时买卖操作，股票限时限买限卖操作，股票收益率回测这些工具栏，属于我们内部自己使用的工具，也是我自己负责的关键功能。
天津银行文书生成
业务介绍
本项目为天津银行文书生成系统，面向金融银行业务场景，旨在为天津银行内部提供高效、规范的自动化文书处理能力。依托金融行业合规要求与业务流程，通过技术手段实现银行各类文书（如合同、协议、告知函、审批文件等）的标准化生成与管理，提升业务办理效率，降低人工撰写与校对成本，保障文书内容的合规性与一致性。
功能介绍
多技术栈支撑的核心业务能力
基于 Java + MyBatis 构建稳定可靠的后端服务，实现业务逻辑、数据持久化与权限管控，保障金融数据的安全性与事务一致性。
结合 Python + Django 实现灵活的业务扩展与快速迭代，支持文书模板配置、内容生成、规则校验等核心功能的高效开发，适配银行复杂的业务场景与合规要求。
网站端可视化操作与管理
以网站为主要载体，为银行员工提供便捷的 Web 操作界面，支持文书模板的创建、编辑与版本管理，可根据业务场景动态调整文书内容与格式。
提供文书生成预览、在线审批、版本追溯等功能，实现从模板配置到最终文书输出的全流程可视化管理。
金融场景专属合规保障
贴合金融行业监管规范与银行内部风控要求，内置合规校验规则，自动检查文书内容的合法性、完整性与风险点，避免人为疏漏导致的合规问题。
支持按业务类型（如信贷、理财、对公业务等）分类管理文书模板，满足天津银行不同业务线的个性化需求。
信息披露平台
1. 本系统面向“信息披露/受托报告”业务的端到端流转：从计划清单与数据准备开始，经由数据同步/数据处理、受托/通知等文件的生成与审核、文件盖章、邮件发送（含凭证上传与发送记录追溯），最终进入接口报送。同时需要对执行过程进行可追溯（日志、历史查询）与可管控（任务待办/流程状态/统计维度）。整体目标是把跨环节的人工操作标准化、流程化与自动化，提升执行效率与质量，并为后续运营/监管/对账提供数据支撑。2. 从系统路由与页面能力可归纳为以下核心模块（以 src/router/routes/* 为入口）：工作流与任务中心：支持“我的事宜/待办/已办”，并以流程状态驱动页面操作（任务列表、查看/处理入口在 src/views/sirmapp/components/ManagerTaskList/ManagerTaskList.vue，路由在 src/router/routes/sirmapp.js）。受托报告模板工作流：文件生成、文件调整、初审/复审审核、盖章、邮件发送、批量发送、邮件详情/查看，以及报告接口报送等（路由示例：/reportTemplate/workflow/* 在 src/router/routes/workflow.js）。数据处理与数据同步：围绕“数据同步方案执行、重新执行、执行日志查看、提交工作流下一步”等；页面例子为 src/views/dataManage/dataArrange/workflow/dataSynchronization.vue（对应路由在 src/router/routes/workflow.js）。报告清单与通知单流程：清单/通知的调整、确认、审核、分中心处理、批量处理、邮件发送、盖章等（路由示例：/reportList/workflow/*、/notice/workflow/*）。统计与日志查询：管理人质量/时效统计与明细、省中心统计与明细、报告归档与明细；同时提供数据处理日志、报告/通知/个性化记录与历史回溯（路由在 src/router/routes/dataManage.js 与 src/router/routes/managerStatistic.js）。系统配置：发送邮箱配置、登录白名单、附件密码配置、数据同步配置、SQL配置、自动邮件匹配、时效频率配置、接口报送配置等（路由在 src/router/routes/system.js、src/router/routes/dataConfig.js、src/router/routes/interface.js）。3.典型业务链路可以概括为“概览-发现-同步-生成审核-盖章-发送-回溯”：首页概览：从清单总览进入业务范围，查看报告/通知/解析/数据处理/发送等聚合状态（示例页：src/views/dashboard/index.vue，路由由模块装配完成）。
跨市场（美股/港股）自动化交易与资产管理系统
本系统旨在解决个人及小微机构在港股与美股跨市场交易中，行情获取滞后、下单手动操作繁琐以及多币种资产统计不便的痛点。软件集成了行情监控、交易执行与资产管理三大核心模块：利用 Webull/Futu API 实现亚秒级实时行情同步，确保决策及时性 ；深度定制开发交易 UI，支持百分比快捷下单与动态资金滑动分配，极大优化了盘中博弈的执行效率 ；系统支持多账户持仓数据的自动化对账，实时计算盈亏分布并生成可视化报表，实现全自动的资产风险管理闭环。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服