程序聚合 软件案例 中石油数据处理平台-数据工厂

中石油数据处理平台-数据工厂

2025-10-22 20:11:14
行业:大数据、工业互联网
载体:网站、框架或代码包
技术:Java、JavaScript、Python

业务和功能介绍

多源异构数据集成与处理:数据工厂能够对接和整合来自采气厂、电力调度、分析化验、净化厂等多种业务系统的数据,包括地震数据、测录井曲线、分析化验曲线、地质模型网格化数据、视频监控等实时与非实时数据。通过采用GBaseMTK元数据同步工具、GBaseRTSync实时同步工具、Kafka消息队列、Sqoop、Flume等数据传输工具,平台实现了跨域数据汇集,解决了原有系统存在的“数据孤岛”问题。针对原有自研数据同步产品DSB存在的实时能力不足问题,平台通过解析数据库日志的方式,实现了对Oracle、MySQL、PostgreSQL等多种数据库的实时增量数据获取,显著提升了数据融合能力。
· 统一数据存储与分布式计算:平台采用分层存储架构,根据数据特性和应用场景选择最优存储方案。结构化数据使用GBase8s高并发事务数据库和GBase8a分布式分析数据库;半结构化和非结构化数据则依托基于Hadoop的GBaseHD平台,提供HDFS、Hive、HBase等存储与管理引擎;同时引入Neo4j图数据库处理关联关系复杂的业务数据。在计算层面,平台融合了批量处理、流计算和图计算多种模式,支持GBase8s/8a原生计算、MR/Spark/Flink等计算引擎,满足了油气田业务中OLAP、OLTP和NoSQL三种计算模型的多样化场景需求。
· 数据治理与质量管理:中石油制定了《公共数据编码管理规范》(Q/SY 10725-2023)等企业标准,提出了基于固定码的数据编码方法,建立了数据编码模型和规则,实现了物理实体对象与描述数据的精准关联。这一体系覆盖了数据全生命周期管理,包括数据需求、标准、编码、质量和应用评价等环节,通过数据血缘追踪、质量评估模型和数据溯源机制,确保了数据的准确性、一致性和可信度。在数据安全方面,平台采用国产数据库替代国外及开源产品,支持数据加密、备份恢复、一致性校验和操作审计,大幅提升了能源数据的安全防护能力。
· 数据服务与可视化分析:平台通过统一服务接口对外提供数据能力,包括结构化数据API、实时数据API、音视频API、GIS数据API、文档图片API等多样化服务方式。在梦想云平台中,数据服务层支持“一键式”秒级图件生成,将勘探研究项目的数据准备时间从原来的5小时缩短至1分钟以内。同时,平台提供大数据分析能力和可视化展示功能,支持数据检索、互动分析、关联分析等数据挖掘应用,为业务决策提供了直观的数据支撑。

项目实现

核心框架

· Spring Boot 2.7+ - 微服务快速开发框架
· Spring Cloud 2021+ - 微服务治理套件
· Spring Cloud Alibaba - 微服务增强组件

微服务组件

· Nacos - 服务注册发现与配置管理
· Spring Cloud Gateway - API网关路由
· OpenFeign - 服务间声明式HTTP调用
· Spring Cloud LoadBalancer - 客户端负载均衡

数据持久层

· MyBatis Plus - ORM框架及增强工具
· Spring Data JPA - 数据访问抽象层
· Druid - 数据库连接池

数据处理引擎

· Apache Spark - 大数据分布式计算
· Apache Flink - 流数据处理引擎
· Elasticsearch - 搜索引擎与数据分析

消息与缓存

· Apache Kafka - 消息队列与数据管道
· Redis - 缓存与会话存储
· RocketMQ - 分布式消息队列

安全框架

· Spring Security - 认证授权框架
· JWT - 无状态令牌认证

监控运维

· Spring Boot Admin - 应用监控管理
· SkyWalking - 分布式链路追踪
· Prometheus + Grafana - 指标监控可视化

JavaScript 前端技术栈

核心框架

· Vue 3.x - 渐进式JavaScript框架
· Vue Router - 单页面应用路由管理
· Pinia - 状态管理库

UI组件库

· Element Plus - 基于Vue 3的组件库
· ECharts - 数据可视化图表库
· Ant Design Vue - 企业级UI设计语言

开发工具链

· Vite - 前端构建工具
· TypeScript - JavaScript类型超集
· ES6+ - 现代JavaScript语法

网络通信

· Axios - HTTP请求库
· WebSocket - 实时数据通信

可视化技术

· D3.js - 数据驱动文档可视化
· Three.js - 3D数据可视化
· Mapbox GL JS - 地理空间数据可视化

示例图片视频


小鱼干
30天前活跃
方向: 后端-Java、前端-Web前端、
交付率:100.00%
相似推荐
智慧校园项目
(一)校园基础信息管理体系​ 作为智慧校园的 “数据底座”,实现全主体信息的标准化、动态化管理:​ 覆盖学部、年级、班级的层级化组织架构维护,支持新增、合并、调整等灵活操作,适配学校办学规模变化;​ 整合教师、学生、家长核心信息,建立统一电子档案库(含基本信息、联系方式、身份资质、亲属关联等),支持信息快速查询、批量导入导出、实时更新,确保数据准确同步,替代传统纸质档案与分散表格管理。 (二)招生报名系统​ 简化招生流程,实现 “线上化、透明化、高效化” 报名管理:​ 支持学校自定义招生计划、报名条件、报名时段,面向家长开放线上报名入口(WEB 端 / 移动端);​ 家长可在线填写报名信息、上传佐证材料(户口本、房产证、体检报告等),系统自动校验信息完整性与合规性;​ 学校端支持报名数据审核、筛选、统计,生成录取名单并线上公示,同步推送通知给家长,减少线下跑腿与人工核对成本,提升招生效率与透明度。 (三)教学与学生发展辅助系统​ 聚焦教学活动与学生全面发展,提供个性化、多元化管理工具:​ 综合素质评价系统:围绕品德修养、学业成绩、兴趣特长、社会实践等维度,建立学生综合素质评价体系,支持教师录入评价记录、学生上传成果材料、家长查看评价结果,形成多维度成长档案,为升学、评优提供数据支撑;​ 社团选课系统:学校发布各类社团(科技、艺术、体育等)与选修课程信息,学生在线自主选课、报名参与,系统自动统计选课人数、分配课程资源,支持选课结果查询与调整,满足学生个性化发展需求;​ 学生日常评价系统:教师可实时记录学生课堂表现、作业完成情况、行为规范等日常表现,支持文字、星级、标签等多形式评价,评价结果同步给学生与家长,实现 “家校共育” 的即时化反馈。 (四)后勤与考勤管理系统​ 优化校园后勤服务,强化日常行为规范管理:​ 智慧宿管系统:针对寄宿制学校,实现宿舍分配、入住登记、请假外出、晚归 / 不归统计、宿舍安全检查等功能,支持宿管人员线上登记、管理人员实时监控,保障学生住宿安全与秩序;​ 师生考勤系统:支持多场景考勤方式(人脸识别、刷卡、定位打卡等),覆盖教师上下班、学生上下学、课堂考勤等场景,自动统计考勤数据(迟到、早退、缺勤),生成考勤报表,支持异常情况预警与家长通知,简化考勤管理流程。 (五)学生健康管理系统​ 聚焦学生身心健康,建立常态化数据采集与跟踪体系:​ 视力数据采集:支持学校录入学生定期视力检测数据,系统自动记录视力变化趋势,生成视力健康报表,针对视力下降学生推送预警,助力学校与家长及时干预;​ 体测数据采集:涵盖身高、体重、肺活量、跑步、跳远等国家标准体测项目,支持手动录入或仪器对接自动采集数据,系统自动计算体测达标情况,形成学生体测档案与年级 / 班级体测统计分析,为学校体育教学与健康干预提供依据。
医疗器械-医疗器械
1. 立项与背景 随着医疗器械行业监管趋严、技术迭代加速,行业对高质量、结构化、可追溯的技术资料需求日益增长。为满足企业、研究机构及监管部门对国内外医疗器械相关文档(如产品说明书、注册资料、技术白皮书、临床报告等)的高效检索、安全访问与合规管理需求,本项目启动建设“医疗器械文库平台”。 平台V1版本已初步完成基础文档存储与展示功能,但在海量数据处理、搜索精准度、系统扩展性及安全防护方面存在明显瓶颈。因此启动V2版本重构,目标是打造一个高性能、高可用、可服务化的专业文库系统,支撑千万级文档规模下的快速检索、权限控制与内容安全。 2. 软件功能与核心模块介绍 整体功能概览: 智能搜索:基于 Elasticsearch 的全文检索,支持关键词、器械分类、注册证号、厂商等多维度组合查询 权限体系:基于角色与文档密级的细粒度访问控制 核心模块详解: 智能搜索优化模块 重构 Elasticsearch 索引策略,引入同义词库、分词优化(针对医疗器械专业术语) 支持模糊匹配、拼音首字母检索、语义相关性排序 查询响应时间从 V1 的 1.2s 优化至 200ms 以内(千万级数据) 实现基于 Redis 的请求频率限制(IP + 用户维度) 3. 主要业务流程 用户输入关键词 → 前端调用搜索接口 → 后端路由至搜索服务 → 查询 Elasticsearch 并融合权限过滤 → 返回结果列表 → 用户点击某文档 → 验证访问权限 → 渲染带水印的在线预览页并提供受控下载
某地方市监局食品药品监管平台
(一)企业全生命周期管理​ 系统构建标准化企业管理体系,实现监管对象 “底数清、状态明”:​ 企业档案电子化:整合企业基本信息、资质证照、人员配置、经营范围等核心数据,建立电子档案库,支持信息快速查询、更新与追溯,替代传统纸质档案管理,提升数据管理效率。​ 多维信息关联:关联企业视频监控点位、历史巡检记录、整改情况等数据,形成企业监管全景视图,为监管决策提供数据支撑。​ 动态状态管理:实时更新企业经营状态(正常、停业、整改等),支持异常情况标记与跟踪,确保监管无死角 (二)自定义巡检计划与内容 系统打破传统 “一刀切” 巡检模式,实现 “一企一策” 精准监管:​ 巡检计划个性化配置:市监局可按企业业态、风险等级、监管重点,自定义巡检周期(日 / 周 / 月 / 季度)、巡检方式(线上视频巡检 / 线下实地检查)、责任人员,支持单次或周期性计划创建,满足日常监管与专项整治需求。​ 巡检内容模块化设计:提供标准化巡检模板(含药品采购验收、储存养护、销售管理、质量控制等核心模块),同时支持自定义添加检查项目(如特殊药品管理、视频监控覆盖情况等),适配不同业态企业监管重点。​ 任务精准派发:系统自动将巡检计划推送至对应监管人员与企业账号,明确任务要求、完成时限,支持多人协作巡检与任务跟踪 (三)便捷上报与闭环预警机制​ 多渠道上报入口:企业通过 WEB 端、小程序 即可完成巡检内容上报,支持文字、图片、视频等多形式佐证材料上传,内置拍照水印(含时间、地点)防作弊功能,确保上报数据真实有效。 系统核心价值​ 监管效能提升:通过电子化档案、自定义巡检、自动预警,减少人工排查成本,实现 “精准监管、事半功倍”,覆盖市、县、乡四级监管需求;​ 合规成本降低:企业通过统一平台接收巡检任务、上报材料,无需重复填报,流程简化高效,同时明确监管要求,降低合规风险;​ 安全保障强化:结合视频监控与巡检数据,实现药品流通全流程可追溯,提前发现潜在风险,筑牢药品安全防线;​ 决策数据支撑:系统自动统计巡检完成率、预警处置率、企业合规率等核心指标,生成可视化报表,为监管政策优化提供数据参考。​
广告管理平台
该系统主要是管理各流量的分配,根据流量及收益情况判断是否需要调量或增加广告位,给相应广告位进行放量,同时广告位出价后可以根据收益计算是否符合预期,根据三方文档进行放量,查看填充以及收益
骏语科技自助打印系统-后台管理系统
1、自助打印后端管理系统 2、运营数据导航 3、订单管理系统与会员管理系统 4、终端设备管理系统 5、设备故障管理系统:远程控制、故障预警 6、远程设备控制系统:设备重启、停启用等 7、设备区域管理系统 8、代理商、运营商管理系统 9、数据报表系统、分润系统等 10、多用户权限管路 11、大屏数据孪生系统等
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服