大数据 框架或代码包 软件定制 案例

智慧城市的大数据交通平台，功能包括摄像头，广播，LED显示器，红绿灯，路灯，环境检测器的系统功能。可以经过摄像头的算法进行红绿灯的控制，已经设备的出入库，报表统计。还需要用APP端给工作人员进行设备的维修报警，还需要调用ai算法进行设备的检测

1.省交通运输应急指挥中心平台工程旨在解决现有系统运行监测和应急指挥管理未实现一体化的问题，通过深化调研沟通，明确系统对接方式、主要对接内容及建设运维职责，确保工程顺利实施并发挥实效。项目基于"云上贵州"平台构建，充分利用其提供的各类中台服务，避免重复建设，节约投资。 2.系统已实现应急值守接报、应急资源管理、应急辅助决策、应急指挥调度、应急信息服务、应急评估、应急统计分析、数据维护等功能。核心功能模块包括运行监测与预警、应急资源管理、应急指挥调度、应急决策支持、应急信息管理等。通过数据采集方案和数据交换共享方案，系统整合了服务区卡口、重点运输车辆动态等关键数据，实现了对交通运输运行的全面监测。 3.业务流程采用"监测-预警-响应-处置-评估"的闭环模式：实时获取交通运行数据进行监测分析并预警；发生突发事件时，系统自动启动应急响应机制，进行资源调度和指挥决策；处置完成后，系统进行效果评估和总结，为后续应急工作提供经验。

一、立项背景和目标​ 随着云计算技术的飞速发展，企业对云资源的需求日益增长。传统云资源计费方式存在计量不精准、计费规则固化、高并发场景下响应迟缓等问题，难以满足用户多样化的计费需求，也给云服务提供商的运营管理带来不便。基于此，云资源计费系统立项开发，核心目标如下：一是实现云资源使用数据的实时精准计量，确保计费数据的准确性；二是支持灵活的计费规则配置，满足不同用户的定制化需求；三是保障系统在高并发场景下的稳定运行与弹性扩展，提升用户体验；四是通过高效的数据管理，降低系统运维成本，提高运营效率。技术栈选用 Java、Spring Boot、k8s、MySQL、Redis，为目标实现提供支撑。​ 二、软件功能及核心功能模块介绍​ 系统核心功能模块围绕 “计量 - 计费 - 管理 - 支撑” 构建，各模块依托技术栈实现高效运作：​ 资源计量模块：基于 Java 多线程技术与 Spring Boot 框架开发，实时采集云资源（CPU 使用率、存储 IO、网络带宽等）的使用数据，按秒级频率获取数据并进行初步清洗，确保数据时效性与准确性。采集到的实时数据先暂存于 Redis，避免直接访问 MySQL 造成数据库压力。​ 计费规则管理模块：支持按时长、流量计费、按需付费等多种规则配置。规则数据存储于 MySQL，借助 Spring Boot 的接口实现动态更新，无需重启系统即可生效，满足用户灵活调整计费方式的需求。​ 账单生成与管理模块：根据计量数据与匹配的计费规则，自动计算费用并生成日 / 月账单。账单数据持久化存储于 MySQL。模块还支持账单导出、异常账单排查等功能，方便用户与运营人员管理。​ 容器化部署与弹性支撑模块：基于 k8s 实现系统容器化部署，实时监控各模块负载（如 CPU 使用率、请求量）。当负载过高时，k8s 自动扩容 Pod 实例；负载降低时，自动缩容，实现资源高效利用，保障系统在高并发场景下的稳定运行。​ 三、业务流程及功能路径描述​ 数据采集路径：用户使用云资源→资源计量模块通过 Java 多线程采集资源使用数据→访问 MySQL获取数据。​ 计费计算路径：计费规则管理模块从 MySQL 读取用户配置的计费规则→按规则计算实时费用→计算结果同步至MySQL。​ 账单生成路径：每日固定时段（凌晨 2 点）→系统同步全量计量与费用数据至 MySQL→按计费规则自动生成日账单→更新用户账户余额信息。​ 用户查询路径：用户发起账单查询请求→从 MySQL 读取数据→获取数据后返回给用户。​ 弹性扩展路径：k8s 监控系统各模块负载→当 CPU 使用率超阈值或请求量激增→自动增加 Pod 实例数量→负载下降后，自动减少 Pod 实例→实现系统弹性伸缩，保障稳定运行。​

多源异构数据集成与处理：数据工厂能够对接和整合来自采气厂、电力调度、分析化验、净化厂等多种业务系统的数据，包括地震数据、测录井曲线、分析化验曲线、地质模型网格化数据、视频监控等实时与非实时数据。通过采用GBaseMTK元数据同步工具、GBaseRTSync实时同步工具、Kafka消息队列、Sqoop、Flume等数据传输工具，平台实现了跨域数据汇集，解决了原有系统存在的“数据孤岛”问题。针对原有自研数据同步产品DSB存在的实时能力不足问题，平台通过解析数据库日志的方式，实现了对Oracle、MySQL、PostgreSQL等多种数据库的实时增量数据获取，显著提升了数据融合能力。 · 统一数据存储与分布式计算：平台采用分层存储架构，根据数据特性和应用场景选择最优存储方案。结构化数据使用GBase8s高并发事务数据库和GBase8a分布式分析数据库；半结构化和非结构化数据则依托基于Hadoop的GBaseHD平台，提供HDFS、Hive、HBase等存储与管理引擎；同时引入Neo4j图数据库处理关联关系复杂的业务数据。在计算层面，平台融合了批量处理、流计算和图计算多种模式，支持GBase8s/8a原生计算、MR/Spark/Flink等计算引擎，满足了油气田业务中OLAP、OLTP和NoSQL三种计算模型的多样化场景需求。 · 数据治理与质量管理：中石油制定了《公共数据编码管理规范》(Q/SY 10725-2023)等企业标准，提出了基于固定码的数据编码方法，建立了数据编码模型和规则，实现了物理实体对象与描述数据的精准关联。这一体系覆盖了数据全生命周期管理，包括数据需求、标准、编码、质量和应用评价等环节，通过数据血缘追踪、质量评估模型和数据溯源机制，确保了数据的准确性、一致性和可信度。在数据安全方面，平台采用国产数据库替代国外及开源产品，支持数据加密、备份恢复、一致性校验和操作审计，大幅提升了能源数据的安全防护能力。 · 数据服务与可视化分析：平台通过统一服务接口对外提供数据能力，包括结构化数据API、实时数据API、音视频API、GIS数据API、文档图片API等多样化服务方式。在梦想云平台中，数据服务层支持“一键式”秒级图件生成，将勘探研究项目的数据准备时间从原来的5小时缩短至1分钟以内。同时，平台提供大数据分析能力和可视化展示功能，支持数据检索、互动分析、关联分析等数据挖掘应用，为业务决策提供了直观的数据支撑。

在新的大数据处理流水线中，整合了数据日志采集、队列数据同步数仓、实时/离线统计、用户画像、用户留存预测、用户真实性别预测、用户真实年龄预测、用户商品推荐等功能，并为以上功能统一了接口规范（包括数据同步、数据统计、模型的训练和预测），便于日后业务拓展需要。

1、分层存储策略 StarRocks：存储原始订单明细（支持UPDATE/DELETE），承接高频OLAP查询 ClickHouse：物化视图预聚合核心指标（分钟级刷新），支撑可视化大屏 2、多环境治理 整合各个环境的数据 3、品牌方数据安全 Trino RBAC：按品牌ID动态创建SQL视图 Kafka数据脱敏：Flink实时掩码手机号/身份证号

1、数据开发、中间层、模型架构等 2、通过可配置的方式实现数据采集、数据开发、数据整合、模型构建。 3、用户不必要了解具体底层数据处理用的工具、技能，无大数据基础的用户也能完成数据的各种操作。 4、通过流程化配置，新增各种数据处理算子，业务人员可以通过简单的配置完成较为复杂的数据处理。

该项目打造的平台深度融合大数据分析与智能算法，具备多维度的安全保障功能。在安全分析与监测层面，平台通过实时采集企业网络内海量数据，运用大数据分析技术，对流量、日志、用户行为等信息进行深度挖掘与建模，精准绘制企业安全态势全景图；针对威胁发现，平台依托机器学习算法，能够自动识别异常操作、可疑连接、潜在漏洞等威胁特征，从海量数据中揪出隐藏的安全风险；一旦发现威胁，平台会立即触发告警机制，以短信、邮件、系统弹窗等多种形式，第一时间向企业安全管理人员推送详细告警信息，包括威胁类型、发生时间、影响范围等，助力企业快速响应处置，最大限度降低安全事件带来的损失。

车站数据实时监控、画面实时采集、异常业务反馈流程，车辆运载率模拟测算；报表分析。 车站数据实时监控、画面实时采集、异常业务反馈流程，车辆运载率模拟测算；报表分析。 车站数据实时监控、画面实时采集、异常业务反馈流程，车辆运载率模拟测算；车辆运载数据报表分析。