物联网实时大数据清洗BI报表-实时报表
2026-06-12 17:27:11
行业：物联网、大数据
载体：H5、网站
技术：Java、Apache HttpClient、MyBatis、Spring Boot
业务和功能介绍
一、项目背景
工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。
二、项目目标
1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长；
2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确；
3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。
三、项目概述
该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。
项目职责：
1. 独立负责工业物联网数据治理项目从0到1设计与落地，参与整体架构方案讨论，最终确定并实现Flink +Doris 实时数仓架构；
2. 全程负责从Kafka消费设备实时数据，完成数据清洗、去重、异常过滤、乱序处理、状态计算、指标聚合等全流程开发；
3. 设计并实现设备运行状态（正常/告警/故障/停机）规则引擎，自动统计各状态持续时长并结构化落表；
4. 开发生产加工计数精准清洗逻辑，处理重复上报、人工重置等复杂业务场景，确保计数准确；
5. 构建标准聚合层数据模型，对外提供数据接口，支撑下游MES系统、生产可视化大屏实时展示与报表统计；
6. 负责需求变更、接口迭代及历史数据重刷、补算等运维工作，保障数据一致性。
7、使用AI工具(WorkBuddy后者TRAE CN)辅助提高开发效率
技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python
工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。
二、项目目标
1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长；
2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确；
3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。
三、项目概述
该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。
项目职责：
1. 独立负责工业物联网数据治理项目从0到1设计与落地，参与整体架构方案讨论，最终确定并实现Flink +Doris 实时数仓架构；
2. 全程负责从Kafka消费设备实时数据，完成数据清洗、去重、异常过滤、乱序处理、状态计算、指标聚合等全流程开发；
3. 设计并实现设备运行状态（正常/告警/故障/停机）规则引擎，自动统计各状态持续时长并结构化落表；
4. 开发生产加工计数精准清洗逻辑，处理重复上报、人工重置等复杂业务场景，确保计数准确；
5. 构建标准聚合层数据模型，对外提供数据接口，支撑下游MES系统、生产可视化大屏实时展示与报表统计；
6. 负责需求变更、接口迭代及历史数据重刷、补算等运维工作，保障数据一致性。
7、使用AI工具(WorkBuddy后者TRAE CN)辅助提高开发效率
技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python
项目实现
1、整体架构和设计思路。
整体架构是工厂设备端通过PLC+Modbus采集设备的各种状态数据推送到边缘网关，边缘网关这边汇聚后再通过mqtt方式发送到服务端EMQX转为kafka消息。
使用大数据组件Flink消费Kafka中的数据，根据业务逻辑清洗后写入Doris，报表平台通过jdbc直连Doris进行查询或者通过RESTful接口查询聚合后的数据给到大屏进行实时展示。
2、负责模块和结果
我负责的是从Kafka+Flink+Doris+SpringBoot+报表平台的展示
3、遇到的难点、坑，和解决方案。
遇到的难点：
1)kafka端如何做到消息不丢不重,生产端通过设置acks=all,失败重试,幂等配置，broker端通过设置3个节点，每个topic中的partition设置3个副本，isr>=2，消费端设置手动提交offset+消息幂等判断等
2)flink端部分算子的数据倾斜严重，通过对key添加后缀_hash(key)%10后将打散到后面10个算子中分别进行业务计算后再去掉后缀合并计算。
flink状态数据未及时释放导致oom，通过设置ttl、配置使用增量检查点、缩短窗口范围等措施尽快释放状态内存。
整体架构是工厂设备端通过PLC+Modbus采集设备的各种状态数据推送到边缘网关，边缘网关这边汇聚后再通过mqtt方式发送到服务端EMQX转为kafka消息。
使用大数据组件Flink消费Kafka中的数据，根据业务逻辑清洗后写入Doris，报表平台通过jdbc直连Doris进行查询或者通过RESTful接口查询聚合后的数据给到大屏进行实时展示。
2、负责模块和结果
我负责的是从Kafka+Flink+Doris+SpringBoot+报表平台的展示
3、遇到的难点、坑，和解决方案。
遇到的难点：
1)kafka端如何做到消息不丢不重,生产端通过设置acks=all,失败重试,幂等配置，broker端通过设置3个节点，每个topic中的partition设置3个副本，isr>=2，消费端设置手动提交offset+消息幂等判断等
2)flink端部分算子的数据倾斜严重，通过对key添加后缀_hash(key)%10后将打散到后面10个算子中分别进行业务计算后再去掉后缀合并计算。
flink状态数据未及时释放导致oom，通过设置ttl、配置使用增量检查点、缩短窗口范围等措施尽快释放状态内存。
示例图片视频
相似推荐
ERC20 Token & CEX自动充值监控系统
1. 合约层：实现带黑白名单、增发销毁权限管控的安全ERC20，规避恶意增发/盗转风险；
2. 链下：实时订阅链上Transfer事件，自动区分用户充值交易，过滤内部转账/合约互转；
3. 落地能力：区块断点续监听、区块回滚容错处理，生产级充值对账逻辑；
4. 配套Gin Restful接口：地址余额查询、充值流水查询、后台人工审核充值接口；
5. 数据持久化PostgreSQL，全量充值数据结构化存储，支持报表统计。
交易所-bamboo
1. 提供交易场所：搭建买卖双方交易的平台（如撮合系统）。
2. 制定交易规则：明确价格机制、交易时间、涨跌幅等标准。
3. 管理交易过程：监控市场异常、确保结算交割顺利完成。
4. 发布市场信息：提供实时行情和历史数据，保障信息透明
Meme Token 套利工具-gmgnShot
1、立项原因
链上多钱包批量买卖、资金分发与归集多靠人工脚本，效率低、易出错、难统一风控。本项目打造轻量 EVM 交易引擎，集中管理钱包、并发广播与一键发币，降低运营与发币成本。
2、行业场景
面向 EVM 生态 Meme/新币交易与项目方发币场景，覆盖 ETH、BSC、Base 等链上 DEX 批量建仓、极速卖出及 Flap 一键发币，服务链上做市与多地址协同运营需求。
3、功能模块
项目由 Web 控制台与 Node 交易引擎组成，主要模块包括：钱包管理（助记词派生、分组、Nonce 初始化）；资金分发（均分/随机）与内部互转（多对多、整组互转）；批量交易（分批买入、一键卖出）；一键发币（Flap Portal、元数据上传）；资金归集；任务队列；分组与 Token 白名单；账号认证；链与 RPC 设置。引擎底层含 Nonce 锁、RPC 池、交易构造与并发广播等能力。
4、主要功能描绘
系统面向 EVM 多钱包链上运营：可批量生成并分组管理数十至数百个地址，由主钱包向子钱包均分或随机分发资金，再按批次在 DEX 对指定代币批量买入，并支持一键极速卖出；可通过 Flap 创建 Meme 币、上传元数据并登记白名单；操作结束后可将子钱包余额自动归集。任务队列统一调度批量流程，多 RPC 权重切换与并发广播提升成功率与速度，私钥仅内存驻留、不长期落盘，兼顾效率与安全。
预测市场聚合器-Maxshot
1. 立项原因 / 解决的问题
预测市场分散在 Polymarket、Predict.fun、Opinion 等平台，用户需分别开户、比价与下单，行情与资金割裂。本项目聚合多平台事件与报价，经智能路由选最优成交路径，统一完成浏览、交易与持仓管理。
2. 行业场景 / 业务背景
事件类预测市场快速扩张，多平台并存带来价差与流动性差异，跨平台比价与执行成为刚需；聚合型交易入口可降低切换成本，服务套利与日常交易用户。
3. 功能模块
Markets 市场（首页）
事件列表与检索：按分类、平台、排序筛选，支持网格/列表、无限滚动与浏览位置恢复；含关注列表（Watchlist）。
事件详情
单事件页展示标题、走势、多平台价格对比表，以及完整交易面板（TradingPanel）。
交易与智能路由
对接后端 best-route，比较 Polymarket、Predict.fun、Opinion 等报价与深度；支持详情页买卖、快捷下单弹窗，含滑点、手续费与下单前资金/授权校验。
Portfolio 资产
跨平台持仓展示，平仓/卖出、已结束仓位赎回，订单与历史；各平台资产视图。
Wallet 钱包
Privy 连接钱包，各平台开通向导（API 凭证、Proxy、授权等），滑点与快捷金额设置；Polymarket 充提、pUSD 相关流程及 USDC.e 恢复页。
平台接入与跨链
全局开通状态与弹窗（PlatformSetupModals）；LiFi 跨链入金、Polymarket Bridge 等资金通道。
公共能力
事件/平台/关注/路由/交易等 HTTP API；详情页与 Watchlist 可走 SSE 实时价，主列表以定时轮询更新为主。
4. 主要功能描绘
用户无需在多个预测市场站点之间切换，即可在同一产品内发现事件、对比各平台价格，并通过智能路由选择更优路径完成买入或卖出。列表侧可快速筛选、搜索、收藏；进入详情后可看图表与分平台/分选项比价，再决定在哪一家下单。
交易链路强调「先路由、再下单」：按金额与滑度拉取各平台报价，通过后再发起链上或 Relayer 签名执行。Portfolio 把各平台持仓与资金集中展示，支持平仓、赎回与跨链/桥接入金，降低资产分散管理的成本。Wallet 负责「能不能在该平台交易」——完成 Polymarket、Predict.fun、Op
虚拟藏品交易所
有着具扎实测试背景，熟悉研发流程与质量体系。擅长整体项目规划、资源协调、进度把控与团队协同，能够从需求、进度、质量多维度管理项目，具备较强的风险预判与问题解决能力，可独立负责项目从启动到上线全流程。
该平台是购买虚拟藏品再进行拍卖。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服