谌祥

一、项目背景 工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。 二、项目目标 1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长； 2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确； 3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。 三、项目概述 该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。 项目职责： 1. 独立负责工业物联网数据治理项目从0到1设计与落地，参与整体架构方案讨论，最终确定并实现Flink +Doris 实时数仓架构； 2. 全程负责从Kafka消费设备实时数据，完成数据清洗、去重、异常过滤、乱序处理、状态计算、指标聚合等全流程开发； 3. 设计并实现设备运行状态（正常/告警/故障/停机）规则引擎，自动统计各状态持续时长并结构化落表； 4. 开发生产加工计数精准清洗逻辑，处理重复上报、人工重置等复杂业务场景，确保计数准确； 5. 构建标准聚合层数据模型，对外提供数据接口，支撑下游MES系统、生产可视化大屏实时展示与报表统计； 6. 负责需求变更、接口迭代及历史数据重刷、补算等运维工作，保障数据一致性。 7、使用AI工具(WorkBuddy后者TRAE CN)辅助提高开发效率 技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python

一、项目背景 面向市大数据局、公安、市监局等政务部门开展项目，各部门已完成数据治理工作，但数据加工需开发人员手写代码实现，存在需求响应慢、业务人员无法自主操作、数据处理效率低等痛点，亟需搭建低门槛数据处理平台。 二、项目目标 1. 采集政务数据元数据信息，实现库表、字段及业务含义统一管理 2. 搭建拖拽式可视化建模平台，通过算子实现数据自助加工，降低使用门槛 3. 新增定时任务调度功能，实现建模任务自动化执行 4. 对接BI报表模块，实现加工数据可视化展示 5. 提升数据处理与需求交付效率，支撑政务业务自助数据分析 三、项目概述 搭建政务低代码可视化数据建模平台，自动采集治理后数据的元数据信息，提供过滤、排重、聚合、拆分等拖拽式算子，实现业务人员自主数据加工。支持建模任务定时调度、结果数据异构系统同步与级联分析，同时打通BI报表模块，可自主生成柱状图、折线图、甘特图等图表，完成数据加工到可视化全流程自助化。