数据整合平台（HHDI）

2025-05-27 15:23:19

行业：大数据、企业服务

载体：网站、H5

技术：Java、JavaScript、Vue

业务背景

在经过多年的信息系统建设，各企事业单位收集了海量的数据，且数据还正以指数级增长，企业迫切需要高效、精确、科学的分析数据，以找出其背后的寓意，进而了解企业的经营状况和外部环境，做出科学的决断，在现代激烈的竞争中胜出。所以，如何将数据点石成金，更是摆在我们面前很现实也很诱人的一个问题。然而企业在对数据进行利用时，通常都会碰到各种问题，比如：
 各IT系统分别建立，形成一个个信息孤岛，数据难以共享。
 网状数据交互，重复采集数据，增加开发和维护的成本和复杂度。
 数据质量差，存在大量“脏”数据。
 数据理解差异、口径不同，导致统计报表不一致。
 数据未有效整合，难以进行综合分析。
 大量历史数据被遗失，对历史数据的分析难以进行。
 数据查询分析需要在多个系统中交叉进行。
 数据量增长迅速，数据查询日益复杂，加重业务系统的负荷。
 缺少高层次的数据应用模式，对数据价值的发掘不够
因此，从数据利用的长远考虑，对各企事业单位而言，构建一个统一的、集成的、标准化的企业级数据平台是势在必行的。

功能介绍

昊合数据整合平台（HAOHE DI）是一款轻量级数据整合类工具软件，具有开发容易、部署简单、运维轻松的特点，产品采用先抽取加载到目标数据库后再进行清洗转换的 ELT 方式，充分利用数据库服务器自身的性能优势，通过异构数据采集、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎，开发人员只需要掌握基本的 SQL 语言就可以准确、高效的实现企业内数据整合的开发工作，同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能，为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。

项目实现

主要功能是负责将原始数据采集、清洗、转换（ETL）后加载到企业级数据中心中，其具备实时数据采集和定时数据采集的功能，同时集成元数据管理、数据质量控制、任务调度等功能。
本人负责该项目的架构搭建、核心业务的开发设计及项目组日常管理工作。
技术栈：Spring MVC + Kettle + RESTful + Bootstrap

示例图片视频

Senger

30天前活跃

方向：后端-Java、前端-Web前端、

交付率：100.00%

查看主页

相似推荐

stm32f103c8t6+陀螺仪高压电弧点火装置-无人机伞降点火装置

升至高压击穿空气，产生电弧，装置点燃炸药，降落伞瞬间抛出，即可回收事故机来检查故障，又防止下落速度太快，人员无法躲避，安装在直升机螺旋桨的主轴中央，不随主轴一起旋转，主轴为中空定制。

无人机热电偶水温、缸温检测-K型热电偶温度检测

5V供电，PWM输出，两路K型热电偶温度采集，将两路数据合成一路，用于无人机测试水温及发动机缸温，温度60摄氏度左右起飞，起飞后温度能维持在80度左右，防止温度过高。无人机产品具有体积小，重量轻的特点，可靠运行，适合无人机搭载。

ubuntu系统驱动SPI接口的LCD屏

在ubuntu系统的板子上，编写SPI驱动，点量LCD屏，主要用到linux kernel内核，理解linux驱动与其他硬件驱动的差异。完成相应功能。屏尺寸是1.47inch,主要分为两部分，一个是要在板卡上能驱动SPI接口，一个是能用SPI接口正确驱动屏显示画面。

协议转换器

项目采用Keil mdk编译环境，语言为C, 项目功能为： 1，通过RS232或485接口与环保相关的采集器，传感器相连，如烟气压力传感器，烟气温度传感器等，有主动接收和被动接收，将接收到的数据进行解析，然后按照固定格式重新进行编码，用以实现不同的协议，统一的输出，每个协议都有不同的编号。

基于qt的2维翼型建模软件-2DAirfoil_Pic2Stp software

该程序调用了Opencascade开源库实现了从翼型拟合点到输出一个建模软件可读的.stp文件功能，调用了Qt6开源库绘制用户操作界面。实现了从文献中翼型曲线或闭合曲线转化为2维曲线模型的功能。通过计算文献翼型图片像素位置与翼型特征长度之间的换算比率，实现了1：1翼型模型的复现。实现了四种绘制模式以因对不同的绘制需求：模式一为应对缺少翼型前/后缘参数而开发，绘制两条封闭的Bspline曲线实现翼型的绘制。模式二为已知翼型前后缘半径时绘制特征前后缘圆弧而开发。模式四是模式一的补足，考虑到模式一绘制的翼型易发生畸变，使用翼型前后缘特征点，通过三点绘制圆弧的方式实现翼型前后缘的绘制，避免了模型畸变的可能。模式三为绘制三阶闭合贝塞尔曲线，为翼型冷却通道的优化而开发，可绘制冷却通道的不同优化形状。1、界面说明本软件界面划分为左侧的特征参数区域与右侧的图片操作区，界面如图 1所示。左侧包括了四种互异模式的选择按钮，其下方是对图片操作的特征线调整模式与添加特征曲线模式选择框。随后为特征长度输入框，为模式三服务的贝塞尔曲线控制点输入框，还有为模式二服务的前后缘半径输入栏。而在特征参数输入区域的下方是文件操作区域，Set the origin coordinates 按钮为在图片中设置一个参考原点方便坐标计算。Add a new curve 按钮为绘制一条新曲线的按钮。Add Bezier Points按钮为服务于模式三的功能，用于绘制贝塞尔曲线的控制点，其右侧的Export Bezier Points按钮为输出记录控制点的txt过程文件。Add Edge Points 为服务于模式四的功能，用于增加翼型前后缘圆弧控制点。其右侧的Export Edge points按钮为输出前后缘控制点的txt过程文件。最下方的Export STP File为输出.stp文件按钮，可以读取记录坐标的过程文件并根据模式输出对应的STEP文件。右侧图片操作区域可以实现导入图片、设置输出路径、对图片添加拟合点与控制点的功能。其下方的MessageBox可实时显示此时软件状态