数据中台

2026-11-04 22:38:53
行业:云计算、大数据
载体:网站
技术:Java、Docker Compose、Elasticsearch、PL/pgSQL

业务和功能介绍

该产品是面向政府与企业的综合数据管理平台,支持数据归集、清洗、质量管理、可视化分析与资产管理。基于现有开源平台改造,服务于综合管理服务数据平台、浙江某大学数据中台、企业数据资产平台等多个落地项目。

项目实现

1. 二次开发DataX,支持Excel数据导入与ODPS调度,实现通用数据集成方案。
2. 接口引入gzip压缩,优化性能至 1s/113KB。
3. 实现字段级权限控制与敏感字段脱敏,支持数据授权流程,保障平台数据安全。
4. 基于 Kettle与XXL-JOB 完成3000+条质量规则导入与调度,结合物化视图提升查询效率。
5. 利用Gudu TGSqlParser实现SQL级数据血缘可视化,支持数据溯源与治理。
6. 结合 Redis 实现任务去重与分布式调度控制。
7. 基于Geth搭建区块链平台,部署Solidity合约,实现数据资产上链存证。
项目总结:在该大数据项目中,我从0开始接触并逐步深入学习了大数据领域的相关知识,并将相关的技术应用到实际生产项目中。熟练了Hadoop生态以及Odps的使用。熟悉了区块链平台搭建以及数据上链技术。了解了K8S搭建、流批一体、湖仓一体等技术栈。

示例图片视频


Huathy
15天前活跃
方向: 后端-Java、前端-Web前端、
交付率:100.00%
相似推荐
智慧书童-智慧书童小程序
1、智慧书童是一款伴读小程序,帮助孩子坚持打卡学习 2、主要分为学生,家长,教师三个角色, 学生:每天打卡积分,积分可换头像,可以提升等级,完成老师和家长布置的学校和家庭作业,记录错题 家长:可以布置各科作业和家庭任务,查看孩子成绩统计,错题统计 老师:布置学校任务和作业,布置考试,查看各个学生作业的完成情况
基于多模型大语言模型的 AI 对话助手-ChatPilot
ChatPilot 是一款面向移动端的多模型 AI 对话助手,用 Flutter 构建一套代码同时覆盖 Android、iOS 与 Web。项目目标是做一个离线可演示、上线可扩展的聊天工具:用户不绑定单一模型,可在 Mock 离线流与 DeepSeek、GPT-4o、Claude 3.5、Gemini 1.5 之间切换,并按 General、Translator、Writer、Engineer、Tutor 五种角色预设调整对话风格。核心模块包括会话管理、角色选择、多模型流式对话、语音听写、Markdown 消息渲染、API 密钥与语音设置,以及可选的 Supabase 云端同步。典型流程为:打开应用进入本地会话列表,选择角色与模型后输入文字或语音发送,助手逐段流式返回并可中途停止;会话默认保存在本机,登录邮箱账号后再与云端历史按时间合并同步。
习惯提醒与决策辅助工具-冲动红绿灯
1、立项背景和目标: 针对现代人容易产生冲动消费或难以坚持习惯的痛点,立项开发一款轻量级决策辅助工具。目标是提供极简的交互体验,帮助用户建立条件反射,在关键时刻提供预警。 2、软件功能、核心功能模块: 核心功能包括“冲动预警灯”(用户自定义冲动场景,触发时弹出提醒)、“习惯打卡记录”(追踪习惯养成进度)以及“趣味决策转盘”(辅助日常选择困难)。 3、业务流程、功能路径描述: 用户进入小程序后,首先在首页设置需要提醒的习惯或冲动场景;在触发场景时,点击首页的大红绿灯按钮,系统会弹出冷静提示语;日常可通过底部的导航栏查看历史打卡数据和决策结果。
个人博客网站开发-Personal Blog
本项目是一个基于 Astro 框架开发的个人博客网站,主要用于个人展示、技术文章发布和学习成果记录。项目旨在搭建一个简洁、易于维护、具有良好阅读体验的个人内容平台。 网站主要包含以下功能模块: 1. 首页展示:提供网站导航、个人介绍、最新文章展示等内容,方便访客快速了解网站。 2. 博客管理:通过 Markdown 文件维护文章内容,实现文章列表展示、文章详情访问和动态路由。 3. 响应式布局:针对电脑、平板和手机等不同屏幕尺寸进行页面适配,优化不同设备上的浏览体验。 4. 明暗主题:支持浅色与深色主题切换,统一管理页面颜色、背景及交互样式。 5. 代码高亮:使用 Shiki 实现文章代码块的语法高亮,并适配不同主题。 6. 公共组件:通过 Header、Footer、Layout 等组件组织页面结构,减少重复代码,提升维护效率。 项目主要面向个人博客和内容展示场景,可作为个人网站、技术博客等轻量级网站的开发实践案例。
简易网站
NEBULA 是一款自用的个人工作台,主要用来管理各类文档以及创作素材。它支持文档浏览查阅、素材归档保存,内置多种工具快捷入口,深色界面简约干净,方便我们日常记录整理二创文案与相关资料,有效提升内容整理与查阅的工作效率。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服