Lava

2025-10-15 12:35:54
行业:企业内部管理
载体:框架或代码包、云服务/云平台
技术:Java、Spring Boot、MySQL、Apache Kafka

业务和功能介绍

基于Java/SpringBoot/Kettle/MySQL/Kafka, 支持多数据源数据接入,包括但但不限于database, csv file,http,socket和其它数据存储系统;支持类prometheus query语法对接入数据进行查询;支持海量数据处理与查询。项目背景:某城市智慧城市项目需求:接入某城市各部门异构系统所存放的数据进行统一管理,并提供类prometheus语法的查询语句以方便大屏展示和问题跟踪。

项目实现

1,框架采用SpringBoot + PostgreSQL + Kafka;
2, 提供数据采集定义功能;包括数据源定义,元数据管理,原始数据transformation定义
3,提供数据采集Job定义;包括数据源,job运行属性,job之间依赖定义;
4,提供类prometheus语法数据查询语句供外部系统查询;
5,提供REST API;
6, 部署采用Kubernets + Docker image部署到某城市私有云系统上
7,支持七年时间的数据存储;

示例图片视频


Kevin
30天前活跃
方向: 后端-Java、后端-C++、
交付率:100.00%
相似推荐
余初网络官网
1、立项背景和目标:针对个人与中小企业上云门槛高、服务器管理繁琐的痛点,搭建 jidcy 官网,目标是提供便捷的服务器在线选购与自助管理服务,降低运维成本,提升服务交付效率。 2、软件功能、核心功能模块的介绍:核心模块包括服务器套餐选购、订单支付、服务器启停 / 重装管理、性能监控及账单续费。 3、业务流程、功能路径描述:用户注册登录→选购服务器配置并支付→系统自动部署→进入控制台管理服务器、查看监控数据→在账单页完成续费,形成闭环。
Bilibili爬虫及部署工作
独立负责B站数据持续化采集模块的工业级开发与部署,为下游大模型提供高稳定性、高质量的多模态语料库。 基于 Python 与 Scrapy 构建高可用爬虫架构:设计动态重点监控机制,支持灵活配置目标 UP 主,实现对其视频元数据、弹幕及评论区互动文本的自动化、高频次定向追踪与全量抓取。 设计并实现完整的数据 Pipeline:在 Scrapy 管道层完成原始脏数据的去重、脱敏与初步清洗,并将结构化数据高效持久化存储至 MySQL 数据库,保障了数据读取与模型调用的高效衔接。 完成项目的容器化交付:运用 Docker 容器化技术对整个采集模块进行独立打包与自动化部署,屏蔽了环境差异,大幅提升了系统的可移植性与长期运行的稳定性。
Api解析计费系统
Z解析计费系统是一套面向视频解析服务的后台管理平台。系统的核心业务是为用户提供视频解析API接口,通过规则匹配引擎将用户的解析请求智能路由到合适的后端接口,并以套餐(时间制/积分制)的方式对API调用进行计费管理。 系统包含以下核心功能模块: 用户管理:支持用户注册(含邮箱验证码)、登录(图形验证码)、角色分配(管理员/代理/普通用户)、API密钥分发与重置,每个用户拥有独立的API Key用于调用解析接口 接口管理:管理后端解析接口的地址、请求方式、权重、超时时间,支持并发竞速模式(多接口同时请求取最快响应)和公共接口开关 规则管理:配置接口匹配规则,支持域名匹配和标识匹配两种方式,规则分为用户类型和资源库类型,后端采用 Aho-Corasick 多模式匹配算法实现高效路由 套餐管理:支持时间制套餐(按天/月/年,含每日调用限额)和积分制套餐(按次扣费),灵活的计费策略 资源管理:维护资源链接映射关系(原链接→新链接),支持多原链接映射到同一新链接,用于链接替换和资源重定向 系统配置:涵盖网站信息、接口参数(并发开关、解析缓存)、数据库连接池、Redis缓存、SMTP邮箱、注册策略等全方位配置 用户端API文档:为普通用户提供API信息查看、请求示例获取、密钥重置等自助功能
tob华为云计算运维管理平台-青鸾系统
1.软件交付平台运维工作管理需要 2.包含 变更评审:需要对200运维人员每日的变更进行十来个过滤条件搜索评审,涉及变更单的状态更新,每日日报的自动统计。导入导出 数据统计:对每个小组人员运维数据统计排列可视化展示 人员管理:人员的迁入迁出 项目管理:项目的创建,工布模板,实例更新,生命周期管理等
TKE-SRE容器运营一站式平台
该系统聚焦于容器化资源的全生命周期管理和集群高可用性保障,主要服务于云服务提供商或企业内部IT团队,用于高效运营大规模Kubernetes集群,确保业务稳定、资源优化及快速响应运维需求。核心业务场景包括: 集群资源调度与优化:通过腾挪计划实现Pod/节点的迁移,平衡资源负载或执行集群维护。 高可用性保障:监控控制面、ETCD等核心组件状态,预防和处理故障。 自动化运维:提供批量运维工具和标准化流程,降低人工操作风险。 多租户协作:支持不同角色(如管理员、运维人员)的权限管理,通过企业微信通知实现跨团队协作。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服