GPU虚拟化

2025-08-30 23:39:02
行业:云计算
载体:框架或代码包
技术:C、C++

业务和功能介绍

为更大效率利用公司GPU资源、节省成本,通过对NVIDIA的驱动库、运行库和函数库进行劫持,将公司k8s集群中GPU卡的算力和显存资源进行统计和管理,使单卡资源利用率提高13%;并引入远程共享池化的概念,使没有GPU卡的机器能通过网络使用GPU池中的资源。
为更大效率利用公司GPU资源、节省成本,通过对NVIDIA的驱动库、运行库和函数库进行劫持,将公司k8s集群中GPU卡的算力和显存资源进行统计和管理,使单卡资源利用率提高13%;并引入远程共享池化的概念,使没有GPU卡的机器能通过网络使用GPU池中的资源。

项目实现

1)确定资源值统计方案:在抓取资源值的间隔中,多进程间通过IPC计数、进程内多线程间通过原子变量计数来保证正确性,并让不同资源种类和不同卡单独使用一套IPC管理,提高并发度;最终按此方案实现后顺利上线,并通过公司名义发表专利一篇。
2)使用RAII机制解决了资源频繁申请和释放引发的漏释放问题,并对IPC回收增加巡检机制,确保进程异常崩溃后机器的IPC仍能正常回收,保证系统稳定运行。
3)为减少劫持逻辑耗时,设计异步日志系统并通过recover机制保证日志完整性,利用线程变量缓存优化系统时间的获取,最终减少耗时50%+。
4)通过阅读brpc源码和demo测试验证,确定采用brpc通信;规定了通信的应用层协议和数据排列形式;将通信模块和逻辑模块解耦,完成服务端/客户端的劫持入口逻辑开发,并通过脚本生成各个劫持函数的雏形,提升开发效率。
5)按模块完成功能设计与开发,包括:i、守护进程模块,包含配置文件处理、端口号维护、请求监听和fork创建server等工作,采用无锁队列替代加锁操作优化端口号维护;ii、客户端模块,包括上下文、网络连接器的维护等,使用double check方式保证网络连接器的唯一性;iii、服务端和客户端在显存的分配、拷贝和回收等劫持逻辑映射,并适配pinned memory、有参launch kernel等特殊功能。最终顺利完成项目交付。

示例图片视频


六边形战士
30天前活跃
方向: 后端-Go、后端-C++、
交付率:100.00%
相似推荐
需求自动化分析提取工具-平台
需求自动化分析提取工具 1需求自动化分析提取工具 2需求自动化分析提取工具 3需求自动化分析提取工具 4需求自动化分析提取工具 5需求自动化分析提取工具 6需求自动化分析提取工具 7需求自动化分析提取工具 8需求自动化分析提取工具
企业管理系统
一套企业内部管理系统,包含功能模块如下 1)用户、权限、角色、部门、职务、通讯录管理 2)数据字典、分类字典、系统配置管理 3)企业微信群、群消息、企业微信外部人员管理 4)在线表单、积木报表管理 5)问卷管理 6)审批流管理,支持按人员、部门、角色、职务等设置审批流程
某半导体企业物流控制塔系统-IDP
随着该企业业务发展,需要对国内保税区仓库进行统一管理,实现收发货及库存管理标准化、精益化,需对接仓库 WMS 进行数据抽取汇总,通过控制塔进行数据展示。并在过程中实现该企业数字化转型,通过系统进行供应链流程可视化监控。
政务/3D模型生成/Github开发者能力评估
3D-Generator后端仓库代码是一个集成了多种AI能力的综合应用平台,专注于构建一个根据文本或图片生成3D模型的服务系统。该平台包含Spring Boot后端应用和3D模型生成服务两个主要部分,支持通过文本描述或图片生成单个3D素材元素(如动物、物体等,非场景级别)。 用户定位与痛点分析 本项目主要面向以下几类用户: 设计人员:需要快速获取3D素材用于原型设计、概念验证的设计师 游戏开发者:需要批量生成游戏中的小型3D资产的开发团队 教育工作者:需要3D模型作为教学辅助工具的教师 普通爱好者:对3D建模感兴趣但缺乏专业技能的个人用户 这些用户面临的主要痛点包括:专业3D建模软件学习成本高、建模过程耗时、难以快速将创意转化为3D模型、专业建模人员成本高。通过本平台,用户可以通过简单的文本描述或上传图片,快速生成所需的3D模型,大大降低了3D建模的门槛和成本。 核心功能 Spring Boot后端核心功能 用户认证与授权(基于JWT) 数据管理与持久化 阿里云OSS文件存储集成 阿里云视觉智能API集成 RESTful API接口提供 统一异常处理 3D模型生成服务核心功能 通过文本描述生成3D模型 通过图片URL或base64编码生成3D模型 支持图片文件上传生成3D模型 提供任务状态查询接口 完整的API文档(Swagger UI) 3D模型效果评估功能 3D模型效果评估系统 为确保生成的3D模型质量,我们设计了一套完整的效果评估系统,通过以下关键指标验证3D模型生成效果: 准确率:模型是否准确反映了输入描述或图片的核心特征 完整性:生成的3D模型是否完整,有无缺失重要部分 细节丰富度:模型表面细节、纹理等是否丰富自然 几何合理性:模型的比例、结构是否符合物理规律 生成效率:从请求到完成生成的时间消耗 评估系统设计包括: 自动评估模块:通过算法对生成模型的各项指标进行量化评估 人工复核机制:对自动评估结果进行抽样人工复核,校准评估算法 反馈优化循环:将评估结果反馈到模型生成参数调整中,持续优化生成效果 评估报告生成:为每个生成的模型提供详细的评估报告 评估系统通three_d_effect_evaluation 模块实现,包含模型评估器、模型处理服务和评估API等组件。
企业邮箱-RichMail
该项目是一款拥有灵活权限、可配置化的 web 端企业邮箱,面向用户主要分为邮箱、网盘、通讯录、日历四大模块,面向管理者主要是管理平台以及安全平台,该项目已经在人寿,中国银行等机构内部使用。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服