具备多品牌异构算力统一接入与工程化落地能力,拥有英伟达、AMD、昇腾、摩尔线程、沐曦、寒武纪、壁仞科技等国内外主流算力厂商硬件设施经验。针对大模型训练推理、机器视觉、边缘端智能、科学计算等不同业务场景,可结合客户业务需求、性能指标及信创合规要求,灵活选型算力底座,定制化设计异构集群部署方案、算力调度方案与模型适配迁移方案,输出差异化的完整算力解决方案,兼顾业务性能、成本控制与国产化替代需求,支撑各类 AI 及高性能计算业务稳定落地。
集群基于8 台 Atlas 800T A2 服务器,搭载 64 张昇腾 910B AI 加速卡搭建,面向 DeepSeek-V3.1 大模型完成本地化部署落地,是一套自主可控的国产信创 AI 算力基础设施。集群依托昇腾 910B 国产 AI 芯片强大的算力能力与 Atlas A2 硬件平台,构建高密度异构算力资源池,完成 DeepSeek-V3.1 大模型权重加载、推理调度、并发服务等全流程适配。整套软硬件栈均基于国产信创体系搭建,摆脱对海外 AI 算力底座依赖,可稳定支撑大模型多轮对话、知识问答、内容生成、智能分析等业务场景,支持高并发推理请求,兼顾推理性能、响应时延与数据安全。该集群实现通用大模型在国产昇腾算力上的工程化落地,验证了昇腾算力承载主流开源大模型的可行性,为政企、科研、行业场景下大模型私有化部署、信创 AI 应用建设提供可复用的实践方案,助力 AI 产业自主可控发展。
仅需十万级别的成本即可满血本地部署旗舰大语言模型,可根据不同的模型量化精度进行选配,该方案充分利用混合专家模型特性,通过将模型分别加载到 GPU 与 CPU,实现 GPU 和 CPU 的混合推理计算,能够以单张消费级显卡配合大内存低成本实现旗舰大语言模型的本地化部署。该成果体现了在模型结构理解、推理资源优化、消费级硬件利用和低成本部署方案方面的工程能力,有助于推动中小企业、教育机构和研发团队在本地环境中使用高性能大语言模型。