IBM部署NVIDIA HGX B300集群支持开源大模型推理

发布时间:2026-08-13 00:22  点击:1次
IBM部署NVIDIA HGX B300集群支持开源大模型推理

IBM宣布与美国人工智能公司Together AI签订为期多年的2.4亿美元合作协议,将基于IBM Cloud平台部署一套大规模NVIDIA HGX B300计算集群,预计于2027年第一季度正式上线。该集群专用于支持开源大模型的高性能推理服务,是IBM云首次大规模采用HGX B300系统与NVIDIA Spectrum-X以太网技术构建的专用推理基础设施。

根据NVIDIA官方数据,此次部署的HGX B300系统单节点算力密度较前代产品提升显著,结合Spectrum-X网络架构后,整体AI推理吞吐能力达到前代系统的30倍,可实现“AI工厂级”生产规模。Together AI表示,选择IBM与NVIDIA合作,主要基于双方在GPU算力供给节奏、技术演进路线和成本控制方面的协同优势,旨在快速推进其开源模型服务的商业化落地。

IBM云首席执行官艾伦·皮科克(Alan Peacock)指出,该基础设施具备企业级扩展性、经济性和可持续性,能够支撑Together AI面向全球企业客户持续拓展业务。此次合作不仅是技术层面的资源整合,更标志着主流云服务商与垂直型AI平台在底层算力架构上的深度绑定趋势。目前,该集群已进入系统集成与预部署阶段,后续将通过自动化调度系统对接多个开源模型服务接口。

从产业链角度看,该部署项目对国内相关设备制造商、系统集成商及海外采购方具有明确参考价值。HGX B300作为NVIDIA新一代数据中心级GPU系统,采用4×H100或8×B200拓扑结构,支持双路AMD EPYC或Intel Xeon处理器,具备高带宽内存(HBM3e)与低延迟互联特性,适用于千卡级集群部署。其核心优势在于推理场景下的能效比优化——相比传统训练集群,单位算力功耗降低约25%,适合长期稳定运行的AI服务负载。

对于中国行业用户而言,该项目提示了几个关键关注点:一是当前国内尚未有公开披露的同类规模HGX B300集群部署案例,表明该类高端基础设施仍集中于欧美头部AI企业;二是由于HGX B300依赖NVIDIA最新一代GPU芯片,其供应链受美国出口管制影响较大,若涉及进口采购需提前评估合规风险;三是系统对网络要求极高,必须配备支持NVIDIA Spectrum-X的万兆及以上高速交换机,且需确保机房供电、散热与管理平台兼容性,建议在选型阶段即开展全链路压力测试。

该集群的应用场景聚焦于开源大模型的实时推理服务,如Llama、Mistral、Phi等系列模型的API调用、私有化部署支持及多租户分发。这意味着未来中国企业若计划自建类似设施,需重点关注软件栈适配问题——包括容器化部署框架(如Kubernetes)、推理引擎(如TensorRT-LLM、vLLM)、模型缓存机制与负载均衡策略。维护成本方面,HGX B300集群的平均故障率低于0.5%(按年计),但单块GPU更换成本高达数万美元,建议配套建立专业运维团队并制定备件库存策略。

从市场背景看,法国虽非本项目直接实施地,但作为欧洲重要的数字基础设施枢纽,其云服务生态正加速向高性能AI算力倾斜。欧盟推动“数字主权”战略,鼓励本土企业减少对美系云厂商的依赖,但短期内仍难以替代NVIDIA GPU在高端AI领域的主导地位。此类跨国合作模式或将催生更多“本地化部署+国际算力接入”的混合架构,为中国出海企业提供技术路径参考。

东莞集思网络公司

联系人:
曹洋(先生)
手机:
13760111111
地址:
上海曹杨路
我们发布的其他软件新闻更多
13760111111 请卖家联系我