GCP GPU Infrastructure Docs

Blackwell GB200 / GB300 / A4X Deployment & Image Build Guides

Deployment Guides

GKE + TPU v7x(Ironwood)运维方案:验收压测、监控告警、报修与故障处置

面向 GKE 上 TPU v7x 集群的完整运维方案,关键环节在 2x2x2 多主机 slice 上实机验证,未实测项单独标注。按客户真实需求(R-01–R-15)组织:CHS / TPUMS 交付验收与返修准入(含实测耗时与门限)、libtpu SDC 检测(XSC、ICI SDC test 的真实开销)、起飞前检查脚本、带内 15 s 遥测与 Cloud Monitoring 指标/告警目录(含回放验证的 PromQL)、日志落点与过滤、维护事件与 ML Diagnostics、慢节点三级定位与故障处置 runbook。附 30 个可复现 demo(命令、YAML、裁剪输出、耗时、判定标准)。

Guide Updated: 2026-11-04

GB200/GB300 故障报障采集指引(客户侧)

一次故障报障需要采集哪些信息,目标是让后台在不上机、不复现的前提下定位问题。涵盖三部分:业务日志(应用层 flight recorder + 逐-rank NCCL/stdout + 生效 env + rank→host 映射 + 逐-rank 计时,不用 nsys)、宿主机诊断包(nvidia-bug-report + sosreport 的正确跑法与时间范围限定)、以及诊断包采不到的补充项(附带只读补采脚本:RoCE 错误计数增量 + Lustre 服务端主动连通性)。含疑似节点隔离后的受控 NCCL 复测,以及采集范围分档与完整报障清单。

Guide Updated: 2026-09-16

GB200/GB300 镜像版本改动全记录(v2 → v24)

逐版本梳理镜像主要改了什么(installroot 早期 → v5.x 生产线 → GB 统一线 v9-v19 → 机型分家 v19dot1/v20-v24),并重点标注 GPU / RDMA 相关驱动的变更:NVIDIA 驱动版本演进与锁定、IMEX/FM/gdrcopy/persistenced、RDMA 数据面从 inbox mlx5 到 DOCA-OFED 开启 Data Direct 的唯一重大变化(含 OFED 25.10→25.07→25.10.3.1.8.1 版本反复),以及 GVE/IDPF 前端网卡驱动。每条结论带出处。

Changelog Updated: 2026-09-11

GB300 / GB200 运维速查手册(精简版)

客户日常运维速查:GB300 消毒、最新镜像与初始化脚本、scheduled maintenance、VM 设备故障 / degraded 恢复、domain 报障;批量建机与恢复命令;含 Lustre 稳定性 pre-flight 脚本;推荐自动化(stateful MIG + startup script + preflight→cordon/drain/report faulty);debug 所需 IAM role;IMEX / asapd-lite / gIB 见附录。

Quick Ref Updated: 2026-08-10

GB200 / GB300(A4X / A4X MAX)运维手册

面向客户运维的 GB 系列日常操作手册:环境速查、红线(GB300 消毒 ~1h)、健康检查与 NCCL 自检、kubeadm 上机、故障分级(XID 软/硬件分层)、报障(单机 host / 域级 sub-block / support case)、监控告警。命令基于 taiji 生产参数,附官方文档出处。

Guide Updated: 2026-08-05

Google Cloud NCCL / gIB 官方说明

gIB(Google InfiniBand)NCCL 插件套件官方说明:是什么、如何用(VM/容器/GKE/NGC)、官方文档与 GitHub 链接清单,含 GB200/GB300 机型配置取值与实测 MPIJob 样例。

Guide Updated: 2026-08-02

GB200 (A4X) User Runtime Validations

GB200 A4X-Max user-facing deployment guide covering validation of MPI-based NCCL tests for single and dual domains.

Guide Updated: 2026-07-17

GB300 (A4X-Max) 裸金属部署指南

GB300 A4X-Max 端到端部署指南:Rocky 9 / TLinux 4.0 裸金属适配、self-managed k8s 1.34.9、Calico MTU 调优、ComputeDomain DRA 网卡注入、以及双节点 300 GB/s NCCL tests 验证。

Guide Updated: 2026-07-14

GB300 (A4X-Max) 手动验证操作规程

基于专用前缀 hzchen-mval- 的 GB300 部署与双节点 NCCL AllReduce 测试的手动验证步骤。包括专用 VPC 网络配置、Master/Worker 创建脚本、K8s 插件配置及测试指令。

Guide Updated: 2026-07-15

GB200 A4X 部署验证操作规程

基于标准前缀 gb200-east- 的 GB200 部署与双节点 NCCL AllReduce 测试的验证步骤。使用生产环境 tencent-gcp-taiji,包含专用 VPC 网络检查、Master/Worker 创建脚本、K8s 插件配置及测试指令。

Guide Updated: 2026-07-16

Kubernetes 1.34.1 GB200 Deployment Guide

GB200 self-managed Kubernetes 1.34.1 full deployment guide with DRAnet, NCCL tests, Megatron-LM training, and DeepEP inference.

Guide Updated: 2026-06-23

Kubernetes 1.34 GB200 Deployment Guide (Legacy)

Earlier version of the GB200 deployment guide for Kubernetes 1.34.0.

Guide Updated: 2026-06-17

GB300 (A4X MAX) vs GB200 (A4X) 部署差异分析

GB300 与 GB200 部署差异全面对比:CX-8 vs CX-7 RDMA、IDPF vs GVNIC、IPv6-only、DRA driver 版本分析、Data Direct、asapd-lite(裸金属必须)、Hugepages、通用 v2 startup script。

Guide Updated: 2026-07-08

GB200 A4X Deployment Guide

GB200 A4X 端到端部署指南:v5.3 镜像 + startup script、self-managed k8s 1.34、Calico VXLAN、ComputeDomain DRA、NCCL/Megatron/DeepEP 验证。

Guide Updated: 2026-07-14

Kubernetes 1.34.1 GB200 Deployment Guide V2

GB200 self-managed Kubernetes 1.34.1 V2 guide with MPI-based NCCL tests, cross-domain Megatron training, and DeepEP CUDA 13 support.

Guide Updated: 2026-06-30

STS Cross-Region Transfer Guide

GCP Storage Transfer Service 跨区域数据迁移指南。

Guide Updated: 2026-06-23

TencentOS Server 4.0 ARM64 GCE Image Build Guide

Chroot-based custom image build for GB200/GB300: NVIDIA 580.159.04 open driver, IMEX, GCE agent injection. Includes pitfall fixes for BLS, vmlinuz, boost-regex.

Guide Updated: 2026-06-23

TencentOS Server 4.0 ARM64 GCE Image Build Guide V2

V2 image build with GVE 1.4.10 out-of-tree compile via coccinelle/podman, A4X verified. Kernel 6.6.119.

Guide Updated: 2026-07-06

GB200/GB300 统一镜像构建指南 (qcow2 → v17)

从 tlinux (TencentOS 4.x) qcow2 端到端构建 GB200/GB300 统一 GCE 镜像:builder 挂盘分区 + chroot 修复引导、装 NVIDIA 580 open/IDPF、按名 pin 网络,封装 --source-disk。v17 生产验证基线,配套可复现脚本 build-gb-image-v17.sh(GB300 裸金属实测通过)。

Guide Updated: 2026-07-29

Scripts

Scripts

YAML Manifests

NCCL Tests

Training & Inference

Infrastructure