Blackwell GB200 / GB300 / A4X Deployment & Image Build Guides
面向 GKE 上 TPU v7x 集群的完整运维方案,关键环节在 2x2x2 多主机 slice 上实机验证,未实测项单独标注。按客户真实需求(R-01–R-15)组织:CHS / TPUMS 交付验收与返修准入(含实测耗时与门限)、libtpu SDC 检测(XSC、ICI SDC test 的真实开销)、起飞前检查脚本、带内 15 s 遥测与 Cloud Monitoring 指标/告警目录(含回放验证的 PromQL)、日志落点与过滤、维护事件与 ML Diagnostics、慢节点三级定位与故障处置 runbook。附 30 个可复现 demo(命令、YAML、裁剪输出、耗时、判定标准)。
一次故障报障需要采集哪些信息,目标是让后台在不上机、不复现的前提下定位问题。涵盖三部分:业务日志(应用层 flight recorder + 逐-rank NCCL/stdout + 生效 env + rank→host 映射 + 逐-rank 计时,不用 nsys)、宿主机诊断包(nvidia-bug-report + sosreport 的正确跑法与时间范围限定)、以及诊断包采不到的补充项(附带只读补采脚本:RoCE 错误计数增量 + Lustre 服务端主动连通性)。含疑似节点隔离后的受控 NCCL 复测,以及采集范围分档与完整报障清单。
逐版本梳理镜像主要改了什么(installroot 早期 → v5.x 生产线 → GB 统一线 v9-v19 → 机型分家 v19dot1/v20-v24),并重点标注 GPU / RDMA 相关驱动的变更:NVIDIA 驱动版本演进与锁定、IMEX/FM/gdrcopy/persistenced、RDMA 数据面从 inbox mlx5 到 DOCA-OFED 开启 Data Direct 的唯一重大变化(含 OFED 25.10→25.07→25.10.3.1.8.1 版本反复),以及 GVE/IDPF 前端网卡驱动。每条结论带出处。
客户日常运维速查:GB300 消毒、最新镜像与初始化脚本、scheduled maintenance、VM 设备故障 / degraded 恢复、domain 报障;批量建机与恢复命令;含 Lustre 稳定性 pre-flight 脚本;推荐自动化(stateful MIG + startup script + preflight→cordon/drain/report faulty);debug 所需 IAM role;IMEX / asapd-lite / gIB 见附录。
面向客户运维的 GB 系列日常操作手册:环境速查、红线(GB300 消毒 ~1h)、健康检查与 NCCL 自检、kubeadm 上机、故障分级(XID 软/硬件分层)、报障(单机 host / 域级 sub-block / support case)、监控告警。命令基于 taiji 生产参数,附官方文档出处。
gIB(Google InfiniBand)NCCL 插件套件官方说明:是什么、如何用(VM/容器/GKE/NGC)、官方文档与 GitHub 链接清单,含 GB200/GB300 机型配置取值与实测 MPIJob 样例。
GB200 A4X-Max user-facing deployment guide covering validation of MPI-based NCCL tests for single and dual domains.
GB300 A4X-Max 端到端部署指南:Rocky 9 / TLinux 4.0 裸金属适配、self-managed k8s 1.34.9、Calico MTU 调优、ComputeDomain DRA 网卡注入、以及双节点 300 GB/s NCCL tests 验证。
基于专用前缀 hzchen-mval- 的 GB300 部署与双节点 NCCL AllReduce 测试的手动验证步骤。包括专用 VPC 网络配置、Master/Worker 创建脚本、K8s 插件配置及测试指令。
基于标准前缀 gb200-east- 的 GB200 部署与双节点 NCCL AllReduce 测试的验证步骤。使用生产环境 tencent-gcp-taiji,包含专用 VPC 网络检查、Master/Worker 创建脚本、K8s 插件配置及测试指令。
GB200 self-managed Kubernetes 1.34.1 full deployment guide with DRAnet, NCCL tests, Megatron-LM training, and DeepEP inference.
Earlier version of the GB200 deployment guide for Kubernetes 1.34.0.
GB300 与 GB200 部署差异全面对比:CX-8 vs CX-7 RDMA、IDPF vs GVNIC、IPv6-only、DRA driver 版本分析、Data Direct、asapd-lite(裸金属必须)、Hugepages、通用 v2 startup script。
GB200 A4X 端到端部署指南:v5.3 镜像 + startup script、self-managed k8s 1.34、Calico VXLAN、ComputeDomain DRA、NCCL/Megatron/DeepEP 验证。
GB200 self-managed Kubernetes 1.34.1 V2 guide with MPI-based NCCL tests, cross-domain Megatron training, and DeepEP CUDA 13 support.
GCP Storage Transfer Service 跨区域数据迁移指南。
Chroot-based custom image build for GB200/GB300: NVIDIA 580.159.04 open driver, IMEX, GCE agent injection. Includes pitfall fixes for BLS, vmlinuz, boost-regex.
V2 image build with GVE 1.4.10 out-of-tree compile via coccinelle/podman, A4X verified. Kernel 6.6.119.
从 tlinux (TencentOS 4.x) qcow2 端到端构建 GB200/GB300 统一 GCE 镜像:builder 挂盘分区 + chroot 修复引导、装 NVIDIA 580 open/IDPF、按名 pin 网络,封装 --source-disk。v17 生产验证基线,配套可复现脚本 build-gb-image-v17.sh(GB300 裸金属实测通过)。