GB200 A4X 自建 Kubernetes 1.34.1 端到端部署与验证指南
DRANET + ComputeDomain(官方推荐路径)
- 日期:2026-06-30
- 平台:NVIDIA GB200 (A4X) · ARM64 · NVL72 · TLinux 4
- Kubernetes:1.34.1 (kubeadm) + Calico v3.29.3 — ⚠️ 如使用 ComputeDomain, kubelet 必须升 ≥ v1.34.5, 详见 §4.7
- GPU 管理:nvidia-device-plugin v0.17.1 + DRA GPU Driver
v0.4.0(含 ComputeDomain) - RDMA 访问:DRANET v1.3.0(SIG DRA 网络驱动)
- IMEX 管理:ComputeDomain CRD(DRA GPU Driver 原生,官方文档)
- DRA:k8s 1.34 DRA GA · API
resource.k8s.io/v1 - 容器:NGC pytorch:26.05-py3 · TransformerEngine v2.15 · Megatron-LM core_r0.16.0
- 网络:GIB v1.1.2 (NCCL 2.30.4+cuda13.0) · 4×CX-7 400Gbps MRDMA
ℹ️ 架构说明:本文档采用 DRANET + ComputeDomain 单一路径——
- RDMA 访问:通过 DRANET v1.3.0 将 RDMA NIC 作为 DRA 设备分配给 Pod,无需 hostNetwork。DRANET 使得 Pod 无需开启特权级的主机网络(
hostNetwork: true)即可独占 RDMA 网卡,显著提升了多租户集群的安全性 - IMEX 管理:通过 ComputeDomain CRD(DRA GPU Driver 原生)管理 IMEX daemon 生命周期,确保 MNNVL 自动就绪
- GPU 分配:nvidia-device-plugin(
nvidia.com/gpu: 4)
这是 NVIDIA 官方推荐的 k8s + DRA 原生路径,所有 MNNVL 资源(IMEX channel + RDMA NIC)均通过 ResourceClaim 声明式管理。
🚦 Quick Start: 推荐部署顺序
章节标题按 reference 组织, 但实际部署顺序应按以下流程进行 (跨章节跳转):
- 环境准备: §1 (VPC / 子网 / 防火墙 / Placement Policy)
- 创建 k8s 集群: §2 (CP + Worker VM + kubeadm join)
- GPU Stack 基础: §3.1 nvidia-device-plugin → §3.2 gpu-feature-discovery (GFD) → §3.3 DRANET → §3.4 RDMA DeviceClass → §3.5 MPI Operator
- ComputeDomain 安装: §4.2 DRA GPU Driver → §4.3 Scheduler RBAC → §4.4 创建 CD
- 共享存储: §5 (GCSFuse + Lustre)
- 基础验证: §6 NCCL → §7 RDMA bandwidth
- 业务测试: §8 DeepEP → §9 Megatron → §10 多 Domain 编排
- 生产运维: §11 备用容量 → §12 故障上报 → §13 监控
- 运维进阶 (可后续阅读): §4.5 自愈工具栈 → §4.6 压测 → §4.7.1 已知问题 → §14 测试结果 → §15 已知问题 → §16 OS 优化 (可选, 客户认可可 bake 进镜像)
ℹ️ 关于 ComputeDomain (CD) 与资源分配粒度:
三个不同层级的概念:
| 层 | 含义 | 例 |
|---|---|---|
| 物理 Domain (NVL72 机柜) | GCP A4X 一个 placement policy 锁定的 18 台 VM, GCP 硬件保证 collocation | --gpu-topology=1x72 创建的 18 节点组 |
| NVLink Clique | NVSwitch fabric partition, 一个 clique 内 GPU 通过 NVLink 互联 (MNNVL), 跨 clique 必须 RDMA | 1 个 NVL72 机柜可以是 1 个 clique (72 GPU 全互联, 典型) 或 2 个 clique (e.g. 2 × 36 GPU). 由 cluster UUID + cliqueId 区分 |
| ComputeDomain (CD) (k8s 抽象) | k8s resource.nvidia.com CRD, 在同一 clique 内的任意节点子集上管理 IMEX daemon. numNodes 推荐设 0 (NVIDIA 默认 + IMEXDaemonsWithDNSNames=true 模式下不门控 daemon 启动; 已声明 deprecated, 下个 API 版本会移除) |
一个 clique 18 节点可以 partition 成: CD-A (8 节点) + CD-B (6 节点) + CD-C (4 节点) 分给不同 workload, 各 CD 都 numNodes: 0 即可 |
正确约束:
- ✅ 一个 CD 必须在同一 clique 内 (因 IMEX channel 走 NVLink fabric)
- ✅ 同一节点只能加入一个 CD (per-node 约束: NVIDIA
AddNodeLabel:318-321显式 reject 第二个 CD, #353 长期 roadmap 可改) - ✅ 同一 clique 可以同时跑多个 CD (不同节点子集, NVIDIA #892 CLOSED 明确支持)
- ✅
numNodes推荐 0 (NVIDIA 官方推荐, 源码注释 明文 "recommended to be set to zero (default)" + "deprecated and will be removed in the next API version"). Workload 应自己 implement source-of-truth 同步 worker 数量, 不依赖 CDStatus.Ready. 非 0 仅在IMEXDaemonsWithDNSNames=false旧模式下必需 (该模式下所有 workload pod 会 hold 等到 numNodes 个 IMEX daemon join).
GCP A4X 已验证 (2026-06-30 stress test): 8 节点单 clique 同时跑 4 个独立 ComputeDomain × 2 节点/CD (32 GPU 满载), 4 round × iter=20 训练, zero race, zero manual intervention. 详见 §4.6.
0. 架构概述与核心概念
ℹ️ 阅读建议:本章面向首次接触 GB200/A4X 的工程师,梳理硬件架构、GCP 机型差异、以及部署过程中频繁出现的核心概念。已有经验的读者可跳至第 1 章。
0.1 硬件架构对比
下表对比三代 GPU 平台的关键硬件差异——这些差异直接决定了部署方式和可达性能。
| 维度 | GB200 (Blackwell) | B200 (Blackwell) | H200 (Hopper) |
|---|---|---|---|
| GPU 架构 | Blackwell (sm_100) | Blackwell (sm_100) | Hopper (sm_90) |
| NVLink 代际 | 第 5 代 NVLink | 第 5 代 NVLink | 第 4 代 NVLink |
| NVSwitch | 第 5 代 · 支持 MNNVL 跨节点 NVLink | 第 5 代 · 支持 MNNVL(受限) | 第 4 代 · 仅节点内 NVLink |
| NVLink 域大小 | 72 GPU(NVL72:18 节点跨节点互联) | 16 GPU(NVL16:2 节点) | 8 GPU(仅节点内) |
| CPU | Grace ARM64 (aarch64) | x86_64 | x86_64 |
| 显存 | HBM3e | HBM3e | HBM3e |
ℹ️ 关键差异:GB200 的 NVL72 域将 18 个节点的 72 块 GPU 通过 NVSwitch 互联,峰值双向带宽约 840 GB/s(每 GPU 对)。而跨域通信只能走 RDMA,峰值约 325 GB/s,差距约 2.5 倍。因此,将同一训练任务的所有节点放入同一 NVL72 域是性能优化的第一要务。
参考来源: NVIDIA GB200 NVL72 · NVIDIA NVLink(含各代带宽对比)
0.2 GCP 机型对比
GB200/B200/H200 在 GCP 上对应不同的 Accelerator-Optimized 机型系列,网络拓扑和部署方式存在显著差异。
| 维度 | A4X (GB200) | A4 (B200) | A3 Ultra (H200) |
|---|---|---|---|
| 机型示例 | a4x-highgpu-4g |
a4-highgpu-8g |
a3-ultragpu-8g |
| GPU / 节点 | 4 (GB200) | 8 (B200) | 8 (H200) |
| CPU 架构 | ARM64 (Grace) | x86_64 | x86_64 |
| RDMA NIC | 4 × CX-7 400Gbps | 8 × CX-7 400Gbps | 8 × CX-7 400Gbps |
| NVLink 域 | 18 节点 / 72 GPU(NVL72) | 2 节点 / 16 GPU(NVL16) | N/A(仅节点内 NVLink) |
| MNNVL 跨节点 NVLink | 支持(需 IMEX daemon) | 支持(受限,2 节点) | 不支持 |
| Placement Policy 拓扑 | 1x72 |
1x16 |
N/A |
| 容器镜像注意事项 | 需 ARM64 / aarch64 镜像 | 标准 x86_64 镜像 | 标准 x86_64 镜像 |
⚠️ A4X ARM64 注意:GB200 使用 Grace ARM64 CPU,所有容器镜像(包括 NCCL 插件、NVSHMEM 编译产物等)必须为 aarch64 架构。GIB NCCL 插件镜像名需带 -arm64 后缀。
参考来源: GCP Accelerator-Optimized Machines (A4X) · Placement Policy 概述
0.3 核心概念速查
下表汇总本指南中频繁出现的技术术语,方便随时查阅。
| 概念 | 说明 |
|---|---|
| 物理 NVL72 Domain (硬件层) | 一台 GB200 NVL72 机柜里的 18 个 A4X 节点(72 块 GB200 GPU)通过第 5 代 NVSwitch 组成的硬件拓扑单元。GCP 用 Placement Policy --gpu-topology=1x72 锁定一组 VM 落在同一物理 Domain 内。 |
| NVLink Clique (硬件层, fabric partition) | NVSwitch fabric 的一个互联分区, 同 cliqueId 的 GPU 间可直接 NVLink 通信 (MNNVL ~840 GB/s), 跨 clique 必须走 RDMA. 一个物理 NVL72 Domain 可以是 1 个 clique (典型, 72 GPU 全互联) 或多个 clique (e.g., 2 × 36 GPU). 由 NVSwitch routing 决定, 客户读出: nvidia-smi --query-gpu=clusterUUID,cliqueId. |
| MNNVL (Multi-Node NVLink) | 跨节点 NVLink 通信能力。GB200 NVL72 的核心特性——使同一 clique 内不同物理节点的 GPU 像节点内一样通过 NVLink 互联。需要 IMEX daemon 运行才能启用 NVLS transport. |
| IMEX Daemon (Inter-node Memory Exchange) | 管理跨节点 NVLink channel 的用户态守护进程 (nvidia-imex)。NVLS transport 的 cuMulticastCreate 依赖 IMEX 协调。若 IMEX 未运行,NCCL 会静默回退到 RDMA(带宽从 ~840 GB/s 降到 ~326 GB/s),且报 CUDA error 801。 |
| ComputeDomain (CD) (k8s 软件层) | Kubernetes DRA CRD(由 DRA GPU Driver 提供),声明式管理 IMEX daemon 生命周期。一个 CD = 同一 clique 内的任意节点子集 (1 ≤ N ≤ clique 大小). 创建 CD 后, 控制器在选中节点上启动 IMEX daemon pod, Pod 通过 ResourceClaimTemplate 引用 CD 即可获得 MNNVL 能力。约束: 同一节点只能属于一个 CD; 可以: 同一 clique 内同时跑多个 CD (分不同节点子集). |
| DRA (Dynamic Resource Allocation) | Kubernetes 原生的硬件资源请求 API(k8s 1.33+ GA,API 版本 resource.k8s.io/v1)。Pod 通过 ResourceClaim 声明式申请 GPU、RDMA NIC 等设备,由 scheduler 和 DRA driver 协同分配。 |
| DRANET | 基于 DRA 的 RDMA NIC 分配驱动(GitHub,本指南使用 v1.3.0)。将 CX-7 RDMA NIC 作为 DRA 设备发布到 ResourceSlice,Pod 通过 ResourceClaim 请求 RDMA 设备,实现 GPU-NIC PCIe 拓扑感知的精确分配。 |
| GIB (NCCL/gIB) | Google 提供的 NCCL 通信插件套件(本指南使用 v1.1.2),包含三个 NCCL 插件:Net 插件(GPUDirect RDMA 传输)、Env 插件(平台自动检测与环境变量配置)、Profiler 插件(GPUViz 遥测)。内置 NCCL 2.30.4,以 init container 方式注入到 Pod。详见 0.4 节。 |
| Placement Policy | GCP 资源策略,确保一组 VM 被分配到同一个物理 NVL72 域。A4X 使用 --collocation=COLLOCATED --gpu-topology=1x72 创建,每个 NVL72 域绑定一个 Placement Policy。生产环境中 N 个域需创建 N 个 Policy。 |
概念关系图
0.4 GIB 与 A4X 网络拓扑
0.4.1 A4X 硬件网络拓扑
A4X(a4x-megagpu-8g)基于 NVIDIA GB200 NVL72 架构,每个物理域(domain)包含 18 台 VM,共 72 颗 GPU。网络互联分为两层:
| 互联层级 | 技术 | 带宽 | 适用场景 |
|---|---|---|---|
| 域内(Intra-domain) | NVSwitch + NVLink(MNNVL) | ~840 GB/s(双向) | 同域 18 节点间的 GPU-to-GPU 直接访问;由 ComputeDomain CRD 管理 IMEX daemon 启用 |
| 域间(Inter-domain) | RoCEv2 over CX-7(GPUDirect RDMA) | ~325 GB/s(4×CX-7 × 400Gbps) | 跨域节点间通信;通过 DRANET 分配 CX-7 网卡给 Pod |
Rail-Optimized 网络:每台 A4X VM 配备 4 块 ConnectX-7 RDMA 网卡(4 × 400 Gbps = 1600 Gbps 总带宽),采用 4-way rail-aligned 拓扑(GCP 官方表述)。每个 GPU 与一块 CX-7 一一对齐, 跨节点同号 NIC 接入同一条 leaf switch (rail), 跨节点 GPUDirect RDMA 单 hop 即可到达对端。
GCP A4X 网络层配置 (区别于 A3/A4 的 8-NIC × 8-VPC 模式): 1 个 RoCE VPC + 4 个 subnet (每个 subnet 对应一条 rail), 不是 4 个独立 VPC。完整配置见 §1.2 创建 VPC / 子网.
NCCL PXN (P=PCI · X=cross · N=NVLink, NCCL 2.12+ 内置, NVIDIA blog): 允许 GPU 通过 NVLink 借用同节点内对端 GPU 的 NIC 发出 RDMA, 使单 communicator 跨节点带宽聚合 4 × NIC, 而非单 NIC bottleneck。
PXN over NVLink-C2C (P2C, Grace-Blackwell 专属): NCCL 2.27.5+ 通过 NCCL_PXN_C2C=1 启用, NCCL 2.28.3+ 默认 ON。C2C 指 NVLink Chip-to-Chip (Grace CPU ↔ Blackwell GPU 相干互联, 不是 cross-card / cross-chassis), 仅 GB200/GB300 等 Grace-Blackwell 平台有效。GIB 在 nccl.a4x.conf 已显式 set, 因兼容 NCCL ≤ 2.27.4。
GCP 物理拓扑层级(官方文档):GCP 将 GPU 实例的物理位置划分为四个层级,层级越低物理距离越近、延迟越低:
- Cluster:最高层,跨多个 block 的资源池
- Block:多个 host 的逻辑集合
- Sub-block:block 内的物理子分区,同一物理机柜内的 host 分组。A4X 的一个 sub-block 包含 18 台实例(= 一个 NVL72 域)
- Host:单台物理服务器
Placement Policy 的 max-distance=1 确保实例落在同一 sub-block(同一 NVL72 域),从而获得 NVSwitch MNNVL 互联。NCCL 通过 NCCL_MNNVL_ENABLE 环境变量控制是否启用 MNNVL 路径,ComputeDomain CRD 负责在域内节点上运行 IMEX daemon 使 MNNVL 可用。
0.4.2 GIB 架构与三插件体系
GIB(本指南使用 v1.1.2)是 Google 为 GCP GPU 实例优化的 NCCL 插件套件,以 init container 方式注入到 Pod 中,安装路径为 /usr/local/gib。它包含三个独立的 NCCL 插件:
| 插件 | 库文件 | NCCL 插件类型 | 功能 |
|---|---|---|---|
| Net 插件 | libnccl-net.so |
NCCL_NET(通过 NCCL_NET=gIB 激活) |
GPUDirect RDMA 传输层实现,替代默认的 IB Verbs 传输。针对 GCP 网络环境优化了 RDMA 数据路径,支持 Adaptive Routing 等特性。 |
| Env 插件 | libnccl-env-gcp.so |
NCCL_ENV(通过 NCCL_ENV_PLUGIN=gcp 或 set_nccl_env.sh 激活) |
平台自动检测插件。运行时从 GCP Metadata Server 获取实例类型、拓扑信息,自动加载对应平台的最优 NCCL 环境变量。无需用户手动设置 NCCL 调优参数。 |
| Profiler 插件 | libnccl-profiler.so + libGPUViz.so |
NCCL_PROFILER | 可选的性能分析插件。将 NCCL 集合通信操作的时间数据导出至 GPUViz 遥测系统,用于性能调优和问题诊断。 |
0.4.3 Env 插件的平台自动检测机制
GIB v1.1.2 的推荐使用方式是通过 set_nccl_env.sh 脚本,该脚本仅设置一个环境变量:
export NCCL_ENV_PLUGIN=gcp
当 NCCL 初始化时,libnccl-env-gcp.so 插件(Env 插件)被自动加载,执行以下流程:
- 查询 GCP Metadata Server 获取实例机型(如
a4x-megagpu-8g) - 识别对应平台,加载
/usr/local/gib/configs/nccl.<platform>.conf配置文件 - 将配置文件中的键值对设为 NCCL 环境变量
- 向 NCCL 传递 CliqueId/ClusterUUID 拓扑信息(用于 MNNVL 域识别)
GIB v1.1.2 内置的平台配置文件:
/usr/local/gib/configs/
├── nccl.a3.conf # A3 (H100)
├── nccl.a3plus.conf # A3+ (H200)
├── nccl.a3edge.conf # A3 Edge
├── nccl.a4.conf # A4 (B200 NVL)
├── nccl.a4x.conf # A4X (GB200 NVL72) ← 本指南使用
└── nccl.a4xmax.conf # A4X Max
A4X 平台配置(nccl.a4x.conf 核心内容):
NCCL_NET=gIB # 使用 GIB Net 插件替代默认 IB Verbs
NCCL_PXN_C2C=1 # 启用 PXN over C2C(Rail-Optimized 拓扑关键)
NCCL_IB_ADAPTIVE_ROUTING=1 # 启用 InfiniBand Adaptive Routing
NCCL_IB_QPS_PER_CONNECTION=4 # 每连接 4 个 QP(匹配 4 条 rail)
NCCL_IB_TC=52 # 数据流量 Traffic Class
NCCL_IB_FIFO_TC=84 # 控制流量 Traffic Class
NCCL_TUNER_PLUGIN=none # 禁用外部 tuner(使用 NCCL 内置调优)
ℹ️ 为什么不手动设置这些参数? GIB v1.1.2 之前的版本需要用户在 Pod YAML 中手动设置大量 NCCL 环境变量(如 NCCL_NET、NCCL_IB_* 等)。Env 插件的引入使得用户只需设置 NCCL_ENV_PLUGIN=gcp(或运行 set_nccl_env.sh),即可获得 Google 针对特定平台验证过的最优配置。这种方式的优势:
• 避免手动配置错误(参数组合复杂且平台间差异大)
• 平台升级/新参数引入时只需更新 GIB 版本,无需修改 Pod YAML
• Env 插件可获取运行时拓扑信息(如 MNNVL 域标识),这些信息在 YAML 编写时不可知
0.4.4 GIB Init Container 使用模式
在 Kubernetes 中,GIB 以 init container 方式部署。典型配置:
initContainers:
- name: gib-installer
image: us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.1.2
imagePullPolicy: Always
command: ["/scripts/container_entry.sh", "install", "--nccl"]
volumeMounts:
- name: gib
mountPath: /usr/local/gib
env:
- name: LD_LIBRARY_PATH
value: /usr/local/gib/lib64
安装完成后,/usr/local/gib 目录包含:
/usr/local/gib/
├── lib64/
│ ├── libnccl.so.2.30.4 # 内置 NCCL 2.30.4+cuda13.0
│ ├── libnccl-net.so # GIB Net 插件
│ ├── libnccl-env-gcp.so # GIB Env 插件
│ ├── libnccl-profiler.so # GIB Profiler 插件
│ └── libGPUViz.so # GPUViz 遥测库
├── configs/
│ ├── nccl.a4x.conf # 各平台 NCCL 配置
│ └── ...
└── scripts/
└── set_nccl_env.sh # 环境变量设置脚本
主容器需要设置以下环境变量以使 GIB 生效:
env:
- name: LD_LIBRARY_PATH
value: /usr/local/gib/lib64
- name: NCCL_NET_PLUGIN
value: /usr/local/gib/lib64/libnccl-net.so
- name: NCCL_ENV_PLUGIN
value: gcp # 触发 Env 插件自动检测
⚠️ NCCL 版本注意:GIB v1.1.2 内置 NCCL 2.30.4(CUDA 13.0)。客户无需(也不应)在镜像中自行编译安装 NCCL 核心库,以防与 GIB 的 libnccl-net.so 产生符号冲突。如果容器基础镜像自带其他版本的 NCCL,需通过 LD_LIBRARY_PATH 确保优先加载 GIB 目录下的版本。版本不匹配会导致 NCCL 初始化失败或性能下降。
无公开仓库:截至本文写作时,GIB 没有公开的 GitHub 仓库或独立文档页面。配置参考以 GIB 容器镜像内置的配置文件为准。GIB 容器镜像托管在 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/。
0.4.5 域内 vs 域间通信路径总结
| 域内(Same Domain) | 域间(Cross Domain) | |
|---|---|---|
| 物理通道 | NVSwitch(MNNVL)+ CX-7 RDMA | 仅 CX-7 RDMA |
| 带宽 | ~840 GB/s (NVLink) + ~325 GB/s (RDMA) | ~325 GB/s (RDMA only) |
| NCCL_MNNVL_ENABLE | 1 或 2(自动检测) | 0(禁用,否则 CUDA 801 错误) |
| NCCL_CUMEM_ENABLE | 1(MNNVL 需要 cuMem 分配器) | 0(不使用 MNNVL 时关闭) |
| ComputeDomain | 必需(提供 IMEX channel) | 不使用 |
| GIB 配置 | Env 插件自动配置(含 MNNVL 拓扑) | Net 插件仍需(RDMA 传输),但需手动覆盖 MNNVL 相关变量 |
1. 环境准备
全局变量(请根据实际环境修改)
ℹ️ CIDR 规划说明:以下网段适用于 1800 GPU(450 A4X VM) 规模的集群。主管理子网使用 /21(2046 IP),其余子网使用 /22(1022 IP),均可容纳 450+ A4X VM 并留有余量(Control Plane、普通 VM、未来扩展)。 读者请根据内部网络团队分配的网段替换以下 CIDR 值。仅需修改变量值,后续所有命令自动引用。
# ===== GCP 项目与区域 =====
PROJECT="your-gcp-project" # ← 请替换为您的 GCP 项目 ID
REGION="us-east5" # ← 请替换为您的区域
ZONE="us-east5-a" # ← 请替换为您的可用区
RESERVATION="your-gb200-reservation" # ← 请替换为您的 GB200 预留名称
# ===== 机器与镜像 =====
MACHINE_TYPE="a4x-highgpu-4g"
IMAGE="tlinux-server-4-gb200-v1" # ← 请替换为您的 VM 镜像名称
IMAGE_PROJECT="$PROJECT" # ← 镜像所在项目(如与 VM 项目不同请修改)
# ===== 网络名称 =====
GVNIC_NET="a4x-gvnic-net-0" # ← 主 GVNIC 管理网络(MTU 8896)
GVNIC_SUB="a4x-gvnic-sub-0" # ← 主 GVNIC 子网
GVNIC_NET_1="a4x-gvnic-net-1" # ← 辅助 GVNIC 网络
GVNIC_SUB_1="a4x-gvnic-sub-1" # ← 辅助 GVNIC 子网
RDMA_NET="a4x-rdma-net" # ← RDMA HPC 网络(需 network profile)
# ===== 网络 CIDR(请根据内部网络团队分配的网段调整) =====
# 以下规划适用于 1800 GPU (450 A4X VM) 规模的集群
# 主管理子网使用 /21, 其余子网使用 /22, 均可容纳 450+ VM 并留有余量
GVNIC_CIDR="10.0.0.0/21" # 主管理子网: /21 = 2046 IP — 450 A4X + CP + 普通 VM + 缓冲
GVNIC_1_CIDR="10.0.8.0/22" # 辅助管理子网: /22 = 1022 IP
RDMA_CIDR_0="10.0.16.0/22" # RDMA 子网 0 (CX-7 NIC 0): /22 = 1022 IP
RDMA_CIDR_1="10.0.20.0/22" # RDMA 子网 1 (CX-7 NIC 1): /22 = 1022 IP
RDMA_CIDR_2="10.0.24.0/22" # RDMA 子网 2 (CX-7 NIC 2): /22 = 1022 IP
RDMA_CIDR_3="10.0.28.0/22" # RDMA 子网 3 (CX-7 NIC 3): /22 = 1022 IP
SUBNET_SUPERNET="10.0.0.0/16" # ← 所有子网的超网, 用于防火墙规则(请按实际网段调整)
# ===== NVL72 Domain 配置 =====
NUM_DOMAINS=2 # ← 部署的 NVL72 Domain 数量(生产环境可设 25+)
NODES_PER_DOMAIN=18 # A4X NVL72 固定值,请勿修改
PLACEMENT_PREFIX="a4x-nvl72-domain" # Placement Policy 名称前缀
# ===== 集群命名 =====
CP_NAME="gb200-cp" # Control Plane 节点名称
WORKER_PREFIX="gb200" # Worker 节点名称前缀(完整名: ${WORKER_PREFIX}-d${DOMAIN}-w${INDEX})
# ===== Kubernetes =====
K8S_VERSION="1.34"
POD_CIDR="10.244.0.0/16"
# ===== 组件版本 =====
GIB_VERSION="v1.1.2"
DEVICE_PLUGIN_VERSION="v0.17.1"
DRANET_VERSION="v1.3.0"
DRA_GPU_DRIVER_VERSION="v0.4.0" # 当前正确 tag (semver). NVIDIA 早期 calver 命名 v25.12.0 已废弃. 详见 https://github.com/kubernetes-sigs/dra-driver-nvidia-gpu/releases
CALICO_VERSION="v3.29.3"
PYTORCH_IMAGE="nvcr.io/nvidia/pytorch:26.05-py3"
GIB_IMAGE="us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic-arm64:${GIB_VERSION}"
# ===== 共享存储 =====
GCSFUSE_BUCKET="your-training-bucket" # ← 请替换为您的 GCS bucket 名称
LOCAL_SSD_MOUNT="/mnt/stateful_partition" # Local SSD RAID0 挂载点(与 GKE+COS 一致)
1.1 前提条件
- GCP 项目已有 GB200 A4X 预留(DENSE 或 CALENDAR 类型)
- 本地已安装
gcloudCLI 并认证 - 已完成 1.2 节的 VPC/子网/防火墙创建
1.2 创建 VPC / 子网 / RDMA 网络
ℹ️ A4X 网络架构:每个 A4X 节点有 6 个网卡 — 2 个 GVNIC(管理网络)+ 4 个 CX-7 MRDMA(GPU RDMA 网络)。需要创建 3 个 VPC 网络和 6 个子网。 参考:GCP 官方文档 — Create custom A4X cluster
1.2.1 主 GVNIC 管理网络(MTU 8896)
⚠️ MTU 必须设为 8896(Jumbo Frames)。默认 MTU 1460/1500 会导致 Lustre 吞吐量下降约 10%。MRDMA 网络的 MTU 由 Network Profile 自动配置,无需手动设置。
# 创建主 GVNIC 网络(MTU 8896)
gcloud compute networks create $GVNIC_NET \
--subnet-mode=custom --mtu=8896 --project=$PROJECT
gcloud compute networks subnets create $GVNIC_SUB \
--network=$GVNIC_NET \
--region=$REGION \
--range=$GVNIC_CIDR \
--project=$PROJECT
1.2.2 辅助 GVNIC 网络
gcloud compute networks create $GVNIC_NET_1 \
--subnet-mode=custom --mtu=8896 --project=$PROJECT
gcloud compute networks subnets create $GVNIC_SUB_1 \
--network=$GVNIC_NET_1 \
--region=$REGION \
--range=$GVNIC_1_CIDR \
--project=$PROJECT
1.2.3 RDMA HPC 网络(需 Network Profile)
ℹ️ Network Profile:RDMA 网络需要使用 --network-profile=${ZONE}-vpc-roce 创建。该 Network Profile 由 GCP 自动配置最优 MTU 和 RDMA 参数。
# 创建 RDMA HPC 网络
gcloud beta compute networks create $RDMA_NET \
--network-profile=${ZONE}-vpc-roce \
--subnet-mode=custom \
--project=$PROJECT
# 创建 4 个 RDMA 子网(每个对应一块 CX-7 NIC)
RDMA_CIDRS=($RDMA_CIDR_0 $RDMA_CIDR_1 $RDMA_CIDR_2 $RDMA_CIDR_3)
for n in 0 1 2 3; do
gcloud compute networks subnets create ${RDMA_NET}-sub-${n} \
--network=$RDMA_NET \
--region=$REGION \
--range="${RDMA_CIDRS[$n]}" \
--project=$PROJECT
done
1.2.4 防火墙规则
# SSH 防火墙(IAP 源 IP 范围)
gcloud compute firewall-rules create ${GVNIC_NET}-allow-iap-ssh \
--network=$GVNIC_NET \
--allow=tcp:22 \
--source-ranges=35.235.240.0/20 \
--project=$PROJECT
# 主 GVNIC 内部通信(含 Pod CIDR — ComputeDomain daemon pods 需要跨节点通信)
gcloud compute firewall-rules create ${GVNIC_NET}-allow-internal \
--network=$GVNIC_NET \
--allow=tcp:0-65535,udp:0-65535,icmp \
--source-ranges=${SUBNET_SUPERNET},${POD_CIDR} \
--project=$PROJECT
# 辅助 GVNIC 内部通信
gcloud compute firewall-rules create ${GVNIC_NET_1}-allow-internal \
--network=$GVNIC_NET_1 \
--allow=tcp:0-65535,udp:0-65535,icmp \
--source-ranges=${SUBNET_SUPERNET} \
--project=$PROJECT
⚠️ 防火墙注意:某些 GCP 组织策略会自动删除新建的防火墙规则。如果 SSH 或 Pod 通信失败,请先检查防火墙规则是否存在。建议使用 IAP SSH(--tunnel-through-iap)以绕过防火墙限制。
网络布局总览
| 网络 | 子网 | CIDR | 用途 |
|---|---|---|---|
$GVNIC_NET |
$GVNIC_SUB |
$GVNIC_CIDR (/21, 2046 IP) |
主管理网络(SSH, k8s API, Pod CIDR) |
$GVNIC_NET_1 |
$GVNIC_SUB_1 |
$GVNIC_1_CIDR (/22, 1022 IP) |
辅助管理网络 |
$RDMA_NET |
${RDMA_NET}-sub-0 |
$RDMA_CIDR_0 (/22) |
GPU RDMA 计算网络 (每 NIC 一个子网, 各 1022 IP) |
${RDMA_NET}-sub-1 |
$RDMA_CIDR_1 (/22) |
||
${RDMA_NET}-sub-2 |
$RDMA_CIDR_2 (/22) |
||
${RDMA_NET}-sub-3 |
$RDMA_CIDR_3 (/22) |
1.3 查看预留状态
gcloud compute reservations describe $RESERVATION \
--zone=$ZONE --project=$PROJECT \
--format="table(specificReservation.count, specificReservation.inUseCount)"
1.4 Placement Policy(每个 Domain 需要)
ℹ️ 生产环境规模:每个物理 NVL72 Domain(18 节点 / 72 GPU 硬件机柜)需要独立的 Placement Policy。例如 1800 GPU = 25 个物理 Domain,需创建 25 个 Policy。Placement Policy 与物理 Domain 一一绑定 (硬件层 collocation), 确保该 Policy 下的 VM 被分配到同一物理机柜.
注意: Placement Policy 是硬件层约束 (GCP collocation), 跟软件层 ComputeDomain 没有 1:1 关系. 一个物理 Domain (18 节点) 内可以跑 1 个 CD (整 Domain) 或多个 CD (partition 不同节点子集). 详见 §0.3 三层概念区分.
# 为每个 Domain 创建 collocated placement policy
# 示例:创建 N 个 Domain 的 Policy(生产环境用循环)
for d in $(seq 1 $NUM_DOMAINS); do
gcloud beta compute resource-policies create group-placement \
${PLACEMENT_PREFIX}-${d} \
--collocation=COLLOCATED \
--gpu-topology=1x72 \
--project=$PROJECT --region=$REGION
done
# 示例:2 个 Domain 会创建 a4x-nvl72-domain-1 和 a4x-nvl72-domain-2
# 生产环境 NUM_DOMAINS=25 会创建 25 个 Placement Policy
1.5 创建额外防火墙规则(可选)
# SSH 防火墙(IAP 源 IP 范围)
gcloud compute firewall-rules create allow-ssh-iap-k8s1341 \
--network=$GVNIC_NET \
--allow=tcp:22 \
--source-ranges=35.235.240.0/20 \
--project=$PROJECT
# 集群内部通信(含 Pod CIDR — ComputeDomain daemon pods 需要跨节点 pod 通信)
gcloud compute firewall-rules create allow-internal-k8s1341 \
--network=$GVNIC_NET \
--allow=tcp,udp,icmp \
--source-ranges=${SUBNET_SUPERNET},${POD_CIDR} \
--project=$PROJECT
# 注:Calico 使用 VXLAN 模式(UDP 4789),已被上方 allow-internal 规则覆盖,无需额外 IPIP 规则
2. 创建 k8s 1.34.1 集群
ℹ️ k8s 1.34 关键变化:DRA (Dynamic Resource Allocation) 在 k8s 1.34 中为 GA,默认启用,无需 feature gate。ResourceClaimTemplate/DeviceClass API 版本为 resource.k8s.io/v1(非 v1beta2)。
2.1 Control Plane 节点
CP 节点使用 x86_64 轻量 VM(无需 GPU),仅连接主 GVNIC 网络。
gcloud compute instances create $CP_NAME \
--project=$PROJECT --zone=$ZONE \
--machine-type=e2-standard-4 \
--image-family=rocky-linux-9 --image-project=rocky-linux-cloud \
--boot-disk-size=100GB \
--network-interface=network=$GVNIC_NET,subnet=$GVNIC_SUB \
--metadata-from-file=startup-script=scripts/kubeadm-control-plane-k8s134.sh \
--scopes=cloud-platform
CP 启动脚本要点 (kubeadm-control-plane-k8s134.sh) 查看完整脚本
- 禁用 swap 和 SELinux
- 加载内核模块 (overlay, br_netfilter) + sysctl
- 安装 containerd (Docker CE repo, SystemdCgroup=true)
- 安装 kubeadm/kubelet/kubectl (pkgs.k8s.io v1.34 rpm repo)
kubeadm init --pod-network-cidr=10.244.0.0/16- 安装 Calico v3.29.3 CNI
- 生成 join token 和 SSH key pair
⚠️ Calico vxlanMTU 配置(重要)
GVNIC 管理网络 MTU 为 8896,VXLAN 封装开销为 50 字节(IPv4),因此 Calico vxlanMTU 应设为 8846。如不显式设置,Calico 自动探测可能基于错误网卡(如 MRDMA)回退到 1450,导致 GCSFuse 等依赖管理网络的流量带宽严重下降。
Calico 安装完成后,在 CP 上执行:
# 方法 1:通过 FelixConfiguration CRD(推荐)
cat <<'EOF' | kubectl apply -f -
apiVersion: projectcalico.org/v3
kind: FelixConfiguration
metadata:
name: default
spec:
vxlanMTU: 8846
EOF
# 方法 2:通过 calico-config ConfigMap
kubectl patch configmap/calico-config -n kube-system --type merge \
-p '{"data":{"veth_mtu": "8846"}}'
# 验证:重启 calico-node DaemonSet 使配置生效
kubectl rollout restart daemonset calico-node -n kube-system
kubectl exec -n kube-system $(kubectl get pod -n kube-system -l k8s-app=calico-node -o name | head -1) -- cat /etc/config/calico_vxlan_mtu 2>/dev/null || echo "check via calicoctl"
⚠️ Calico IP 自动检测(A4X Worker 必须)
Calico 默认 IP_AUTODETECTION_METHOD=interface=eth0。CP 节点(x86 Rocky Linux)主接口为 eth0,但 A4X Worker 节点(ARM64 TencentOS)主接口为 enp0s3。Worker 加入集群后 calico-node 会因找不到 eth0 而 CrashLoopBackOff。
Worker 节点加入集群后,需更新 Calico IP 检测规则以匹配两种接口名:
kubectl set env daemonset/calico-node -n kube-system \
IP_AUTODETECTION_METHOD='interface=eth0|enp0s3'
# 等待 rollout 完成
kubectl rollout status daemonset/calico-node -n kube-system
获取 Join 信息
# SSH 到 CP 节点
gcloud compute ssh $CP_NAME --zone=$ZONE --project=$PROJECT --tunnel-through-iap
# 查看 join 命令
cat /root/kubeadm-join-command.txt
# 提取 token 和 hash
CP_IP=$(hostname -I | awk '{print $1}')
JOIN_TOKEN=$(kubeadm token list -o jsonpath='{.token}' | head -1)
JOIN_HASH=$(openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | \
openssl rsa -pubin -outform der 2>/dev/null | sha256sum | awk '{print $1}')
echo "CP_IP=$CP_IP JOIN_TOKEN=$JOIN_TOKEN JOIN_HASH=$JOIN_HASH"
2.2 Placement Policy 与 Worker 节点 VM 创建
ℹ️ Domain 与 Placement Policy 的关系:
- 每个 NVL72 Domain = 18 节点 × 4 GPU = 72 GPU,是物理 NVSwitch 拓扑决定的
- 每个 Domain 需要独立的
Placement Policy(1.3 节创建),--resource-policies参数决定 VM 分配到哪个 Domain - 生产环境(如 1800 GPU = 25 Domain):为每个 Domain 批量创建 Worker,每批使用对应 Domain 的 Placement Policy
- 使用 GA
gcloud compute(不是 alpha/beta),不加--local-ssd(A4X 自动挂载 12TB NVMe) no-addresson MRDMA — 网络 profile 不允许 MRDMA 接口有 AccessConfig
批量创建 Worker(每个 Domain 使用对应的 Placement Policy)
ℹ️ 生产环境示例:25 个 Domain × 18 节点/Domain = 450 Worker VM。每个 Domain 的 Worker 使用该 Domain 的 Placement Policy 创建,确保同一 Domain 内的节点在同一 NVSwitch 拓扑中。
按 Domain 批量创建 Worker(每个 Domain 使用对应的 Placement Policy)
# 循环创建所有 Domain 的 Worker VM
# 生产环境:NUM_DOMAINS=25, NODES_PER_DOMAIN=18 → 共 450 个 Worker
for d in $(seq 1 $NUM_DOMAINS); do
echo "=== Creating workers for Domain ${d} ==="
for i in $(seq 0 $((NODES_PER_DOMAIN - 1))); do
gcloud compute instances create ${WORKER_PREFIX}-d${d}-w${i} \
--project=$PROJECT --zone=$ZONE \
--machine-type=$MACHINE_TYPE \
--image=$IMAGE --image-project=$IMAGE_PROJECT \
--boot-disk-size=1000GB --boot-disk-type=hyperdisk-balanced \
--scopes=cloud-platform \
--reservation-affinity=specific --reservation=$RESERVATION \
--provisioning-model=RESERVATION_BOUND \
--instance-termination-action=STOP \
--maintenance-policy=TERMINATE \
--restart-on-failure \
--resource-policies=${PLACEMENT_PREFIX}-${d} \
--network-interface=nic-type=GVNIC,network=$GVNIC_NET,subnet=$GVNIC_SUB \
--network-interface=nic-type=GVNIC,network=$GVNIC_NET_1,subnet=$GVNIC_SUB_1,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=$RDMA_SUB_0,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=$RDMA_SUB_1,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=$RDMA_SUB_2,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=$RDMA_SUB_3,no-address \
--metadata=cp-ip=$CP_IP,join-token=$JOIN_TOKEN,join-hash=$JOIN_HASH \
--metadata-from-file=startup-script=scripts/tlinux4-k8s134-worker.sh &
done
wait # 等待该 Domain 的 Worker 全部创建完成
done
ℹ️ 命名规则:Worker 名称格式为 ${WORKER_PREFIX}-d${DOMAIN}-w${INDEX},例如 gb200-d1-w0 到 gb200-d1-w17 为 Domain 1 的 18 个节点。不同 Domain 的 Worker 使用不同的 Placement Policy,确保 VM 分配到对应的 NVSwitch Domain。
2.3 Worker 节点 k8s 加入
TLinux 4 Worker 使用 2 阶段设置脚本 tlinux4-k8s134-worker.sh 查看完整脚本:
- Phase 1:配置 IMEX initramfs (
NVreg_CreateImexChannel0=1) +dracut --force+ 自动重启 - Phase 2:安装 containerd → NVIDIA Container Toolkit → kubeadm/kubelet →
kubeadm join
# SSH 到每个 Worker,运行设置脚本(可批量并行)
for d in $(seq 1 $NUM_DOMAINS); do
for i in $(seq 0 $((NODES_PER_DOMAIN - 1))); do
WORKER="${WORKER_PREFIX}-d${d}-w${i}"
gcloud compute ssh $WORKER --zone=$ZONE --project=$PROJECT --tunnel-through-iap \
--command="sudo bash /root/scripts/tlinux4-k8s134-worker.sh" &
done
done
wait
# Phase 1 完成后节点自动重启,重启后 Phase 2 自动运行并 join 集群
# 等待 ~5 分钟让所有 Worker 完成 Phase 2
# 在 CP 上验证
kubectl get nodes -o wide
# 应看到 1 CP + (NUM_DOMAINS × NODES_PER_DOMAIN) Worker 节点 (全部 Ready)
⚠️ 必读: 如使用 ComputeDomain (MNNVL 训练), 在继续 §3 前必须升级 kubelet 到 ≥ v1.34.5 — v1.34.1 默认 kubelet 跑 DRA workload 会撞 PR #133934 修复的 30 min idle gRPC deadlock, pod 永久 ContainerCreating 无 error log. 升级 SOP 见 §4.7.2, 大约 2 min 完成 (master + worker binary 替换 + systemctl restart). 跳过此步后续 ComputeDomain workload 必然踩坑.
# (kubelet 升级后继续 §3)
ℹ️ TLinux 4 注意事项:
- Docker CE repo 需要硬编码
baseurl=https://download.docker.com/linux/rhel/9/$(uname -m)/stable(TLinux 4 基于 RHEL 9) - NVIDIA Container Toolkit 使用
nvidia.github.io/libnvidia-container/stable/rpmrepo - 启动盘设备名不固定,脚本使用
findmnt动态查找
2.4 节点标签
方法 A:手动标记(小规模 / 验证环境)
# 按 Domain 标记 Worker 节点
for d in $(seq 1 $NUM_DOMAINS); do
for i in $(seq 0 $((NODES_PER_DOMAIN - 1))); do
kubectl label node ${WORKER_PREFIX}-d${d}-w${i} \
nvl72-domain=domain-${d} --overwrite
done
done
# 验证
kubectl get nodes -L nvl72-domain
方法 B:Startup Script 自动注册(生产 / 大规模环境,推荐)
GCP VM 可通过 Metadata Server 获取物理拓扑信息,无需 IAM 权限。同一 NVL72 domain 内的 VM 返回相同的拓扑哈希值。利用此特性,可在 Worker 的 startup script 中自动传递 --node-labels 给 kubelet:
# 在 Worker startup script 中(kubeadm join 之前)添加:
# 1. 从 Metadata Server 获取物理拓扑哈希(同 domain 的 VM 返回相同值)
TOPO_HASH=$(curl -sf -H "Metadata-Flavor: Google" \
"http://metadata.google.internal/computeMetadata/v1/instance/attributes/physical_host_topology" \
| md5sum | cut -c1-8) # 截取前 8 位作为域标识符
# 2. 配置 kubelet 启动参数,自动附带拓扑标签
mkdir -p /etc/systemd/system/kubelet.service.d
cat > /etc/default/kubelet <<KUBELET_EOF
KUBELET_EXTRA_ARGS=--node-labels=nvl72-domain=domain-${TOPO_HASH}
KUBELET_EOF
systemctl daemon-reload
# 3. kubeadm join 时节点自动携带标签
kubeadm join ${CP_IP}:6443 \
--token "${JOIN_TOKEN}" \
--discovery-token-ca-cert-hash "sha256:${JOIN_HASH}" \
--node-name "${NODE_NAME}" \
--ignore-preflight-errors=Hostname
ℹ️ 拓扑发现的两种 API:
| 方式 | 端点 | 权限要求 | 返回值 |
|---|---|---|---|
| Metadata Server(推荐) | http://metadata.google.internal/.../physical_host_topology |
无(VM 内部直接访问) | 拓扑哈希字符串 |
| Compute API | gcloud compute instances describe --format='value(resourceStatus.physicalHostTopology.subblock)' |
需要 compute.instances.get IAM 权限 |
结构化的 subblock 标识 |
注意:Metadata Server 返回的是哈希值(不可读但稳定),同 domain 的 VM 保证返回相同值。Compute API 返回可读的 subblock 名称,但需要额外 IAM 配置。
ℹ️ 替代方式:kubeadm JoinConfiguration
上方示例使用 /etc/default/kubelet + KUBELET_EXTRA_ARGS 的 systemd drop-in 方式传递 --node-labels。另一种方式是通过 JoinConfiguration 的 nodeRegistration.kubeletExtraArgs 以声明式配置文件传递(注意 v1beta4 的 kubeletExtraArgs 为 []Arg 列表格式,非 v1beta3 的 map)。
# kubeadm-join-config.yaml(声明式方式)
apiVersion: kubeadm.k8s.io/v1beta4
kind: JoinConfiguration
nodeRegistration:
kubeletExtraArgs:
- name: "node-labels"
value: "nvl72-domain=domain-${TOPO_HASH}"
discovery:
bootstrapToken:
apiServerEndpoint: "${CP_IP}:6443"
token: "${JOIN_TOKEN}"
caCertHashes:
- "sha256:${JOIN_HASH}"
# 使用方式:kubeadm join --config kubeadm-join-config.yaml
两种方式功能等价。--node-labels 在 k8s 1.34 中未被弃用(源码中无 deprecation 标记),且 KubeletConfiguration 中也没有原生 nodeLabels 字段——kubeadm 的 kubeletExtraArgs 本质上仍是传递 CLI 参数。配置文件方式更符合 IaC 管理风格,但两者技术上无差异。
3. 安装 GPU Stack
ℹ️ k8s 1.34 DRA 状态:DRA 在 k8s 1.34 中为 GA(正式发布),默认启用,无需 feature gate。ResourceClaimTemplate/DeviceClass API 版本为 resource.k8s.io/v1。
3.1 安装 nvidia-device-plugin
使用 nvidia-device-plugin DaemonSet 将 GPU 作为 nvidia.com/gpu 资源暴露给 k8s。
# 安装 Helm
curl -fsSL https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
# 安装 nvidia-device-plugin
helm repo add nvdp https://nvidia.github.io/k8s-device-plugin
helm repo update
helm install nvidia-device-plugin nvdp/nvidia-device-plugin \
--namespace kube-system \
--set-string nodeSelector."nvidia\.com/gpu\.present"=true \
--wait --timeout 300s
# 验证 GPU 可见
kubectl get nodes -o custom-columns="NAME:.metadata.name,GPU:.status.allocatable.nvidia\.com/gpu"
✅ 预期输出:每个 Worker 节点显示 4 个 GPU。
3.2 安装 gpu-feature-discovery (GFD) — clique label 来源
GB200 NVL72 在 k8s 上的核心调度依赖是 nvidia.com/gpu.clique=<ClusterUUID>.<CliqueId> node label — 用来在 Pod yaml 里通过 podAffinity.topologyKey: nvidia.com/gpu.clique 把同一 MNNVL 内的 Worker 调度到同一 clique。这个 label 不是 device-plugin 自动打的, 必须装 gpu-feature-discovery (GFD) chart 才会出现。
⚠️ 跳过 GFD 的后果: 后续 §6.2 同域 NCCL test / §4 ComputeDomain / §11 训练 yaml 全部依赖 nvidia.com/gpu.clique 做 podAffinity 调度。不装 GFD, podAffinity 无 match → Pod 永远 Pending 或被错误调度到不同 clique 节点 (导致 NCCL 性能掉到跨域 RDMA 水平, 不报错)。
# GFD 是 NVIDIA 官方 chart, 跟 device-plugin 同 repo (nvdp/)
# 与 §3.1 已 add 的 nvdp repo 复用
helm upgrade --install gpu-feature-discovery nvdp/gpu-feature-discovery \
--version 0.19.2 \
--namespace kube-system \
--set nfd.deploy=false \
--wait --timeout 300s
# 验证 GFD DaemonSet
kubectl -n kube-system get ds gpu-feature-discovery
# 预期: DESIRED = Worker 节点数, READY = 同上
# 验证 clique label 已打到 node 上
kubectl get nodes -o custom-columns="NAME:.metadata.name,CLIQUE:.metadata.labels.nvidia\.com/gpu\.clique"
# 预期输出示例:
# NAME CLIQUE
# <worker-node-01> 31f6acf8-e8b9-5c3e-acb0-1234567f50.1
# <worker-node-02> 31f6acf8-e8b9-5c3e-acb0-1234567f50.1 ← 同 clique
# <worker-node-03> 31f6acf8-e8b9-5c3e-acb0-1234567f50.1
# ...
ℹ️ GFD 提供的其他官方 label (30+ 个, 都以 nvidia.com/gpu.* 开头): gpu.product / gpu.memory / gpu.compute.major / gpu.driver-version / cuda.runtime-version / gpu.machine 等。详见 NVIDIA GFD 文档。
不要混淆: 一些早期 demo (含 NVIDIA Dave IMEX Manager DaemonSet) 给 node 打 nvidia.com/gpu.cliqueid (小写 d, 私设非官方) label。新版部署不应用 IMEX Manager (CD daemon 自管 IMEX), 应统一用 GFD 提供的官方 nvidia.com/gpu.clique (camelCase)。后续所有示例 yaml 用 topologyKey: nvidia.com/gpu.clique。
3.3 安装 DRANET
DRANET v1.3.0 是 Kubernetes SIG 的 DRA 网络驱动,用于将 RDMA NIC 作为 DRA 设备分配给 Pod。
# 安装 DRANET v1.3.0 via Helm
helm install dranet oci://registry.k8s.io/networking/charts/dranet \
--version $DRANET_VERSION \
--namespace kube-system \
--wait --timeout 300s
# 验证 DRANET DaemonSet
kubectl -n kube-system get ds dranet
# 验证 ResourceSlice(每个节点应发现 RDMA 设备)
kubectl get resourceslice -o wide | head -20
3.4 创建 RDMA DeviceClass
kubectl apply -f yamls/k8s1341-rdma-deviceclass.yaml
DeviceClass 内容(注意 API 为 resource.k8s.io/v1):
apiVersion: resource.k8s.io/v1
kind: DeviceClass
metadata:
name: rdma-devices
spec:
selectors:
- cel:
expression: |
device.driver == "dra.net" &&
has(device.attributes["dra.net"].rdma) && device.attributes["dra.net"].rdma == true
验证安装
kubectl get deviceclass
# 应有: rdma-devices
kubectl get resourceslice -o wide | head -20
3.5 安装 MPI Operator(多节点 NCCL 测试用)
Kubeflow MPI Operator v0.8.0 自动管理分布式 MPI 任务的 SSH 密钥分发、hostfile 注入和作业生命周期。在 5.2/5.3 节的多节点 NCCL 测试中使用 MPI Operator 可免去手动配置 SSH 互信和 nccl-tests 二进制分发的繁琐操作。
ℹ️ MPI Operator 关键特性:
- 自动生成 ECDSA P-521 SSH 密钥对并通过 K8s Secret 分发到所有 Worker Pod
- 自动生成 hostfile 并注入 Launcher Pod
- v0.8.0 支持 ARM64 多架构镜像、DRA resourceClaims(PR #769 已合并)、k8s 1.34.x
- Launcher/Worker 分离:Launcher 只运行
mpirun,Worker 运行sshd+ GPU 工作负载
# 安装 MPI Operator v0.8.0
kubectl apply --server-side -f \
https://raw.githubusercontent.com/kubeflow/mpi-operator/v0.8.0/deploy/v2beta1/mpi-operator.yaml
# 验证
kubectl get pods -n mpi-operator
# NAME READY STATUS RESTARTS AGE
# mpi-operator-xxxxxxxxx-xxxxx 1/1 Running 0 30s
⚠️ Worker 镜像要求:MPI Operator 需要 Worker Pod 运行 sshd。NGC PyTorch 镜像自带 OpenMPI 但不含 openssh-server。本指南的 MPIJob YAML 通过 Worker 启动命令在运行时安装 sshd 并从源码编译 MPI 版 nccl-tests。详见 6.2 节。
🚦 下一步: 必须先完成 ComputeDomain 安装
§3 已部署 GPU stack 基础组件 (device-plugin / DRANET / DeviceClass / MPI Operator). 在进行 §6 NCCL 测试 / §9 Megatron 训练 / §10 多 Domain 编排等 workload 之前, 必须先按 §4.2 → §4.3 → §4.4 顺序完成 ComputeDomain 安装, 并按 §4.7.2 升级 kubelet 到 v1.34.5+. 否则后续 yaml 引用 ResourceClaimTemplate: compute-domain-channel 时会 fail. §4 完整章节也包含自愈工具栈 / 生产压测 / 已知问题, 建议先通读 §4.1 概念部分再进入 §5 共享存储.
4. ComputeDomain — 安装、配置、压测、生产稳定性
ℹ️ 本章定位: ComputeDomain (CD) 是 NVIDIA GB200 NVL72 在 Kubernetes 上的核心抽象, 负责声明式管理 IMEX daemon 生命周期, 实现跨节点 NVLink (MNNVL) 通信. 本章是 CD 安装 / 配置 / 压测 / 生产稳定性的端到端 reference.
⚠️ 关键先决: 使用 ComputeDomain 必须满足:
- kubelet ≥ v1.34.5 (含 PR #133934 gRPC idle deadlock fix), 详见 §4.7
- host
nvidia-imex.service必须 disabled + masked (跟 CD daemon 互斥, NV_ERR_IN_USE) - Worker 节点 IMEX channels 已创建 (
/dev/nvidia-caps-imex-channels/channel0存在)
本章结构:
- §4.1 概念 + 互斥要求
- §4.2 DRA GPU Driver (含 CD controller) 安装
- §4.3 Scheduler DRA RBAC (kubeadm 必需)
- §4.4 创建 ComputeDomain
- §4.5 自愈工具栈 (reconciler + health check + log filter)
- §4.6 生产压测 (32 GPU full saturation × 4 round)
- §4.7 已知问题 + kubelet 升级 SOP
- §4.8 工具引用与文档关联
4.1 概念 + 互斥要求
ComputeDomain (CD) 是 DRA GPU Driver 提供的 CRD, 用于在 k8s 中声明式管理 IMEX daemon 生命周期. 创建 CD 后, 控制器自动:
- 创建 daemon DaemonSet, 在域内节点上启动 IMEX daemon pods
- 创建 ResourceClaimTemplate (Pod 通过此模板获取 IMEX channel)
- IMEX daemon pods 通过 pod CIDR 互联 (port 50000), 建立 IMEX session
- Pod 用
resourceClaimTemplateName: ${CD_NAME}-channel引用即可启用 MNNVL
三层概念区分 (见 §0.3):
- 物理 NVL72 Domain (硬件层): GCP placement policy 锁定的 18 节点 / 72 GPU 机柜
- NVLink Clique (硬件层 fabric): NVSwitch fabric partition, 同 cliqueId 内可走 MNNVL, 跨 clique 必须 RDMA. 一个物理 Domain 可以是 1 个 clique (典型 72 GPU) 或多个 clique (e.g., 2 × 36 GPU)
- ComputeDomain (CD) (k8s 软件层): 在同一 clique 内的任意节点子集上启动 IMEX daemon. N 可以是 1 到 clique 大小之间任意值
生产环境部署示例:
| 场景 | 推荐 CD 划分 |
|---|---|
| 单 workload 训练 64 GPU (16 节点) 在 1 clique 内 | 1 个 CD, numNodes: 0 (推荐) |
| 训练 + 推理共享同一 clique (18 节点) | 2 个 CD (节点不重叠), 各 numNodes: 0 |
| 全 NVL72 机柜 1 个 clique 给单训练 | 1 个 CD, numNodes: 0 |
| 2 clique × 36 GPU 跑独立 workload | 2 个 CD, 各 numNodes: 0 |
| 1800 GPU cluster (25 NVL72, 每机柜 1 clique) 跑大单训练 | 25 个 CD, 各 numNodes: 0 (跨 clique 通信走 RDMA) |
ℹ️ 为什么所有场景都 numNodes: 0? NVIDIA IMEXDaemonsWithDNSNames=true 模式 (v0.4.0 默认) 下, daemon 不需要等所有 N 节点 join 才 spawn; 每个 node 被 label 上 CD UID 时立即 spawn daemon pod, workload pod 立即获得 IMEX channel. numNodes 仅用于 controller 在 CD Status.Ready 上做 hint, 不门控 daemon / workload 启动. 而且这字段已 deprecated 下版会移除. workload 应自己 implement source-of-truth 同步 worker 数量 (e.g., torchrun rendezvous, 或 sshd barrier).
互斥要求:
- ComputeDomain ↔ host systemd
nvidia-imex.service: 互斥, 同时跑会 NV_ERR_IN_USE - 同一节点上多 CD: 不支持 (per-node 约束, 见上表)
4.2 DRA GPU Driver (含 ComputeDomain controller) 安装
ℹ️ DRA GPU Driver(v0.4.0 semver)提供 ComputeDomain CRD 和控制器,用于管理 IMEX daemon 生命周期。安装后会部署 kubelet plugin(DaemonSet)和 controller(Deployment)。
参考:官方文档 · GitHub repo
ℹ️ chart 来源: OCI registry registry.k8s.io/dra-driver-nvidia/charts/dra-driver-nvidia-gpu (不是 https://nvidia.github.io/k8s-dra-driver). NVIDIA 早期 calver 命名 v25.12.0 已废弃, 当前正确 tag 是 v0.4.0 (semver).
# 安装 DRA GPU Driver via Helm
helm install nvidia-dra-driver-gpu \
oci://registry.k8s.io/dra-driver-nvidia/charts/dra-driver-nvidia-gpu \
--version ${DRA_GPU_DRIVER_VERSION#v} \
--namespace nvidia-dra-driver-gpu \
--create-namespace \
--set nvidiaDriverRoot=/ \
--set gpuResourcesEnabledOverride=true \
--wait --timeout 300s
# 验证 DRA GPU Driver 组件
kubectl -n nvidia-dra-driver-gpu get pods -o wide
# 应看到: controller Pod (1/1) + 每个 GPU Worker 一个 kubelet-plugin Pod (2/2)
# 验证 ComputeDomain CRD 已注册
kubectl get crd | grep computedomain
# 应有: computedomains.resource.nvidia.com + computedomaincliques.resource.nvidia.com
⚠️ 关键: kubelet 版本要求 — 如使用 ComputeDomain, 必须升 kubelet 到 v1.34.5+ (含 PR #133934 的 gRPC idle deadlock fix). v1.34.1 kubelet 跑 DRA workload 时, gRPC connection 30 min idle 后会永久卡 ContainerCreating, 无任何 error log. 完整详情见 §4.7.
⚠️ 前提:Worker 节点的 IMEX channels 必须已创建(/dev/nvidia-caps-imex-channels/channel0 存在)。这在 Worker 启动脚本的 Phase 1 中已配置(NVreg_CreateImexChannel0=1 + dracut --force + reboot)。
互斥:ComputeDomain 与 nvidia-imex systemd 服务互斥。如 Worker 上有 nvidia-imex.service 在运行,必须先停止:systemctl stop nvidia-imex && systemctl disable nvidia-imex
4.3 Scheduler DRA RBAC (kubeadm 必需)
⚠️ 关键步骤:kubeadm 1.34.x 的默认 ClusterRole 未包含 DRA(Dynamic Resource Allocation)所需的 RBAC 权限。如果跳过此步骤,ComputeDomain daemon pods 会永久停留在 ContainerCreating(kubelet 无日志无报错,极难诊断)。
# Scheduler DRA RBAC — 必须在创建任何 ComputeDomain 之前执行
cat <<'EOF' | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: system:kube-scheduler:dra
rules:
- apiGroups: ["resource.k8s.io"]
resources: ["resourceclaims"]
verbs: ["get", "list", "watch", "update", "patch"]
- apiGroups: ["resource.k8s.io"]
resources: ["resourceclaims/status"]
verbs: ["get", "update", "patch"]
- apiGroups: ["resource.k8s.io"]
resources: ["resourceslices"]
verbs: ["get", "list", "watch"]
- apiGroups: ["resource.k8s.io"]
resources: ["deviceclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: system:kube-scheduler:dra
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: system:kube-scheduler:dra
subjects:
- apiGroup: rbac.authorization.k8s.io
kind: User
name: system:kube-scheduler
EOF
# 重启 Scheduler 使 informer 重新同步
kubectl delete pod -n kube-system -l component=kube-scheduler
kubectl get pods -n kube-system -l component=kube-scheduler -w
# 等待 Running 1/1
4.4 创建 ComputeDomain
ℹ️ ComputeDomain 是 DRA GPU Driver 提供的 CRD,声明式管理 IMEX daemon 生命周期(概念文档)。创建后,控制器自动:
- 创建 daemon DaemonSet → 在域内节点上启动 IMEX daemon pods
- 创建 ResourceClaimTemplate(Pod 通过此模板获取 IMEX channel)
- IMEX daemon pods 通过 pod CIDR 互联(port 50000),建立 IMEX session
# 前提:nvidia-imex.service 必须已禁用(§4.4 步骤已处理, 详见 §16.11.1)
# 为每个 Domain 创建 ComputeDomain
for d in $(seq 1 $NUM_DOMAINS); do
CD_NAME="domain-${d}-compute-domain"
echo "=== Creating ComputeDomain: ${CD_NAME} ==="
cat <<EOF | kubectl apply -f -
apiVersion: resource.nvidia.com/v1beta1
kind: ComputeDomain
metadata:
name: ${CD_NAME}
spec:
numNodes: 0 # ✅ NVIDIA 官方推荐 + 默认值 (IMEXDaemonsWithDNSNames=true 模式下不门控 daemon 启动)
# 字段已声明 deprecated, 下个 API 版本会移除. workload 自管 worker 数量 (torchrun rendezvous / sshd barrier)
# 设非 0 仅在 IMEXDaemonsWithDNSNames=false 旧模式必需 (hold 所有 workload pod 等到 N 个 daemon join)
channel:
allocationMode: Single
resourceClaimTemplate:
name: ${CD_NAME}-channel
EOF
# allocationMode: Single — 每个 Pod 独占一个 IMEX channel
done
# 等待 daemon pods 启动(通常 30-60 秒)
kubectl get pods -n nvidia-dra-driver-gpu -l app.kubernetes.io/name=compute-domain-daemon -w
# 验证所有 ComputeDomain 状态
kubectl get computedomain -o wide
# 每个 ComputeDomain 状态应为 Ready
ℹ️Compute Domain工作流程是:
- Pod 用
resourceClaimTemplateName: ${CD_NAME}-channel请求 IMEX channel - Scheduler 决定调度该 pod 到 node X
- Kubelet 调 NVIDIA DRA plugin 的
NodePrepareResourcesgRPC - Plugin 内部
AddNodeLabel自动给 node X 打 CD label - CD controller 看到 label 后, 把 daemon DaemonSet 的
nodeSelector匹配上该 node, daemon pod 自动 spawn 到 node X
手动 label 仅在 controller race 时作为 workaround (race 时 controller 静默 skip label, daemon DS 永远 DESIRED=0). 本指南提供 dra-cd-label-reconciler (cluster-resident Deployment, 周期 15s 兜底 patch 缺失 label) 作为自动化兜底. 详见 §4.5.
✅ 预期: 在每个被 label 上 CD UID 的 node 上立即 spawn 1 个 daemon pod, IMEX session 建立成功. (numNodes: 0 模式下 ComputeDomain Status.Ready 状态由 controller heuristic 决定, workload 不应依赖此 status 而应自管 worker 同步)。
ℹ️ 关于 daemon 日志 "不断尝试连接不存在的 peer": 这是 numNodes 设非 0 但实际节点数小于此值时才出现的噪音. NVIDIA 推荐 numNodes: 0, 不会有这个日志.
生产环境部署示例 (所有场景统一 numNodes: 0):
| 部署场景 | CD 划分 |
|---|---|
| 单 workload 占满 NVL72 机柜 (18 节点 1 clique) | 1 CD |
| 训练 + 推理共享同 clique (节点不重叠) | 2 CD |
| 8 节点小测试 | 1 CD |
| 1800 GPU cluster (25 NVL72, 每 clique 1 CD) 跑大单训练 | 25 CD (跨 NVL72 走 RDMA) |
| 1800 GPU cluster 改 partition 给 N workload | 25 × N_partition CD |
真实生产 yaml 参考: GCP A4X 集群 所有 NCCL / DeepEP / Megatron yaml 都用 numNodes: 0, 实测 zero issue。
ℹ️ 域内多任务:ComputeDomain 支持域内多任务并存。每个节点最多属于一个 ComputeDomain(每节点只能运行一个 IMEX daemon),但同一 ComputeDomain 的 ResourceClaimTemplate 可被多个 Pod 共享。例如:创建一个覆盖 6 节点域的 ComputeDomain,任务 A 通过 nodeSelector 调度到其中 2 个节点,任务 B 调度到另外 4 个节点,两个任务都引用同一个 sd-compute-domain-channel ResourceClaimTemplate,均可使用 MNNVL。
4.6 生产压测 (32 GPU full saturation × 4 round)
集群配置: 8 worker GB200 (1 NVLink Clique), kubelet ≥ v1.34.5, DRA driver v0.4.0, reconciler + 自愈工具就位.
Stress test: 4 个 Megatron llama2-7b 训练实例并发 (replicas=2, nvidia.com/gpu: 4/pod, 共 32 GPU 满载 cluster), train-iters=20, 反复 4 rounds.
| Round | sts ready 时间 | 总时长 | RS publish 8/8 | Layer 1 noise (20min) | manual intervention | 备注 |
|---|---|---|---|---|---|---|
| 1 | 13s | 924s | ✓ | 4 (无害, controller race retry log) | 0 | training throughput 没 capture |
| 2 | 11s | 923s | ✓ | 0 | 0 | 同上 |
| 3 | 13s | 926s | ✓ | 4 (无害) | 0 | 同上 |
| 4 | 12s | 924s | ✓ | — | 0 | ✓ 含 sleep 3600 patch, throughput captured |
Throughput 一致性 (Round 4, iter 11-20 stable phase):
| Instance | mean iter (ms) | tokens/sec/GPU |
|---|---|---|
| meg-7b-a | 4864.5 | 13,472 |
| meg-7b-b | 4749.1 | 13,800 |
| meg-7b-c | 4765.9 | 13,751 |
| meg-7b-d | 4715.1 | 13,899 |
| Mean | 4773.6 | 13,731 |
| Spread | 149 ms (3.0%) | 3.2% |
4.7 已知问题
GB200 NVL72 + DRA 生产部署遇到 4 个独立 bug, 分布在 3 个不同上游项目里:
| # | Bug | 类别 | 上游修复状态 | 客户应对 |
|---|---|---|---|---|
| 1 | kubelet → DRA plugin gRPC 30 分钟 idle 后 deadlock | k8s 上游 bug | ✅ 已 fix in v1.34.2 (PR #133934) | 必须升 kubelet ≥ v1.34.5 (见 §4.7.2) |
| 2 | NVIDIA controller "object has been modified" log + channel-0 残留 | NVIDIA driver bug | ⏳ Fix PR #1188 已 merge 到 main 但还没进任何 release (v0.4.1-rc.1 在 PR 之前 cut) | log 噪音用 wrapper 屏蔽; channel-0 leak 用 --fix-race 自愈 |
| 3 | ResourceSlice 时不时凭空消失, 调度永远失败 | k8s client-go bug |
⏳ 未 merge: PR #140063 / #140011 | 部署 --fix-rs CronJob 周期 5 min 主动检测 |
| 4 | 跨 clique alltoall 永久 hang | NVIDIA NCCL race | ⏳ NVIDIA 已承认 "future atomic lock fix" | 绕开: 用 NVSHMEM / DeepEP 代替 NCCL alltoall, 或拆 workload 不跨 clique |
业务影响判级:
- Bug 1: High — 任何 idle > 30 min 后新 workload 100% 撞, pod 永久 ContainerCreating, 无 error log
- Bug 2: Low/Medium — controller log 噪音无害; channel-0 leak 在 batch reschedule + cluster churn 下偶发 (GCP A4X)
- Bug 3: Medium-High — 任何 plugin DaemonSet rollout / 节点 reboot / 大规模 cordon-drain 时随机 ~1/300 节点 stuck
- Bug 4: High for MoE — GB200 NVL72 跨 clique alltoall 完全不可用; 同 clique alltoall ≤72 GPU 100% OK
4.8 工具与文档关联
| 类型 | 文件 / 链接 | 用途 |
|---|---|---|
| 上游 PR (gRPC idle fix) | https://github.com/kubernetes/kubernetes/pull/133934 | k8s v1.34.2 含 |
| 上游 PR (channel-0 fix) | https://github.com/kubernetes-sigs/dra-driver-nvidia-gpu/pull/1188 | post v0.4.0 (未 release) |
| 上游 PR (ResourceSlice race fix) | https://github.com/kubernetes/kubernetes/pull/140063 | OPEN |
| NVIDIA 官方 CD 概念 | https://dra-driver-nvidia-gpu.sigs.k8s.io/docs/concepts/compute-domains/ | NVIDIA DRA Driver 文档 |
5. GCSFuse + Lustre 共享存储
5.1 GCSFuse(已在 startup script 中配置)
每个 Worker 的 startup script (tlinux4-k8s134-worker.sh 查看完整脚本) 已包含 GCSFuse 安装和挂载:
# startup script 自动执行:
# 安装 gcsfuse
dnf install -y gcsfuse
# 挂载 GCS bucket(使用 Local SSD 作为文件缓存)
mkdir -p ${LOCAL_SSD_MOUNT}/shared
gcsfuse --implicit-dirs \
--file-cache-dir=${LOCAL_SSD_MOUNT}/gcsfuse-cache \
$GCSFUSE_BUCKET ${LOCAL_SSD_MOUNT}/shared
# Pod 中通过 hostPath 访问
volumes:
- name: shared-data
hostPath:
path: /mnt/stateful_partition/shared # GCSFuse 挂载点
- name: scratch-data
hostPath:
path: /mnt/stateful_partition/scratch-data # Local SSD 高速缓存
5.2 GCSFuse v2 高性能配置(可选)
GCSFuse v2 支持并行下载和内核缓存,可显著提升大模型 checkpoint 加载速度。
# 在 startup script 中启用 v2 高性能挂载(使用 Local SSD 作为文件缓存)
gcsfuse \
--implicit-dirs \
--file-cache-dir=${LOCAL_SSD_MOUNT}/gcsfuse-cache \
--file-cache-capacity-per-file-mb=-1 \
--file-cache-cache-file-for-range-read \
--file-cache-enable-parallel-downloads \
--file-cache-parallel-downloads-per-file=16 \
--file-cache-download-chunk-size-mb=50 \
--file-cache-max-parallel-downloads=64 \
--kernel-list-cache-ttl-secs=600 \
--metadata-cache-ttl-secs=600 \
--stat-cache-capacity=20000 \
--type-cache-max-size-mb=32 \
--rename-dir-limit=200000 \
$GCSFUSE_BUCKET ${LOCAL_SSD_MOUNT}/shared
ℹ️ 关键参数说明:
--file-cache-enable-parallel-downloads:启用文件级并行下载(GCSFuse v2+ 特性)--file-cache-parallel-downloads-per-file=16:每个文件最多 16 个并行块--file-cache-capacity-per-file-mb=-1:不限制单文件缓存大小--kernel-list-cache-ttl-secs=600:目录列表缓存 10 分钟,减少 metadata API 调用
注:文件缓存位于 Local SSD RAID0(/mnt/stateful_partition/gcsfuse-cache),A4X 自带 ~12TB NVMe,提供极高的缓存 IOPS。
ℹ️ 关于 GCS FUSE CSI Driver GKE 环境中,Google 提供了原生的 GCS FUSE CSI Driver,可将认证(Workload Identity)和缓存生命周期与 Pod 绑定,避免 hostPath 的节点状态残留问题。 但在自建 k8s 环境中,该 CSI Driver 不受官方支持(GitHub README 明确声明 "Manual deployment of the driver to your cluster is not officially supported by Google")。因此本指南采用节点级 gcsfuse 挂载 + hostPath 的方式,这是自建 k8s 上的推荐方案。GKE 用户请直接使用 CSI Driver。
5.3 Lustre client 安装与挂载
ℹ️ 实测说明: 本节基于 2026-06-29 在 lustre-client-binaries 提供 lustre-2.14.0_ddn256 aarch64 dkms RPM, 源码已含 6.6 kernel 兼容 patches, DKMS build 15 秒完成, 无需手动 backport.
5.3.1 选项概览
| 路径 | 适用场景 | 依赖 | 难度 |
|---|---|---|---|
| A. GCP Managed Lustre + 节点 dkms client (推荐) | 自管 k8s + GCP Parallelstore (Lustre) instance | TencentOS 4 / RHEL 9 / Rocky 9 worker | ⭐ 简单, SOP 已验证 |
| B. GCP Parallelstore CSI Driver | GKE | GKE only | N/A — 不适用本指南 |
| C. 自己 build Lustre 2.14 from source | 自管 Lustre server + 完全离线环境 | kernel source + 编译工具链 | ⭐⭐⭐ 复杂, 不推荐 |
下文专注 路径 A.
记下 accessPoints[0] (Lustre MGS IP), 例如 10.158.224.3. 客户端 mount 时用 <MGS_IP>@tcp:/<fsname>. fsname 默认 data (GCP Parallelstore 不可改).
5.3.3 Worker 节点 Lustre client 安装 (TencentOS 4 / aarch64)
# 1. 加 GCP lustre-client-binaries Artifact Registry repo (Rocky 9 compatible with TencentOS 4)
sudo tee /etc/yum.repos.d/lustre-client.repo > /dev/null << 'EOF'
[lustre-client]
name=GCP Lustre Client
baseurl=https://us-yum.pkg.dev/projects/lustre-client-binaries/lustre-client-rocky-9
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF
# 2. 装 dkms + lustre client 2.14.0_ddn256
sudo dnf install -y dkms
sudo dnf install -y lustre-client-dkms-2.14.0_ddn256-1.el9 lustre-client-2.14.0_ddn256-1.el9
# DKMS build 大约 15 秒, 输出: # exit code: 0 # elapsed time: 00:00:15
# 3. 加载 kernel module
sudo modprobe lnet
sudo modprobe lustre
# 4. 配 LNet (默认走 default route NIC, 通常是 enp0s3, 自动建 tcp NID)
sudo lnetctl lnet configure
sudo lnetctl net show # 应看到 `<vpc-ip>@tcp` NID
# 5. 持久化 module load + lnet 配置
sudo tee /etc/modules-load.d/lustre.conf > /dev/null << 'EOF'
lnet
lustre
EOF
sudo lnetctl export > /etc/lnet.conf
sudo systemctl enable --now lnet # 开机自动 import /etc/lnet.conf
# 验证
dkms status # 应看到: lustre-client/2.14.0_ddn256, ..., aarch64: installed
lsmod | grep -E "lustre|lnet" # 应看到: lustre / mdc / lov / lmv / ptlrpc / obdclass / lnet / libcfs / ksocklnd / fld / fid / osc
modinfo lustre # version=2.14.0_ddn256, vermagic 匹配 running kernel
5.3.4 mount Lustre
走 tcp (GCP VPC 网络, 简单, 一般推荐):
sudo mkdir -p /data
sudo mount -t lustre <MGS_IP>@tcp:/data /data
# 例: sudo mount -t lustre 10.158.224.3@tcp:/data /data
# 持久化 /etc/fstab
echo "<MGS_IP>@tcp:/data /data lustre defaults,_netdev,flock,user_xattr 0 0" | sudo tee -a /etc/fstab
# 验证
df -h /data
sudo lfs df -h # 看 MGS/MDT/OST 容量
mount
sudo mount -t lustre
#### 5.3.5 k8s Pod 使用 Lustre
**Option 1: hostPath (简单, 跟 GCSFuse 一致路径模式)**:
```yaml
volumes:
- name: lustre-data
hostPath:
path: /data # ← worker 节点 lustre mount 点
type: Directory
containers:
- name: trainer
volumeMounts:
- name: lustre-data
mountPath: /data
6. NCCL 通信测试
🚦 前置确认: 本章 §6.2 同域 MNNVL 测试需要 ComputeDomain 已 ready (§4.4). 如果还未完成 §4.2-§4.4 + kubelet 升级 (§4.7.2), 请先返回 §4 完成相关 setup, 否则测试 yaml apply 会 fail。
6.1 单节点 4 GPU (NVLink 基线)
# 部署单节点测试 Pod
kubectl apply -f yamls/k8s1341-nccl-single-node.yaml # 查看 YAML
# 等待完成
kubectl logs nccl-single-node -f
| 指标 | 实测结果 |
|---|---|
| all_reduce 4 GPU @8G | 683.75 GB/s busbw |
✅ 单节点 NCCL 测试通过:all_reduce 683.75 GB/s busbw。NVLink 通信正常。
6.2 同域 2 节点 MNNVL(MPI Operator + ComputeDomain + DRANET)
ComputeDomain(§4.4 步骤已创建)管理 IMEX daemon 生命周期,Pod 通过 spec.resourceClaims 引用 ResourceClaimTemplate 获取 IMEX channel,启用 MNNVL。使用 MPI Operator(§3.5 节已安装)自动管理 SSH 密钥分发和 hostfile 注入。
# Pod 通过 DRA 声明两类资源(在 MPIJob Worker template 中配置):
# 1. compute-domain-channel → ComputeDomain 自动生成的 ResourceClaimTemplate(提供 IMEX channel)
# 2. rdma-nics → YAML 中定义的 ResourceClaimTemplate(提供 4 张 RDMA 网卡)
#
# MPI Operator 自动完成:
# - 生成 ECDSA P-521 SSH 密钥对(K8s Secret)
# - 将密钥和 authorized_keys 挂载到所有 Pod 的 /root/.ssh/
# - 生成 hostfile 并注入 Launcher Pod
# - Worker 就绪后才创建 Launcher(launcherCreationPolicy: WaitForWorkersReady)
# 一键部署 MPIJob(自动管理 SSH 和 hostfile)
kubectl apply -f yamls/k8s1341-nccl-mpi-same-domain.yaml # 查看完整 YAML
# 查看 Worker 和 Launcher 状态(Launcher 在所有 Worker Ready 后自动创建)
kubectl get pods -l training.kubeflow.org/job-name=nccl-mpi-sd -w
# 查看测试结果
kubectl logs -l training.kubeflow.org/job-name=nccl-mpi-sd,training.kubeflow.org/replica-type=launcher
# 查看 MPIJob 状态
kubectl get mpijob nccl-mpi-sd -o jsonpath='{.status.conditions[-1].type}'
# 预期: Succeeded
# 清理
kubectl delete mpijob nccl-mpi-sd
kubectl delete resourceclaimtemplate rdma-nics-mpi-sd
ℹ️ MPIJob 工作流程:
- MPI Operator 自动生成 SSH 密钥 Secret (
nccl-mpi-sd-ssh) - Worker Pod 启动:GIB init container → 安装 openssh-server → 编译 MPI 版 nccl-tests → 启动 sshd
- 所有 Worker Ready 后,Launcher Pod 自动创建
- Launcher 编译 nccl-tests,然后通过
mpirun在所有 Worker 上执行 all_reduce_perf - 测试完成后 Launcher 退出,MPIJob 标记为 Succeeded
对比手动方式:无需 kubectl exec 交换 SSH 密钥、无需手动 scp 二进制文件、无需手动拼接 --host 参数。
| 指标 | 实测结果 |
|---|---|
| all_reduce 8 GPU @8G (MNNVL) | 836.55 GB/s busbw |
| 平均 bus bandwidth | 750.61 GB/s |
✅ 同域 MNNVL 测试通过:all_reduce 8GPU @8G 达到 836.55 GB/s busbw。MPI Operator 自动管理 SSH 互信,ComputeDomain 管理 IMEX daemon,MNNVL 通信正常。
6.3 跨域 2 节点 RDMA(MPI Operator + DRANET)
跨域节点无 MNNVL,使用纯 RDMA (GPUDirect/GIB) 通信。不需要 ComputeDomain channel(无 IMEX)。与 5.2 节的 MPIJob 相比,主要差异:
- Worker 不引用
compute-domain-channel(无 IMEX channel) NCCL_MNNVL_ENABLE=0,NCCL_CUMEM_ENABLE=0- Worker 节点标签为
topology=cross-domain(分属不同物理域)
# 部署跨域 NCCL 测试 MPIJob
kubectl apply -f yamls/k8s1341-nccl-mpi-cross-domain.yaml # 查看完整 YAML
# 查看进度
kubectl get pods -l training.kubeflow.org/job-name=nccl-mpi-cd -w
# 查看测试结果
kubectl logs -l training.kubeflow.org/job-name=nccl-mpi-cd,training.kubeflow.org/replica-type=launcher
# 清理
kubectl delete mpijob nccl-mpi-cd
kubectl delete resourceclaimtemplate rdma-nics-mpi-cd
| 指标 | 实测结果 |
|---|---|
| all_reduce 8 GPU @8G (RDMA) | 325.88 GB/s busbw |
✅ 跨域 RDMA 测试通过:all_reduce 8GPU @8G 达到 325.88 GB/s busbw。纯 GPUDirect RDMA 通信正常,无需 ComputeDomain/IMEX。
6.4 混合 4 节点(2 同域 + 2 跨域)
生产环境中使用 MPI Operator 时,只需调整 MPIJob 的 replicas: 4 和 -np 16 即可扩展到 4 节点。本节保留参考 YAML 和测试数据:
# 参考:4 节点 Pod 配置
kubectl apply -f yamls/k8s1341-nccl-4node-mixed-dranet.yaml # 查看 YAML
⚠️ NCCL_MNNVL_ENABLE 注意:混合域测试中必须设置 NCCL_MNNVL_ENABLE=0。 设置为 2(自动检测)时,NCCL 会在跨域节点(无 IMEX channel)上尝试探测 MNNVL 能力导致 CUDA error。 如需同时利用同域 MNNVL 和跨域 RDMA,应将同域与跨域分离为独立的通信组。
| 指标 | 实测结果 |
|---|---|
| all_reduce 16 GPU @8G (纯 RDMA) | 162.45 GB/s busbw |
✅ 混合 4 节点测试通过:all_reduce 16GPU @8G 达到 162.45 GB/s busbw(平均 156.7 GB/s)。所有 4 节点纯 RDMA 通信正常。
7. RDMA 带宽测试 (ib_write_bw)
在同域 NCCL 测试 Pod 中运行 RDMA 带宽测试。
# 安装 perftest
kubectl exec nccl-sd-h1 -- bash -c "apt-get update -qq && apt-get install -y -qq perftest"
kubectl exec nccl-sd-h2 -- bash -c "apt-get update -qq && apt-get install -y -qq perftest"
# 测试时需切换 LD_LIBRARY_PATH 避免 GIB libibverbs 覆盖系统版本
# 注意: 4 个 port 必须各自绑到 mlx5_0/1/2/3 (4 张独立 NIC), 才测得出 4×NIC aggregate
# 否则全 -d mlx5_0 测的是同一 NIC 多 port (得不到 4×400Gbps 聚合)
# 在 h2 上启动 server(每张 RDMA NIC 一个端口)
ports=(18515 18516 18517 18518)
nics=(mlx5_0 mlx5_1 mlx5_2 mlx5_3)
for i in 0 1 2 3; do
kubectl exec nccl-sd-h2 -- bash -c \
"LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu ib_write_bw -p ${ports[$i]} -d ${nics[$i]} -s 65536 --report_gbits -F" &
done
# 在 h1 上运行 client (并行 4 NIC 才能压满 aggregate)
HOST2_IP=$(kubectl get pod nccl-sd-h2 -o jsonpath='{.status.podIP}')
for i in 0 1 2 3; do
kubectl exec nccl-sd-h1 -- bash -c \
"LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu ib_write_bw -p ${ports[$i]} -d ${nics[$i]} -s 65536 --report_gbits -F $HOST2_IP" &
done
wait
| 指标 | 实测结果 |
|---|---|
| ib_write_bw per NIC | ~381 Gbps |
| 4×NIC aggregate | ~1524 Gbps (4 × ~381 Gbps) |
8. DeepEP 测试
ℹ️ 版本选择指南:关于 DeepEP v1(CUDA 12)和 v2(CUDA 13)的详细对比与选择建议,请参阅 §15.9 DeepEP v1 vs v2 选择建议。推荐使用 v2,因 v1 在 GCP 上无法支持跨节点 EP。
8.1 概述
DeepEP 是 DeepSeek 开源的 Expert Parallelism (EP) 通信库。本节提供两条并行部署路径供选择:
| 路径 | DeepEP 版本 | CUDA | Internode 后端 | NVSHMEM | NCCL |
|---|---|---|---|---|---|
| 路径 A(稳定/传统) | v1 | CUDA 12 | NVSHMEM IBGDA | 3.4.5(必需) | 2.25+ |
| 路径 B(推荐/新版) | v2 (main) | CUDA 13 | NCCL Gin | 可选/仅编译用 | ≥ 2.30.4 |
⚠️ Internode 限制:DeepEP v1 的 internode 通信依赖 NVSHMEM IBGDA,而 IBGDA 需要 GDRCopy。GKE/GCP 环境中 GDRCopy 无法使用(内核模块不可加载),因此 v1 internode 在 GKE 上受限。详见 GitHub Issue #579。 解决方案:DeepEP v2 (Elastic EP) 使用 NCCL Gin 后端进行 internode 通信,完全消除 NVSHMEM/GDRCopy 依赖,已在 2 节点 × 4 GPU 环境验证通过(144/144 PASS)。推荐使用路径 B。
ℹ️ CUDA 13 容器注意:NGC 26.04 (nvcr.io/nvidia/pytorch:26.04-py3) 容器自带 NVSHMEM 3.6.5,与 DeepEP v1 不兼容(struct v2 布局、QP-ID-major 索引变更)。在 CUDA 13 环境中使用 v1 internode 会因 NVSHMEM 版本冲突而阻塞。这是选择路径 B (v2) 的另一重要原因。
8.2 NVSHMEM 版本兼容矩阵
| NVSHMEM 版本 | Struct 布局 | ibgda RC QP 索引 | DMABuf 支持 | DeepEP 兼容 | GB200 状态 |
|---|---|---|---|---|---|
| 3.3.9 | v1 | PE-major | 无 ibv_reg_dmabuf_mr | 兼容 | 失败(无 nvidia_peermem,无 DMABuf FD) |
| 3.4.5 | v1 | PE-major | ibv_reg_dmabuf_mr | 兼容 | 可用(GB200 推荐) |
| 3.5.x+ | v2 | QP-ID-major | ibv_reg_dmabuf_mr | 不兼容 | 失败(struct/索引与 DeepEP 不匹配) |
| GPU 平台 | 推荐 NVSHMEM 版本 | 原因 |
|---|---|---|
| GB200 (A4X) | 3.4.5 | GB200 不支持 POSIX FD handle(CUDA attr 92=0),nvidia_peermem 无法加载;3.4.5 通过 ibv_reg_dmabuf_mr 绕过此限制 |
| B200 / H200 | 3.3.9 | 支持 nvidia_peermem,无需 DMABuf;struct v1 兼容 DeepEP |
8.3 路径 A:DeepEP v1 + CUDA 12(稳定版)
适用容器:nvcr.io/nvidia/pytorch:25.04-py3(CUDA 12,NVSHMEM 兼容)
# 部署 DeepEP 测试 Pod(ComputeDomain + DRANET)
kubectl apply -f yamls/k8s1341-deepep-test-dranet.yaml # 查看 YAML
# 等待 Pod 就绪
kubectl get pods -l name -w
kubectl logs deepep-h1 -f # 确认 "Ready"
# 验证 IMEX channel
kubectl exec deepep-h1 -- ls /dev/nvidia-caps-imex-channels/
Step 1:安装 NVSHMEM 3.4.5 并编译 DeepEP v1
kubectl exec deepep-h1 -- bash -c "
apt-get update -qq && apt-get install -y -qq git 2>/dev/null
pip install nvidia-nvshmem-cu12==3.4.5 2>&1 | tail -3 # 必须 3.4.5,3.5.x+ 会导致 low-latency NVSHMEM init 失败
ln -sf /usr/local/gib/lib64/libnccl.so.2 /usr/local/gib/lib64/libnccl.so
cd /tmp && git clone --depth 1 https://github.com/deepseek-ai/DeepEP.git
cd /tmp/DeepEP
# 4-GPU 补丁(见 7.5 节详解)
sed -i 's/#define NUM_MAX_NVL_PEERS 8/#define NUM_MAX_NVL_PEERS 4/' csrc/kernels/configs.cuh
sed -i 's/NUM_MAX_NVL_PEERS == 8/NUM_MAX_NVL_PEERS == 4/g' csrc/deep_ep.hpp csrc/kernels/internode.cu
sed -i 's/must be 8/must be 4/' csrc/deep_ep.hpp
sed -i 's/num_ranks > NUM_MAX_NVL_PEERS/num_ranks >= NUM_MAX_NVL_PEERS/g' csrc/deep_ep.cpp csrc/kernels/layout.cu
NCCL_DIR=/usr/local/gib TORCH_CUDA_ARCH_LIST='10.0' python setup.py build_ext --inplace 2>&1 | tail -5
# 确认输出: deep_ep/_C.cpython-312-aarch64-linux-gnu.so
"
Step 2:运行 Intranode 测试
kubectl exec deepep-h1 -- bash -c "
export NCCL_DIR=/usr/local/gib
export LD_LIBRARY_PATH=/usr/local/gib/lib64:/usr/local/nvidia/lib64:\$LD_LIBRARY_PATH
export PYTHONPATH=/tmp/DeepEP:\$PYTHONPATH
cd /tmp/DeepEP/tests/legacy
python test_intranode.py --num-processes 4 --num-experts 64 --num-topk 4
"
Step 3:运行 Low-latency 测试
kubectl exec deepep-h1 -- bash -c "
export NCCL_DIR=/usr/local/gib PYTHONPATH=/tmp/DeepEP:\$PYTHONPATH
export LD_LIBRARY_PATH=/usr/local/gib/lib64:/usr/local/nvidia/lib64:\$LD_LIBRARY_PATH
cd /tmp/DeepEP/tests/legacy
python test_low_latency.py --num-processes 4 --num-experts 64 --num-topk 4
"
| 测试 | 实测结果 |
|---|---|
| Intranode BF16 dispatch | 24/24 PASS,best 435.97 GB/s NVL (SMs=24, chunk=32) |
| Intranode FP8 dispatch | 24/24 PASS,best 288.07 GB/s NVL (SMs=24, chunk=32) |
| Intranode Combine | PASS,best 321.35 GB/s NVL (SMs=24, chunk=16) |
| Low-latency dispatch | 168-188 GB/s,延迟 ~20 us |
| Low-latency combine | 316-331 GB/s,延迟 ~22 us |
8.4 路径 B:DeepEP v2 + CUDA 13(推荐)
适用容器:推荐 nvcr.io/nvidia/pytorch:26.05-py3 (CUDA 13.2, NCCL 2.30.4, 本指南其他章节默认). 26.04-py3 (NCCL 2.29.7) 也可用但需 Step 1 额外升级 NCCL 到 2.30.4 (v2 GIN 后端要求). DeepEP v2 (Elastic EP) 使用 NCCL Gin 后端, 消除了 NVSHMEM internode 依赖.
# 部署 CUDA 13 测试 Pod(ComputeDomain + DRANET) 查看参考 YAML
# ← 请根据实际环境修改 Pod YAML
# 等待 Pod 就绪
kubectl get pods -l name -w
ℹ️ 镜像说明:使用 nvcr.io/nvidia/pytorch:26.04-py3,含 CUDA 13.2.1、PyTorch 2.12.0a0、NCCL 2.29.7。init container 为 GIB NCCL plugin v1.1.2 (ARM64, 内置 NCCL 2.30.4) 。
⚠️ 如使用 NGC pytorch:26.05-py3 (本指南其他章节默认): 容器自带 NCCL 已是 2.30.4, 无需 §8.4 Step 1 的 pip 安装 nvidia-nccl-cu13 步骤。本节 Step 1 流程仅适用 26.04 (NCCL 2.29.7) 容器。
Step 1:安装 NVSHMEM 3.4.5 + NCCL 2.30.4
容器自带 NVSHMEM 3.6.5(与 DeepEP 不兼容)和 NCCL 2.29.7(v2 需要 ≥ 2.30.4)。需额外安装:
# 在每个 CUDA 13 Pod 上执行:
# 安装 NVSHMEM 3.4.5(用于 legacy 代码编译,不影响 v2 运行时)
apt-get update && apt install -y cuda-keyring && apt update
apt install -y libnvshmem3-cuda-12=3.4.5-1 libnvshmem3-dev-cuda-12=3.4.5-1 libnvshmem3-static-cuda-12=3.4.5-1
# 修复 CUDA 13 CCCL 头文件路径(cuda/std/ 移至 cccl/cuda/std/)
ln -sf /usr/local/cuda/include/cccl/cuda /usr/local/cuda/include/cuda
# 创建 NVSHMEM 3.4.5 目录结构
mkdir -p /scratch-data/nvshmem345
ln -sf /usr/include/nvshmem_12 /scratch-data/nvshmem345/include
ln -sf /usr/lib/aarch64-linux-gnu/nvshmem/12 /scratch-data/nvshmem345/lib
# 安装 NCCL 2.30.4(DeepEP v2 GIN 后端要求 >= 2.30.4)
pip install "nvidia-nccl-cu13>=2.30.4" --no-deps
Step 2:克隆 DeepEP v2 并应用 4-GPU 补丁
cd /scratch-data
git clone --depth 1 https://github.com/deepseek-ai/DeepEP.git DeepEP-v2
cd DeepEP-v2
# DeepEP v2 使用 LEGACY_ 前缀的 NVL peer 常量,需要相应补丁
sed -i "s/#define LEGACY_NUM_MAX_NVL_PEERS 8/#define LEGACY_NUM_MAX_NVL_PEERS 4/" csrc/kernels/legacy/compiled.cuh
find csrc/ -name "*.cu" -o -name "*.cuh" -o -name "*.hpp" -o -name "*.cpp" -o -name "*.h" | \
xargs sed -i "s/LEGACY_NUM_MAX_NVL_PEERS == 8/LEGACY_NUM_MAX_NVL_PEERS == 4/g"
sed -i "s/LEGACY_NUM_MAX_NVL_PEERS \* sizeof(bool) == sizeof(uint64_t)/LEGACY_NUM_MAX_NVL_PEERS * sizeof(bool) == sizeof(uint32_t)/" \
csrc/kernels/legacy/internode.cu
sed -i "s/uint64_t cached_bitmask/uint32_t cached_bitmask/" csrc/kernels/legacy/internode.cu
sed -i "s/num_ranks > LEGACY_NUM_MAX_NVL_PEERS/num_ranks >= LEGACY_NUM_MAX_NVL_PEERS/" csrc/kernels/legacy/layout.cu
Step 3:编译 DeepEP v2
export NVSHMEM_DIR=/scratch-data/nvshmem345
export EP_NCCL_ROOT_DIR=/usr/local/lib/python3.12/dist-packages/nvidia/nccl
export TORCH_CUDA_ARCH_LIST="10.0"
export EP_JIT_CACHE_DIR=/scratch-data/deepep-jit-cache
mkdir -p /scratch-data/deepep-jit-cache
pip install -e . --no-build-isolation 2>&1 | tail -10
# 验证
python3 -c "import deep_ep; print('DeepEP v2 import OK')"
⚠️ 注意:编译时勿将 GIB 加入 LD_LIBRARY_PATH — 容器自带 NCCL (26.04 = 2.29.7 或 26.05 = 2.30.4) 跟 GIB 内置 NCCL 2.30.4 即使版本相同也可能符号冲突, 建议用 LD_LIBRARY_PATH 控制加载顺序 (训练时用 GIB; 编译时用容器自带)。
Step 4:运行 Intranode 测试
cd /scratch-data/DeepEP-v2
export LD_LIBRARY_PATH=/usr/local/nvidia/lib64:${LD_LIBRARY_PATH}
python tests/test_intranode.py --num-processes 4
Step 5:运行 Internode 测试(2 节点 × 4 GPU,NCCL Gin)
⚠️ 注意:不要使用 tests/legacy/test_internode.py,该测试会因 LEGACY_NUM_MAX_NVL_PEERS=8 assertion 在 4-GPU A4X 上失败。请使用 v2 elastic 测试。
# 在两个 Pod 上创建启动脚本:
cat > /scratch-data/run_deepep_v2_test.sh << 'SCRIPT'
#!/bin/bash
export LD_PRELOAD=/usr/local/lib/python3.12/dist-packages/nvidia/nccl/lib/libnccl.so.2
export LD_LIBRARY_PATH=/usr/local/gib/lib64:/usr/local/nvidia/lib64:/usr/local/cuda/lib64:${LD_LIBRARY_PATH}
export PATH=/usr/local/nvidia/bin:/usr/local/cuda/bin:${PATH}
export CUDA_HOME=/usr/local/cuda
export CPATH=/usr/local/cuda/include
export NVSHMEM_DIR=/scratch-data/nvshmem345
export EP_NCCL_ROOT_DIR=/usr/local/lib/python3.12/dist-packages/nvidia/nccl
export EP_JIT_CACHE_DIR=/scratch-data/deepep-jit-cache
export NCCL_NET=gIB
export NCCL_PXN_C2C=1
export NCCL_IB_ADAPTIVE_ROUTING=1
export NCCL_IB_QPS_PER_CONNECTION=4
export NCCL_IB_TC=52
export NCCL_IB_FIFO_TC=84
export TRITON_PTXAS_PATH=/usr/local/cuda/bin/ptxas
export MASTER_ADDR=${MASTER_ADDR}
export MASTER_PORT=${MASTER_PORT:-8363}
export WORLD_SIZE=${WORLD_SIZE:-2}
export RANK=${RANK:-0}
cd /scratch-data/DeepEP-v2
python3 tests/elastic/test_ep.py --num-processes 4 --num-tokens 1024 --hidden 7168 --num-topk 6 --num-experts 256 "$@"
SCRIPT
chmod +x /scratch-data/run_deepep_v2_test.sh
# 获取 Pod 1 的 IP
HOST1_IP=$(kubectl get pod cuda13-dra-1 -o jsonpath='{.status.podIP}')
# 在 Pod 2 上启动(RANK=1)
kubectl exec cuda13-dra-2 -- bash -c "
MASTER_ADDR=$HOST1_IP RANK=1 /scratch-data/run_deepep_v2_test.sh
" &
sleep 5
# 在 Pod 1 上启动(RANK=0)
kubectl exec cuda13-dra-1 -- bash -c "
MASTER_ADDR=$HOST1_IP RANK=0 /scratch-data/run_deepep_v2_test.sh
"
ℹ️ 关键环境变量说明:
• LD_PRELOAD:必须指定 NCCL 2.30.4,因为容器默认加载 NCCL 2.29.7,不含 Gin API。
• TRITON_PTXAS_PATH:防止 Triton JIT 在子进程中编译失败。
• NCCL_NET=gIB:启用 GPUDirect RDMA(GIB)进行跨节点通信。
| 测试 | 实测结果 |
|---|---|
| Intranode dispatch BF16 | 24/24 PASS,best 460.87 GB/s NVL (SMs=24, chunk=32) |
| Intranode dispatch FP8 | 24/24 PASS,best 308.11 GB/s NVL (SMs=24, chunk=32) |
| Intranode Combine | PASS,best 346.24 GB/s NVL (SMs=24, chunk=16) |
| Internode MNNVL Dispatch (SU) | ~580 GB/s,延迟 ~58 us |
| Internode MNNVL Combine (SU) | ~660 GB/s,延迟 ~99 us |
| 全部配置(Internode Elastic EP) | 144/144 PASS |
✅ Internode v2 验证通过:NCCL Gin 将所有 8 GPU(2 × 4)统一管理,NVLink 负责节点内通信,RDMA (GIB) 负责跨节点通信。DeepEP v2 报告所有流量为 Scale-Up (SU),因为传输由 NCCL Gin 代理。
8.5 4-GPU 适配说明(A4X 补丁)
DeepEP 默认假设每节点 8 GPU(NVLink peers = 8),但 A4X 每节点仅 4 GPU。若不修改会导致 assertion 失败或 bitmask 越界。需修改以下常量:
| 版本 | 常量名 | 修改文件 | 改动 |
|---|---|---|---|
| v1 | NUM_MAX_NVL_PEERS |
csrc/kernels/configs.cuh csrc/deep_ep.hpp csrc/deep_ep.cpp csrc/kernels/internode.cu csrc/kernels/layout.cu |
8 → 4 |
| v2 | LEGACY_NUM_MAX_NVL_PEERS |
csrc/kernels/legacy/compiled.cuh csrc/kernels/legacy/internode.cu csrc/kernels/legacy/layout.cu 及 csrc/ 下所有引用文件 |
8 → 4 |
核心修改点:
- 常量定义:
#define NUM_MAX_NVL_PEERS 8(或LEGACY_NUM_MAX_NVL_PEERS 8) 改为4 - 断言:
static_assert(... == 8)改为== 4 - 边界检查:
num_ranks > NUM_MAX_NVL_PEERS改为num_ranks >= NUM_MAX_NVL_PEERS(4 GPU 时> 4会跳过本应执行的分支) - Bitmask 类型:8 peers ×
sizeof(bool)= 8 bytes =uint64_t;4 peers ×sizeof(bool)= 4 bytes =uint32_t
ℹ️ 参考:A4X 每节点 4 GPU + 4 CX-7 NIC,1:1 映射(GPU 0 ↔ mlx5_0,GPU 1 ↔ mlx5_1,GPU 2 ↔ mlx5_2,GPU 3 ↔ mlx5_3)。标准 A3U (H200) 为 8 GPU,无需此补丁。
8.6 功能测试汇总
路径 A (v1 + CUDA 12) 测试命令
# Intranode(单节点 4 GPU)
cd /tmp/DeepEP/tests/legacy
python test_intranode.py --num-processes 4 --num-experts 64 --num-topk 4
# Low-latency(单节点 4 GPU,需 NVSHMEM 3.4.5)
python test_low_latency.py --num-processes 4 --num-experts 64 --num-topk 4
# Internode(需 NVSHMEM IBGDA,GKE 上受 GDRCopy 限制)
# 需设置:NVSHMEM_REMOTE_TRANSPORT=ibgda NVSHMEM_DISABLE_CUDA_VMM=1
# 需设置:DEEP_EP_DEVICE_TO_HCA_MAPPING="0:mlx5_0,1:mlx5_1,2:mlx5_2,3:mlx5_3"
路径 B (v2 + CUDA 13) 测试命令
# Intranode(单节点 4 GPU)
cd /scratch-data/DeepEP-v2
python tests/test_intranode.py --num-processes 4
# Internode Elastic EP(2 节点 x 4 GPU,NCCL Gin 后端)
# 使用 /scratch-data/run_deepep_v2_test.sh 脚本(见 7.4 Step 5)
# Pod 2: MASTER_ADDR=<pod1_ip> RANK=1 /scratch-data/run_deepep_v2_test.sh
# Pod 1: MASTER_ADDR=<pod1_ip> RANK=0 /scratch-data/run_deepep_v2_test.sh
CUDA 12 vs CUDA 13 性能对比
| 指标 | CUDA 12 (路径 A) | CUDA 13 (路径 B) |
|---|---|---|
| Intranode dispatch BF16 | ~436 GB/s | ~461 GB/s |
| Intranode dispatch FP8 | ~288 GB/s | ~308 GB/s |
| Intranode combine | ~321 GB/s | ~346 GB/s |
| Internode (v1 legacy) | 可用 | 阻塞(NVSHMEM 版本冲突) |
| Internode (v2 elastic) | N/A | 可用(NCCL Gin,144/144 PASS) |
ℹ️ 注:A4X 每节点仅 4 GPU,Expert 数量使用 64(非 256),dispatch 吞吐会低于 8 GPU 环境。核心验证目标是 SM_100 (Blackwell) 编译通过、数据正确性全部 PASS。
9. Megatron-LM 训练
ℹ️ DRA 资源声明模式(核心 YAML 结构):以下为训练 YAML 中 DRA 相关的关键字段精简展示。完整 YAML 见下方链接。
# ① ResourceClaimTemplate — 声明需要 4 张 RDMA 网卡(由 DRANET 分配)
apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
name: rdma-nics-mega-host-1
spec:
spec:
devices:
requests:
- name: rdma-nics
exactly:
deviceClassName: rdma-devices # ← DeviceClass,由 DRANET 提供
count: 4 # ← A4X 每节点 4 张 RDMA NIC
---
# ② Pod spec — 通过 resourceClaims 引用 ComputeDomain 和 RDMA
apiVersion: v1
kind: Pod
metadata:
name: mega-host-1
spec:
nodeSelector:
topology: same-domain # ← 手动调度到目标域(后续用 Kueue TAS 替代)
containers:
- name: pytorch
image: nvcr.io/nvidia/pytorch:26.05-py3
resources:
limits:
nvidia.com/gpu: 4 # ← GPU 由 nvidia-device-plugin 分配
cpu: "96" # ← limits = requests → Guaranteed QoS
memory: 800Gi
requests:
cpu: "96"
memory: 800Gi
claims:
- name: compute-domain-channel # ← 引用下方 resourceClaims[0]
- name: rdma-nics # ← 引用下方 resourceClaims[1]
# ... 省略 volumeMounts/env/command ...
resourceClaims: # ← Pod 级资源声明
- name: compute-domain-channel
resourceClaimTemplateName: sd-compute-domain-channel # ← §4.4 步创建 ComputeDomain 时自动生成
- name: rdma-nics
resourceClaimTemplateName: rdma-nics-mega-host-1 # ← 上方 ① 手动创建的模板
⚠️ DRA ≠ 调度:上述 resourceClaims 解决的是「资源分配」——向 K8s DRA 框架申请 IMEX channel(ComputeDomain)和 RDMA 网卡(DRANET)。但 DRA 不负责将多个 Pod 调度到同一 NVL72 域。
域级调度需要另外的机制:
- 手动方式:
nodeSelector: {topology: same-domain}(本章方法,适合验证) - 生产方式:Kueue TAS 的
podset-required-topology注解(详见 10.4 生产调度方案)
ℹ️ QoS 与防驱逐
上方 YAML 中 requests 与 limits 数值完全相等(CPU 和内存),Pod 将获得 Guaranteed QoS 等级(官方文档)。Guaranteed Pod 在节点内存压力下是最后被驱逐的对象,大幅降低训练被意外中断的风险。
注:nvidia.com/gpu 和 DRA resourceClaims 不影响 QoS 计算,仅 cpu 和 memory 参与。cpu: "96" 和 memory: 800Gi 按 A4X 单节点资源(Grace CPU 72c + HBM)估算,请根据实际调整。
# 部署 Megatron 测试 Pod(ComputeDomain + DRANET)
kubectl apply -f yamls/k8s1341-megatron-train-dranet.yaml # 查看完整 YAML
# 等待 Pod 就绪(自动 clone Megatron-LM + pip install)
kubectl get pods -l name -w
kubectl logs mega-h1 -f # 确认 "Ready"
# 交换 SSH 密钥(ed25519)
HOST1_KEY=$(kubectl exec mega-h1 -- cat /root/.ssh/id_ed25519.pub)
HOST2_KEY=$(kubectl exec mega-h2 -- cat /root/.ssh/id_ed25519.pub)
kubectl exec mega-h1 -- bash -c "echo '$HOST2_KEY' >> /root/.ssh/authorized_keys"
kubectl exec mega-h2 -- bash -c "echo '$HOST1_KEY' >> /root/.ssh/authorized_keys"
# 获取 IP
MEGA_HOST1_IP=$(kubectl get pod mega-h1 -o jsonpath='{.status.podIP}')
9.1 单节点 Megatron 训练(Qwen3 30B-A3B MoE FP8,50 iterations)
单节点 EP=4(4 GPU expert 并行),使用 Qwen3 30B-A3B MoE 模型 + TransformerEngine FP8 充分利用 B200 算力。
ℹ️ 关键配置:
--transformer-impl transformer_engine启用 TE 融合算子(不要使用local)--fp8-format hybrid+--fp8-recipe delayed启用 FP8 训练- 环境变量
NVTE_FUSED_ATTN=1/NVTE_NORM_*_USE_CUDNN=1启用 GB200 优化内核 --expert-model-parallel-size 4(单节点 128 experts / 4 GPU = 32 experts/GPU)--moe-grouped-gemm启用分组 GEMM 优化 MoE 计算
kubectl exec mega-host-1 -- bash -c "
source /usr/local/gib/scripts/set_nccl_env.sh 2>/dev/null
export LD_LIBRARY_PATH=/usr/local/gib/lib64:\$LD_LIBRARY_PATH
export PYTHONPATH=/scratch-data/Megatron-LM:\$PYTHONPATH
export CUDA_DEVICE_MAX_CONNECTIONS=1
export NVTE_ALLOW_NONDETERMINISTIC_ALGO=1
export NVTE_NORM_FWD_USE_CUDNN=1
export NVTE_NORM_BWD_USE_CUDNN=1
export NVTE_FUSED_ATTN=1
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
cd /scratch-data/Megatron-LM
torchrun --nproc_per_node=4 --nnodes=1 --node_rank=0 \
--master_addr=127.0.0.1 --master_port=29502 \
pretrain_gpt.py \
--use-mcore-models \
--transformer-impl transformer_engine \
--num-layers 12 \
--hidden-size 2048 \
--ffn-hidden-size 6144 \
--num-attention-heads 32 \
--group-query-attention \
--num-query-groups 4 \
--kv-channels 128 \
--qk-layernorm \
--num-experts 128 \
--moe-ffn-hidden-size 768 \
--moe-router-topk 8 \
--moe-router-dtype fp32 \
--moe-token-dispatcher-type alltoall \
--moe-grouped-gemm \
--moe-router-force-load-balancing \
--seq-length 16384 \
--max-position-embeddings 16384 \
--position-embedding-type rope \
--rotary-base 1000000 \
--rotary-percent 1.0 \
--swiglu \
--normalization RMSNorm \
--disable-bias-linear \
--untie-embeddings-and-output-weights \
--attention-backend fused \
--init-method-std 0.01 \
--attention-dropout 0.0 \
--hidden-dropout 0.0 \
--micro-batch-size 1 \
--global-batch-size 128 \
--tensor-model-parallel-size 1 \
--pipeline-model-parallel-size 1 \
--expert-model-parallel-size 4 \
--expert-tensor-parallel-size 1 \
--sequence-parallel \
--bf16 \
--grad-reduce-in-bf16 \
--fp8-format hybrid \
--fp8-recipe delayed \
--fp8-amax-history-len 1024 \
--fp8-amax-compute-algo max \
--fp8-param-gather \
--cross-entropy-loss-fusion \
--calculate-per-token-loss \
--use-distributed-optimizer \
--overlap-grad-reduce \
--overlap-param-gather \
--manual-gc \
--empty-unused-memory-level 1 \
--train-iters 50 \
--lr 0.00015 \
--min-lr 0.00001 \
--lr-decay-style cosine \
--lr-warmup-iters 10 \
--clip-grad 1.0 \
--weight-decay 0.1 \
--adam-beta1 0.9 \
--adam-beta2 0.95 \
--mock-data \
--tokenizer-type NullTokenizer \
--vocab-size 128256 \
--no-create-attention-mask-in-dataloader \
--no-mmap-bin-files \
--num-workers 1 \
--split '99,1,0' \
--log-interval 1 \
--log-throughput \
--eval-iters 0 \
--eval-interval 10000 \
--save-interval 10000 \
--distributed-timeout-minutes 60
"
9.2 多节点 Megatron 训练(2 节点 EP=8,Qwen3 30B-A3B MoE FP8,MNNVL)
⚠️ Hostname 解析注意:使用 Pod 网络时,确保 GLOO_SOCKET_IFNAME=eth0 和 NCCL_SOCKET_IFNAME=eth0,避免 Gloo bootstrap 选错网络接口。如 Pod 设置了自定义 hostname,需在 /etc/hosts 中添加 hostname→IP 映射(见附录 B.6)。
ℹ️ MNNVL:多节点 EP=8 跨 2 台 A4X 使用 NVLink 域互联(MNNVL),需 ComputeDomain + IMEX daemon 提供 CUDA_VISIBLE_DEVICES 多节点内存映射。128 experts / 8 GPU = 16 experts/GPU。
# 获取 Pod IP
MEGA_HOST1_IP=$(kubectl get pod mega-host-1 -o jsonpath='{.status.podIP}')
# 在 mega-host-2 上先启动(node_rank=1)— 后台运行
kubectl exec mega-host-2 -- bash -c "
source /usr/local/gib/scripts/set_nccl_env.sh 2>/dev/null
export LD_LIBRARY_PATH=/usr/local/gib/lib64:\$LD_LIBRARY_PATH
export PYTHONPATH=/scratch-data/Megatron-LM:\$PYTHONPATH
export CUDA_DEVICE_MAX_CONNECTIONS=1
export NVTE_ALLOW_NONDETERMINISTIC_ALGO=1
export NVTE_NORM_FWD_USE_CUDNN=1
export NVTE_NORM_BWD_USE_CUDNN=1
export NVTE_FUSED_ATTN=1
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
export GLOO_SOCKET_IFNAME=eth0
export NCCL_SOCKET_IFNAME=eth0
export NCCL_MNNVL_ENABLE=2
export NCCL_CUMEM_ENABLE=1
export USE_MNNVL=1
cd /scratch-data/Megatron-LM
torchrun --nproc_per_node=4 --nnodes=2 --node_rank=1 \
--master_addr=$MEGA_HOST1_IP --master_port=29503 \
pretrain_gpt.py \
--use-mcore-models \
--transformer-impl transformer_engine \
--num-layers 12 --hidden-size 2048 --ffn-hidden-size 6144 \
--num-attention-heads 32 --group-query-attention --num-query-groups 4 \
--kv-channels 128 --qk-layernorm \
--num-experts 128 --moe-ffn-hidden-size 768 --moe-router-topk 8 \
--moe-router-dtype fp32 --moe-token-dispatcher-type alltoall \
--moe-grouped-gemm --moe-router-force-load-balancing \
--seq-length 16384 --max-position-embeddings 16384 \
--position-embedding-type rope --rotary-base 1000000 --rotary-percent 1.0 \
--swiglu --normalization RMSNorm \
--attention-dropout 0.0 --hidden-dropout 0.0 \
--disable-bias-linear --untie-embeddings-and-output-weights \
--attention-backend fused --init-method-std 0.01 \
--micro-batch-size 1 --global-batch-size 128 \
--tensor-model-parallel-size 1 --pipeline-model-parallel-size 1 \
--expert-model-parallel-size 8 --expert-tensor-parallel-size 1 \
--sequence-parallel \
--bf16 --grad-reduce-in-bf16 \
--fp8-format hybrid --fp8-recipe delayed \
--fp8-amax-history-len 1024 --fp8-amax-compute-algo max --fp8-param-gather \
--cross-entropy-loss-fusion --calculate-per-token-loss \
--use-distributed-optimizer --overlap-grad-reduce --overlap-param-gather \
--manual-gc --empty-unused-memory-level 1 \
--train-iters 50 --lr 0.00015 --min-lr 0.00001 \
--lr-decay-style cosine --lr-warmup-iters 10 \
--clip-grad 1.0 --weight-decay 0.1 --adam-beta1 0.9 --adam-beta2 0.95 \
--mock-data --tokenizer-type NullTokenizer --vocab-size 128256 \
--no-create-attention-mask-in-dataloader --no-mmap-bin-files \
--num-workers 1 --split '99,1,0' \
--log-interval 1 --log-throughput --eval-iters 0 \
--eval-interval 10000 --save-interval 10000 \
--distributed-timeout-minutes 60
" &
# 在 mega-host-1 上运行(node_rank=0)— 同上但 --node_rank=0
| 场景 | 配置 | 实测结果 |
|---|---|---|
| 单节点 4 GPU | Qwen3 30B-A3B MoE, EP=4, FP8+TE, mbs=1, seq=16K | ~356 TFLOP/s/GPU(稳态 iter 3-50 平均) |
| 多节点 2×4 GPU | Qwen3 30B-A3B MoE, EP=8, FP8+TE, mbs=1, MNNVL | ~274 TFLOP/s/GPU(稳态 iter 3-50 平均) |
ℹ️ 注:MoE 模型的 TFLOP/s 计算包含所有 expert 的 FLOPs(128 experts × topk=8),因此绝对值与 dense 模型(如 Llama2-7B ~785 TFLOP/s)不可直接对比。多节点 EP=8 跨域 alltoall 通信开销导致吞吐下降约 23%。B200 FP8 峰值算力约 4500 TFLOP/s。
10. 多 Domain 训练编排
当训练规模超过单个 NVL72 domain(72 GPU),需要跨 domain 调度。本章基于 2-domain 实验环境说明如何编排多 domain Megatron-LM 训练,并给出扩展到 4+ domain 的指导。
10.1 NVL72 带宽层级
A4X/GB200 的通信带宽随拓扑层级递减,并行策略必须与带宽层级对齐:
| 层级 | 范围 | 互联技术 | 带宽 | 适合的并行维度 |
|---|---|---|---|---|
| L1 节点内 | 同节点 4 GPU | NVLink 5th gen (NVSwitch) | ~900 GB/s | TP(张量并行) |
| L2 域内跨节点 | 同 domain 18 节点 | MNNVL(跨节点 NVLink) | ~840 GB/s | EP(专家并行) |
| L3 跨域 | 不同 domain | RDMA over CX-7(4×200Gbps) | ~165 GB/s | DP(数据并行) |
⚠️ 性能影响:实测 MoE 模型(Qwen3-30B-A3B)纯 EP=8 训练,同域 MNNVL 达 ~480 TFLOP/s/GPU,跨域 RDMA 降至 ~282 TFLOP/s/GPU(下降 37.7%)。原因是 MoE alltoall 通信量大,跨域 RDMA 带宽(~165 GB/s)远低于域内 MNNVL(~840 GB/s)。
10.2 并行策略与拓扑映射
核心原则:通信量大的并行维度映射到带宽高的层级。
| 并行维度 | 通信模式 | 通信量 | 推荐映射层级 |
|---|---|---|---|
| TP(张量并行) | AllReduce,每层 2 次 | 极高(每 iteration 多次) | L1 节点内 (≤4) |
| EP(专家并行) | AlltoAll,MoE 层每次 dispatch/combine | 高(MoE token 重分布) | L2 域内 (≤72) |
| DP(数据并行) | AllReduce,梯度同步 | 中(每 iteration 1 次) | L3 跨域 |
| PP(流水线并行) | 点对点,逐 micro-batch | 低(仅激活值传递) | L2 或 L3 |
ℹ️ Megatron-LM 不自动感知拓扑。parallel_state.py 注释明确写道 "the caller should make sure adjacent ranks are on the same DGX box"。因此,必须由调用方通过 NODE_RANK 编排确保 rank 顺序与物理拓扑对齐。
Rank 编排规则
torchrun 的 rank 计算公式:global_rank = NODE_RANK × nproc_per_node + LOCAL_RANK。Megatron-LM 按 rank 的连续性来切分并行组:
- TP group:连续的
TP_SIZE个 rank(TP=4 时:rank 0-3 = 1 个 TP group,对应 1 个节点的 4 GPU) - EP group:在 TP group 之上,连续的
EP_SIZE个 rank 组成 EP group - DP group:不在同一 EP group 的对应位置 rank 组成 DP group,梯度在 DP group 内同步
因此,同一 domain 内的节点必须获得连续的 NODE_RANK。例如 2 domain × 18 nodes:
# Domain 0: NODE_RANK = 0, 1, 2, ..., 17 (72 GPU, rank 0-71)
# Domain 1: NODE_RANK = 18, 19, ..., 35 (72 GPU, rank 72-143)
#
# TP=4: rank [0,1,2,3] = node 0 的 4 GPU (✓ 同节点 NVLink)
# EP=72: rank [0-71] 的对应 EP 位置 = domain 0 全部 GPU (✓ 域内 MNNVL)
# DP=2: rank 0 和 rank 72 组成 DP pair (✓ 跨域 RDMA)
10.3 推荐并行配置(MoE 模型)
以 Qwen3-30B-A3B(128 experts, topk=8)为例:
| 规模 | 节点数 | GPU 总数 | TP | EP | DP | 每 GPU 专家数 | 跨域通信 |
|---|---|---|---|---|---|---|---|
| 1 节点 | 1 | 4 | 1 | 4 | 1 | 32 | 无 |
| 1 domain (2 nodes) | 2 | 8 | 1 | 8 | 1 | 16 | 无(MNNVL) |
| 2 domain | 2×1 | 8 | 1 | 4 | 2 | 32 | DP 梯度同步 |
| 2 domain (满配) | 2×18 | 144 | 4 | 16 | ≥2 | 8 | DP 梯度同步 |
| 4 domain (满配) | 4×18 | 288 | 4 | 32 | ≥2 | 4 | DP 梯度同步 |
ℹ️ EP 取值约束:EP_SIZE 必须能整除 num_experts(128)。可用值:1, 2, 4, 8, 16, 32, 64, 128。域内 GPU 数不一定能整除 128(如 72),此时取域内最大可用 EP 值(如 EP=64,用 16 节点),剩余节点加入 DP。
10.3.1 1800 GPU 生产规模 partition 示例
25 个 NVL72 机柜 (1800 GPU = 25 × 72) 跑大单 MoE 训练 (Qwen3-30B-A3B class):
| 配置项 | 值 |
|---|---|
| 物理 Domain | 25 个 (每 NVL72 机柜 1 Placement Policy) |
| NVLink Clique | 25 个 (每物理 Domain 1 clique, 假设非 split) |
| ComputeDomain | 25 个 (每 clique 1 CD, 各 numNodes: 0) |
| TP (节点内 NVLink) | 4 |
| EP (域内 MNNVL, 18 节点 × 4 GPU = 72 GPU) | 64 (能整除 128) |
| DP (跨域 RDMA) | 25 (DP 跨 25 个 clique, RDMA 通信) |
| 每 GPU experts | 128 / 64 = 2 |
| GPU 总数 | 4 × 64 × 25 ÷ 4 = 1600 GPU 参与训练 (留 200 GPU 备用) |
若需 全 1800 GPU 满载, 调整: TP=4, EP=72, DP=25 (但 EP=72 不整除 128, MoE 仿真器报错, 不推荐).
关键: rank 编排必须按 DP > EP > TP 顺序, 同 EP group 必须落同一 clique (MNNVL), 同 DP group 跨 clique (RDMA). 详见 §10.6 NODE_RANK 编排.
10.4 生产调度方案:JobSet + Kueue TAS(推荐)
JobSet(v0.12+)管理多组 Job 作为整体,Kueue(v0.18+)的 TAS(Topology Aware Scheduling)确保每组 Pod 调度到同一拓扑域。相比手动 Pod + nodeSelector(10.5 节),此方案:
- 无需 SSH:
enableDNSHostnames: true自动创建 headless Service,Pod 通过 DNS 互相发现(源码 Network struct) - 自动 NODE_RANK:Indexed Job 的
JOB_COMPLETION_INDEX环境变量直接映射为 NODE_RANK - 自动域级调度:Kueue TAS 的
podset-required-topology注解确保同一 ReplicatedJob 的 Pod 调度到同一 NVL72 domain,无需手动 nodeSelector
步骤 1:定义 Topology CRD
Kueue TAS 需要 Topology 资源定义集群拓扑层级。levels[].nodeLabel 对应节点上的标签(2.4 节已为节点打上 nvl72-domain 标签):
cat <<'EOF' | kubectl apply -f -
apiVersion: kueue.x-k8s.io/v1beta2
kind: Topology
metadata:
name: gb200-nvl72-topology
spec:
levels:
- nodeLabel: "nvl72-domain" # NVL72 domain 级别(2.4 节标签)
- nodeLabel: "kubernetes.io/hostname" # 节点级别
EOF
# 验证节点拓扑发现
kubectl get topology gb200-nvl72-topology -o yaml
# 预期:status.levels 显示各 domain 包含的节点列表
步骤 2:创建 Kueue 队列
# ClusterQueue + LocalQueue(如已有可跳过)
cat <<'EOF' | kubectl apply -f -
apiVersion: kueue.x-k8s.io/v1beta2
kind: ResourceFlavor
metadata:
name: gb200-flavor
spec:
nodeLabels: # ← v1beta2 必须指定 nodeLabels
nvl72-domain: domain-1 # ← 按实际 domain 标签值调整
topologyName: gb200-nvl72-topology # ← 关联上方 Topology
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: ClusterQueue
metadata:
name: gpu-cluster-queue
spec:
namespaceSelector: {} # ← 允许所有 namespace 提交(v0.18 必须显式设置)
resourceGroups:
- coveredResources: ["cpu", "memory", "nvidia.com/gpu"]
flavors:
- name: gb200-flavor
resources:
- name: "cpu"
nominalQuota: 1000
- name: "memory"
nominalQuota: 4000Gi
- name: "nvidia.com/gpu"
nominalQuota: 288 # ← 4 domain × 72 GPU,按实际调整
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: LocalQueue
metadata:
name: default-queue
namespace: default
spec:
clusterQueue: gpu-cluster-queue
EOF
⚠️ Kueue v0.18 注意事项(实测验证 2026-06-26):
- 所有 Kueue 资源应使用
kueue.x-k8s.io/v1beta2API(v1beta1 已弃用) ResourceFlavor在设置topologyName时,必须同时提供nodeLabels,否则创建失败ClusterQueue需要namespaceSelector: {},否则 Workload 会因 namespace 不匹配被拒绝- TAS(TopologyAwareScheduling)在 v0.18 为 beta 默认启用,无需额外 feature gate
步骤 3:提交 JobSet
每个 domain 一个 ReplicatedJob,Kueue TAS 保证同一 ReplicatedJob 的所有 Pod 落在同一 NVL72 domain。
apiVersion: jobset.x-k8s.io/v1alpha2
kind: JobSet
metadata:
name: megatron-2domain
labels:
kueue.x-k8s.io/queue-name: default-queue # ← Kueue 队列
spec:
network:
enableDNSHostnames: true # ← 自动创建 headless Service + DNS
publishNotReadyAddresses: true
replicatedJobs:
- name: domain-0 # ← Domain 0
replicas: 1
template:
spec:
completionMode: Indexed
parallelism: 1 # ← 实验用 1 节点;生产改为 18
completions: 1 # ← 与 parallelism 一致
template:
metadata:
annotations:
# Kueue TAS: 本 PodSet 的所有 Pod 调度到同一 nvl72-domain
kueue.x-k8s.io/podset-required-topology: "nvl72-domain"
spec:
containers:
- name: pytorch
image: nvcr.io/nvidia/pytorch:26.05-py3
resources:
limits:
nvidia.com/gpu: 4
claims:
- name: compute-domain-channel
- name: rdma-nics
env:
- name: NNODES
value: "2" # ← 总节点数
- name: NPROC_PER_NODE
value: "4"
- name: DOMAIN_OFFSET
value: "0" # ← domain-0 起始 NODE_RANK
- name: MASTER_ADDR
value: "megatron-2domain-domain-0-0-0" # ← 第一个 pod 的 DNS 名
- name: MASTER_PORT
value: "29500"
- name: NCCL_MNNVL_ENABLE
value: "0" # ← 跨域训练必须关闭
- name: NCCL_CUMEM_ENABLE
value: "0"
- name: GLOO_SOCKET_IFNAME
value: "eth0"
- name: NCCL_SOCKET_IFNAME
value: "eth0"
command: ["/bin/bash", "-c"]
args:
- |
source /usr/local/gib/scripts/set_nccl_env.sh 2>/dev/null
export LD_LIBRARY_PATH=/usr/local/gib/lib64:$LD_LIBRARY_PATH
# NODE_RANK = DOMAIN_OFFSET + JOB_COMPLETION_INDEX
NODE_RANK=$(( DOMAIN_OFFSET + JOB_COMPLETION_INDEX ))
cd /scratch-data/Megatron-LM
torchrun --nproc_per_node=$NPROC_PER_NODE --nnodes=$NNODES \
--node_rank=$NODE_RANK \
--master_addr=$MASTER_ADDR --master_port=$MASTER_PORT \
pretrain_gpt.py \
--use-mcore-models --transformer-impl transformer_engine \
--num-experts 128 --expert-model-parallel-size 4 \
--fp8-format hybrid --fp8-recipe delayed \
... # 其余参数同第 8 章
resourceClaims:
- name: compute-domain-channel
resourceClaimTemplateName: domain-0-compute-domain-channel
- name: rdma-nics
resourceClaimTemplateName: rdma-nics-domain-0
- name: domain-1 # ← Domain 1
replicas: 1
template:
spec:
completionMode: Indexed
parallelism: 1 # ← 实验用 1;生产用 18
completions: 1
template:
metadata:
annotations:
kueue.x-k8s.io/podset-required-topology: "nvl72-domain"
spec:
containers:
- name: pytorch
# ... 同 domain-0,但修改以下字段:
env:
- name: DOMAIN_OFFSET
value: "1" # ← 实验用 1;生产用 18
- name: NCCL_MNNVL_ENABLE
value: "0"
# 其余环境变量同 domain-0
resourceClaims:
- name: compute-domain-channel
resourceClaimTemplateName: domain-1-compute-domain-channel
- name: rdma-nics
resourceClaimTemplateName: rdma-nics-domain-1
ℹ️ 关键机制说明:
| 特性 | 手动 Pod(9.5 节) | JobSet + Kueue TAS(本节) |
|---|---|---|
| 域级调度 | nodeSelector 手动指定 |
Kueue TAS podset-required-topology 自动 |
| 节点发现 | SSH + kubectl get pod -o jsonpath |
DNS hostname(enableDNSHostnames) |
| NODE_RANK | 手动编排 --node_rank=0/1 |
JOB_COMPLETION_INDEX + DOMAIN_OFFSET |
| SSH 密钥交换 | 必须手动交换 ed25519 公钥 | 不需要(torchrun 使用 c10d/Gloo) |
| 故障恢复 | 手动重新部署 | Job 自动 restart(backoffLimit) |
| 扩展性 | 每 domain 一个 YAML | 修改 parallelism/completions 和 DOMAIN_OFFSET |
Kubeflow Trainer
Kubeflow Trainer(v2.2+)的 TrainJob CRD 集成了 Kueue + JobSet,提供更高级的抽象(自动初始化 torchrun、分配 rank、挂载数据卷),适合已部署 Kubeflow 的团队。
10.5 简易验证方案(手动 Pod + nodeSelector)
⚠️ 本节方法仅适用于小规模实验验证。需要手动管理 SSH 密钥、Pod IP、NODE_RANK。生产环境请使用 10.4 节的 JobSet + Kueue TAS 方案。
以 2 domain × 1 node 为例(EP=4 域内 + DP=2 跨域),每个 domain 部署一个手动 Pod:
# 部署 Pod(Domain 0 使用 ComputeDomain,Domain 1 不使用)
kubectl apply -f yamls/k8s1341-megatron-train-dranet.yaml # Domain 0 查看 YAML
kubectl apply -f yamls/k8s1341-megatron-cross-domain-pod.yaml # Domain 1 查看 YAML
# 等待就绪 + 交换 SSH 密钥(同第 8 章)
MEGA_HOST1_IP=$(kubectl get pod mega-host-1 -o jsonpath='{.status.podIP}')
# 跨域关键环境变量
# NCCL_MNNVL_ENABLE=0(必须),NCCL_CUMEM_ENABLE=0,GLOO/NCCL_SOCKET_IFNAME=eth0
# 启动训练(Domain 1 先启动,NODE_RANK=1)
kubectl exec mega-host-2 -- bash -c "
# ... 环境变量设置(同第 8 章 + 跨域变量)...
torchrun --nproc_per_node=4 --nnodes=2 --node_rank=1 \
--master_addr=$MEGA_HOST1_IP --master_port=29503 \
pretrain_gpt.py \
--expert-model-parallel-size 4 \ # EP=4 域内
... # 其余同第 8 章
" &
# Domain 0 启动(NODE_RANK=0)— 同上但 --node_rank=0
ℹ️ 关键参数对比(同域 vs 跨域):
| 参数 | 同域(第 8 章) | 跨域(本章) | 说明 |
|---|---|---|---|
NCCL_MNNVL_ENABLE |
2 | 0 | 跨域必须关闭 |
NCCL_CUMEM_ENABLE |
1 | 0 | cuMem 仅用于 MNNVL |
--expert-model-parallel-size |
8(跨 2 节点) | 4(仅节点内) | EP 限制在域内 |
| DP | 1 | 2 | 自动计算 = world/TP/PP/EP |
| ComputeDomain | 需要 | 仅 domain-0 | 跨域无共享 IMEX |
10.6 扩展到 4+ Domain
扩展多 domain 训练只需两个调整:NODE_RANK 连续编排 和 并行参数缩放。
NODE_RANK 编排(4 domain × 18 nodes = 72 nodes)
# 确保同一 domain 的节点获得连续 NODE_RANK
#
# Domain 0: NODE_RANK = 0 .. 17 → rank 0-71 (72 GPU)
# Domain 1: NODE_RANK = 18 .. 35 → rank 72-143 (72 GPU)
# Domain 2: NODE_RANK = 36 .. 53 → rank 144-215 (72 GPU)
# Domain 3: NODE_RANK = 54 .. 71 → rank 216-287 (72 GPU)
#
# JobSet 方案:增加 ReplicatedJob(domain-2, domain-3),
# 每个设置 DOMAIN_OFFSET = 36, 54;parallelism/completions = 18
#
# 手动方案:
# --nnodes=72 --nproc_per_node=4
# --node_rank=<该节点在全局中的连续编号>
# --master_addr=<domain 0 第一个节点的 IP/DNS>
并行参数缩放
| 参数 | 2 domain (2 nodes) | 2 domain (36 nodes) | 4 domain (72 nodes) |
|---|---|---|---|
--nnodes |
2 | 36 | 72 |
--tensor-model-parallel-size |
1 | 4 | 4 |
--expert-model-parallel-size |
4 | 16 | 32 |
| DP (自动) | 2 | ≥2 | ≥2 |
| 每 GPU 专家数 | 32 | 8 | 4 |
NCCL_MNNVL_ENABLE |
0 | 0 | 0 |
⚠️ 当前保守策略:跨域训练设置 NCCL_MNNVL_ENABLE=0。这会全局关闭 MNNVL,即使域内 EP communicator 也降级为 RDMA。参见 10.7 节的优化方案和待验证实验。
Dense 模型的并行策略
Dense 模型(如 Llama)无 EP 维度,大规模训练的推荐映射:
- TP=4(节点内 NVLink,AllReduce 高频通信)
- PP=N(跨节点流水线,点对点通信量小,可跨域)
- DP=剩余(梯度同步,可跨域)
- 优先将 PP stage 的相邻 rank 安排在同一 domain 内
10.7 待验证优化:Per-Communicator MNNVL(域内 MNNVL + 跨域 RDMA)
⚠️ 本节内容为调研结论,尚未在实验环境中验证。需要至少 2 个 domain 的节点才能测试。
问题
当前跨域训练必须设置 NCCL_MNNVL_ENABLE=0,导致所有通信(包括完全在域内的 EP alltoall)都降级为 RDMA。域内 EP alltoall 从 ~840 GB/s(MNNVL)降至 ~325 GB/s(RDMA),性能损失约 60%。
调研发现
NCCL 源码分析表明,MNNVL 检测实际上是 per-communicator 的(comm->MNNVL 每个 communicator 独立设置)。不同 NVL72 domain 有不同的 clusterUuid,NCCL 通过 clusterUuid + cliqueId 将跨域 rank 排除在 MNNVL clique 之外。
| NCCL 版本变化 | 影响 | 来源 |
|---|---|---|
| ≤ 2.26.x | MNNVL 探测失败时静默回退到 RDMA | — |
| 2.27.3+ | MNNVL 探测失败时 hard fail(ncclSystemError),不再静默回退。这是之前「必须设为 0」的直接原因 |
Release Notes |
| 2.28.3+ | 新增 NCCL_MNNVL_CLIQUE_ID=-2:按机箱序列号(rack serial)自动分 clique |
Release Notes: "Add new option NCCL_MNNVL_CLIQUE_ID=-2 which will use rack serial number to partition the MNNVL clique." |
| 2.30.3+ | 新增 NCCL_MNNVL_CROSS_CLIQUE=1:允许跨 clique P2P |
Release Notes: "Add support for treating multiple cliques as the same NVLINK domain." 源码: src/init.cc — NCCL_PARAM(MNNVLCrossClique, "MNNVL_CROSS_CLIQUE", 0) |
⚠️ 注意:上述环境变量(NCCL_MNNVL_CLIQUE_ID、NCCL_MNNVL_CROSS_CLIQUE)已在 NCCL 开源仓库的 Release Notes 和源码中确认存在,但截至 2026-06 尚未出现在 NCCL 官方环境变量文档页。使用前请确认您的 NCCL 版本 ≥ 对应要求。
GIB v1.1.2 包含 NCCL 2.30.4 和 libnccl-env-gcp.so 插件(向 NCCL 传递 CliqueId/ClusterUUID 拓扑信息),因此上述新特性均可用。理论上 NCCL_MNNVL_ENABLE=2(auto-detect)应能正确处理混合域场景:
- EP communicator(全部 rank 在同一 domain)→ 自动启用 MNNVL(~840 GB/s)
- DP communicator(rank 跨越 domain)→ 自动跳过 MNNVL,走 RDMA(~325 GB/s)
验证计划
需要至少 2 个 domain 各 1+ 节点。验证步骤:
# 实验 1:MNNVL auto-detect 基础验证
# 在跨域 2 节点上运行 nccl-tests,观察 MNNVL 检测是否成功
NCCL_MNNVL_ENABLE=2 \
NCCL_DEBUG=INFO \
NCCL_DEBUG_SUBSYS=INIT,NVLS \
mpirun ... all_reduce_perf -b 1G -e 16G
# 观察日志中的关键信息:
# "MNNVL clique size X, domain size Y" → clique 是否正确分域
# "Using NVLS transport" → 域内是否走 NVLink
# "Using NET transport" → 跨域是否走 RDMA
# 实验 2:Megatron EP=域内 + DP=跨域
# EP communicator 应走 MNNVL,DP communicator 应走 RDMA
NCCL_MNNVL_ENABLE=2 \
NCCL_DEBUG=INFO \
torchrun --nnodes=2 --nproc_per_node=4 \
pretrain_gpt.py \
--expert-model-parallel-size 4 \ # EP=4 域内
... # 其余同第 8 章
# 实验 3:若实验 1 失败,尝试手动 clique 分区
NCCL_MNNVL_ENABLE=2 \
NCCL_MNNVL_CLIQUE_ID=-2 \
NCCL_DEBUG=INFO \
mpirun ... all_reduce_perf -b 1G -e 16G
# 对照组:NCCL_MNNVL_ENABLE=0(当前基线)
预期收益:如果验证通过,多 domain 训练中域内 EP alltoall 可从 ~325 GB/s 提升到 ~840 GB/s(+158%),MoE 模型跨域训练吞吐显著提升。
11. 64+8 备用容量管理
ℹ️ 为什么需要备用容量? 大规模 GPU 训练中,硬件故障是常态而非例外。NVIDIA Fabric Manager 文档和 GCP GPU 故障排查指南指出,GPU 可能遇到 Xid 错误(如 Xid 79 GPU fault)、NVLink 降速、显存 ECC 错误等。对于 NVL72 域内任一节点故障,整个 MNNVL 训练任务都需要重启。
策略:72 GPU (18 节点 × 4 GPU) 中,64 GPU (16 节点) 做 pre-training,8 GPU (2 节点) 作为备用容量(~11% 冗余)。通过 PriorityClass + Placeholder Pod 实现自动容量管理:故障节点被隔离后,训练 Pod 自动抢占 Placeholder 所在的备用节点,恢复训练。
11.1 PriorityClass 定义
kubectl apply -f yamls/spare-capacity-priority.yaml # 查看 YAML
kubectl get priorityclass
# gpu-training (1000) gpu-placeholder (-1)
11.2 Placeholder Pod 部署
kubectl apply -f yamls/spare-capacity-placeholder.yaml # 查看 YAML
# 验证 Placeholder Pod 已调度到 2 个节点
kubectl get pods -l app=gpu-placeholder -o wide
11.3 训练 Pod 抢占测试
kubectl apply -f yamls/spare-capacity-training-job.yaml # 查看 YAML
# 验证:训练 Pod 会抢占 Placeholder
kubectl get pods -o wide
# training-preempt-test 应该 Running
# 某个 gpu-placeholder Pod 应该被驱逐
11.4 故障切换 (Cordon/Drain/Uncordon)
# Step 1: 隔离故障节点
kubectl cordon <NODE_NAME>
kubectl drain <NODE_NAME> --ignore-daemonsets --delete-emptydir-data --force
# Step 2: 验证 Pod 重调度
kubectl get pods -l app=gpu-placeholder -o wide
# Step 3: 节点修复后恢复
kubectl uncordon <NODE_NAME>
12. 故障上报 API (Report-Faulty)
ℹ️ 官方文档: Report-Faulty API Reference · GKE 故障上报指南
12.1 单节点故障上报
gcloud compute instances report-host-as-faulty <INSTANCE_NAME> \
--async \
--disruption-schedule=IMMEDIATE \
--fault-reasons=behavior=UNRECOVERABLE_GPU_ERROR,description="XID 79 detected" \
--zone=$ZONE --project=$PROJECT
| fault-reasons behavior | 含义 | 场景 |
|---|---|---|
PERFORMANCE |
GPU 性能下降 | 无 Xid 错误但训练速度下降 |
UNRECOVERABLE_GPU_ERROR |
不可恢复 GPU 错误 | Xid 错误 |
SILENT_DATA_CORRUPTION |
静默数据损坏 | 训练结果异常 |
CHIP_ERROR |
芯片错误 | 硬件芯片级故障 |
12.2 Sub-block 域级故障上报
# 查看拓扑结构
gcloud alpha compute reservations blocks list $RESERVATION \
--zone=$ZONE --project=$PROJECT
gcloud alpha compute reservations sub-blocks list $RESERVATION \
--block-name=<BLOCK_NAME> \
--zone=$ZONE --project=$PROJECT
# Sub-block 故障上报
gcloud alpha compute reservations sub-blocks report-subblock-as-faulty $RESERVATION \
--block-name=<BLOCK_NAME> \
--sub-block-name=<SUBBLOCK_NAME> \
--disruption-schedule=IMMEDIATE \
--fault-reasons=behavior=SWITCH_FAILURE,description="NVSwitch failure" \
--failure-component=NVLINK_SWITCH \
--zone=$ZONE --project=$PROJECT
12.3 Python SDK
from google.cloud import compute_v1
def report_host_as_faulty(project_id, zone, instance_name, fault_behavior, description):
client = compute_v1.InstancesClient()
request_body = compute_v1.InstancesReportHostAsFaultyRequest(
disruption_schedule="IMMEDIATE",
fault_reasons=[
compute_v1.FaultReason(
behavior=fault_behavior,
description=description
)
]
)
operation = client.report_host_as_faulty(
project=project_id, zone=zone, instance=instance_name,
instances_report_host_as_faulty_request_resource=request_body
)
print(f"Operation started: {operation.name}")
return operation
# 使用示例
report_host_as_faulty(
project_id="your-gcp-project", # ← 请替换为您的项目 ID
zone="us-east5-a", # ← 请替换为您的可用区
instance_name="gb200-d1-w0", # ← 请替换为故障节点名称
fault_behavior="UNRECOVERABLE_GPU_ERROR",
description="XID 79 GPU error detected"
)
13. GPU 监控 (DCGM Exporter)
ℹ️ 官方文档: DCGM Exporter GitHub · Grafana Dashboard: ID 12239
kubectl apply -f yamls/dcgm-exporter-daemonset.yaml # 查看 YAML
# 验证
kubectl get pods -n kube-system -l app=dcgm-exporter
# 每个 GPU Worker 节点一个 Pod
# 测试指标
kubectl exec -n kube-system <DCGM_POD> -- wget -qO- http://localhost:9400/metrics | grep '^DCGM_FI' | head -20
关键监控指标
| 指标 | 告警阈值 | 含义 |
|---|---|---|
DCGM_FI_DEV_GPU_TEMP |
> 85°C | GPU 过热 |
DCGM_FI_DEV_MEMORY_TEMP |
> 95°C | 显存过热 |
DCGM_FI_DEV_POWER_USAGE |
> 1000W | 功耗异常 |
DCGM_FI_DEV_UNCORRECTABLE_REMAPPED_ROWS |
> 0 | 不可纠正 ECC 错误 |
DCGM_FI_DEV_ROW_REMAP_FAILURE |
> 0 | 行重映射失败(需立即维修) |
DCGM_FI_DEV_PCIE_REPLAY_COUNTER |
持续增长 | PCIe 链路质量问题 |
Prometheus + Grafana 集成:DCGM Exporter 默认暴露 :9400/metrics(Prometheus 格式),使用 NVIDIA 官方 Grafana Dashboard ID: 12239。
14. 测试结果汇总
| 类别 | 测试项 | 实际结果 |
|---|---|---|
| 基础设施 | GPU 检测 (4×GB200/node) | 4 GPU × 4 nodes = 16 total |
| ComputeDomain IMEX 管理 | daemon pods Ready, IMEX channel 可用 | |
| RDMA | ib_write_bw per NIC | ~381 Gbps |
| 4×NIC aggregate | ~1524 Gbps | |
| NCCL | 单节点 all_reduce 4 GPU @8G | 683.75 GB/s busbw |
| 同域 2 节点 MNNVL @8G (ComputeDomain) | 834.95 GB/s busbw | |
| 跨域 2 节点 RDMA @8G | 325.88 GB/s busbw | |
| 混合 4 节点 16GPU @8G (MNNVL=0) | 162.45 GB/s busbw | |
| DeepEP v2 | Intranode BF16 dispatch | 24/24 PASS, 435.97 GB/s NVL |
| Intranode FP8 dispatch | 24/24 PASS, 288.07 GB/s NVL | |
| Intranode Combine | 321.35 GB/s NVL | |
| Low-latency dispatch | 168-188 GB/s, ~20 us | |
| Low-latency combine | 316-331 GB/s, ~22 us | |
| Elastic EP internode (144 configs) | 144/144 PASS, dispatch ~750 GB/s SU | |
| Megatron-LM | 单节点 Qwen3 30B-A3B MoE EP=4 FP8 50 iters | ~356 TFLOP/s/GPU |
| 多节点 Qwen3 30B-A3B MoE EP=8 MNNVL FP8 50 iters | ~274 TFLOP/s/GPU | |
| 备用容量 | PriorityClass 创建 (gpu-training=1000, gpu-placeholder=-1) | 2 PriorityClass created |
| Placeholder 占位 2 节点 | 2 pods Running | |
| 训练 Pod 抢占 Placeholder | Placeholder evicted, Training Pod scheduled |
ℹ️ 环境:k8s 1.34.1 (使用 ComputeDomain 时 kubelet 升 ≥ v1.34.5, 详见 §4.7) + ComputeDomain (DRA GPU Driver v0.4.0) + DRANET v1.3.0 + GIB v1.1.2 + pytorch:26.05-py3 注:k8s 版本变化不影响 GPU/RDMA 数据面性能。测试于 2026-06-19 完成验证。
15. 已知问题与注意事项
15.1 TLinux 4 特性
| 问题 | 说明 |
|---|---|
| 启动盘设备名不固定 | NVMe 设备编号在不同启动间可能变化,需用 findmnt 动态查找 |
| 启动盘分区 | 50GB OS 镜像安装到 1TB 盘后不自动扩展和分区。Startup script 使用 sgdisk 创建客户要求的 4 分区布局(/ 21.5G、/boot/efi 512M、/usr/local 20G、/data ~950G) |
| 缺少基础组件 | sudo、gcloud CLI、perftest、CUDA Toolkit 均未预装,需手动安装 |
| Docker CE repo | 需硬编码 RHEL 9 baseurl,TLinux 4 不被 Docker 官方自动识别 |
15.2 k8s 1.34 DRA + ComputeDomain 注意事项
| 项目 | 说明 |
|---|---|
| DRA API 版本 | ResourceClaimTemplate/DeviceClass 使用 resource.k8s.io/v1(GA API,非 v1beta2) |
| DRA 状态 | k8s 1.34 中 DRA 为 GA,默认启用,无需 feature gate |
| kubeadm Scheduler RBAC | kubeadm 1.34.x 默认 ClusterRole 缺少 DRA 权限(见 §4.3),必须手动补充,否则 ComputeDomain daemon pods 会静默卡在 ContainerCreating |
| DRANET 版本 | v1.3.0,安装: helm install dranet oci://registry.k8s.io/networking/charts/dranet --version v1.3.0 -n kube-system |
| ComputeDomain 互斥 | ComputeDomain 与 nvidia-imex.service(systemd)和 IMEX Manager DaemonSet 互斥。必须先禁用所有其他 IMEX 管理方式(见 §4.4 + §16.11.1) |
| ComputeDomain 节点标签 | ⚠️ 老版本曾建议"创建后需手动 kubectl label node",实际正常流程是 kubelet-plugin AddNodeLabel 自动 label (NVIDIA cmd/compute-domain-kubelet-plugin/computedomain.go:312 AddNodeLabel 在 NodePrepareResources 调用时自动 patch). 手动 label 仅在 controller race 时作为 workaround, 详见 §4.4 + §4.5 reconciler v2 兜底 |
| IMEX daemon 日志噪音 (numNodes 设非 0) | 仅当 numNodes 设大于实际 join 节点数时, daemon 会持续尝试连接不存在的 peer. NVIDIA 推荐 numNodes: 0 (默认), 无此噪音. 详见 §4.4 |
| NCCL 测试二进制 | pytorch 镜像自带的 all_reduce_perf 未链接 MPI,多节点测试会退化为独立单 GPU 基准。必须从 nccl-tests 源码编译 MPI 版:make MPI=1 MPI_HOME=/usr/local/mpi NCCL_HOME=/usr/local/gib |
| mpirun 路径 | /usr/local/mpi/bin/mpirun(非 /usr/local/gib/bin/mpirun) |
| Calico 多网卡 | A4X Worker 有 6 个 NIC (2 GVNIC + 4 MRDMA)。Control Plane 主接口为 eth0,Worker 主接口为 enp0s3,需设置 IP_AUTODETECTION_METHOD=interface=eth0\|enp0s3 以匹配两者。使用 VXLAN 模式(IPIP 受 VPC 防火墙限制) |
| SSH 密钥 | 容器内必须用 ed25519(ssh-keygen -t ed25519),RSA 因无 /dev/tty 会失败 |
| kubelet gRPC 30 min idle deadlock | k8s v1.34.1 含以前 kubelet 有 30 min idle gRPC deadlock, 跑 DRA workload 会卡 ContainerCreating. 已修 in v1.34.2 (PR #133934). 必须升 kubelet ≥ v1.34.5, 详见 §4.7 完整升级 SOP. |
| ⭐ NVIDIA DRA controller "object has been modified (attempt 1)" 噪音 | NVIDIA DRA driver v0.4.0 controller 一次 reconcile pass 内, addFinalizer + updateGlobalStatus 用 stale ResourceVersion → apiserver 409 Conflict, workqueue 自动 retry attempt 2/3 成功. log 中 "(attempt 1)" 是无害噪音, 不影响 cluster 工作. 上游 PR #1101 修复 (OPEN 未 merge). 提供 wrapper scripts/troubleshooting/dra-controller-logs.sh 过滤噪音. |
| ⭐ DRA channel-0 leak race | NVIDIA DRA driver v0.4.0 plugin 的 channel-0 是 hardcoded singleton; pod prepare 中途被 force-delete 时, 内部 retry goroutine 可能在 Unprepare 后还成功, 写入 leaked PrepareCompleted entry → 下次 pod prepare 看到 ghost 报 "channel-0 is already allocated". ✅ 上游已修 PR #1188 加 PrepareAborted state, 但截至 2026-06-30 尚未进任何 release (v0.4.1-rc.1 在 PR 之前 cut). 兜底: check-k8s-dra-health.sh --fix-race 自动 detect + restart kubelet on stuck node. 实测 v1.34.5 升级后 race window collapse, 1-pod sequence 已无法 1-shot 触发 (历史 1 个 incident 含 8 errors, 70b 训练前 batch reschedule 触发). |
| ⭐ ResourceSlice 凭空消失 race | k8s client-go MutationCache(includeAdds=true) 60s TTL bug — plugin 刚 publish RS 后 30s 内被 external delete, sync 30s 后跑时 mutation cache 仍 ghost, controller 看 len==1==desired 不重 publish; 60s 后 cache silent expire 没事件触发 re-sync → RS 永久 missing. Scheduler 报 "cannot allocate all claims", pod 卡 Pending. 上游 PR #140063 / #140011 OPEN. 兜底: check-k8s-dra-health.sh --fix-rs 自动 detect + delete affected plugin pod (DS 重 spawn 触发 fresh publish), 推荐部署为 CronJob 周期 5 min. 实测 100% deterministic 复现, --fix-rs 30s 内修. |
15.3 混合云场景注意事项(自建 Control Plane + GCP Worker)
ℹ️ 本节针对 Control Plane 部署在本地 IDC、Worker 节点部署在 GCP 的混合云架构。如果 Control Plane 也在 GCP,可跳过本节。
15.3.1 API Server ↔ Worker 网络打通
本地 API Server 需要与 GCP Worker 双向通信(kubectl exec/logs、Webhook 回调、DRA 控制器通信)。需要配置:
- Cloud VPN 或 Cloud Interconnect:本地到 GCP VPC 的专线(推荐 HA VPN 或 Dedicated Interconnect)
- 路由配置:确保本地 API Server 可达 GCP Pod CIDR(Calico VXLAN 默认
192.168.0.0/16)和 Service CIDR(10.96.0.0/12)。通过 Cloud Router 发布路由,或在 VPN 网关上配置静态路由 - Webhook 回调:Kueue、DRA GPU Driver 的 Mutating/Validating Webhook 需要 API Server 能主动调用 Worker 节点上的 Webhook 端点。确保防火墙允许 API Server → Worker Pod CIDR 的 HTTPS 通信(443/TCP)
⚠️ Calico VXLAN 注意:本文档使用 Calico VXLAN 模式(2.2 节)。VXLAN 封装后,跨专线的 Pod 包需要在 MTU 减去 50 字节的 VXLAN overhead。如果专线 MTU 为 1500,Pod 内 MTU 应设为 1450。Calico 配置 vxlanMTU 字段可调整此值。
15.3.2 DRA 控制器跨网络认证
DRA GPU Driver 控制器(运行在 Worker 节点上)和 Scheduler(运行在 Control Plane 上)之间通过 API Server 通信。在混合云环境需确保:
- Scheduler RBAC:本文档 3.5 节已修复的 DRA RBAC 补丁同样适用。kubeadm 默认 ClusterRole 缺少 DRA 权限,无论 Control Plane 在哪里都必须补充
- 证书信任:如果使用自签名 CA(kubeadm 默认),确保 Worker 的 kubelet 和 DRA 控制器信任 Control Plane CA。
kubeadm join的--discovery-token-ca-cert-hash已处理此问题 - 网络延迟:DRA 资源分配需要 Scheduler 和 DRA 控制器多次交互。专线延迟如超过 100ms,可能触发 ResourceClaim allocation 超时。监控
kube-scheduler日志中的 DRA 相关超时错误
15.3.3 自定义准入控制器兼容性
如果客户的 Control Plane 使用了自定义 Admission Controller 或非标准用户体系(OIDC/LDAP),需确保:
- 准入控制器不拦截 DRA 相关 API(
resource.k8s.io/v1的 ResourceClaim、ResourceClaimTemplate、DeviceClass) - Scheduler ServiceAccount 的权限不受外部 RBAC 系统限制
- ComputeDomain 控制器的 ServiceAccount(
nvidia-dra-driver-gpunamespace, helm chart 默认)可正常创建 DaemonSet 和 Pod
15.4 VPC 管理网卡 MTU
GVNIC 管理网络的 MTU 必须设置为 8896(Jumbo Frames)。默认 MTU 1460/1500 会导致 Lustre 吞吐量下降约 10%。创建 VPC 时使用 --mtu=8896。
15.5 Megatron-LM GB200 性能优化要点
以下配置对 B200 GPU 性能至关重要:
| 配置 | 说明 |
|---|---|
--transformer-impl transformer_engine |
必须使用 TE(core_r0.16.0 默认值)。local 实现为未优化的纯 PyTorch 路径,无法使用 FP8/融合注意力 |
| FP8 参数 | --fp8-format hybrid --fp8-recipe delayed。B200 FP8 Tensor Core 吞吐约为 BF16 的 2 倍 |
| GB200 环境变量 | NVTE_FUSED_ATTN=1、NVTE_NORM_FWD_USE_CUDNN=1、NVTE_NORM_BWD_USE_CUDNN=1 启用 GB200 专属优化内核 |
移除 --no-*-fusion |
所有 --no-masked-softmax-fusion、--no-bias-gelu-fusion 等标志会禁用算子融合,严重影响性能 |
--sequence-parallel |
沿序列维度分布 LayerNorm/Dropout 计算 |
--use-distributed-optimizer |
ZeRO-1 优化器状态分片,降低显存占用 |
--overlap-grad-reduce |
梯度 all-reduce 与反向传播重叠 |
⚠️ 参考:NVIDIA 官方 GB200 配置位于 Megatron-LM 仓库 tests/functional_tests/test_cases/gpt/gpt3_15b_8t_release_gb200/model_config.yaml
15.6 网卡绑定(Bond)不适用
ℹ️ 结论:GCP A4X 实例不支持传统的 Linux bonding(bond0/bond1 等),无需配置。
GCP A4X/GB200 的网络架构与物理服务器不同,使用两类虚拟网卡:
| 类型 | 设备名 | 数量 | 用途 | 冗余机制 |
|---|---|---|---|---|
| GVNIC | eth0, eth1 | 2 | 管理网络(SSH、k8s API、Pod CIDR) | GCP Andromeda SDN 在虚拟化层提供 HA,无需 bond |
| MRDMA | mlx5_0 .. mlx5_3 | 4 | GPU RDMA 计算网络(GPUDirect、NCCL) | SR-IOV VF 由 GCP RDMA 基础设施管理,通过 DRANET DRA 分配,不兼容 bond |
不适用的原因:
- GVNIC 是 GCP 虚拟网卡,HA/冗余在 Andromeda SDN 层完成,OS 层看到的 eth0/eth1 是独立设备,不需要也不支持 bonding
- MRDMA 是 SR-IOV 虚拟功能(VF),由 GCP RDMA 基础设施提供,不兼容 Linux bonding 驱动
ibdev2netdev输出为mlx5_0 port 1 ==> rdma0(独立 RDMA 设备),而非mlx5_bond_X ==> bondY- bonding 内核模块未加载,也不应加载
GCP 替代方案:
- 管理网络冗余:由 GCP 基础设施保证,无需用户配置
- RDMA 网卡分配:通过 DRANET 和 DRA ResourceClaim 声明式获取 4 块 RDMA 网卡,Pod YAML 中使用
deviceClassName: rdma-devices
⚠️ 注意:客户的《外 GPU 适配规范》中关于 bond1-bond5 的要求是针对物理服务器 / 自建 IDC 环境的标准。在 GCP A4X 上,这些网卡绑定配置不适用,对应的网络冗余和 RDMA 功能通过上述 GCP 原生机制实现。
15.7 nvidia-fabricmanager 不适用
GCP A4X 的 NVSwitch 由虚拟化层(hypervisor)管理,Guest VM 无需也不应运行 Fabric Manager 服务。
官方依据:根据 NVIDIA Fabric Manager User Guide 关于 Shared NVSwitch Virtualization 模式的说明:
- "NVSwitch memory fabrics are managed by a dedicated trusted VM called Service VM"
- "Only GPUs passed through to the guests" — Guest VM 只看到 GPU,NVSwitch 由 Service VM 管理
- Link training 和 NVSwitch 路由配置在虚拟化层完成,Guest 内无需运行 FM
GCP A4X 采用此架构:NVSwitch 由 GCP hypervisor 层的 Service VM 管理。在 Guest 内尝试启动 nvidia-fabricmanager 会报错:
Detected Pre-NVL5 system
request to query NVSwitch device information from NVSwitch driver failed with error:
WARNING Nothing to do [NV_WARN_NOTHING_TO_DO]
这是预期行为,NVLink/NVSwitch 通信正常工作(已验证 834.95 GB/s busbw),不受影响。
佐证:GCP 官方发布的 Rocky Linux 10 GPU 加速镜像(nvidia-580 和 nvidia-latest 变体,项目 rocky-linux-accelerator-cloud)均不包含 Fabric Manager 包,仅包含 IMEX 和 persistenced 服务。
⚠️ 总结:客户的《适配规范》中 fabric-manager 要求是针对物理 GB200 NVL72 机架的标准。在 GCP A4X 上,NVSwitch 管理由虚拟化层自动完成,无需安装 Fabric Manager。镜像 tlinux-server-4-gb200-v3 已按此标准不再包含 FM。
15.8 nvidia_peermem 不适用
GCP A4X 的 GPU Direct RDMA 通过 GIB 插件(nccl-plugin-gib)实现,不使用传统的 nvidia_peermem 内核模块。尝试加载该模块会返回 EINVAL。
这是预期行为。Pod 中通过 GIB initContainer 注入 RDMA 库(/usr/local/gib/),NCCL 通过 GIB 路径完成 GPU-NIC DMA 映射,不依赖 nvidia_peermem。
15.9 DeepEP v1 vs v2 选择建议
| 维度 | DeepEP v1 (CUDA 12) | DeepEP v2 (CUDA 13) |
|---|---|---|
| Internode 后端 | NVSHMEM IBGDA — 需 GDRCopy(GCP 不可用) | NCCL Gin — 完全兼容 GCP |
| Intranode | 正常工作 | 正常工作 |
| NVSHMEM 依赖 | 严格要求 3.4.5(GB200)或 3.3.9(B200/H200) | 仅编译时需要,运行时不依赖 |
| CUDA 容器 | pytorch:25.04-py3 (CUDA 12) | pytorch:26.04-py3 / 26.05-py3 (CUDA 13) |
| GCP 推荐 | 仅 intranode 场景 | 推荐(internode 已验证 144/144 PASS) |
⚠️ 核心决策:如需跨节点 Expert Parallelism(internode EP),必须使用 DeepEP v2。v1 的 internode 通信依赖 NVSHMEM IBGDA + GDRCopy,而 GDRCopy 在 GKE/GCP 环境中无法使用(内核模块不可加载)。v2 使用 NCCL Gin 后端完全消除此依赖。详见 GitHub Issue #579。
16. 操作系统优化 (可选)
ℹ️ 本章定位: 客户可根据需求逐项启用, 每项均可独立 enable / disable. 全部 enable 完后, 建议制作到镜像中 (bake into golden image), 避免每次新 worker join 重复执行. 文末提供完整 os-tuning.sh install script.
每项格式: 优化项名称 → Why (业务收益) → How (具体命令) → Risk (副作用) → Verify (验证命令).
⚠️ 风险等级: ⭐ 低风险可立即启用; ⭐⭐ 中风险需测试; ⭐⭐⭐ 高风险或副作用大, 务必先在测试环境验证.
16.1 内核启动参数 (cmdline)
16.1.1 关闭 init_on_alloc (风险: 低)
- Why: TencentOS 4 默认
init_on_alloc=1强制 page zero, 大内存分配 (e.g., PyTorch 显存 pool init) 慢 10-15% - How:
/etc/default/grubGRUB_CMDLINE_LINUX加init_on_alloc=0+grub2-mkconfig -o /boot/efi/EFI/tencentos/grub.cfg+ reboot - Risk: kASLR/heap exploit 略放宽; production GPU workload context 可接受
- Verify:
cat /proc/cmdline | grep init_on_alloc
16.1.2 ⚠️ 不要设 iommu.passthrough=1 (风险: 高 — 必须避免)
- Why: GCP A4X 已验证 (已验证): GB200 + TLinux 4 上
iommu.passthrough=1会 break UVM ATS bind, 所有 CUDA app 启动即报cudaErrorDevicesUnavailable (701), dmesguvm_ats_sva_bind_gpu fail, fresh boot + fabric Completed + imex active 都不能修复 - How: 确保 cmdline 不含
iommu.passthrough=1(默认就没有, 但有些"GPU 调优指南"会建议加, 禁止) - Risk: 会导致整集群 GPU 失效
- Verify:
cat /proc/cmdline | grep -c iommu.passthrough应输出0
16.1.3 Transparent Huge Pages = madvise (风险: 低)
- Why: PyTorch / CUDA runtime 默认会
madvise(MADV_HUGEPAGE), 但 host 全局 THP=always 会引入 page compaction stall; madvise 模式只在显式请求时启用 - How: cmdline 加
transparent_hugepage=madvise - Risk: 部分老 app 依赖隐式 THP 可能减慢 (现代 framework 都不依赖)
- Verify:
cat /sys/kernel/mm/transparent_hugepage/enabled应显示always [madvise] never
16.2 sysctl 参数
16.2.1 RDMA / TCP buffer (风险: 低)
- Why: 默认 net.core.rmem_max/wmem_max 6MB 太小, RoCE / GPUDirect TCP fallback 路径瓶颈; NCCL / IB 用大 buffer
- How:
bash cat > /etc/sysctl.d/99-rdma.conf << 'EOF' net.core.rmem_max = 134217728 net.core.wmem_max = 134217728 net.core.rmem_default = 16777216 net.core.wmem_default = 16777216 net.ipv4.tcp_rmem = 4096 87380 67108864 net.ipv4.tcp_wmem = 4096 65536 67108864 net.core.netdev_max_backlog = 250000 net.core.somaxconn = 65535 EOF sysctl -p /etc/sysctl.d/99-rdma.conf - Risk: 极端内存压力下额外消耗 socket buffer (worker 一般 480GB+ LPDDR5X, 无问题)
- Verify:
sysctl net.core.rmem_max应输出 134217728
16.2.2 vm.swappiness=0 / 关 NUMA balancing (风险: 低)
- Why: GPU workload 不应 swap (HBM 数据 swap 出去等于 corrupt training); NUMA balancing 在 Grace ARM (4 GPU 对应 4 NUMA node) 上反复 page migration 反而降速
- How:
bash cat > /etc/sysctl.d/99-gpu.conf << 'EOF' vm.swappiness = 0 vm.zone_reclaim_mode = 0 kernel.numa_balancing = 0 EOF sysctl -p /etc/sysctl.d/99-gpu.conf - Risk: 无 swap → OOM 必须 kill pod (不 fallback to disk); 推荐配合 §16.7 容器 OOM 调整
- Verify:
cat /proc/sys/vm/swappiness= 0,cat /proc/sys/kernel/numa_balancing= 0
16.2.3 fs.aio-max-nr / file-max (风险: 低)
- Why: Lustre / GCSFuse / 大模型 ckpt save 需要大量 async IO + 大量 open fd
- How:
bash cat >> /etc/sysctl.d/99-fs.conf << 'EOF' fs.aio-max-nr = 1048576 fs.file-max = 4194304 fs.nr_open = 4194304 EOF - Risk: 无, 仅 raise upper limit
- Verify:
sysctl fs.aio-max-nr
16.3 文件系统挂载选项
16.3.1 /data noatime (风险: 低)
- Why: 默认 atime 每次读都写 inode metadata, training ckpt 读 access pattern 触发大量小写, IOPS 浪费
- How:
/etc/fstab中/data行加noatime,nodiratimemount options + remountbash sudo sed -i 's|/data .* defaults|/data ext4 defaults,noatime,nodiratime|' /etc/fstab sudo mount -o remount /data - Risk: 依赖 atime 的 backup / archival tool 失效 (生产 GPU 训练节点无此需求)
- Verify:
mount | grep /data应包含noatime
16.3.2 tmpfs /dev/shm = 128 GB (风险: 中)
- Why: NCCL inter-process shared memory + PyTorch DataLoader worker share buffer 都用 /dev/shm. 默认 50% RAM 已够, 但有些 image 限制小, 调大避免 OOM
- How:
bash sudo mount -o remount,size=128G /dev/shm echo "tmpfs /dev/shm tmpfs defaults,size=128G 0 0" | sudo tee -a /etc/fstab - Risk: 占 host RAM 128 GB (Worker 480GB+ LPDDR5X 完全够), 但 pod 内
--shm-size不能超过 host /dev/shm 大小 - Verify:
df -h /dev/shm
16.4 CPU governor + NUMA + IRQ affinity
16.4.1 CPU governor=performance (风险: 低)
- Why: 默认
schedutil/powersave在 idle 时降频, GPU workload 突发拉高时 CPU 频率响应慢, 引入 inference latency jitter - How:
bash sudo dnf install -y cpupowerutils sudo cpupower frequency-set -g performance # 持久化: cat > /etc/systemd/system/cpu-governor.service << 'EOF' [Unit] Description=Set CPU governor to performance [Service] Type=oneshot ExecStart=/usr/bin/cpupower frequency-set -g performance [Install] WantedBy=multi-user.target EOF sudo systemctl enable cpu-governor.service - Risk: 功耗 +5-10% (GPU Worker 整机功耗 ~5000W, CPU 部分占小头, 无量化影响)
- Verify:
cpupower frequency-info | grep -i policy
16.4.2 关 irqbalance + 手动 IRQ pin gve/mlx5 到 CPU 16-139 (风险: 高)
- Why: Grace ARM 144 core, GCP gve (GVNIC) IRQ 默认散 CPU 0-15, 跟 NCCL 主 thread CPU contention. 内部测试 实测: cpuset 16-139 避 gve IRQ on CPU 0-15 → intranode +6 GB/s, test_ep +100 GB/s
- How:
bash sudo systemctl disable --now irqbalance # 手动 IRQ pin (示例, 各 IRQ 号要 grep /proc/interrupts 拿) for irq in $(grep -E "gve|mlx5" /proc/interrupts | awk -F: '{print $1}'); do echo "16-143" > /proc/irq/${irq}/smp_affinity_list # CPU 16-143 (smp_affinity_list 用 CPU range; 用 hex mask 改写 /proc/irq/${irq}/smp_affinity) done - Risk: 错误 IRQ pin 可能 cause network freeze; 必须先在测试节点 verify
- Verify:
cat /proc/interrupts | grep gve | head -3看 IRQ count 分布
16.5 网络优化
16.5.1 mlx5_core 模块参数 (风险: 中)
- Why: GPU RDMA peer memory mapping 优化, MNNVL queue pair init 加速
- How:
bash cat > /etc/modprobe.d/mlx5.conf << 'EOF' options mlx5_core num_of_groups=4 probe_vf=0 EOF sudo modprobe -r mlx5_core; sudo modprobe mlx5_core # 或 reboot - Risk: VF probe 关掉, 主机不能直接看 VF device; pod 通过 DRANET 仍正常 inject
- Verify:
modinfo mlx5_core | grep -E "probe_vf|num_of_groups"
16.5.2 RDMA NIC ring buffer max (风险: 低)
- Why: 默认 TX/RX ring 1024, 大 message size NCCL 收发会丢包重传
- How:
bash for nic in mlx5_0 mlx5_1 mlx5_2 mlx5_3; do eth=$(ibdev2netdev | awk -v d="$nic" '$1==d{print $5}') sudo ethtool -G $eth rx 8192 tx 8192 done # 持久化: 写 systemd service - Risk: 内存占用增加 (~4MB/NIC)
- Verify:
ethtool -g <nic>
16.5.3 tcp_congestion_control=bbr (风险: 低)
- Why: GCSFuse / S3 / 大文件下载用 TCP, BBR 比默认 cubic 在高 BDP (high bandwidth × delay product) 网络上吞吐 +30-50%
- How:
bash sudo sysctl -w net.core.default_qdisc=fq sudo sysctl -w net.ipv4.tcp_congestion_control=bbr echo "net.ipv4.tcp_congestion_control = bbr" | sudo tee -a /etc/sysctl.d/99-rdma.conf echo "net.core.default_qdisc = fq" | sudo tee -a /etc/sysctl.d/99-rdma.conf - Risk: 跟旧 cubic peer 兼容; GCP 内部 TCP traffic 都 OK
- Verify:
sysctl net.ipv4.tcp_congestion_control
16.6 GPU 持久化
16.6.1 nvidia-persistenced (风险: 低)
- Why: 不持久化时第一次 CUDA init 慢 (1-2s init driver state, 每次 cold start). persistenced 在系统启动时常驻 driver, 让后续 CUDA app 启动快
- How: TencentOS 4 v4 image 已包含, 验证启用即可
bash sudo systemctl enable --now nvidia-persistenced - Risk: 一直占 1 个 process; 无量化影响
- Verify:
nvidia-smi -q | grep "Persistence Mode"全 GPU 应显示 Enabled
16.6.2 nvidia-smi -pm 1 (风险: 低) — 跟 §16.6.1 等价但兼容
- Why: 同上, persistence mode 强制 enable. 比 systemd service 更 portable
- How:
sudo nvidia-smi -pm 1+ 写 systemd one-shot 持久化 - Risk: 同上
16.6.3 ⚠️ GPU clock 不要锁频 (风险: 高 — 反优化, 不要做)
- Why: 部分"GPU 调优"建议
nvidia-smi -lgc <freq>锁 GPU clock. 但这会破坏 boost, 实际训练 thermal headroom 充足时 GB200 boost +10-15%, 锁频反而减慢 - How: 保持默认 auto, 不要
-lgc - Risk: 无, default 即最优
- Verify:
nvidia-smi -q -d CLOCK | grep -A1 SM应看到 Boost 数值
16.7 容器 runtime 优化
16.7.1 containerd OOM score adj 关键 daemon (风险: 中)
- Why: NUMA 压力大或意外 leak 时, 内核 OOM killer 应保留 containerd / kubelet / sshd, 否则节点失联
- How:
bash cat > /etc/systemd/system/containerd.service.d/oom.conf << 'EOF' [Service] OOMScoreAdjust=-999 EOF cat > /etc/systemd/system/kubelet.service.d/oom.conf << 'EOF' [Service] OOMScoreAdjust=-999 EOF sudo systemctl daemon-reload sudo systemctl restart containerd kubelet - Risk: 无, 仅调 OOM 优先级
- Verify:
cat /proc/$(pgrep containerd | head -1)/oom_score_adj
16.7.2 镜像 registry mirror (风险: 低)
- Why: 国内拉 nvcr.io / gcr.io 慢, 配 mirror 加速
- How:
/etc/containerd/config.toml加 registry mirror, 例如nvcr.io→ 客户内网镜像 - Risk: mirror 滞后可能拉到旧 image
- Verify:
ctr images pull测试
16.8 资源 limit
16.8.1 memlock = unlimited (⭐⭐ 必须)
- Why: RDMA pinned memory 需要 mlock; 默认 64KB 不够, NCCL init 即 fail
- How: ```bash cat > /etc/security/limits.d/99-rdma.conf << 'EOF'
- soft memlock unlimited
- hard memlock unlimited EOF # systemd unit override sudo mkdir -p /etc/systemd/system/{containerd,kubelet}.service.d for svc in containerd kubelet; do cat > /etc/systemd/system/$svc.service.d/limits.conf << 'EOF' [Service] LimitMEMLOCK=infinity LimitNOFILE=1048576 LimitNPROC=1048576 EOF done sudo systemctl daemon-reload sudo systemctl restart containerd kubelet ```
- Risk: 单 process 可 lock 全部 RAM (恶意 / bug 可能耗尽), 但 GPU node 一般信任 workload
- Verify:
cat /proc/$(pgrep kubelet)/limits | grep "Max locked"
16.8.2 nofile / nproc 调大 (风险: 低)
- Why: 大模型训练 NCCL + DataLoader + tensorboard 等大量 fd; 默认 1024 不够
- How: 同 §16.8.1 中的
LimitNOFILE=1048576 LimitNPROC=1048576 - Risk: 无
- Verify: 同上
16.9 DNS / resolv.conf
16.9.1 ⚠️ 不要 tailscale / 其他 VPN 接管 /etc/resolv.conf (风险: 高)
- Why: GCP A4X 已验证 (已验证): tailscale 默认
--accept-dns=true接管 /etc/resolv.conf 后, TencentOS 4 内部 yum mirrormirrors.tencentyun.comNXDOMAIN (公网 DNS 无, 只 169.254.169.254 GCE Metadata DNS 有), 导致dnf install全挂 - How: 如装 tailscale, 必须
tailscale up --accept-dns=false; 不动 resolv.conf - Risk: 不接 magicDNS 短 hostname 解析失效 (生产无影响, 客户用 FQDN 即可)
- Verify:
cat /etc/resolv.conf应保留 GCE Metadata DNS server169.254.169.254
16.10 Calico VPC autodetect 显式配 cidrs (⭐⭐ 必须)
- Why: GCP A4X 已验证 (已验证): Calico 默认
IP_AUTODETECTION_METHOD=firstFound在多 NIC 节点会选错 (tailscale0 优先), pod 跨节点流量走 wireguard 慢 50% - How: 部署 Calico 时 Installation spec 只设
```yaml
nodeAddressAutodetectionV4:
cidrs:
- ${GVNIC_CIDR} # ← VPC 主管理子网 CIDR, 例如 10.0.0.0/21
`` **不要**设firstFound: true或interface: ...`
- ${GVNIC_CIDR} # ← VPC 主管理子网 CIDR, 例如 10.0.0.0/21
- Risk: 配错 CIDR 导致 calico-node CrashLoop (易 verify)
- Verify:
kubectl -n calico-system get pods -o wide, calico-node 全 Running;calicoctl node status看 BGP peers
16.11 IMEX 服务 (跟 §4 协调)
16.11.1 必须 disable host nvidia-imex.service (风险: 高)
- Why: GCP A4X 已验证 + NVIDIA
docs/prerequisites.md:25-30明文要求: ComputeDomain CRD 跟 hostnvidia-imex.service互斥, 同时跑 NV_ERR_IN_USE, CD daemon CrashLoop - How: startup script Phase 8 (或 OS 优化 script):
bash sudo systemctl disable --now nvidia-imex.service 2>/dev/null || true sudo systemctl mask nvidia-imex.service 2>/dev/null || true - Risk: 如客户不用 DRA ComputeDomain (而是用 NVIDIA Slurm/BCM reference 部署), 不能 disable, 反而需要 enable host imex. 但本指南 DRA path 必须 disable.
- Verify:
systemctl is-enabled nvidia-imex; systemctl is-active nvidia-imex都应disabled/inactive
建议 workflow:
- 在单个测试 node 上跑
os-tuning.sh, 观察每项是否正常工作 - 跑 NCCL test / training workload 对比 perf 基线
- 测完后, 打包到OS镜像中
- 后续新 worker join 自动应用, startup script 跳过这些步骤
附录 A. VM 交付验收对照表
ℹ️ 本表基于客户提供的《[对外]外GPU (GB) 适配规范-GCP》,逐项对照 GCP A4X 实例的实际状态与替代方案。 使用 TLinux 4 自定义镜像 tlinux-server-4-gb200-v1。
B.1 系统与安全配置
| 适配项 | 客户标准 | 客户备注 | GCP 适配状态 | GCP 说明 |
|---|---|---|---|---|
| 操作系统 | TencentOS Server 4.0 ARM | 满足 | 使用 tlinux-server-4-gb200-v1 自定义镜像,基于 TencentOS 4.0 aarch64 |
|
| SELinux | Disabled | 满足 | startup script 设置 SELINUX=disabled |
|
| Firewalld | Disabled | 满足 | startup script 执行 systemctl disable --now firewalld |
|
| SSH 端口 | 仅允许 56000 | 满足 | startup script 修改 sshd_config Port 56000 |
|
| docker/kubelet | 不安装 | 满足 | 客户版 startup script 不安装容器运行时和 k8s 组件 | |
| 主机名 | 无特殊要求 | 满足 | 使用 GCE 默认主机名 |
B.2 网络与网卡配置
| 适配项 | 客户标准 | 客户备注 | GCP 适配状态 | GCP 说明 |
|---|---|---|---|---|
| 管理网卡 | bond1 (2块管理网卡) | 不适用 | GCP A4X 使用 GVNIC 虚拟网卡 (eth0/eth1),由 Andromeda SDN 管理,不支持/不需要 bond。详见 §15.6 网卡绑定不适用 | |
| RDMA 网卡 | bond2-bond5 (4块 RDMA) | 替代方案 | 4 块 MRDMA NIC (mlx5_0..mlx5_3),通过 DRANET DRA ResourceClaim 分配给 Pod,不使用 bond | |
| ibdev2netdev | mlx5_bond_X ==> bondY | 左右两侧需按序号递增 | 替代方案 | A4X 输出为 mlx5_0 port 1 ==> rdma0 格式(独立 RDMA 设备,非 bond) |
| 网卡 MTU | ≥ 4200 | 满足 | GCP VPC 配置 MTU=8896(Jumbo Frames) | |
| 网卡驱动版本 | ≥ 5.8 | GPU/网卡驱动需要 TX 签名 | 满足 | mlx5_core 版本 25.10-1.2.2 |
B.3 GPU 驱动与服务
| 适配项 | 客户标准 | 客户备注 | GCP 适配状态 | GCP 说明 |
|---|---|---|---|---|
| GPU 驱动版本 | ≥ 535.247.01 | 满足 | NVIDIA 580.126.20(R580 Open) | |
| nvidia 模块 | 已加载 | 满足 | 开机自动加载 | |
| nvidia_uvm 模块 | 已加载 | 满足 | 开机自动加载 | |
| nvidia_drm 模块 | 已加载 | 满足 | 开机自动加载 | |
| nvidia_modeset 模块 | 已加载 | 满足 | 开机自动加载 | |
| nvidia_peermem 模块 | 已加载 | 不适用 | GCP A4X 使用 GIB 插件替代 nvidia_peermem 实现 GPUDirect RDMA。详见 §15.8 nvidia_peermem 不适用 | |
| gdrdrv 模块 | 已加载 | 满足 | startup script 从源码编译安装 GDRCopy v2.6,加载 gdrdrv 并持久化 | |
| gdrcopy 服务 | active + 开机自启 | 满足 | GDRCopy v2.6 systemd 服务,systemctl enable |
|
| nvidia-fabricmanager | active + 开机自启 | 不适用 | GCP A4X 采用 Shared NVSwitch 虚拟化架构,NVSwitch 由 hypervisor Service VM 管理。详见 §15.7 nvidia-fabricmanager 不适用 | |
| NCCL/GIB | 包含 GIB 1.1.2 | 满足 | GIB v1.1.2 通过 Pod initContainer 注入 |
B.4 存储与磁盘
| 适配项 | 客户标准 | 客户备注 | GCP 适配状态 | GCP 说明 |
|---|---|---|---|---|
| Boot disk 容量 | 1TB | 满足 | Boot disk 1TB (Hyperdisk Balanced) | |
| 分区格式 | 跟随系统默认 | 满足 | ext4/xfs(TLinux 默认) | |
| sda1 (/) 21.5G | 根目录 21.5G | lsblk: sda1 21.5G / | 满足 | startup script 分区 boot disk,根分区 21.5G |
| sda2 (/boot/efi) 512M | EFI 分区 512M | 满足 | TLinux 镜像默认 EFI 分区 512M | |
| sda3 (/usr/local) 20G | 独立分区 20G | lsblk: sda3 20G /usr/local | 满足 | startup script 在 boot disk 上创建独立分区 20G 并挂载到 /usr/local |
| sda4 (/data) 852.2G | 数据分区 852.2G | lsblk: sda4 852.2G /data | 满足 | startup script 在 boot disk 剩余空间创建 /data 分区(约 950G) |
| Local SSD | — | 满足 | Local NVMe SSD RAID0 挂载到 /mnt/stateful_partition,用于 scratch/cache(临时数据,关机后清除) | |
| Lustre 1PB | 随 GB200 交付 | 满足 | GCP Parallel Store (Lustre) 通过 CSI 驱动 PV/PVC 挂载 |
B.5 Startup Scripts
根据客户要求准备了两个版本的初始化脚本:
| 适配项 | 客户标准 | 客户备注 | GCP 适配状态 | GCP 说明 |
|---|---|---|---|---|
| 客户交付脚本 | 满足上述所有配置要求 | 满足 | tlinux4-customer-init.sh — 不安装 docker/kubelet、SSH 56000、SELinux disabled、GDRCopy v2.6、boot disk 分区 | |
| 内部测试脚本 | — | — | tlinux4-internal-init.sh — 包含 containerd + NVIDIA Container Toolkit + kubeadm/kubelet/kubectl k8s 1.34 |
⚠️ 注意:以上对照表中标注"不适用"的项目(bond、nvidia_peermem、nvidia-fabricmanager)是针对物理服务器 / 自建 IDC 环境的标准。在 GCP A4X 上,对应功能通过 GCP 原生机制实现(Andromeda SDN、GIB 插件、虚拟化层 NVSwitch 管理),功能等价但实现方式不同。
附录 B. 集成调试记录
ℹ️ 以下内容为集成验证过程中发现的工具级注意事项和框架参数变更记录,供调试参考。
B.1 DeepEP v2 Internode 测试注意事项
DeepEP v2 internode 使用 Elastic EP 测试 (tests/elastic/test_ep.py),基于 NCCL GIN 后端。不要使用 tests/legacy/test_internode.py,该测试会因 LEGACY_NUM_MAX_NVL_PEERS=8 assertion 在 4-GPU A4X 上失败。
B.2 DeepEP 构建配置
DeepEP 需从源码编译(pip 版本无 SM_100 支持)。关键配置:
NCCL_DIR=/usr/local/gib(不是 NCCL_HOME)TORCH_CUDA_ARCH_LIST="10.0"- NVSHMEM 通过 pip 安装:
pip install nvidia-nvshmem-cu12==3.4.5(必须使用 3.4.5,3.5.x+ 版本更改了 RC QP array 索引方式,会导致 low-latency 测试 NVSHMEM init 失败) - 需创建符号链接:
ln -sf /usr/local/gib/lib64/libnccl.so.2 /usr/local/gib/lib64/libnccl.so
B.3 ib_write_bw IBVERBS 路径冲突
GIB 的 libibverbs 库 (/usr/local/gib/lib64/) 可能覆盖系统版本。运行 ib_write_bw 前需切换:export LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu。
B.4 Megatron-LM 参数变更记录
--mock-data(不是--use-mock-data)--eval-interval和--eval-iters必须显式设置--no-async-tensor-model-parallel-allreduce已移除--lr-warmup-samples不能与 iteration-based 训练混用,需使用--lr-warmup-iters
B.5 短主机名(Megatron 必需)
Megatron-LM 使用 Gloo 进行进程通信。如果 Pod hostname 过长,会触发 File name too long 错误。解决方案:在 Pod spec 中设置 hostname 字段为短名称(如 mega-h1)。
B.6 Megatron 多节点 hostname 解析
Pod 设置自定义 hostname(如 mega-h1)时,NCCL bootstrap 和 Gloo 会调用 gethostbyname() 获取自身 IP。如果该 hostname 没有 DNS 记录,解析失败会导致 静默 hang。
症状:initialized tensor model parallel 后不再有输出,进程占用 100% CPU。
修复方案(任选一):
- 在
/etc/hosts中添加 hostname→IP 映射 - 不设置 Pod
hostname字段,继承宿主机 hostname - 配合 headless Service +
subdomain字段使 k8s DNS 自动注册
同时需设置 NCCL_SOCKET_IFNAME=eth0 和 GLOO_SOCKET_IFNAME=eth0。
附录 C. 压测标准
ℹ️ 本附录基于客户提供的《压测标准》,列出 GEMM、NCCL 和训练性能的验收指标与 GCP A4X 实测数据。
C.1 GEMM 性能
| 精度 | GB200 官方数据 (TFLOP/s) | GCP A4X 实测 (TFLOP/s) |
|---|---|---|
| FP4 | 6507 | 6845 |
| FP8 | 2805 | 3063 |
| FP16 | 1372 | 1492 |
| BF16 | 1471 | 1592 |
| TF32 | 675 | 733 |
| FP32 | 75 | 75 |
C.2 NCCL 性能
Packet size = 16GB,单位 busbw (GB/s)。
| 配置 | AllReduce | All2All | AllGather | ReduceScatter |
|---|---|---|---|---|
| GB200 × 4 × 18(1 domain, 72 GPU) | 845.01 | 660.61 | 687.94 | 707.22 |
| GB200 × 4 × 36(2 domain, 144 GPU) | 749.56 | ⚠️ N/A (见下) | 749.56 | 689.05 |
| GB200 × 4 × 72(4 domain, 288 GPU) | 待测 |
⚠️ 2-domain All2All 是 NVIDIA Known Issue #6, 永久 hang: 跨 ≥2 clique 的 NCCL All2All 会永久 hang, 无 error code, 无 Xid — NVIDIA 官方在 GB200 NVL72 Release Notes Known Issue #6 承认的 NCCL race condition (NET p2p 路径), 跨多 clique 巨量 fanout 触发, 目前 no workaround, 等 NCCL future atomic lock fix.
表中 65.47 GB/s 是早期 partial test (小 size, NCCL 偶发跑通) 数据, 不代表 production 跨域 All2All 可达带宽. 实际跨 clique All2All workload (e.g., MoE expert dispatch) 必须改用 NVSHMEM / DeepEP MNNVL channel 路径, 不要用 NCCL p2p.
相关上游 issue: NCCL Issue #2186 / DRA Issue #1162 / NVIDIA GB200 NVL72 Known Issues #6
其他 collective(AllReduce/AllGather/ReduceScatter)走 ring/tree 算法, 跨 clique 仅传递部分数据, 不触发 race, 数据准确。
C.3 训练性能
| 模型 | seq_len | GPU 数 | mbs | gbs | 并行策略 | iteration_time (ms) | tokens/gpu/s | TFLOP/s/gpu | MFU |
|---|---|---|---|---|---|---|---|---|---|
| LLaMA2-7B | 4096 | 4 | 4 | 256 | tp1pp1 | 9406 | 27,870 | 1,127 | 45.08% |
| LLaMA2-7B | 4096 | 8 | 4 | 256 | tp1pp1 | 4881 | 26,854 | 1,086 | 43.44% |
| LLaMA2-13B | 4096 | 4 | 1 | 256 | tp1pp1 | 18978 | 13,813 | 1,065 | 42.60% |
| LLaMA2-13B | 4096 | 8 | 2 | 256 | tp1pp1 | 9614 | 13,633 | 1,065 | 42.60% |
| LLaMA3-70B | 4096 | 64 | 2 | 1024 | tp4pp2 | 28355 | 2,311 | 971 | 38.83% |
ℹ️ 环境:TransformerEngine v2.15 · Megatron-LM core_r0.16.0 · nvcr.io/nvidia/pytorch:26.05-py3 TFLOP/s 估算:6N 简化公式. GB200/B200 BF16 dense peak ~2500 TFLOP/s (MFU% 用此基准), FP8 dense peak ~4500-5000 TFLOP/s. 上方 MFU 是基于 BF16 算的, 若按 FP8 peak 算 MFU 数值会减半.
文档生成于 2026-06-23 · GCP GPU Infrastructure Team
基于 GCP GB200 A4X 集群验证
k8s 1.34.1 + ComputeDomain (DRA GPU Driver v0.4.0) + DRANET v1.3.0 + GIB v1.1.2 + pytorch:26.05-py3