GB300 (A4X MAX) vs GB200 (A4X) 部署差异分析
本文档基于 GCP 官方文档和我们在 GB200 A4X 上的实际部署经验,梳理 GB300 (A4X MAX) 部署时需要额外关注的差异点。每个关键结论均附有官方文档链接,可直接点击核实。
参考来源: - A4X MAX GKE 部署指南 - A4X MAX 实例创建 - A4X GKE 部署指南 - 加速器优化机器类型规格 - GPU 网络带宽与架构 - 裸金属实例 - Compact Placement Policies - NCCL 环境变量文档
0. 硬件规格对比总览
官方规格来源:加速器优化机器类型 — A4X Max and A4X,网络带宽细节:GPU 网络带宽 — A4X Max and A4X
| 维度 | GB200 (A4X) | GB300 (A4X MAX) | 影响 |
|---|---|---|---|
| 机器类型 | a4x-highgpu-4g |
a4x-maxgpu-4g-metal |
VM 创建命令 |
| 实例类型 | 虚拟机 (VM) | 裸金属 (Bare Metal) | 驱动/内核行为可能不同 |
| CPU | Grace (ARM64), 140 vCPU | Grace (ARM64), 144 vCPU | 架构相同,资源 requests 可微调 |
| 内存 | 884 GB | 960 GB | 资源 requests 可微调 |
| GPU | 4× B200 (GB200 Superchip) | 4× B300 Ultra (GB300 Superchip) | GPU 型号变更 |
| GPU 显存 | 744 GB (186 GB/GPU) | 1,116 GB (~279 GB/GPU, HBM3e) | 大模型可用显存大幅增加 |
| 每域 GPU 显存 | 13.4 TB (18×744GB) | 20 TB (18×1116GB) | — |
| 管理网卡类型 | GVNIC (Google Titanium) | IDPF (Intel IDPF) | NIC 驱动、改名方式 |
| 管理网卡数量 | 2 | 2 | 不变 |
| RDMA 网卡类型 | CX-7 (ConnectX-7), VF | CX-8 (ConnectX-8 SuperNIC), PF | RDMA 架构升级 |
| RDMA 物理网卡数量 | 4 | 4 | 不变 |
| RDMA 连接方式 | VF 挂在 CPU 上 | PF 直连 GPU (GPUDirect) | 延迟更低 |
| RDMA 网络接口数 | 4 (单端口) | 8 (CX-8 双端口, 8-way rail) | 子网翻倍 |
| 总物理 NIC 数量 | 6 | 6 | 不变 |
| 总网络接口数 | 6 | 10 (2 IDPF + 8 MRDMA) | VM 创建命令 |
| 网络带宽 | 2,000 Gbps | 3,200 Gbps (CX-8 800Gbps/卡) | — |
| 网络栈类型 | IPv4 | IPv6-only | 重大变更,影响全栈 |
| Boot Disk | pd-balanced 或 hyperdisk-balanced | 仅 hyperdisk-balanced | 创建命令 |
| Local SSD | 12,000 GiB | 12,000 GiB | 不变 |
| NVL72 拓扑 | 18 节点/域, 1x72 | 18 节点/域, 1x72 | 不变 |
| Block 结构 | — | 25 sub-blocks = 450 VM = 1,800 GPU | 规模更大 |
1. 网络架构:最大的差异点
1.1 管理网卡:GVNIC → IDPF
官方依据: - GPU 网络带宽 — A4X Max 架构 说明 A4X MAX 管理网卡使用 Intel IDPF 驱动 - GPU 网络带宽 — A4X 架构 说明 A4X 管理网卡使用 Google gVNIC 驱动 - 裸金属实例 — VM 与裸金属差异 明确指出裸金属不支持 gVNIC 或 VirtIO
GB200 (A4X):使用 Google GVNIC (Titanium NIC),Linux 设备名为 enp0s3、enp192s2。
GB300 (A4X MAX):使用 Intel IDPF NIC。Linux 设备名待确认(需要实际登录 GB300 裸金属查看,可能是 ens* 或其他命名)。
影响: - NIC 驱动:v5.3 镜像已包含 IDPF v1.0.11 out-of-tree 驱动(附录 B.3),此点已就绪 - 网卡改名脚本:当前 startup script 硬编码了 GVNIC 设备名(enp0s3:bond0, enp192s2:bond1),必须更新为 IDPF 的实际设备名 - NM 连接配置文件:enp0s3-gvnic.nmconnection 在 GB300 上可能不存在或路径/内容不同 - udev 规则:PCI 地址不同,但脚本已用 readlink -f /sys/class/net/*/device 动态获取,逻辑上兼容 - Calico IP 自动检测:当前配置 interface=eth.*|bond0,改名后仍可用,但需确认 IDPF 设备改名前的接口名
行动项:拿到 GB300 VM 后,第一件事
ip -br link show和ethtool -i <dev>确认 IDPF NIC 的默认设备名,更新 startup script 中的改名映射。
1.2 RDMA 网卡架构升级:CX-7 VF → CX-8 PF (GPUDirect)
这是 GB300 最重要的硬件架构升级之一。
官方依据:GPU 网络带宽 — A4X Max and A4X 明确指出: - A4X 使用 MRDMA Virtual Functions (VFs),CX-7 NIC “connected to the host CPU” - A4X MAX 使用 MRDMA Physical Functions (PFs),CX-8 SuperNIC “direct connection … to the GPUs”
物理 NIC 数量来源:加速器优化机器类型 中两者均标注 “Physical NIC count: 6”
GB200 (A4X):4 张 CX-7,以 SR-IOV VF(虚拟功能) 方式暴露,挂在 CPU 上。IB 设备名 mlx5_0 ~ mlx5_3,每卡单端口,共 4 个 MRDMA 网络接口。
GB300 (A4X MAX):4 张 CX-8 SuperNIC,以 PF(物理功能) 方式暴露,直连 GPU(真正的 GPUDirect RDMA,绕过 CPU)。每卡 双端口(800 Gbps = 2×400 Gbps),所以虽然物理网卡仍为 4 张,但产生 8 个 MRDMA 网络接口(即 GCP 文档中所说的 “8-way rail-aligned”)。
注意区分: - 物理 NIC 数量:两者均为 6 张(4 RDMA + 2 管理),官方文档明确标注 “Physical NIC count: 6” - 网络接口数:A4X = 6 (2+4), A4X MAX = 10 (2+8),因为 CX-8 双端口 - VM 创建命令中的 MRDMA 接口数:见 A4X MAX 实例创建 — 创建实例,命令中确实有 8 条
--network-interface=nic-type=MRDMA
影响:
| 维度 | GB200 (A4X) | GB300 (A4X MAX) | 需修改 |
|---|---|---|---|
| RDMA 子网数量 | 4 | 8 (CX-8 双端口) | VPC/子网创建脚本 |
VM 创建 --network-interface |
4 条 MRDMA | 8 条 MRDMA | VM 创建命令 |
| RDMA IB 设备数 | mlx5_{0..3} (4 个 VF) |
待确认 (可能 8 个 PF) | startup script |
| RDMA 改名范围 | bond{2..5} |
bond{2..9} (若 8 个 IB 设备) |
startup script |
| RDMA CIDR 需求 | 4×/22 | 8×/22 | CIDR 规划 |
| ResourceClaimTemplate | count: 4 |
count: 8 |
k8s YAML |
关键待确认:CX-8 PF 模式下,
rdma link show会显示几个 IB 设备?是 4 个(每卡一个)还是 8 个(每端口一个)?这直接影响 startup script 的 RDMA 改名逻辑。
CIDR 规划修改(以 GB300 选项 B 为例):
# 当前 GB200: 4 个 RDMA 子网
export RDMA_CIDRS=("10.0.16.0/22" "10.0.20.0/22" "10.0.24.0/22" "10.0.28.0/22")
# GB300 需要: 8 个 RDMA 子网
export RDMA_CIDRS=("10.0.48.0/22" "10.0.52.0/22" "10.0.56.0/22" "10.0.60.0/22" \
"10.0.64.0/22" "10.0.68.0/22" "10.0.72.0/22" "10.0.76.0/22")
注意:当前选项 B 的 RDMA CIDR 只分配了 4 个(10.0.48.0 ~ 10.0.60.0),需要扩展到 8 个。需重新评估 SUPERNET 10.0.0.0/16 是否足够。
1.3 网络栈:IPv4 → IPv6-only
这是最具影响力的变更。
官方依据:A4X MAX 实例创建 — 创建实例 中 VM 创建命令的所有
--network-interface均带有stack-type=IPV6_ONLY。 对比 A4X GKE 部署 — 创建 VPC 和子网 中 A4X 使用的是标准 IPv4 子网。
GB200 (A4X):所有 NIC 使用 IPv4(默认 stack-type=IPV4_ONLY)。
GB300 (A4X MAX):官方文档要求所有 NIC 使用 stack-type=IPV6_ONLY。
影响范围:
| 组件 | 当前状态 (IPv4) | IPv6 需要的改动 |
|---|---|---|
| 子网创建 | --range=10.x.x.x/22 |
需要 IPv6 子网配置(--enable-ipv6-prefix 或 --ipv6-access-type) |
| VM 创建命令 | 无 stack-type 参数 |
每个 --network-interface 加 stack-type=IPV6_ONLY |
| 防火墙规则 | --source-ranges=10.x.x.x/22 |
IPv6 --source-ranges 或 IPv6 防火墙规则 |
| SSH/IAP | 通过 IPv4 内网 IP | 需确认 IAP 对 IPv6-only VM 的支持 |
| kubeadm init | --apiserver-advertise-address=${INTERNAL_IP} |
IPv6 地址格式不同(需要方括号) |
| kubeadm join | ${CP_IP}:6443 |
IPv6 格式:[fd20::x]:6443 |
| Calico CNI | IPv4 Pod CIDR 10.244.0.0/16 |
需配置 IPv6 Pod CIDR 或双栈 |
| NCCL/GIB | RDMA over RoCEv2 (IPv4) | RoCEv2 over IPv6,需确认 GIB 兼容性 |
| Metadata Server | http://metadata.google.internal/... |
需确认 IPv6-only 环境下 metadata 可达性 |
| DNS 解析 | A 记录 | AAAA 记录 |
| 下载/yum repo | 通过 IPv4 出口 | 需确认 IPv6-only 环境的出口配置 |
关键风险:IPv6-only 是 GB300 部署中最需要提前验证的变更。建议在拿到 GB300 VM 后立即测试 metadata server 可达性、外网访问能力、以及 kubeadm 在 IPv6 环境下的行为。
如果客户的 TLinux 镜像和 k8s 组件尚未全面测试 IPv6-only 环境,这可能是一个阻断性问题,需要提前评估。
2. VM 创建命令差异
官方命令来源: - GB300: A4X MAX 实例创建 — 创建实例 - GB200: 我们当前 A4X 部署方案 Section 2.2
2.1 GB200 (A4X) 当前命令
gcloud compute instances create ${WORKER_PREFIX}-d${d}-w${i} \
--machine-type=a4x-highgpu-4g \
--boot-disk-size=1000GB --boot-disk-type=hyperdisk-balanced \
--network-interface=nic-type=GVNIC,network=$GVNIC_NET,subnet=$GVNIC_SUB \
--network-interface=nic-type=GVNIC,network=$GVNIC_NET_1,subnet=$GVNIC_SUB_1,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-0,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-1,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-2,no-address \
--network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-3,no-address \
...
2.2 GB300 (A4X MAX) 需要的命令
基于 A4X MAX 实例创建 — 创建实例 中的官方 gcloud 命令,主要差异以 加粗 标注:
gcloud compute instances create ${WORKER_PREFIX}-d${d}-w${i} \
--machine-type=a4x-maxgpu-4g-metal \ # ← 裸金属机型
--boot-disk-size=1000GB --boot-disk-type=hyperdisk-balanced \
--network-interface=nic-type=IDPF,...,stack-type=IPV6_ONLY \ # ← GVNIC→IDPF, +IPv6
--network-interface=nic-type=IDPF,...,stack-type=IPV6_ONLY,no-address \
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \ # ← +IPv6
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \ # ← 新增第5-8条
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
--network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
...
主要变化: 1. --machine-type: a4x-highgpu-4g → a4x-maxgpu-4g-metal 2. nic-type=GVNIC → nic-type=IDPF 3. 每个 --network-interface 新增 stack-type=IPV6_ONLY 4. MRDMA 从 4 条增加到 8 条 5. --boot-disk-type=hyperdisk-balanced 已在 GB200 命令中使用,无需变更
3. Boot Disk
官方依据:A4X MAX 实例创建 — 创建实例 中命令指定
--boot-disk-type=hyperdisk-balanced。 裸金属实例 也确认 A4X MAX 使用 Hyperdisk。
| 维度 | GB200 (A4X) | GB300 (A4X MAX) |
|---|---|---|
| 支持的磁盘类型 | pd-balanced, hyperdisk-balanced | 仅 hyperdisk-balanced |
| 当前部署使用 | hyperdisk-balanced | hyperdisk-balanced |
我们的 GB200 部署已经使用 hyperdisk-balanced,因此 无需修改。但需注意:GB300 不再支持 pd-balanced 作为后备选项。
额外限制(A4X MAX 实例创建):GB300 不支持挂载 2026年2月4日之前创建的 Hyperdisk ML 磁盘。
4. Startup Script 改动清单
4.1 网卡改名段
当前脚本(GB200):
# GVNIC rename
for pair in "enp0s3:bond0" "enp192s2:bond1"; do ...
# RDMA rename
for i in 0 1 2 3; do
rdma dev set mlx5_${i} name bond$((i+2))
done
GB300 需要修改为(设备名待实际确认):
# IDPF rename (设备名需根据实际 GB300 VM 确认)
for pair in "<idpf-dev-0>:bond0" "<idpf-dev-1>:bond1"; do ...
# RDMA rename — 8 个 MRDMA 接口 (CX-8 双端口)
for i in 0 1 2 3 4 5 6 7; do
rdma dev set mlx5_${i} name bond$((i+2))
done
4.2 NM 连接配置文件
GB200 上 NM 配置文件为 enp0s3-gvnic.nmconnection,GB300 上的文件名和 interface-name 字段可能不同。需要登录 GB300 VM 后确认。
4.3 udev 规则
udev 规则逻辑是动态获取 PCI 地址的,代码逻辑无需修改,但 PCI 地址映射会不同。
4.4 Calico IP 自动检测
当前配置:IP_AUTODETECTION_METHOD="interface=eth.*|bond0"
如果 IDPF 设备名被改为 bond0,此配置 无需修改。否则需要加入 IDPF 的默认设备名。
5. Kubernetes 部署差异
5.1 GKE 版本要求
官方依据: - A4X MAX: A4X MAX GKE 部署 — Requirements - A4X: A4X GKE 部署 — Requirements
| GB200 (A4X) | GB300 (A4X MAX) | |
|---|---|---|
| GKE 1.35 | 1.35 (未指定最低小版本) | 1.35.0-gke.2745000+ |
| GKE 1.34 | 1.34 (自建 k8s, 推荐 ≥1.34.5) | 1.34.3-gke.1318000+ |
| GKE 1.33 | 1.33.4-gke.1036000+ | 不支持 |
| GKE 1.32 | 1.32.8-gke.1108000+ | 不支持 |
自建 k8s:我们使用的是 k8s 1.34.9(上游版本,非 GKE)。官方对 A4X MAX 的 GKE 版本要求更高,在自建环境中需要注意 DRA、kubelet 等组件是否有对应的兼容性修复。
5.2 GPU Driver 版本
官方依据:A4X MAX GKE 部署 — Requirements 指出 GB300 GPU 最低需要 R580.95.05 驱动版本。
| GB200 (A4X) | GB300 (A4X MAX) | |
|---|---|---|
| 最低驱动版本 | R580 分支 | R580.95.05+ |
| 当前镜像版本 | 580.159.04 | 580.159.04 |
我们的镜像已使用 580.159.04,满足 GB300 要求。
5.3 DRA Driver 版本(Deep Research 结论)
官方依据: - A4X MAX GKE 部署 — 安装 NVIDIA DRA Driver 推荐 v25.8.0 - A4X GKE 部署 — 安装 NVIDIA DRA Driver 推荐 25.3.1+ - GitHub: kubernetes-sigs/dra-driver-nvidia-gpu (原 NVIDIA/k8s-dra-driver,已捐赠 CNCF) - Issue #1123: NVCX complex attributes for CX-8 Data Direct — v0.5.0 milestone
关键发现:v0.4.0 实际上是最新版本
版本号反直觉:v0.4.0 并非旧版本,而是最新版本。项目从 NVIDIA 捐赠给 CNCF/kubernetes-sigs 时,版本命名从 CalVer (v25.x.x) 切换为 SemVer (v0.4.x)。
完整时间线:
| 版本 | 发布时间 | 关键变更 |
|---|---|---|
| v25.3.0 | 2025.08 | 首个 GA 版本,ComputeDomain for GB200 MNNVL |
| v25.8.0 | 2025.10 | Elastic ComputeDomains;动态节点扩展 |
| v25.12.0 | 2026.02 | GPU allocation GA;最后一个 CalVer 版本 |
| v0.4.0 | 2026.05 | 捐赠 CNCF;SemVer 重置;Helm chart 重命名 |
| v0.4.1 | 2026.06 | 当前最新版本 |
结论:GCP 文档滞后。GCP A4X MAX 文档推荐的 v25.8.0 实际上比我们部署的 v0.4.0 老两个大版本。GCP 文档尚未更新以反映项目迁移到 kubernetes-sigs 和新的 SemVer 版本方案。
CX-8 / GB300 兼容性(已验证官方文档)
GCP A4X MAX 官方文档使用 DRA v25.8.0 分配 RDMA 设备,且正常工作。这意味着 DRA driver 的基础功能(ComputeDomain + RDMA 设备发现/分配)在 CX-8 上没有问题。
两代产品的 RDMA 分配机制完全不同:
| A4X (GB200) GKE 做法 | A4X MAX (GB300) GKE 做法 | |
|---|---|---|
| RDMA 分配 | GKE multi-networking (Network objects) | DRA ResourceClaims (mrdma.google.com) |
| DRA driver 角色 | 仅 ComputeDomain | ComputeDomain + RDMA 分配 |
| NIC 配置 | RDMA installer DaemonSet (GKE) | asapd-lite DaemonSet (仅 GKE/COS) |
| 非 DRA 替代 | — | 文档未提供,DRA 是唯一方案 |
A4X MAX 官方 workload YAML 示例中明确使用 DRA ResourceClaim 分配 8 个 MRDMA 设备:
resourceClaims: - name: rdma resourceClaimTemplateName: all-mrdma # count: 8, deviceClassName: mrdma.google.com
尚未支持的功能(属于优化而非功能缺失):
- CX-8 “Data Direct” GPU-NIC 拓扑最优匹配 — 当前 DRA driver 的拓扑发现假设 GPU 和 NIC 在同一 PCI switch 下,CX-8 的 Data Direct 改变了这个拓扑
- GitHub Issue #1123 追踪 NVCX complex attributes 支持,目标 v0.5.0(milestone 截止 2026.07.31)
- 对我们的影响较小:每个 pod 请求全部 8 个 RDMA 设备(
count: 8),不存在“选择最优 NIC”的问题
| v25.8.0 (GCP 推荐) | v0.4.0/v0.4.1 (我们部署的) | v0.5.0 (即将发布) | |
|---|---|---|---|
| ComputeDomain | ✓ | ✓ | ✓ |
| GPU allocation | ✗ (v25.12.0 才 GA) | ✓ | ✓ |
| RDMA 设备分配 | ✓ | ✓ | ✓ |
| CX-8 拓扑最优匹配 | ✗ | ✗ | ✓ (目标) |
GB300 部署建议
继续使用 v0.4.0(我们已部署的版本):ComputeDomain 和 RDMA 设备分配均可正常工作,与 GCP 官方使用 v25.8.0 的功能等价(甚至更新,含 GPU allocation GA)。无需额外升级工作。
v0.4.0 vs v0.4.1 对比:v0.4.1 (release notes) 仅包含 bug fix 和 Red Hat OpenShift 4.22 支持,具体变更: - nvidia-container-toolkit 1.19.0 → 1.19.1 - 修复非 SR-IOV GPU 的 nil pointer panic - 修复 MPS 在 OpenShift 上的失败 - 修复 compute-domain kubelet plugin 的 stale checkpoint 问题 - 修复 timeslicing 在不支持的 GPU 上被错误应用的问题
我们不使用 OpenShift,以上 bug fix 均不影响我们的 GB200/GB300 场景,因此 v0.4.0 完全够用,无需升级到 v0.4.1。
v0.5.0 发布后(milestone 截止 2026.07.31):可选升级以获得 CX-8 Data Direct 拓扑优化(见下文说明),但非必须。
CX-8 Data Direct 功能说明
信息来源: - Issue #1123: Add support for NVCX complex attributes — v0.5.0 milestone - NVIDIA Grace Blackwell ConnectX-8 GPUDirect RDMA Guide — Data Direct 技术说明 - v0.5.0 milestone — 截止 2026.07.31,26 open / 12 closed
什么是 Data Direct? ConnectX-8 引入的一种新的 GPU-NIC 通信方式。传统架构中 GPU 和 NIC 在同一 PCI switch 下,DRA driver 通过 PCIRoot 约束来匹配最优的 GPU-NIC 对。CX-8 的 Data Direct 改变了这个拓扑——NIC 可以通过非 PCI 路径直连 GPU,传统的 PCIRoot 匹配逻辑不再适用。
NVCX complex attributes 是什么? 一种新的标识符属性,用于在复杂拓扑中将 GPU 和 NIC 分组到同一个逻辑 “complex” 中。Issue #1123 提议使用 rdma_topo 库生成 complex 标识符,实现 GPU-NIC 的最优配对——即使它们不在同一 PCI switch 下也能正确匹配。
对我们的实际影响极小:我们的工作负载是每个 pod 请求全部 4 GPU + 全部 8 RDMA 设备(count: 8),不存在“选择最优 NIC 子集”的问题——所有设备都用了,拓扑优化无从发挥。Data Direct 优化主要影响的是 多租户场景(多个 pod 共享同一节点,各自请求部分 NIC)中的 NIC 选择策略。
升级注意事项(如将来从 v0.4.0 升级到 v0.5.0)
- 必须先更新 CRD:
kubectl apply -f <CRD_URL>,然后再helm upgrade - 不支持降级:v0.4.0 → v25.12.0 的降级明确不受支持
- Helm chart 已在 v0.4.0 迁移完成:chart 名
dra-driver-nvidia-gpu、镜像地址registry.k8s.io已就位,v0.5.0 升级预计可直接helm upgrade
5.4 ResourceClaimTemplate (RDMA)
官方依据:A4X MAX GKE 部署 — 配置工作负载清单 中 MRDMA ResourceClaimTemplate 的
count: 8。 对比 A4X GKE 部署 — 配置工作负载清单 中count: 4。
# GB200: 请求 4 个 RDMA 设备
requests:
- name: rdma-nics
exactly:
deviceClassName: rdma-devices
count: 4
# GB300: 请求 8 个 RDMA 设备
requests:
- name: rdma-nics
exactly:
deviceClassName: rdma-devices
count: 8
5.5 NCCL/GIB 插件(Deep Research 结论)
官方依据: - A4X MAX: A4X MAX GKE 部署 — 配置 MRDMA — asapd-lite DaemonSet - A4X: A4X GKE 部署 — 安装 RDMA 和配置 NCCL — RDMA installer + GIB - GitHub: container-engine-accelerators PRs — asapd-lite 演进历史 - GitHub: PR #619 (2026.06.29) — 更新 A4X MAX nccl-gib 镜像至 v1.1.2 - Container Registry:
us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-gib-a4x-max-arm64— A4X MAX 专用 GIB 镜像
关键发现:asapd-lite 和 nccl-gib 是互补关系,不是替代关系
此前的误解:我们最初以为 GB300 用 asapd-lite 替代了 nccl-gib。实际上两者是不同层的组件,同时部署。
┌─────────────────────────────────────────────────┐
│ NCCL 工作负载 (Pod) │
│ ┌──────────────────────────────────────────┐ │
│ │ nccl-gib init container │ │
│ │ → 注入 libnccl-net.so (NCCL 网络传输插件) │ │
│ │ → 提供 set_nccl_env.sh (优化参数) │ │
│ └──────────────────────────────────────────┘ │
│ ┌──────────────────────────────────────────┐ │
│ │ 工作容器 │ │
│ │ → LD_LIBRARY_PATH=/usr/local/gib/lib64 │ │
│ │ → NCCL_NET_PLUGIN=libnccl-net.so │ │
│ └──────────────────────────────────────────┘ │
├─────────────────────────────────────────────────┤
│ Node 层 │
│ ┌──────────────────────────────────────────┐ │
│ │ asapd-lite DaemonSet (kube-system) │ │ ← GB300 新增
│ │ → 配置 MRDMA NIC (IPvlan 模式) │ │
│ │ → 管理 IPAM (systemd task on host) │ │
│ │ → 创建 udev 规则 │ │
│ │ → privileged + hostPID │ │
│ └──────────────────────────────────────────┘ │
└─────────────────────────────────────────────────┘
| 组件 | 层级 | 功能 | GB200 | GB300 |
|---|---|---|---|---|
| nccl-gib | 软件层 (Pod init container) | 注入 libnccl-net.so,提供 NCCL 网络传输优化 |
✓ v1.1.2 | ✓ v1.1.2 |
| asapd-lite | 物理/网络层 (Node DaemonSet) | PCC 拥塞控制、MRDMA NIC 配置、hairpin 探测、DAD 修复 | ✗ (VM 模式由 Hypervisor 处理) | 必须部署 (裸金属硬件管控) |
| RDMA installer | 物理层 (Node DaemonSet) | 安装 RDMA 驱动和库 | ✓ (GKE) | ✗ (自建 k8s 由 startup script 处理) |
nccl-gib 镜像状态
- GB200 (A4X):
us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic-arm64:v1.1.2 - GB300 (A4X MAX):最初有独立镜像
nccl-gib-a4x-max-arm64,2026.06 的 PR #619 将 A4X MAX 的 GIB 镜像更新至 v1.1.2,与 A4X 统一 - 结论:nccl-gib v1.1.2 同时支持 A4X 和 A4X MAX,init container 注入模式和使用方式不变
对我们自建 k8s 部署的影响
好消息:我们当前 A4X 部署方案 Part 5 中的 nccl-gib 使用方式(init container 注入 libnccl-net.so)在 GB300 上基本不变。具体对照:
| 我们当前的做法 (GB200 Part 5) | GB300 上需要调整吗? |
|---|---|
GIB init container 注入 libnccl-net.so |
不变,镜像版本一致 (v1.1.2) |
source /usr/local/gib/scripts/set_nccl_env.sh |
不变 |
NCCL_ENV_PLUGIN=gcp |
不变 |
NCCL_MNNVL_ENABLE=2 (同域) |
不变 |
ResourceClaimTemplate count: 4 |
改为 count: 8 (8 个 MRDMA) |
| asapd-lite DaemonSet | 必须部署 — 裸金属硬件管控组件,负责 PCC 拥塞控制和 NIC 配置(已提供 TLinux 适配 YAML) |
| Hugepages 预分配 (8GB) | 新增 — asapd-lite 前置依赖,需在 startup script 中配置 |
asapd-lite 分析:裸金属必须组件,自建 k8s 同样需要部署
信息来源: - GitHub: asapd-lite-installer YAML — 镜像分析 - 容器镜像实际拉取检查 (
us-docker.pkg.dev/gce-ai-infra/asapd-lite/asapd-lite:v0.0.8)
结论:asapd-lite 是裸金属 (Bare Metal) 架构的底层硬件管控组件,自建 k8s 环境同样必须部署。
为什么 GB200 不需要,GB300 必须:
这是由 VM vs 裸金属 的交付形态决定的:
| GB200 (A4X) — VM | GB300 (A4X MAX) — Bare Metal | |
|---|---|---|
| 硬件管控 | Hypervisor 内部运行完整 asapd 服务 |
无 Hypervisor,客户 OS 直接面对物理 CX-8 NIC |
| PCC 拥塞控制 | Hypervisor 加载 PCC 规则 | asapd-lite 加载 DOCA PCC 规则 |
| NIC 遥测 | Hypervisor 采集 | asapd-lite 提供遥测指标 |
| Data Direct | N/A (CX-7 无此功能) | asapd-lite 包含 doca_data_direct_ctl |
| 结果 | 客户无需关心 | 不安装 → RDMA 无法发挥设计性能甚至无法建连 |
asapd-lite 具体功能(基于镜像实际内容分析):
| 组件 | 路径 | 功能 |
|---|---|---|
| asapd-lite-controller | /asapd-lite/controller/ |
主控守护进程,扫描 CX-8 PF PCI 设备 |
| DOCA 3.1 库 | /asapd-lite/3.1/ |
PCC (可编程拥塞控制)、Data Direct、遥测、FlexIO |
| ipam | /usr/local/sbin/ipam |
GPU 网络接口 IP 地址管理 |
| apply_non_volatile_configs.sh | /asapd-lite/ipam_scripts/ |
通过 mstconfig 配置 NIC 固件参数 |
| run_asapd_lite.sh | /usr/local/bin/ |
入口脚本,启动 controller |
| netslo-ebpf-manager | sidecar 容器 | eBPF 网络性能监控 |
DOCA 3.1 相比 3.0 新增(GB300 裸金属特有): - libdoca_pcc.so.2 + libdoca_pcc_ztr_rttcc_algo.so.2 — 可编程拥塞控制,裸金属 RoCE 性能关键 - doca_data_direct_ctl — Data Direct GPU-NIC 直连配置 - libdoca_telemetry.so.2 — NIC 遥测指标 - libflexio.so — FlexIO SmartNIC 编程
YAML 适配:
官方 COS 版 YAML 中包含 cloud.google.com/gke-os-distribution: cos nodeSelector 和 GKE 机型标签。这是 GKE 的部署优化,不代表组件本身是 GKE 专用。对于自建 k8s,只需删除 COS nodeSelector,替换为自定义节点标签:
# 部署前置条件
kubectl label node <a4x-max-node> node-type=a4x-max
# 部署 asapd-lite(TLinux 适配版)
kubectl apply -f asapd-lite-installer-a4x-max-bm-tlinux.yaml
# 验证
kubectl get ds -n kube-system asapd-lite
已提供适配后的 YAML:asapd-lite-installer-a4x-max-bm-tlinux.yaml(见附录3)
对照表:GKE 环境 vs 自建 k8s 环境的 NIC 配置路径
配置项 GKE (COS) 自建 k8s (TLinux) asapd-lite 部署 COS 版 YAML + GKE nodeSelector TLinux 适配 YAML + 自定义 node label Hugepages 8GB GKE node pool hugepage_size2m: 4096startup script echo 4096 > .../nr_hugepagesMRDMA NIC 改名 asapd-lite + GKE infra v2 startup script + asapd-lite PCC 拥塞控制 asapd-lite (DOCA 3.1) asapd-lite (DOCA 3.1) — 相同 RDMA 驱动 内核内置 mlx5_core 内核内置 mlx5_core — 相同 NIC 监控 netslo-ebpf-manager (sidecar) netslo-ebpf-manager (sidecar) — 相同
跨 MNNVL 域通信方案
结论:RoCE 跨域通信方案不变。nccl-gib 的 libnccl-net.so 仍然是 RoCE 通信的核心插件,使用方式与 GB200 完全相同。
信息来源: - GCP A4X GKE 部署 — NCCL 配置:“source /usr/local/gib/scripts/set_nccl_env.sh” - NCCL 环境变量文档 — NCCL_ENV_PLUGIN:加载
libnccl-env-<suffix>.so插件自动设置环境 - NCCL 环境变量文档 — NCCL_CUMEM_ENABLE:NCCL 2.19+ 已自动启用,无需手动设置
NCCL 环境变量配置方式:GCP 官方文档推荐通过 GIB 内置脚本自动配置,不需要手动设置 NCCL_MNNVL_ENABLE、NCCL_CUMEM_ENABLE 等变量:
source /usr/local/gib/scripts/set_nccl_env.sh # 设置 NCCL_ENV_PLUGIN=gcp
export LD_LIBRARY_PATH=/usr/local/gib/lib64:$LD_LIBRARY_PATH
set_nccl_env.sh 会设置 NCCL_ENV_PLUGIN=gcp,使 NCCL 加载 libnccl-env-gcp.so 插件。该插件在 NCCL 初始化时自动检测当前拓扑(同域/跨域)并设置最优参数,包括 MNNVL 开关、cuMem 分配、网络插件路径等。NCCL_CUMEM_ENABLE 自 NCCL 2.19 起已自动启用,无需显式设置。
客户使用 RoCE 做跨 MNNVL 通信时,没有特殊操作,沿用 nccl-gib + set_nccl_env.sh 即可。底层 NIC 配置在 GKE 中由 asapd-lite 完成,在自建 k8s 中由 startup script 处理,但这对上层 NCCL 使用方式透明。
5.6 Hugepage 配置
官方依据:A4X MAX GKE 部署 — 创建 Node Pool 中 node pool 配置要求
hugepage_size2m: 4096。
GB300 (A4X MAX) GKE 文档要求在 node pool 中预分配 hugepages:
linuxConfig:
hugepageConfig:
hugepage_size2m: 4096 # 4096 × 2MB = 8GB 预分配
GB200 (A4X) GKE 文档中没有此要求。
Hugepages 的用途:asapd-lite 的部署前置依赖
通过分析 asapd-lite DaemonSet YAML,hugepages 的实际消费者已明确——asapd-lite 自身使用 DPDK 进行底层包处理,需要 8GB hugepages 作为 DMA 缓冲区:
# asapd-lite YAML 中的资源请求
resources:
limits:
hugepages-2Mi: 8192Mi # 8192 MiB = 8 GB = 4096 × 2MB hugepages
memory: 1024Mi
volumes:
- name: hugepage-2mi
emptyDir:
medium: HugePages-2Mi # 要求节点预分配 hugepages
因果链:
GB300 裸金属 → 需要 asapd-lite (PCC/NIC 管控) → asapd-lite 使用 DPDK → DPDK 需要 hugepages (8GB)
GB200 VM → Hypervisor 内置 asapd → 客户无需部署 → 无需 hugepages
对自建 k8s 的影响:在 startup script 中预分配 hugepages,必须在 asapd-lite DaemonSet 部署之前完成:
# startup script 中添加(v2 startup script 的 [4] 段之前)
echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
echo "Hugepages allocated: $(cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages) × 2MB"
如未预分配 hugepages,asapd-lite pod 将因资源不足无法调度(Pending 状态)。
5.7 Pod ResourceQuota
官方依据:A4X MAX GKE 部署 — 安装 DRA Driver 提到 Pod quota 至少需要 “2 times the number of A4X Max nodes in the cluster plus 1”。
GB300 GKE 文档提到:Pod quota 至少需要 2 × 节点数 + 1(18 节点 = 37 pods)。这是因为 DRA driver 和 ComputeDomain 会创建 daemon pods。在自建 k8s 中一般不设置这个限制,但如果客户设了 ResourceQuota 需要注意。
6. Placement Policy / Workload Policy
官方依据: - Compact Placement Policies 指出 A4X/A4X MAX 应使用 workload policies - A4X MAX GKE 部署 — 创建 Workload Policy 使用
workload-policy --type HIGH_THROUGHPUT- A4X MAX 实例创建 — 创建 Placement Policy 仍使用group-placement --collocation=collocated
| 自建 k8s (我们的方案) | GKE 托管集群 | |
|---|---|---|
| API | gcloud beta compute resource-policies create group-placement |
gcloud beta compute resource-policies create workload-policy |
| 参数 | --collocation=COLLOCATED --gpu-topology=1x72 |
--type HIGH_THROUGHPUT --accelerator-topology 1x72 |
| 适用 | 手动创建 VM 时绑定 --resource-policies |
GKE node pool 绑定 --placement-policy |
说明: - GCP 官方 Compact Placement Policies 文档推荐 A4X/A4X MAX 使用
workload-policy,但这是 GKE node pool 的概念。 - 在自建 k8s 中手动创建 VM 时,A4X MAX 实例创建文档 仍使用group-placement+--resource-policies,两种 API 路径在 A4X MAX 上均适用。 - 拓扑参数不变:GB200 和 GB300 均为1x72(18 节点/域)。
7. Reservation 差异
官方依据: - A4X MAX 实例创建 — 创建实例 - A4X 实例创建 — 创建实例 - A3 Ultra/A4 实例创建 - A3 High/Mega 实例创建
结论:GB200 和 GB300 在 reservation 粒度上完全一致,均支持 block + sub-block 级别。
Block/sub-block 是 AI Hypercomputer 的通用特性(不出现在标准 Compute Engine 文档中),各机型支持情况:
| 机型 | reservationBlocks |
reservationSubBlocks |
|---|---|---|
| A3 High / A3 Mega (H100) | ✓ | ✗ |
| A3 Ultra (H200) / A4 | ✓ | ✗ |
| A4X (GB200) | ✓ | ✓ |
| A4X MAX (GB300) | ✓ | ✓ |
三级 reservation 指定格式(A4X / A4X MAX 均适用):
# 级别 1: 任意 block(最常用)
--reservation=RESERVATION_NAME
# 级别 2: 指定 block
--reservation=RESERVATION_NAME/reservationBlocks/BLOCK_NAME
# 级别 3: 指定 sub-block(= 18 节点 / 72 GPU / 一个 NVLink 域)
--reservation=RESERVATION_NAME/reservationBlocks/BLOCK_NAME/reservationSubBlocks/SUBBLOCK_NAME
| GB200 (A4X) | GB300 (A4X MAX) | |
|---|---|---|
| Reservation 粒度 | block + sub-block | block + sub-block — 相同 |
| Sub-block 规模 | 18 instances (72 GPUs) | 18 instances (72 GPUs) — 相同 |
| Block 规模 | 25 sub-blocks (450 instances) | 25 sub-blocks (450 instances) — 相同 |
| 模式 | RESERVATION_BOUND | RESERVATION_BOUND — 相同 |
说明:此前文档错误地将 block/sub-block 标记为 A4X MAX 新增特性。经核实,A4X 官方文档同样支持完全相同的三级 reservation 指定格式。此项 无差异。
8. 镜像兼容性
8.1 架构
官方依据:加速器优化机器类型 明确指出两者均使用 “NVIDIA Grace CPUs with Arm Neoverse V2 cores”。
两者均为 ARM64 (Grace CPU),镜像架构 无需变更。
8.2 驱动
官方依据: - GPU 驱动版本: A4X MAX GKE 部署 — Requirements - IDPF 驱动: 裸金属实例 — VM 与裸金属差异 - NIC 类型: GPU 网络带宽 — A4X Max 架构
| 驱动 | GB200 状态 | GB300 需求 | 镜像现状 |
|---|---|---|---|
| NVIDIA GPU | 580.159.04 | ≥ R580.95.05 | ✓ 已满足 |
| GVE (GVNIC) | 1.4.10-oot | 不需要 (无 GVNIC) | ✓ 存在但不会加载 |
| IDPF (Intel) | 不需要 | v1.0.11 oot | ✓ 已包含在 v5.3 镜像 |
| mlx5_core (CX-8) | 内核内置 (CX-7) | 内核内置 (CX-8) | ✅ 已确认兼容 — 见下文分析 |
CX-8 mlx5_core 驱动兼容性分析(Deep Research 结论)
信息来源: - Linux kernel commit
f908a35b— “net/mlx5: Update the list of the PCI supported devices” (Meir Lichtinger, 2022-01-10) - kernel v5.15 main.c — CX-8 不在 PCI 表中 - kernel v5.17 main.c — CX-8 (0x1023) 已在 PCI 表中 - kernel v6.6 main.c — CX-8 + BlueField-4 均在 PCI 表中 - GCP A4X MAX VM 创建文档 — 无宿主机驱动安装要求 - GCP A4X MAX GKE 部署文档 —doca-ofed-userspace仅在容器内安装
结论:我们的 kernel 6.6.119 完全支持 CX-8,无需安装 OFED 或升级内核。
内核驱动层面:
mlx5_core 是一个跨代统一驱动,ConnectX-4 到 ConnectX-8 共用同一个驱动模块。CX-8 支持通过在 PCI device ID 表中添加 0x1023 实现:
| 内核版本 | CX-8 (0x1023) | BlueField-4 (0xa2df) | 添加 commit |
|---|---|---|---|
| 5.15 | ✗ | ✗ | — |
| 5.16 | ✗ | ✗ | — |
| 5.17 | ✓ | ✓ | f908a35b (2022-01-10) |
| 6.1 | ✓ | ✓ | — |
| 6.6.119 (我们) | ✓ | ✓ | — |
我们的 TLinux kernel 6.6.119 比 CX-8 支持的最低版本 (5.17) 高 9 个大版本,不存在兼容性问题。
用户空间库层面:
GCP GKE 文档中提到的 doca-ofed-userspace 是容器镜像内的用户空间库(libibverbs、libmlx5 等),不是宿主机驱动。原文:“Ensure that the userspace libraries and the libnccl packages are installed in the user container image”。我们的 NCCL/训练容器镜像(如 nvcr.io/nvidia/pytorch:26.05-py3)已内置这些库。
GCP 官方文档确认:
A4X MAX VM 创建文档 中没有任何宿主机驱动安装步骤——不需要安装 MLNX OFED、DOCA-OFED,也不需要编译 out-of-tree mlx5_core。GCP 的裸金属 VM 直接使用宿主机 OS 自带的 inbox mlx5_core 驱动。
总结:GCP 官方没有要求安装 OFED 或 out-of-tree mlx5_core。使用内核内置的 inbox mlx5_core 驱动是完全有效的方案,功能验证需在拿到 A4X MAX 硬件后执行 ibstat、rdma link show 确认。
8.3 guest-os-features
镜像创建时:
# GB200
--guest-os-features="UEFI_COMPATIBLE,GVNIC,IDPF"
# GB300 — IDPF 必须包含,GVNIC 可能非必需但保留无害
--guest-os-features="UEFI_COMPATIBLE,GVNIC,IDPF"
v5.3 镜像已同时包含 GVNIC 和 IDPF guest-os-feature,无需修改。
9. 改动优先级与行动计划
第一优先:拿到 GB300 VM 后立即确认
| # | 确认项 | 方法 | 影响范围 |
|---|---|---|---|
| 1 | IDPF 默认网卡名 | ip -br link show + ethtool -i <dev> |
startup script 改名映射 |
| 2 | CX-8 IB 设备名和数量 | rdma link show |
startup script RDMA 改名 |
| 3 | NM 配置文件路径和内容 | ls /etc/NetworkManager/system-connections/ |
startup script NM 更新段 |
| 4 | IPv6 地址获取方式 | ip -6 addr show |
全栈 IPv6 适配 |
| 5 | Metadata Server IPv6 可达性 | curl -6 http://metadata.google.internal/... |
startup script metadata 获取 |
| 6 | ibstat、rdma link show 状态 |
✅ 已确认兼容 — kernel 5.17 起支持 CX-8 (0x1023),我们的 6.6.119 完全覆盖 | |
| 7 | 外网 IPv6 访问 | curl -6 https://download.docker.com/... |
yum/dnf 安装步骤 |
| 8 | asapd-lite 功能验证 | kubectl get ds -n kube-system asapd-lite + healthz |
⚠️ 必须部署 — TLinux 适配 YAML 已就绪,需在 A4X MAX 硬件上验证 |
| 9 | DRA driver v0.5.0 是否已发布 | 检查 GitHub releases | CX-8 拓扑匹配(可选优化,非必须) |
第二优先:部署脚本/文档修改
| # | 修改项 | 复杂度 | 状态 |
|---|---|---|---|
| 1 | 全局变量增加 GB300 RDMA 子网(4→8) | 低 | 待做 |
| 2 | VPC 子网创建循环(4→8) | 低 | 待做 |
| 3 | VM 创建命令(NIC 类型 + 数量 + stack-type) | 中 | 待做 |
| 4 | startup script 网卡改名(设备名 + 数量) | 中 | ✅ 已完成 — v2 通用脚本自动适配 |
| 5 | ResourceClaimTemplate RDMA count(4→8) | 低 | 待做 |
| 6 | DRA driver 版本评估和升级 | — | ✅ 已确认无需升级 — v0.4.0 已满足全部需求(ComputeDomain + RDMA 分配),v0.4.1 仅 bug fix/OpenShift,v0.5.0 仅增加可选的拓扑优化 |
| 7 | asapd-lite DaemonSet 部署(GB300 新增) | 低 | ✅ YAML 已就绪 — TLinux 适配版,需 hugepages 前置 |
| 7b | Hugepages 预分配(8GB,asapd-lite 前置) | 低 | ✅ 方案已确认 — startup script 中 echo 4096 > .../nr_hugepages |
| 8 | nccl-gib 使用方式确认 | 低 | ✅ 已确认 — v1.1.2 同时支持 A4X/A4X MAX,用法不变 |
第三优先:IPv6 全栈适配(如确认需要)
| # | 修改项 | 复杂度 |
|---|---|---|
| 1 | IPv6 子网配置 | 高 |
| 2 | 防火墙规则 IPv6 化 | 中 |
| 3 | kubeadm init/join IPv6 | 高 |
| 4 | Calico IPv6 / 双栈配置 | 高 |
| 5 | GIB/NCCL IPv6 RoCE 验证 | 高 |
10. 可直接复用的部分(无需修改)
以下部分在 GB200 和 GB300 之间 完全相同,可直接复用:
- ✅ Boot disk 分区逻辑([1] 段)
- ✅ Local SSD RAID0 逻辑([2] 段)
- ✅ sshd 端口配置([3] 段)
- ✅ 拓扑标签获取(Metadata Server / Compute API)
- ✅ k8s 组件安装(containerd, kubeadm, kubelet)— 架构相同
- ✅ Calico VXLAN 模式配置
- ✅ ComputeDomain 配置逻辑
- ✅ DRA RBAC 修复
- ✅ Kueue TAS + JobSet 配置
- ✅ MPI Operator
- ✅ 64+8 备用方案
- ✅ GIB init container 模式(镜像需确认版本)
- ✅ NCCL 测试 YAML 结构(需更新 RDMA count)
附:关键官方文档链接汇总
| 主题 | URL | 关键段落锚点 |
|---|---|---|
| A4X MAX GKE 部署 | https://docs.cloud.google.com/ai-hypercomputer/docs/create/gke-ai-hypercompute-custom-a4x-max | #requirements, #create-a-workload-policy, #create-a-node-pool-with-a4x-max, #install-the-nvidia-compute-domain-crd-and-dra-driver, #configure-the-mrdma-nics-with-asapd-lite |
| A4X MAX 实例创建 | https://docs.cloud.google.com/ai-hypercomputer/docs/create/create-a4xmax-instance | #create-compact-placement-policy, #setup-network, #create-instance |
| A4X GKE 部署 | https://docs.cloud.google.com/ai-hypercomputer/docs/create/gke-ai-hypercompute-custom-a4x | #requirements, #create-vpcs-and-subnets, #create-a-workload-policy, #install-rdma-binary-and-configure-nccl |
| 加速器机器类型规格 | https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines | #the_a4x_max_and_a4x_machine_series |
| GPU 网络带宽 | https://cloud.google.com/compute/docs/gpus/gpu-network-bandwidth | #a4x-max-and-a4x-machine-types, #a4x-max-architecture, #a4x-architecture |
| 裸金属实例 | https://docs.cloud.google.com/compute/docs/instances/bare-metal-instances | #differences-between-vm-instances-and-bare-metal-instances, #a4x-max-machine-series |
| Placement Policies | https://cloud.google.com/compute/docs/instances/use-compact-placement-policies | #create-a-compact-placement-policy |
附2:通用 Startup Script (v2) — 自动适配 GB200/GB300
设计思路
v1 startup script 硬编码了 GB200 的网卡名(enp0s3, enp192s2, mlx5_0-3),无法在 GB300 上使用。v2 改为 自动检测:
- 管理网卡检测:扫描
/sys/class/net/*/device找到所有有 PCI 设备支撑的物理以太网接口,排除 RDMA 网卡(检查/device/infiniband目录) - 主网卡识别:通过
ip route show default找到承载默认路由的网卡 → 命名为bond0 - 次要管理网卡:按 PCI 总线地址排序 →
bond1,bond2, … - RDMA IB 设备:通过
rdma dev枚举所有 IB 设备,按设备名排序 →bondN,bondN+1, …
兼容性:
| 平台 | 管理网卡 | RDMA | 结果 |
|---|---|---|---|
| GB200 (A4X) | 2× GVNIC (enp0s3, enp192s2) | 4× CX-7 (mlx5_0-3) | bond0-5 (6 个) |
| GB300 (A4X MAX) | 2× IDPF (待确认设备名) | 8× CX-8 (mlx5_0-7) | bond0-9 (10 个) |
| H100 / CPU-only | 无 RDMA 设备 | — | 跳过改名 |
持久化策略: - 管理网卡:首次启动创建 udev 规则 → 后续重启由 udev 直接命名为 bondX - RDMA IB 设备:rdma dev set 是运行时操作 → 每次启动都需执行 - NM 配置:首次启动更新 .nmconnection 文件中的 interface-name
Customer 版本 (tlinux4-customer-init-v2.sh)
功能:文件系统初始化 + sshd 端口 + 网卡自动改名
#!/bin/bash
# TLinux 4 (TencentOS Server 4.0) — v2 Universal Startup Script (Customer)
# Compatible with: A4X/GB200, A4X MAX/GB300, H100, CPU-only instances
#
# v5.3 镜像已内置: NVIDIA driver, GVE, IDPF, IMEX, GDRCopy, nvidia-persistenced,
# SELinux/firewalld disabled, memlock unlimited, sudoers, SSH
#
# 本脚本仅负责: 文件系统初始化 + sshd 22/56000 端口 + 网卡自动改名 (bond0-N)
#
# 网卡改名策略 (自动适配 GB200/GB300):
# 管理网卡 (GVNIC/IDPF): 主网卡(默认路由)→bond0, 其余按PCI地址排序→bond1, ...
# RDMA IB设备 (mlx5_X): 按设备名排序, 接续管理网卡编号→bondN, bondN+1, ...
# GB200 结果: bond0-1 (2×GVNIC) + bond2-5 (4×CX-7) = 6 interfaces
# GB300 结果: bond0-1 (2×IDPF) + bond2-9 (8×CX-8) = 10 interfaces
set -euo pipefail
exec > >(tee /var/log/tlinux4-customer-init.log) 2>&1
INIT_STAMP=/etc/.customer-init-done
###############################################################################
# Network interface rename (auto-detect) — runs every boot
###############################################################################
if rdma link show 2>/dev/null | grep -q .; then
echo "=== Network interface rename (auto-detect) ==="
BOND_IDX=0
# Detect primary NIC (carries default route)
PRIMARY_NIC=$(ip route show default 2>/dev/null | awk '{print $5}' | head -1)
# Collect physical ethernet NICs needing rename
MGMT_NICS=()
for devpath in /sys/class/net/*/device; do
[ -e "$devpath" ] || continue
nic=$(basename "$(dirname "$devpath")")
[[ "$nic" == lo || "$nic" == bond* ]] && continue
[[ -d "/sys/class/net/$nic/device/infiniband" ]] && continue
MGMT_NICS+=("$nic")
done
if [ ${#MGMT_NICS[@]} -gt 0 ]; then
# ---- First boot: rename management NICs ----
# Primary NIC → bond0
if [[ -n "$PRIMARY_NIC" ]]; then
ip link set dev "$PRIMARY_NIC" down
ip link set dev "$PRIMARY_NIC" name bond0
ip link set dev bond0 up
echo " $PRIMARY_NIC → bond0 (primary)"
BOND_IDX=1
fi
# Remaining NICs → bond1, bond2, ... sorted by PCI bus address
SORTED=$(for n in "${MGMT_NICS[@]}"; do
[[ "$n" == "$PRIMARY_NIC" ]] && continue
pci=$(basename "$(readlink -f "/sys/class/net/$n/device")" 2>/dev/null || echo "zzzz")
echo "$pci $n"
done | sort | awk '{print $2}')
for nic in $SORTED; do
if ip link show "$nic" &>/dev/null; then
ip link set dev "$nic" down
ip link set dev "$nic" name "bond${BOND_IDX}"
ip link set dev "bond${BOND_IDX}" up
echo " $nic → bond${BOND_IDX}"
BOND_IDX=$((BOND_IDX + 1))
fi
done
MGMT_COUNT=$BOND_IDX
# Update NM connection profile for primary NIC
if [[ -n "$PRIMARY_NIC" ]]; then
for nmf in /etc/NetworkManager/system-connections/*.nmconnection; do
[ -f "$nmf" ] || continue
if grep -q "interface-name=${PRIMARY_NIC}" "$nmf" 2>/dev/null; then
sed -i "s/interface-name=${PRIMARY_NIC}/interface-name=bond0/" "$nmf"
sed -i "s/id=${PRIMARY_NIC}/id=bond0/" "$nmf"
nmcli connection reload 2>/dev/null || true
echo " Updated NM profile: ${PRIMARY_NIC} → bond0"
break
fi
done
fi
# Create udev rules for persistent naming across reboots (one-time)
UDEV_RULE="/etc/udev/rules.d/70-a4x-bond-rename.rules"
if [ ! -f "$UDEV_RULE" ]; then
: > "$UDEV_RULE"
for bidx in $(seq 0 $((MGMT_COUNT - 1))); do
PCI=$(basename "$(readlink -f "/sys/class/net/bond${bidx}/device")" 2>/dev/null || true)
[ -n "$PCI" ] && echo "SUBSYSTEM==\"net\", ACTION==\"add\", KERNELS==\"$PCI\", NAME=\"bond${bidx}\"" >> "$UDEV_RULE"
done
echo " Created udev rules for ${MGMT_COUNT} management NICs"
fi
else
# ---- Reboot: management NICs already named by udev ----
while ip link show "bond${BOND_IDX}" &>/dev/null; do
BOND_IDX=$((BOND_IDX + 1))
done
[ $BOND_IDX -gt 0 ] && echo " Management NICs already renamed (bond0-bond$((BOND_IDX - 1)))"
MGMT_COUNT=$BOND_IDX
fi
# ---- RDMA IB devices (runtime rename, needs every boot) ----
for rdev in $(rdma dev 2>/dev/null | awk '{print $2}' | sed 's/:$//' | sort); do
[[ "$rdev" == bond* ]] && continue
if rdma dev set "$rdev" name "bond${BOND_IDX}" 2>/dev/null; then
echo " $rdev → bond${BOND_IDX}"
BOND_IDX=$((BOND_IDX + 1))
fi
done
RDMA_COUNT=$((BOND_IDX - MGMT_COUNT))
echo " --- Result: ${MGMT_COUNT} mgmt + ${RDMA_COUNT} RDMA = ${BOND_IDX} total ---"
ip -br link show type ether 2>/dev/null || true
rdma link show 2>/dev/null || true
fi
if [ -f "$INIT_STAMP" ]; then
echo "Customer initialization already completed. Skipping."
exit 0
fi
echo "================================================================"
echo " TLinux 4 v5.3 — Startup Script (v2 Universal)"
echo " $(date)"
echo "================================================================"
###############################################################################
# [1] Boot disk partitioning: /usr/local (20G) + /data (remaining)
###############################################################################
echo "=== [1] Boot disk partitioning ==="
BOOT_DEV=$(findmnt -n -o SOURCE / | sed 's/p[0-9]*$//')
PARTITION_STAMP=/etc/.partitions-created
if [ ! -f "$PARTITION_STAMP" ]; then
echo "--- Creating boot disk partitions (1TB disk) ---"
sgdisk -e "$BOOT_DEV" 2>/dev/null || true
sgdisk -n 3:0:+20G -t 3:8300 "$BOOT_DEV"
sgdisk -n 4:0:0 -t 4:8300 "$BOOT_DEV"
partprobe "$BOOT_DEV" 2>/dev/null || true
sleep 2
mkfs.xfs -f "${BOOT_DEV}p3"
mkfs.xfs -f "${BOOT_DEV}p4"
TMPMNT=$(mktemp -d)
mount "${BOOT_DEV}p3" "$TMPMNT"
cp -a /usr/local/. "$TMPMNT/" 2>/dev/null || true
umount "$TMPMNT"
rmdir "$TMPMNT"
mount "${BOOT_DEV}p3" /usr/local
mkdir -p /data
mount "${BOOT_DEV}p4" /data
P3_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p3")
P4_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p4")
if [ -n "$P3_UUID" ] && ! grep -q "$P3_UUID" /etc/fstab; then
echo "UUID=$P3_UUID /usr/local xfs defaults,nofail 0 2" >> /etc/fstab
fi
if [ -n "$P4_UUID" ] && ! grep -q "$P4_UUID" /etc/fstab; then
echo "UUID=$P4_UUID /data xfs defaults,nofail 0 2" >> /etc/fstab
fi
touch "$PARTITION_STAMP"
echo "Boot disk partitioned: p3=/usr/local(20G) p4=/data(remaining)"
fi
###############################################################################
# [2] Local SSD RAID0 → /mnt/stateful_partition
###############################################################################
echo "=== [2] Local SSD RAID0 setup ==="
SSD_DEVICES=()
for disk in /dev/nvme*n1; do
[ -b "$disk" ] || continue
PART_COUNT=$(lsblk -n -o NAME "$disk" 2>/dev/null | wc -l)
if [ "$PART_COUNT" -le 1 ]; then
SSD_DEVICES+=("$disk")
echo " Detected local SSD: $disk ($(lsblk -n -d -o SIZE "$disk"))"
fi
done
NUM_SSDS=${#SSD_DEVICES[@]}
echo " Found $NUM_SSDS local SSD device(s)"
if [ "$NUM_SSDS" -gt 0 ]; then
MOUNT_POINT="/mnt/stateful_partition"
mkdir -p "$MOUNT_POINT"
if [ "$NUM_SSDS" -eq 1 ]; then
TARGET_DEV="${SSD_DEVICES[0]}"
mkfs.xfs -f "$TARGET_DEV"
mount "$TARGET_DEV" "$MOUNT_POINT"
DEV_UUID=$(blkid -s UUID -o value "$TARGET_DEV")
if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
fi
else
mdadm --stop /dev/md0 2>/dev/null || true
mdadm --create /dev/md0 --level=0 --raid-devices="$NUM_SSDS" "${SSD_DEVICES[@]}" --force --run
mkfs.xfs -f /dev/md0
mount /dev/md0 "$MOUNT_POINT"
mkdir -p /etc/mdadm
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
DEV_UUID=$(blkid -s UUID -o value /dev/md0)
if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
fi
fi
mkdir -p "$MOUNT_POINT"/{gcsfuse-cache,scratch-data}
echo "$MOUNT_POINT mounted (total: $(df -h "$MOUNT_POINT" | awk 'NR==2{print $2}'))"
else
echo "WARNING: No local SSD devices found"
mkdir -p /mnt/stateful_partition
fi
###############################################################################
# [3] sshd port 22 + 56000
###############################################################################
echo "=== [3] sshd port 22 + 56000 ==="
SSHD_CHANGED=0
if ! grep -q '^Port 22' /etc/ssh/sshd_config; then
sed -i '1i Port 22' /etc/ssh/sshd_config
SSHD_CHANGED=1
fi
if ! grep -q '^Port 56000' /etc/ssh/sshd_config; then
sed -i '/^Port 22/a Port 56000' /etc/ssh/sshd_config
SSHD_CHANGED=1
fi
if [ "$SSHD_CHANGED" -eq 1 ]; then
systemctl restart sshd
echo "sshd now listening on port 22 and 56000"
else
echo "sshd ports 22 and 56000 already configured"
fi
###############################################################################
# Verification
###############################################################################
echo ""
echo "================================================================"
echo " Verification"
echo "================================================================"
echo "--- OS ---"
cat /etc/os-release | head -3
echo "Kernel: $(uname -r)"
if lspci 2>/dev/null | grep -qi 'NVIDIA'; then
echo ""
echo "--- GPU ---"
nvidia-smi -L 2>&1 | head -4
echo "Persistence: $(nvidia-smi -q 2>/dev/null | grep 'Persistence Mode' | head -1 || echo N/A)"
echo "IMEX: $(ls /dev/nvidia-caps-imex-channels/ 2>&1)"
fi
echo ""
echo "--- Network ---"
ip -br link show type ether 2>/dev/null || true
echo "RDMA: $(rdma link show 2>/dev/null | awk '{print $2}' | tr '\n' ', ' || echo N/A)"
echo ""
echo "--- Disk ---"
df -h /usr/local /data /mnt/stateful_partition 2>/dev/null | grep -v Filesystem
echo ""
echo "--- SSH ---"
echo "Ports: $(grep '^Port' /etc/ssh/sshd_config | awk '{print $2}' | tr '\n' ', ')"
touch "$INIT_STAMP"
echo ""
echo "================================================================"
echo " Startup complete at $(date)"
echo "================================================================"
Internal 版本 (tlinux4-internal-init-v2.sh)
功能:Customer 所有功能 + k8s worker 环境配置 (containerd + nvidia-ctk + kubeadm join)
#!/bin/bash
# TLinux 4 (TencentOS Server 4.0) — v2 Universal Startup Script (Internal)
# Includes k8s worker setup (containerd + nvidia-ctk + kubeadm join)
#
# v5.3 镜像已内置: NVIDIA driver, GVE, IDPF, IMEX, GDRCopy, nvidia-persistenced,
# SELinux/firewalld disabled, memlock unlimited, sudoers, SSH
#
# 本脚本负责: 文件系统初始化 + sshd 22/56000 端口 + 网卡自动改名 (bond0-N) + k8s worker
#
# 网卡改名策略 (自动适配 GB200/GB300):
# 管理网卡 (GVNIC/IDPF): 主网卡(默认路由)→bond0, 其余按PCI地址排序→bond1, ...
# RDMA IB设备 (mlx5_X): 按设备名排序, 接续管理网卡编号→bondN, bondN+1, ...
# GB200 结果: bond0-1 (2×GVNIC) + bond2-5 (4×CX-7) = 6 interfaces
# GB300 结果: bond0-1 (2×IDPF) + bond2-9 (8×CX-8) = 10 interfaces
set -euo pipefail
exec > >(tee /var/log/tlinux4-internal-init.log) 2>&1
K8S_VERSION="1.34"
K8S_PATCH="1.34.9"
INIT_STAMP=/etc/.internal-init-done
###############################################################################
# Network interface rename (auto-detect) — runs every boot
###############################################################################
if rdma link show 2>/dev/null | grep -q .; then
echo "=== Network interface rename (auto-detect) ==="
BOND_IDX=0
# Detect primary NIC (carries default route)
PRIMARY_NIC=$(ip route show default 2>/dev/null | awk '{print $5}' | head -1)
# Collect physical ethernet NICs needing rename
MGMT_NICS=()
for devpath in /sys/class/net/*/device; do
[ -e "$devpath" ] || continue
nic=$(basename "$(dirname "$devpath")")
[[ "$nic" == lo || "$nic" == bond* ]] && continue
[[ -d "/sys/class/net/$nic/device/infiniband" ]] && continue
MGMT_NICS+=("$nic")
done
if [ ${#MGMT_NICS[@]} -gt 0 ]; then
# ---- First boot: rename management NICs ----
# Primary NIC → bond0
if [[ -n "$PRIMARY_NIC" ]]; then
ip link set dev "$PRIMARY_NIC" down
ip link set dev "$PRIMARY_NIC" name bond0
ip link set dev bond0 up
echo " $PRIMARY_NIC → bond0 (primary)"
BOND_IDX=1
fi
# Remaining NICs → bond1, bond2, ... sorted by PCI bus address
SORTED=$(for n in "${MGMT_NICS[@]}"; do
[[ "$n" == "$PRIMARY_NIC" ]] && continue
pci=$(basename "$(readlink -f "/sys/class/net/$n/device")" 2>/dev/null || echo "zzzz")
echo "$pci $n"
done | sort | awk '{print $2}')
for nic in $SORTED; do
if ip link show "$nic" &>/dev/null; then
ip link set dev "$nic" down
ip link set dev "$nic" name "bond${BOND_IDX}"
ip link set dev "bond${BOND_IDX}" up
echo " $nic → bond${BOND_IDX}"
BOND_IDX=$((BOND_IDX + 1))
fi
done
MGMT_COUNT=$BOND_IDX
# Update NM connection profile for primary NIC
if [[ -n "$PRIMARY_NIC" ]]; then
for nmf in /etc/NetworkManager/system-connections/*.nmconnection; do
[ -f "$nmf" ] || continue
if grep -q "interface-name=${PRIMARY_NIC}" "$nmf" 2>/dev/null; then
sed -i "s/interface-name=${PRIMARY_NIC}/interface-name=bond0/" "$nmf"
sed -i "s/id=${PRIMARY_NIC}/id=bond0/" "$nmf"
nmcli connection reload 2>/dev/null || true
echo " Updated NM profile: ${PRIMARY_NIC} → bond0"
break
fi
done
fi
# Create udev rules for persistent naming across reboots (one-time)
UDEV_RULE="/etc/udev/rules.d/70-a4x-bond-rename.rules"
if [ ! -f "$UDEV_RULE" ]; then
: > "$UDEV_RULE"
for bidx in $(seq 0 $((MGMT_COUNT - 1))); do
PCI=$(basename "$(readlink -f "/sys/class/net/bond${bidx}/device")" 2>/dev/null || true)
[ -n "$PCI" ] && echo "SUBSYSTEM==\"net\", ACTION==\"add\", KERNELS==\"$PCI\", NAME=\"bond${bidx}\"" >> "$UDEV_RULE"
done
echo " Created udev rules for ${MGMT_COUNT} management NICs"
fi
else
# ---- Reboot: management NICs already named by udev ----
while ip link show "bond${BOND_IDX}" &>/dev/null; do
BOND_IDX=$((BOND_IDX + 1))
done
[ $BOND_IDX -gt 0 ] && echo " Management NICs already renamed (bond0-bond$((BOND_IDX - 1)))"
MGMT_COUNT=$BOND_IDX
fi
# ---- RDMA IB devices (runtime rename, needs every boot) ----
for rdev in $(rdma dev 2>/dev/null | awk '{print $2}' | sed 's/:$//' | sort); do
[[ "$rdev" == bond* ]] && continue
if rdma dev set "$rdev" name "bond${BOND_IDX}" 2>/dev/null; then
echo " $rdev → bond${BOND_IDX}"
BOND_IDX=$((BOND_IDX + 1))
fi
done
RDMA_COUNT=$((BOND_IDX - MGMT_COUNT))
echo " --- Result: ${MGMT_COUNT} mgmt + ${RDMA_COUNT} RDMA = ${BOND_IDX} total ---"
ip -br link show type ether 2>/dev/null || true
rdma link show 2>/dev/null || true
fi
# v5.3 image has stale stamp from build; remove if partitions not yet created
if [ -f "$INIT_STAMP" ] && [ ! -f "/etc/.partitions-created" ]; then
echo "Removing stale init stamp from image build..."
rm -f "$INIT_STAMP"
fi
if [ -f "$INIT_STAMP" ]; then
echo "Internal initialization already completed. Skipping."
exit 0
fi
echo "================================================================"
echo " TLinux 4 v5.3 — Internal Test Startup Script (v2 Universal)"
echo " $(date)"
echo "================================================================"
###############################################################################
# [1] Boot disk partitioning: /usr/local (20G) + /data (remaining)
###############################################################################
echo "=== [1] Boot disk partitioning ==="
BOOT_DEV=$(findmnt -n -o SOURCE / | sed 's/p[0-9]*$//')
PARTITION_STAMP=/etc/.partitions-created
if [ ! -f "$PARTITION_STAMP" ]; then
echo "--- Creating boot disk partitions (1TB disk) ---"
sgdisk -e "$BOOT_DEV" 2>/dev/null || true
sgdisk -n 3:0:+20G -t 3:8300 "$BOOT_DEV"
sgdisk -n 4:0:0 -t 4:8300 "$BOOT_DEV"
partprobe "$BOOT_DEV" 2>/dev/null || true
sleep 2
mkfs.xfs -f "${BOOT_DEV}p3"
mkfs.xfs -f "${BOOT_DEV}p4"
TMPMNT=$(mktemp -d)
mount "${BOOT_DEV}p3" "$TMPMNT"
cp -a /usr/local/. "$TMPMNT/" 2>/dev/null || true
umount "$TMPMNT"
rmdir "$TMPMNT"
mount "${BOOT_DEV}p3" /usr/local
mkdir -p /data
mount "${BOOT_DEV}p4" /data
P3_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p3")
P4_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p4")
if [ -n "$P3_UUID" ] && ! grep -q "$P3_UUID" /etc/fstab; then
echo "UUID=$P3_UUID /usr/local xfs defaults,nofail 0 2" >> /etc/fstab
fi
if [ -n "$P4_UUID" ] && ! grep -q "$P4_UUID" /etc/fstab; then
echo "UUID=$P4_UUID /data xfs defaults,nofail 0 2" >> /etc/fstab
fi
touch "$PARTITION_STAMP"
echo "Boot disk partitioned: p3=/usr/local(20G) p4=/data(remaining)"
fi
###############################################################################
# [2] Local SSD RAID0 → /mnt/stateful_partition
###############################################################################
echo "=== [2] Local SSD RAID0 setup ==="
SSD_DEVICES=()
for disk in /dev/nvme*n1; do
[ -b "$disk" ] || continue
PART_COUNT=$(lsblk -n -o NAME "$disk" 2>/dev/null | wc -l)
if [ "$PART_COUNT" -le 1 ]; then
SSD_DEVICES+=("$disk")
echo " Detected local SSD: $disk ($(lsblk -n -d -o SIZE "$disk"))"
fi
done
NUM_SSDS=${#SSD_DEVICES[@]}
echo " Found $NUM_SSDS local SSD device(s)"
if [ "$NUM_SSDS" -gt 0 ]; then
MOUNT_POINT="/mnt/stateful_partition"
mkdir -p "$MOUNT_POINT"
if [ "$NUM_SSDS" -eq 1 ]; then
TARGET_DEV="${SSD_DEVICES[0]}"
mkfs.xfs -f "$TARGET_DEV"
mount "$TARGET_DEV" "$MOUNT_POINT"
DEV_UUID=$(blkid -s UUID -o value "$TARGET_DEV")
if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
fi
else
mdadm --stop /dev/md0 2>/dev/null || true
mdadm --create /dev/md0 --level=0 --raid-devices="$NUM_SSDS" "${SSD_DEVICES[@]}" --force --run
mkfs.xfs -f /dev/md0
mount /dev/md0 "$MOUNT_POINT"
mkdir -p /etc/mdadm
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
DEV_UUID=$(blkid -s UUID -o value /dev/md0)
if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
fi
fi
mkdir -p "$MOUNT_POINT"/{gcsfuse-cache,scratch-data}
echo "$MOUNT_POINT mounted (total: $(df -h "$MOUNT_POINT" | awk 'NR==2{print $2}'))"
else
echo "WARNING: No local SSD devices found"
mkdir -p /mnt/stateful_partition
fi
###############################################################################
# [3] sshd port 22 + 56000
###############################################################################
echo "=== [3] sshd port 22 + 56000 ==="
SSHD_CHANGED=0
if ! grep -q '^Port 22' /etc/ssh/sshd_config; then
sed -i '1i Port 22' /etc/ssh/sshd_config
SSHD_CHANGED=1
fi
if ! grep -q '^Port 56000' /etc/ssh/sshd_config; then
sed -i '/^Port 22/a Port 56000' /etc/ssh/sshd_config
SSHD_CHANGED=1
fi
if [ "$SSHD_CHANGED" -eq 1 ]; then
systemctl restart sshd
echo "sshd now listening on port 22 and 56000"
else
echo "sshd ports 22 and 56000 already configured"
fi
###############################################################################
# [4] k8s worker setup (containerd + nvidia-ctk + kubeadm join)
###############################################################################
echo "=== [4] k8s $K8S_VERSION worker setup ==="
# [4.1] Swap off
echo "--- [4.1] Disable swap ---"
swapoff -a
sed -i '/swap/d' /etc/fstab
# [4.2] Kernel modules for k8s
echo "--- [4.2] Kernel modules ---"
cat > /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
# [4.3] Install containerd
echo "--- [4.3] containerd ---"
dnf install -y --enablerepo=AppStream container-selinux 2>/dev/null || true
DOCKER_ARCH=$(uname -m)
cat > /etc/yum.repos.d/docker-ce.repo <<REPOEOF
[docker-ce-stable]
name=Docker CE Stable - ${DOCKER_ARCH}
baseurl=https://download.docker.com/linux/rhel/9/${DOCKER_ARCH}/stable
enabled=1
gpgcheck=1
gpgkey=https://download.docker.com/linux/rhel/gpg
REPOEOF
dnf install -y containerd.io
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
mkdir -p /data/containerd
systemctl enable --now containerd
# [4.4] NVIDIA container toolkit
echo "--- [4.4] NVIDIA container toolkit ---"
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
tee /etc/yum.repos.d/nvidia-container-toolkit.repo
dnf install -y nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=containerd --set-as-default
sed -i "s|root = .*/var/lib/containerd.*|root = \"/data/containerd\"|" /etc/containerd/config.toml
systemctl restart containerd
# [4.5] kubeadm / kubelet / kubectl
echo "--- [4.5] kubeadm/kubelet/kubectl ---"
cat > /etc/yum.repos.d/kubernetes.repo <<REPOEOF
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/rpm/repodata/repomd.xml.key
REPOEOF
dnf install -y --enablerepo=AppStream kubelet-${K8S_PATCH} kubeadm-${K8S_PATCH} kubectl-${K8S_PATCH} conntrack-tools socat iptables ethtool
systemctl enable kubelet
# [4.6] kubeadm join
echo "--- [4.6] kubeadm join ---"
CP_IP=$(curl -sf -H "Metadata-Flavor: Google" \
http://metadata.google.internal/computeMetadata/v1/instance/attributes/cp-ip 2>/dev/null || true)
JOIN_TOKEN=$(curl -sf -H "Metadata-Flavor: Google" \
http://metadata.google.internal/computeMetadata/v1/instance/attributes/join-token 2>/dev/null || true)
JOIN_HASH=$(curl -sf -H "Metadata-Flavor: Google" \
http://metadata.google.internal/computeMetadata/v1/instance/attributes/join-hash 2>/dev/null || true)
NODE_NAME=$(cat /proc/sys/kernel/hostname 2>/dev/null || curl -sf -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/name || echo "unknown")
if [[ -n "$CP_IP" && -n "$JOIN_TOKEN" && -n "$JOIN_HASH" ]]; then
kubeadm join ${CP_IP}:6443 \
--token "${JOIN_TOKEN}" \
--discovery-token-ca-cert-hash "sha256:${JOIN_HASH}" \
--node-name "${NODE_NAME}" \
--ignore-preflight-errors=Hostname 2>&1 || echo "kubeadm join failed, manual join required"
else
echo "Missing CP metadata (cp-ip, join-token, join-hash). Manual join required."
echo "Run on CP: kubeadm token create --print-join-command"
fi
###############################################################################
# Verification
###############################################################################
echo ""
echo "================================================================"
echo " Verification"
echo "================================================================"
echo "--- OS ---"
cat /etc/os-release | head -3
echo "Kernel: $(uname -r)"
if lspci 2>/dev/null | grep -qi 'NVIDIA'; then
echo ""
echo "--- GPU ---"
nvidia-smi -L 2>&1 | head -4
echo "Persistence: $(nvidia-smi -q 2>/dev/null | grep 'Persistence Mode' | head -1 || echo N/A)"
echo "IMEX: $(ls /dev/nvidia-caps-imex-channels/ 2>&1)"
fi
echo ""
echo "--- Network ---"
ip -br link show type ether 2>/dev/null || true
echo "RDMA: $(rdma link show 2>/dev/null | awk '{print $2}' | tr '\n' ', ' || echo N/A)"
echo ""
echo "--- Services ---"
for svc in containerd kubelet; do
echo "$svc: $(systemctl is-active $svc 2>/dev/null || echo inactive)"
done
echo ""
echo "--- Disk ---"
df -h /usr/local /data /mnt/stateful_partition 2>/dev/null | grep -v Filesystem
echo ""
echo "--- SSH ---"
echo "Ports: $(grep '^Port' /etc/ssh/sshd_config | awk '{print $2}' | tr '\n' ', ')"
echo ""
echo "--- k8s ---"
kubeadm version 2>/dev/null || echo "kubeadm not installed"
touch "$INIT_STAMP"
echo ""
echo "================================================================"
echo " Internal initialization complete at $(date)"
echo "================================================================"
v1 → v2 改动对照
| 部分 | v1 (硬编码) | v2 (自动检测) |
|---|---|---|
| 管理网卡检测 | 硬编码 enp0s3:bond0, enp192s2:bond1 |
/sys/class/net/*/device 扫描 + 默认路由识别 |
| RDMA 检测 | 硬编码 for i in 0 1 2 3 |
rdma dev 动态枚举,数量不限 |
| NM 配置更新 | 硬编码文件名 enp0s3-gvnic.nmconnection |
搜索所有 .nmconnection 匹配 interface-name |
| udev 规则 | 硬编码 2 条规则 | 根据实际管理网卡数量动态生成 |
| RDMA 编号起点 | 硬编码 bond$((i+2)) |
自动接续管理网卡编号 |
| 日志输出 | 输出 mgmt + RDMA 总数和明细 | 同左,增加自动检测结果汇总 |
| 其余部分 | — | 完全不变 (分区、SSD、sshd、k8s、验证) |
附3:asapd-lite DaemonSet YAML (TLinux 适配版)
基于上游 COS 版本适配:asapd-lite-installer-a4x-max-bm-cos.yaml
适配改动: 1. 移除
cloud.google.com/gke-os-distribution: cosnodeAffinity 2. 改用自定义 labelnode-type: a4x-max(自建 k8s 需手动打标:kubectl label node <node> node-type=a4x-max) 3. 所有 hostPath 挂载为标准 Linux 路径,无需修改前置条件: - Hugepages:
echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages- 节点标签:kubectl label node <node> node-type=a4x-max- 镜像拉取:节点需能访问us-docker.pkg.dev/gce-ai-infra(需 GCE SA 认证)
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: asapd-lite
namespace: kube-system
labels:
k8s-app: asapd-lite
spec:
selector:
matchLabels:
k8s-app: asapd-lite
template:
metadata:
labels:
k8s-app: asapd-lite
spec:
priorityClassName: system-node-critical
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: node-type
operator: In
values:
- a4x-max
tolerations:
- operator: Exists
hostNetwork: true
hostPID: true
containers:
- name: asapd-lite
image: us-docker.pkg.dev/gce-ai-infra/asapd-lite/asapd-lite:v0.0.8
command: ["/bin/bash", "-c"]
args:
- |
set -x
/usr/local/bin/run_asapd_lite.sh --run_hairpin_probe=true --hairpin_sender_port_start=12345 --hairpin_receiver_port_start=23456 --metrics_domain=prod
sleep 15
DADFAILED_FOUND=0
INTERFACES=$(ip -o link show | awk -F': ' '{print $2}' | grep 'gpu')
for iface in $INTERFACES; do
if ip -6 addr show dev "$iface" | grep -q 'dadfailed'; then
echo "Found dadfailed on interface $iface. Bringing it down and up."
ip link set dev "$iface" down
ip link set dev "$iface" up
DADFAILED_FOUND=1
fi
done
if [ "$DADFAILED_FOUND" -eq 1 ]; then
echo "Found and attempted to fix dadfailed on one or more interfaces. Exiting to allow container restart."
exit 1
fi
echo "No dadfailed detected on interfaces."
wait
env:
- name: LD_LIBRARY_PATH
value: /asapd-lite/controller
livenessProbe:
httpGet:
path: /healthz
port: 19540
initialDelaySeconds: 60
readinessProbe:
httpGet:
path: /healthz
port: 19540
securityContext:
privileged: true
volumeMounts:
- name: host-sys
mountPath: /sys
- name: host-proc
mountPath: /proc
- name: host-udev-rules
mountPath: /etc/udev/rules.d
- name: host-run-udev
mountPath: /run/udev
- name: host-run-asapd-lite
mountPath: /run/asapd-lite
- mountPath: /hugepages-2Mi
name: hugepage-2mi
- name: var-log-google-asapd-lite
mountPath: /var/log/google/asapd-lite
- name: var-lib-google-asapd-lite
mountPath: /var/lib/google/asapd-lite
- name: host-systemd-system
mountPath: /etc/systemd/system
- name: host-run-systemd
mountPath: /run/systemd
resources:
limits:
hugepages-2Mi: 8192Mi
memory: 1024Mi
- name: netslo-ebpf-manager
image: us-docker.pkg.dev/gce-ai-infra/netslo-ebpf-manager/ebpf_manager:release
imagePullPolicy: Always
command: ["/bin/bash", "-c"]
args:
- |
echo "Waiting for asapd-lite to be healthy..."
while ! curl -s -o /dev/null http://localhost:19540/healthz; do
echo "asapd-lite not healthy yet, sleeping..."
sleep 5
done
echo "asapd-lite is healthy. Starting NETSLO eBPF Manager..."
exec /usr/local/bin/bpf_manager
securityContext:
privileged: true
env:
- name: NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
volumeMounts:
- name: sys-fs-bpf
mountPath: /sys/fs/bpf
- name: kernel-debug
mountPath: /sys/kernel/debug
- name: lib-modules
mountPath: /lib/modules
readOnly: true
- name: host-sys
mountPath: /sys
readOnly: true
- name: var-log-google-netslo
mountPath: /var/log/google/netslo-ebpf-manager
volumes:
- name: host-sys
hostPath:
path: /sys
- name: host-proc
hostPath:
path: /proc
- name: host-udev-rules
hostPath:
path: /etc/udev/rules.d
- name: host-run-udev
hostPath:
path: /run/udev
- name: host-run-asapd-lite
hostPath:
path: /run/asapd-lite
type: DirectoryOrCreate
- name: hugepage-2mi
emptyDir:
medium: HugePages-2Mi
- name: var-log-google-asapd-lite
hostPath:
path: /var/log/google/asapd-lite
type: DirectoryOrCreate
- name: var-lib-google-asapd-lite
hostPath:
path: /var/lib/google/asapd-lite
type: DirectoryOrCreate
- name: host-systemd-system
hostPath:
path: /etc/systemd/system
- name: host-run-systemd
hostPath:
path: /run/systemd
- name: sys-fs-bpf
hostPath:
path: /sys/fs/bpf
type: DirectoryOrCreate
- name: kernel-debug
hostPath:
path: /sys/kernel/debug
- name: lib-modules
hostPath:
path: /lib/modules
- name: var-log-google-netslo
hostPath:
path: /var/log/google/netslo-ebpf-manager
type: DirectoryOrCreate
updateStrategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 1%