GB300 (A4X MAX) vs GB200 (A4X) 部署差异分析

本文档基于 GCP 官方文档和我们在 GB200 A4X 上的实际部署经验,梳理 GB300 (A4X MAX) 部署时需要额外关注的差异点。每个关键结论均附有官方文档链接,可直接点击核实。

参考来源: - A4X MAX GKE 部署指南 - A4X MAX 实例创建 - A4X GKE 部署指南 - 加速器优化机器类型规格 - GPU 网络带宽与架构 - 裸金属实例 - Compact Placement Policies - NCCL 环境变量文档


0. 硬件规格对比总览

官方规格来源:加速器优化机器类型 — A4X Max and A4X,网络带宽细节:GPU 网络带宽 — A4X Max and A4X

维度 GB200 (A4X) GB300 (A4X MAX) 影响
机器类型 a4x-highgpu-4g a4x-maxgpu-4g-metal VM 创建命令
实例类型 虚拟机 (VM) 裸金属 (Bare Metal) 驱动/内核行为可能不同
CPU Grace (ARM64), 140 vCPU Grace (ARM64), 144 vCPU 架构相同,资源 requests 可微调
内存 884 GB 960 GB 资源 requests 可微调
GPU 4× B200 (GB200 Superchip) 4× B300 Ultra (GB300 Superchip) GPU 型号变更
GPU 显存 744 GB (186 GB/GPU) 1,116 GB (~279 GB/GPU, HBM3e) 大模型可用显存大幅增加
每域 GPU 显存 13.4 TB (18×744GB) 20 TB (18×1116GB) —
管理网卡类型 GVNIC (Google Titanium) IDPF (Intel IDPF) NIC 驱动、改名方式
管理网卡数量 2 2 不变
RDMA 网卡类型 CX-7 (ConnectX-7), VF CX-8 (ConnectX-8 SuperNIC), PF RDMA 架构升级
RDMA 物理网卡数量 4 4 不变
RDMA 连接方式 VF 挂在 CPU 上 PF 直连 GPU (GPUDirect) 延迟更低
RDMA 网络接口数 4 (单端口) 8 (CX-8 双端口, 8-way rail) 子网翻倍
总物理 NIC 数量 6 6 不变
总网络接口数 6 10 (2 IDPF + 8 MRDMA) VM 创建命令
网络带宽 2,000 Gbps 3,200 Gbps (CX-8 800Gbps/卡) —
网络栈类型 IPv4 IPv6-only 重大变更,影响全栈
Boot Disk pd-balanced 或 hyperdisk-balanced 仅 hyperdisk-balanced 创建命令
Local SSD 12,000 GiB 12,000 GiB 不变
NVL72 拓扑 18 节点/域, 1x72 18 节点/域, 1x72 不变
Block 结构 — 25 sub-blocks = 450 VM = 1,800 GPU 规模更大

1. 网络架构:最大的差异点

1.1 管理网卡:GVNIC → IDPF

官方依据: - GPU 网络带宽 — A4X Max 架构 说明 A4X MAX 管理网卡使用 Intel IDPF 驱动 - GPU 网络带宽 — A4X 架构 说明 A4X 管理网卡使用 Google gVNIC 驱动 - 裸金属实例 — VM 与裸金属差异 明确指出裸金属不支持 gVNIC 或 VirtIO

GB200 (A4X):使用 Google GVNIC (Titanium NIC),Linux 设备名为 enp0s3、enp192s2。

GB300 (A4X MAX):使用 Intel IDPF NIC。Linux 设备名待确认(需要实际登录 GB300 裸金属查看,可能是 ens* 或其他命名)。

影响: - NIC 驱动:v5.3 镜像已包含 IDPF v1.0.11 out-of-tree 驱动(附录 B.3),此点已就绪 - 网卡改名脚本:当前 startup script 硬编码了 GVNIC 设备名(enp0s3:bond0, enp192s2:bond1),必须更新为 IDPF 的实际设备名 - NM 连接配置文件:enp0s3-gvnic.nmconnection 在 GB300 上可能不存在或路径/内容不同 - udev 规则:PCI 地址不同,但脚本已用 readlink -f /sys/class/net/*/device 动态获取,逻辑上兼容 - Calico IP 自动检测:当前配置 interface=eth.*|bond0,改名后仍可用,但需确认 IDPF 设备改名前的接口名

行动项:拿到 GB300 VM 后,第一件事 ip -br link show 和 ethtool -i <dev> 确认 IDPF NIC 的默认设备名,更新 startup script 中的改名映射。

1.2 RDMA 网卡架构升级:CX-7 VF → CX-8 PF (GPUDirect)

这是 GB300 最重要的硬件架构升级之一。

官方依据:GPU 网络带宽 — A4X Max and A4X 明确指出: - A4X 使用 MRDMA Virtual Functions (VFs),CX-7 NIC “connected to the host CPU” - A4X MAX 使用 MRDMA Physical Functions (PFs),CX-8 SuperNIC “direct connection … to the GPUs”

物理 NIC 数量来源:加速器优化机器类型 中两者均标注 “Physical NIC count: 6”

GB200 (A4X):4 张 CX-7,以 SR-IOV VF(虚拟功能) 方式暴露,挂在 CPU 上。IB 设备名 mlx5_0 ~ mlx5_3,每卡单端口,共 4 个 MRDMA 网络接口。

GB300 (A4X MAX):4 张 CX-8 SuperNIC,以 PF(物理功能) 方式暴露,直连 GPU(真正的 GPUDirect RDMA,绕过 CPU)。每卡 双端口(800 Gbps = 2×400 Gbps),所以虽然物理网卡仍为 4 张,但产生 8 个 MRDMA 网络接口(即 GCP 文档中所说的 “8-way rail-aligned”)。

注意区分: - 物理 NIC 数量:两者均为 6 张(4 RDMA + 2 管理),官方文档明确标注 “Physical NIC count: 6” - 网络接口数:A4X = 6 (2+4), A4X MAX = 10 (2+8),因为 CX-8 双端口 - VM 创建命令中的 MRDMA 接口数:见 A4X MAX 实例创建 — 创建实例,命令中确实有 8 条 --network-interface=nic-type=MRDMA

影响:

维度 GB200 (A4X) GB300 (A4X MAX) 需修改
RDMA 子网数量 4 8 (CX-8 双端口) VPC/子网创建脚本
VM 创建 --network-interface 4 条 MRDMA 8 条 MRDMA VM 创建命令
RDMA IB 设备数 mlx5_{0..3} (4 个 VF) 待确认 (可能 8 个 PF) startup script
RDMA 改名范围 bond{2..5} bond{2..9} (若 8 个 IB 设备) startup script
RDMA CIDR 需求 4×/22 8×/22 CIDR 规划
ResourceClaimTemplate count: 4 count: 8 k8s YAML

关键待确认:CX-8 PF 模式下,rdma link show 会显示几个 IB 设备?是 4 个(每卡一个)还是 8 个(每端口一个)?这直接影响 startup script 的 RDMA 改名逻辑。

CIDR 规划修改(以 GB300 选项 B 为例):

# 当前 GB200: 4 个 RDMA 子网
export RDMA_CIDRS=("10.0.16.0/22" "10.0.20.0/22" "10.0.24.0/22" "10.0.28.0/22")

# GB300 需要: 8 个 RDMA 子网
export RDMA_CIDRS=("10.0.48.0/22" "10.0.52.0/22" "10.0.56.0/22" "10.0.60.0/22" \
                   "10.0.64.0/22" "10.0.68.0/22" "10.0.72.0/22" "10.0.76.0/22")

注意:当前选项 B 的 RDMA CIDR 只分配了 4 个(10.0.48.0 ~ 10.0.60.0),需要扩展到 8 个。需重新评估 SUPERNET 10.0.0.0/16 是否足够。

1.3 网络栈:IPv4 → IPv6-only

这是最具影响力的变更。

官方依据:A4X MAX 实例创建 — 创建实例 中 VM 创建命令的所有 --network-interface 均带有 stack-type=IPV6_ONLY。 对比 A4X GKE 部署 — 创建 VPC 和子网 中 A4X 使用的是标准 IPv4 子网。

GB200 (A4X):所有 NIC 使用 IPv4(默认 stack-type=IPV4_ONLY)。

GB300 (A4X MAX):官方文档要求所有 NIC 使用 stack-type=IPV6_ONLY。

影响范围:

组件 当前状态 (IPv4) IPv6 需要的改动
子网创建 --range=10.x.x.x/22 需要 IPv6 子网配置(--enable-ipv6-prefix 或 --ipv6-access-type)
VM 创建命令 无 stack-type 参数 每个 --network-interface 加 stack-type=IPV6_ONLY
防火墙规则 --source-ranges=10.x.x.x/22 IPv6 --source-ranges 或 IPv6 防火墙规则
SSH/IAP 通过 IPv4 内网 IP 需确认 IAP 对 IPv6-only VM 的支持
kubeadm init --apiserver-advertise-address=${INTERNAL_IP} IPv6 地址格式不同(需要方括号)
kubeadm join ${CP_IP}:6443 IPv6 格式:[fd20::x]:6443
Calico CNI IPv4 Pod CIDR 10.244.0.0/16 需配置 IPv6 Pod CIDR 或双栈
NCCL/GIB RDMA over RoCEv2 (IPv4) RoCEv2 over IPv6,需确认 GIB 兼容性
Metadata Server http://metadata.google.internal/... 需确认 IPv6-only 环境下 metadata 可达性
DNS 解析 A 记录 AAAA 记录
下载/yum repo 通过 IPv4 出口 需确认 IPv6-only 环境的出口配置

关键风险:IPv6-only 是 GB300 部署中最需要提前验证的变更。建议在拿到 GB300 VM 后立即测试 metadata server 可达性、外网访问能力、以及 kubeadm 在 IPv6 环境下的行为。

如果客户的 TLinux 镜像和 k8s 组件尚未全面测试 IPv6-only 环境,这可能是一个阻断性问题,需要提前评估。


2. VM 创建命令差异

官方命令来源: - GB300: A4X MAX 实例创建 — 创建实例 - GB200: 我们当前 A4X 部署方案 Section 2.2

2.1 GB200 (A4X) 当前命令

gcloud compute instances create ${WORKER_PREFIX}-d${d}-w${i} \
  --machine-type=a4x-highgpu-4g \
  --boot-disk-size=1000GB --boot-disk-type=hyperdisk-balanced \
  --network-interface=nic-type=GVNIC,network=$GVNIC_NET,subnet=$GVNIC_SUB \
  --network-interface=nic-type=GVNIC,network=$GVNIC_NET_1,subnet=$GVNIC_SUB_1,no-address \
  --network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-0,no-address \
  --network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-1,no-address \
  --network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-2,no-address \
  --network-interface=nic-type=MRDMA,network=$RDMA_NET,subnet=${RDMA_NET}-sub-3,no-address \
  ...

2.2 GB300 (A4X MAX) 需要的命令

基于 A4X MAX 实例创建 — 创建实例 中的官方 gcloud 命令,主要差异以 加粗 标注:

gcloud compute instances create ${WORKER_PREFIX}-d${d}-w${i} \
  --machine-type=a4x-maxgpu-4g-metal \                           # ← 裸金属机型
  --boot-disk-size=1000GB --boot-disk-type=hyperdisk-balanced \
  --network-interface=nic-type=IDPF,...,stack-type=IPV6_ONLY \    # ← GVNIC→IDPF, +IPv6
  --network-interface=nic-type=IDPF,...,stack-type=IPV6_ONLY,no-address \
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \  # ← +IPv6
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \  # ← 新增第5-8条
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
  --network-interface=nic-type=MRDMA,...,stack-type=IPV6_ONLY,no-address \
  ...

主要变化: 1. --machine-type: a4x-highgpu-4g → a4x-maxgpu-4g-metal 2. nic-type=GVNIC → nic-type=IDPF 3. 每个 --network-interface 新增 stack-type=IPV6_ONLY 4. MRDMA 从 4 条增加到 8 条 5. --boot-disk-type=hyperdisk-balanced 已在 GB200 命令中使用,无需变更


3. Boot Disk

官方依据:A4X MAX 实例创建 — 创建实例 中命令指定 --boot-disk-type=hyperdisk-balanced。 裸金属实例 也确认 A4X MAX 使用 Hyperdisk。

维度 GB200 (A4X) GB300 (A4X MAX)
支持的磁盘类型 pd-balanced, hyperdisk-balanced 仅 hyperdisk-balanced
当前部署使用 hyperdisk-balanced hyperdisk-balanced

我们的 GB200 部署已经使用 hyperdisk-balanced,因此 无需修改。但需注意:GB300 不再支持 pd-balanced 作为后备选项。

额外限制(A4X MAX 实例创建):GB300 不支持挂载 2026年2月4日之前创建的 Hyperdisk ML 磁盘。


4. Startup Script 改动清单

4.1 网卡改名段

当前脚本(GB200):

# GVNIC rename
for pair in "enp0s3:bond0" "enp192s2:bond1"; do ...

# RDMA rename
for i in 0 1 2 3; do
  rdma dev set mlx5_${i} name bond$((i+2))
done

GB300 需要修改为(设备名待实际确认):

# IDPF rename (设备名需根据实际 GB300 VM 确认)
for pair in "<idpf-dev-0>:bond0" "<idpf-dev-1>:bond1"; do ...

# RDMA rename — 8 个 MRDMA 接口 (CX-8 双端口)
for i in 0 1 2 3 4 5 6 7; do
  rdma dev set mlx5_${i} name bond$((i+2))
done

4.2 NM 连接配置文件

GB200 上 NM 配置文件为 enp0s3-gvnic.nmconnection,GB300 上的文件名和 interface-name 字段可能不同。需要登录 GB300 VM 后确认。

4.3 udev 规则

udev 规则逻辑是动态获取 PCI 地址的,代码逻辑无需修改,但 PCI 地址映射会不同。

4.4 Calico IP 自动检测

当前配置:IP_AUTODETECTION_METHOD="interface=eth.*|bond0"

如果 IDPF 设备名被改为 bond0,此配置 无需修改。否则需要加入 IDPF 的默认设备名。


5. Kubernetes 部署差异

5.1 GKE 版本要求

官方依据: - A4X MAX: A4X MAX GKE 部署 — Requirements - A4X: A4X GKE 部署 — Requirements

GB200 (A4X) GB300 (A4X MAX)
GKE 1.35 1.35 (未指定最低小版本) 1.35.0-gke.2745000+
GKE 1.34 1.34 (自建 k8s, 推荐 ≥1.34.5) 1.34.3-gke.1318000+
GKE 1.33 1.33.4-gke.1036000+ 不支持
GKE 1.32 1.32.8-gke.1108000+ 不支持

自建 k8s:我们使用的是 k8s 1.34.9(上游版本,非 GKE)。官方对 A4X MAX 的 GKE 版本要求更高,在自建环境中需要注意 DRA、kubelet 等组件是否有对应的兼容性修复。

5.2 GPU Driver 版本

官方依据:A4X MAX GKE 部署 — Requirements 指出 GB300 GPU 最低需要 R580.95.05 驱动版本。

GB200 (A4X) GB300 (A4X MAX)
最低驱动版本 R580 分支 R580.95.05+
当前镜像版本 580.159.04 580.159.04

我们的镜像已使用 580.159.04,满足 GB300 要求。

5.3 DRA Driver 版本(Deep Research 结论)

官方依据: - A4X MAX GKE 部署 — 安装 NVIDIA DRA Driver 推荐 v25.8.0 - A4X GKE 部署 — 安装 NVIDIA DRA Driver 推荐 25.3.1+ - GitHub: kubernetes-sigs/dra-driver-nvidia-gpu (原 NVIDIA/k8s-dra-driver,已捐赠 CNCF) - Issue #1123: NVCX complex attributes for CX-8 Data Direct — v0.5.0 milestone

关键发现:v0.4.0 实际上是最新版本

版本号反直觉:v0.4.0 并非旧版本,而是最新版本。项目从 NVIDIA 捐赠给 CNCF/kubernetes-sigs 时,版本命名从 CalVer (v25.x.x) 切换为 SemVer (v0.4.x)。

完整时间线:

版本 发布时间 关键变更
v25.3.0 2025.08 首个 GA 版本,ComputeDomain for GB200 MNNVL
v25.8.0 2025.10 Elastic ComputeDomains;动态节点扩展
v25.12.0 2026.02 GPU allocation GA;最后一个 CalVer 版本
v0.4.0 2026.05 捐赠 CNCF;SemVer 重置;Helm chart 重命名
v0.4.1 2026.06 当前最新版本

结论:GCP 文档滞后。GCP A4X MAX 文档推荐的 v25.8.0 实际上比我们部署的 v0.4.0 老两个大版本。GCP 文档尚未更新以反映项目迁移到 kubernetes-sigs 和新的 SemVer 版本方案。

CX-8 / GB300 兼容性(已验证官方文档)

GCP A4X MAX 官方文档使用 DRA v25.8.0 分配 RDMA 设备,且正常工作。这意味着 DRA driver 的基础功能(ComputeDomain + RDMA 设备发现/分配)在 CX-8 上没有问题。

两代产品的 RDMA 分配机制完全不同:

A4X (GB200) GKE 做法 A4X MAX (GB300) GKE 做法
RDMA 分配 GKE multi-networking (Network objects) DRA ResourceClaims (mrdma.google.com)
DRA driver 角色 仅 ComputeDomain ComputeDomain + RDMA 分配
NIC 配置 RDMA installer DaemonSet (GKE) asapd-lite DaemonSet (仅 GKE/COS)
非 DRA 替代 — 文档未提供,DRA 是唯一方案

A4X MAX 官方 workload YAML 示例中明确使用 DRA ResourceClaim 分配 8 个 MRDMA 设备:

resourceClaims:
- name: rdma
  resourceClaimTemplateName: all-mrdma    # count: 8, deviceClassName: mrdma.google.com

尚未支持的功能(属于优化而非功能缺失):

v25.8.0 (GCP 推荐) v0.4.0/v0.4.1 (我们部署的) v0.5.0 (即将发布)
ComputeDomain ✓ ✓ ✓
GPU allocation ✗ (v25.12.0 才 GA) ✓ ✓
RDMA 设备分配 ✓ ✓ ✓
CX-8 拓扑最优匹配 ✗ ✗ ✓ (目标)

GB300 部署建议

继续使用 v0.4.0(我们已部署的版本):ComputeDomain 和 RDMA 设备分配均可正常工作,与 GCP 官方使用 v25.8.0 的功能等价(甚至更新,含 GPU allocation GA)。无需额外升级工作。

v0.4.0 vs v0.4.1 对比:v0.4.1 (release notes) 仅包含 bug fix 和 Red Hat OpenShift 4.22 支持,具体变更: - nvidia-container-toolkit 1.19.0 → 1.19.1 - 修复非 SR-IOV GPU 的 nil pointer panic - 修复 MPS 在 OpenShift 上的失败 - 修复 compute-domain kubelet plugin 的 stale checkpoint 问题 - 修复 timeslicing 在不支持的 GPU 上被错误应用的问题

我们不使用 OpenShift,以上 bug fix 均不影响我们的 GB200/GB300 场景,因此 v0.4.0 完全够用,无需升级到 v0.4.1。

v0.5.0 发布后(milestone 截止 2026.07.31):可选升级以获得 CX-8 Data Direct 拓扑优化(见下文说明),但非必须。

CX-8 Data Direct 功能说明

信息来源: - Issue #1123: Add support for NVCX complex attributes — v0.5.0 milestone - NVIDIA Grace Blackwell ConnectX-8 GPUDirect RDMA Guide — Data Direct 技术说明 - v0.5.0 milestone — 截止 2026.07.31,26 open / 12 closed

什么是 Data Direct? ConnectX-8 引入的一种新的 GPU-NIC 通信方式。传统架构中 GPU 和 NIC 在同一 PCI switch 下,DRA driver 通过 PCIRoot 约束来匹配最优的 GPU-NIC 对。CX-8 的 Data Direct 改变了这个拓扑——NIC 可以通过非 PCI 路径直连 GPU,传统的 PCIRoot 匹配逻辑不再适用。

NVCX complex attributes 是什么? 一种新的标识符属性,用于在复杂拓扑中将 GPU 和 NIC 分组到同一个逻辑 “complex” 中。Issue #1123 提议使用 rdma_topo 库生成 complex 标识符,实现 GPU-NIC 的最优配对——即使它们不在同一 PCI switch 下也能正确匹配。

对我们的实际影响极小:我们的工作负载是每个 pod 请求全部 4 GPU + 全部 8 RDMA 设备(count: 8),不存在“选择最优 NIC 子集”的问题——所有设备都用了,拓扑优化无从发挥。Data Direct 优化主要影响的是 多租户场景(多个 pod 共享同一节点,各自请求部分 NIC)中的 NIC 选择策略。

升级注意事项(如将来从 v0.4.0 升级到 v0.5.0)

  1. 必须先更新 CRD:kubectl apply -f <CRD_URL>,然后再 helm upgrade
  2. 不支持降级:v0.4.0 → v25.12.0 的降级明确不受支持
  3. Helm chart 已在 v0.4.0 迁移完成:chart 名 dra-driver-nvidia-gpu、镜像地址 registry.k8s.io 已就位,v0.5.0 升级预计可直接 helm upgrade

5.4 ResourceClaimTemplate (RDMA)

官方依据:A4X MAX GKE 部署 — 配置工作负载清单 中 MRDMA ResourceClaimTemplate 的 count: 8。 对比 A4X GKE 部署 — 配置工作负载清单 中 count: 4。

# GB200: 请求 4 个 RDMA 设备
requests:
- name: rdma-nics
  exactly:
    deviceClassName: rdma-devices
    count: 4

# GB300: 请求 8 个 RDMA 设备
requests:
- name: rdma-nics
  exactly:
    deviceClassName: rdma-devices
    count: 8

5.5 NCCL/GIB 插件(Deep Research 结论)

官方依据: - A4X MAX: A4X MAX GKE 部署 — 配置 MRDMA — asapd-lite DaemonSet - A4X: A4X GKE 部署 — 安装 RDMA 和配置 NCCL — RDMA installer + GIB - GitHub: container-engine-accelerators PRs — asapd-lite 演进历史 - GitHub: PR #619 (2026.06.29) — 更新 A4X MAX nccl-gib 镜像至 v1.1.2 - Container Registry: us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-gib-a4x-max-arm64 — A4X MAX 专用 GIB 镜像

关键发现:asapd-lite 和 nccl-gib 是互补关系,不是替代关系

此前的误解:我们最初以为 GB300 用 asapd-lite 替代了 nccl-gib。实际上两者是不同层的组件,同时部署。

┌─────────────────────────────────────────────────┐
│              NCCL 工作负载 (Pod)                  │
│  ┌──────────────────────────────────────────┐    │
│  │ nccl-gib init container                  │    │
│  │ → 注入 libnccl-net.so (NCCL 网络传输插件)  │    │
│  │ → 提供 set_nccl_env.sh (优化参数)          │    │
│  └──────────────────────────────────────────┘    │
│  ┌──────────────────────────────────────────┐    │
│  │ 工作容器                                   │    │
│  │ → LD_LIBRARY_PATH=/usr/local/gib/lib64   │    │
│  │ → NCCL_NET_PLUGIN=libnccl-net.so         │    │
│  └──────────────────────────────────────────┘    │
├─────────────────────────────────────────────────┤
│                Node 层                           │
│  ┌──────────────────────────────────────────┐    │
│  │ asapd-lite DaemonSet (kube-system)       │    │  ← GB300 新增
│  │ → 配置 MRDMA NIC (IPvlan 模式)            │    │
│  │ → 管理 IPAM (systemd task on host)       │    │
│  │ → 创建 udev 规则                          │    │
│  │ → privileged + hostPID                   │    │
│  └──────────────────────────────────────────┘    │
└─────────────────────────────────────────────────┘
组件 层级 功能 GB200 GB300
nccl-gib 软件层 (Pod init container) 注入 libnccl-net.so,提供 NCCL 网络传输优化 ✓ v1.1.2 ✓ v1.1.2
asapd-lite 物理/网络层 (Node DaemonSet) PCC 拥塞控制、MRDMA NIC 配置、hairpin 探测、DAD 修复 ✗ (VM 模式由 Hypervisor 处理) 必须部署 (裸金属硬件管控)
RDMA installer 物理层 (Node DaemonSet) 安装 RDMA 驱动和库 ✓ (GKE) ✗ (自建 k8s 由 startup script 处理)

nccl-gib 镜像状态

对我们自建 k8s 部署的影响

好消息:我们当前 A4X 部署方案 Part 5 中的 nccl-gib 使用方式(init container 注入 libnccl-net.so)在 GB300 上基本不变。具体对照:

我们当前的做法 (GB200 Part 5) GB300 上需要调整吗?
GIB init container 注入 libnccl-net.so 不变,镜像版本一致 (v1.1.2)
source /usr/local/gib/scripts/set_nccl_env.sh 不变
NCCL_ENV_PLUGIN=gcp 不变
NCCL_MNNVL_ENABLE=2 (同域) 不变
ResourceClaimTemplate count: 4 改为 count: 8 (8 个 MRDMA)
asapd-lite DaemonSet 必须部署 — 裸金属硬件管控组件,负责 PCC 拥塞控制和 NIC 配置(已提供 TLinux 适配 YAML)
Hugepages 预分配 (8GB) 新增 — asapd-lite 前置依赖,需在 startup script 中配置

asapd-lite 分析:裸金属必须组件,自建 k8s 同样需要部署

信息来源: - GitHub: asapd-lite-installer YAML — 镜像分析 - 容器镜像实际拉取检查 (us-docker.pkg.dev/gce-ai-infra/asapd-lite/asapd-lite:v0.0.8)

结论:asapd-lite 是裸金属 (Bare Metal) 架构的底层硬件管控组件,自建 k8s 环境同样必须部署。

为什么 GB200 不需要,GB300 必须:

这是由 VM vs 裸金属 的交付形态决定的:

GB200 (A4X) — VM GB300 (A4X MAX) — Bare Metal
硬件管控 Hypervisor 内部运行完整 asapd 服务 无 Hypervisor,客户 OS 直接面对物理 CX-8 NIC
PCC 拥塞控制 Hypervisor 加载 PCC 规则 asapd-lite 加载 DOCA PCC 规则
NIC 遥测 Hypervisor 采集 asapd-lite 提供遥测指标
Data Direct N/A (CX-7 无此功能) asapd-lite 包含 doca_data_direct_ctl
结果 客户无需关心 不安装 → RDMA 无法发挥设计性能甚至无法建连

asapd-lite 具体功能(基于镜像实际内容分析):

组件 路径 功能
asapd-lite-controller /asapd-lite/controller/ 主控守护进程,扫描 CX-8 PF PCI 设备
DOCA 3.1 库 /asapd-lite/3.1/ PCC (可编程拥塞控制)、Data Direct、遥测、FlexIO
ipam /usr/local/sbin/ipam GPU 网络接口 IP 地址管理
apply_non_volatile_configs.sh /asapd-lite/ipam_scripts/ 通过 mstconfig 配置 NIC 固件参数
run_asapd_lite.sh /usr/local/bin/ 入口脚本,启动 controller
netslo-ebpf-manager sidecar 容器 eBPF 网络性能监控

DOCA 3.1 相比 3.0 新增(GB300 裸金属特有): - libdoca_pcc.so.2 + libdoca_pcc_ztr_rttcc_algo.so.2 — 可编程拥塞控制,裸金属 RoCE 性能关键 - doca_data_direct_ctl — Data Direct GPU-NIC 直连配置 - libdoca_telemetry.so.2 — NIC 遥测指标 - libflexio.so — FlexIO SmartNIC 编程

YAML 适配:

官方 COS 版 YAML 中包含 cloud.google.com/gke-os-distribution: cos nodeSelector 和 GKE 机型标签。这是 GKE 的部署优化,不代表组件本身是 GKE 专用。对于自建 k8s,只需删除 COS nodeSelector,替换为自定义节点标签:

# 部署前置条件
kubectl label node <a4x-max-node> node-type=a4x-max

# 部署 asapd-lite(TLinux 适配版)
kubectl apply -f asapd-lite-installer-a4x-max-bm-tlinux.yaml

# 验证
kubectl get ds -n kube-system asapd-lite

已提供适配后的 YAML:asapd-lite-installer-a4x-max-bm-tlinux.yaml(见附录3)

对照表:GKE 环境 vs 自建 k8s 环境的 NIC 配置路径

配置项 GKE (COS) 自建 k8s (TLinux)
asapd-lite 部署 COS 版 YAML + GKE nodeSelector TLinux 适配 YAML + 自定义 node label
Hugepages 8GB GKE node pool hugepage_size2m: 4096 startup script echo 4096 > .../nr_hugepages
MRDMA NIC 改名 asapd-lite + GKE infra v2 startup script + asapd-lite
PCC 拥塞控制 asapd-lite (DOCA 3.1) asapd-lite (DOCA 3.1) — 相同
RDMA 驱动 内核内置 mlx5_core 内核内置 mlx5_core — 相同
NIC 监控 netslo-ebpf-manager (sidecar) netslo-ebpf-manager (sidecar) — 相同

跨 MNNVL 域通信方案

结论:RoCE 跨域通信方案不变。nccl-gib 的 libnccl-net.so 仍然是 RoCE 通信的核心插件,使用方式与 GB200 完全相同。

信息来源: - GCP A4X GKE 部署 — NCCL 配置:“source /usr/local/gib/scripts/set_nccl_env.sh” - NCCL 环境变量文档 — NCCL_ENV_PLUGIN:加载 libnccl-env-<suffix>.so 插件自动设置环境 - NCCL 环境变量文档 — NCCL_CUMEM_ENABLE:NCCL 2.19+ 已自动启用,无需手动设置

NCCL 环境变量配置方式:GCP 官方文档推荐通过 GIB 内置脚本自动配置,不需要手动设置 NCCL_MNNVL_ENABLE、NCCL_CUMEM_ENABLE 等变量:

source /usr/local/gib/scripts/set_nccl_env.sh   # 设置 NCCL_ENV_PLUGIN=gcp
export LD_LIBRARY_PATH=/usr/local/gib/lib64:$LD_LIBRARY_PATH

set_nccl_env.sh 会设置 NCCL_ENV_PLUGIN=gcp,使 NCCL 加载 libnccl-env-gcp.so 插件。该插件在 NCCL 初始化时自动检测当前拓扑(同域/跨域)并设置最优参数,包括 MNNVL 开关、cuMem 分配、网络插件路径等。NCCL_CUMEM_ENABLE 自 NCCL 2.19 起已自动启用,无需显式设置。

客户使用 RoCE 做跨 MNNVL 通信时,没有特殊操作,沿用 nccl-gib + set_nccl_env.sh 即可。底层 NIC 配置在 GKE 中由 asapd-lite 完成,在自建 k8s 中由 startup script 处理,但这对上层 NCCL 使用方式透明。

5.6 Hugepage 配置

官方依据:A4X MAX GKE 部署 — 创建 Node Pool 中 node pool 配置要求 hugepage_size2m: 4096。

GB300 (A4X MAX) GKE 文档要求在 node pool 中预分配 hugepages:

linuxConfig:
  hugepageConfig:
    hugepage_size2m: 4096    # 4096 × 2MB = 8GB 预分配

GB200 (A4X) GKE 文档中没有此要求。

Hugepages 的用途:asapd-lite 的部署前置依赖

通过分析 asapd-lite DaemonSet YAML,hugepages 的实际消费者已明确——asapd-lite 自身使用 DPDK 进行底层包处理,需要 8GB hugepages 作为 DMA 缓冲区:

# asapd-lite YAML 中的资源请求
resources:
  limits:
    hugepages-2Mi: 8192Mi    # 8192 MiB = 8 GB = 4096 × 2MB hugepages
    memory: 1024Mi
volumes:
- name: hugepage-2mi
  emptyDir:
    medium: HugePages-2Mi    # 要求节点预分配 hugepages

因果链:

GB300 裸金属 → 需要 asapd-lite (PCC/NIC 管控) → asapd-lite 使用 DPDK → DPDK 需要 hugepages (8GB)
GB200 VM    → Hypervisor 内置 asapd            → 客户无需部署        → 无需 hugepages

对自建 k8s 的影响:在 startup script 中预分配 hugepages,必须在 asapd-lite DaemonSet 部署之前完成:

# startup script 中添加(v2 startup script 的 [4] 段之前)
echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
echo "Hugepages allocated: $(cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages) × 2MB"

如未预分配 hugepages,asapd-lite pod 将因资源不足无法调度(Pending 状态)。

5.7 Pod ResourceQuota

官方依据:A4X MAX GKE 部署 — 安装 DRA Driver 提到 Pod quota 至少需要 “2 times the number of A4X Max nodes in the cluster plus 1”。

GB300 GKE 文档提到:Pod quota 至少需要 2 × 节点数 + 1(18 节点 = 37 pods)。这是因为 DRA driver 和 ComputeDomain 会创建 daemon pods。在自建 k8s 中一般不设置这个限制,但如果客户设了 ResourceQuota 需要注意。


6. Placement Policy / Workload Policy

官方依据: - Compact Placement Policies 指出 A4X/A4X MAX 应使用 workload policies - A4X MAX GKE 部署 — 创建 Workload Policy 使用 workload-policy --type HIGH_THROUGHPUT - A4X MAX 实例创建 — 创建 Placement Policy 仍使用 group-placement --collocation=collocated

自建 k8s (我们的方案) GKE 托管集群
API gcloud beta compute resource-policies create group-placement gcloud beta compute resource-policies create workload-policy
参数 --collocation=COLLOCATED --gpu-topology=1x72 --type HIGH_THROUGHPUT --accelerator-topology 1x72
适用 手动创建 VM 时绑定 --resource-policies GKE node pool 绑定 --placement-policy

说明: - GCP 官方 Compact Placement Policies 文档推荐 A4X/A4X MAX 使用 workload-policy,但这是 GKE node pool 的概念。 - 在自建 k8s 中手动创建 VM 时,A4X MAX 实例创建文档 仍使用 group-placement + --resource-policies,两种 API 路径在 A4X MAX 上均适用。 - 拓扑参数不变:GB200 和 GB300 均为 1x72(18 节点/域)。


7. Reservation 差异

官方依据: - A4X MAX 实例创建 — 创建实例 - A4X 实例创建 — 创建实例 - A3 Ultra/A4 实例创建 - A3 High/Mega 实例创建

结论:GB200 和 GB300 在 reservation 粒度上完全一致,均支持 block + sub-block 级别。

Block/sub-block 是 AI Hypercomputer 的通用特性(不出现在标准 Compute Engine 文档中),各机型支持情况:

机型 reservationBlocks reservationSubBlocks
A3 High / A3 Mega (H100) ✓ ✗
A3 Ultra (H200) / A4 ✓ ✗
A4X (GB200) ✓ ✓
A4X MAX (GB300) ✓ ✓

三级 reservation 指定格式(A4X / A4X MAX 均适用):

# 级别 1: 任意 block(最常用)
--reservation=RESERVATION_NAME

# 级别 2: 指定 block
--reservation=RESERVATION_NAME/reservationBlocks/BLOCK_NAME

# 级别 3: 指定 sub-block(= 18 节点 / 72 GPU / 一个 NVLink 域)
--reservation=RESERVATION_NAME/reservationBlocks/BLOCK_NAME/reservationSubBlocks/SUBBLOCK_NAME
GB200 (A4X) GB300 (A4X MAX)
Reservation 粒度 block + sub-block block + sub-block — 相同
Sub-block 规模 18 instances (72 GPUs) 18 instances (72 GPUs) — 相同
Block 规模 25 sub-blocks (450 instances) 25 sub-blocks (450 instances) — 相同
模式 RESERVATION_BOUND RESERVATION_BOUND — 相同

说明:此前文档错误地将 block/sub-block 标记为 A4X MAX 新增特性。经核实,A4X 官方文档同样支持完全相同的三级 reservation 指定格式。此项 无差异。


8. 镜像兼容性

8.1 架构

官方依据:加速器优化机器类型 明确指出两者均使用 “NVIDIA Grace CPUs with Arm Neoverse V2 cores”。

两者均为 ARM64 (Grace CPU),镜像架构 无需变更。

8.2 驱动

官方依据: - GPU 驱动版本: A4X MAX GKE 部署 — Requirements - IDPF 驱动: 裸金属实例 — VM 与裸金属差异 - NIC 类型: GPU 网络带宽 — A4X Max 架构

驱动 GB200 状态 GB300 需求 镜像现状
NVIDIA GPU 580.159.04 ≥ R580.95.05 ✓ 已满足
GVE (GVNIC) 1.4.10-oot 不需要 (无 GVNIC) ✓ 存在但不会加载
IDPF (Intel) 不需要 v1.0.11 oot ✓ 已包含在 v5.3 镜像
mlx5_core (CX-8) 内核内置 (CX-7) 内核内置 (CX-8) ✅ 已确认兼容 — 见下文分析

CX-8 mlx5_core 驱动兼容性分析(Deep Research 结论)

信息来源: - Linux kernel commit f908a35b — “net/mlx5: Update the list of the PCI supported devices” (Meir Lichtinger, 2022-01-10) - kernel v5.15 main.c — CX-8 不在 PCI 表中 - kernel v5.17 main.c — CX-8 (0x1023) 已在 PCI 表中 - kernel v6.6 main.c — CX-8 + BlueField-4 均在 PCI 表中 - GCP A4X MAX VM 创建文档 — 无宿主机驱动安装要求 - GCP A4X MAX GKE 部署文档 — doca-ofed-userspace 仅在容器内安装

结论:我们的 kernel 6.6.119 完全支持 CX-8,无需安装 OFED 或升级内核。

内核驱动层面:

mlx5_core 是一个跨代统一驱动,ConnectX-4 到 ConnectX-8 共用同一个驱动模块。CX-8 支持通过在 PCI device ID 表中添加 0x1023 实现:

内核版本 CX-8 (0x1023) BlueField-4 (0xa2df) 添加 commit
5.15 ✗ ✗ —
5.16 ✗ ✗ —
5.17 ✓ ✓ f908a35b (2022-01-10)
6.1 ✓ ✓ —
6.6.119 (我们) ✓ ✓ —

我们的 TLinux kernel 6.6.119 比 CX-8 支持的最低版本 (5.17) 高 9 个大版本,不存在兼容性问题。

用户空间库层面:

GCP GKE 文档中提到的 doca-ofed-userspace 是容器镜像内的用户空间库(libibverbs、libmlx5 等),不是宿主机驱动。原文:“Ensure that the userspace libraries and the libnccl packages are installed in the user container image”。我们的 NCCL/训练容器镜像(如 nvcr.io/nvidia/pytorch:26.05-py3)已内置这些库。

GCP 官方文档确认:

A4X MAX VM 创建文档 中没有任何宿主机驱动安装步骤——不需要安装 MLNX OFED、DOCA-OFED,也不需要编译 out-of-tree mlx5_core。GCP 的裸金属 VM 直接使用宿主机 OS 自带的 inbox mlx5_core 驱动。

总结:GCP 官方没有要求安装 OFED 或 out-of-tree mlx5_core。使用内核内置的 inbox mlx5_core 驱动是完全有效的方案,功能验证需在拿到 A4X MAX 硬件后执行 ibstat、rdma link show 确认。

8.3 guest-os-features

镜像创建时:

# GB200
--guest-os-features="UEFI_COMPATIBLE,GVNIC,IDPF"

# GB300 — IDPF 必须包含,GVNIC 可能非必需但保留无害
--guest-os-features="UEFI_COMPATIBLE,GVNIC,IDPF"

v5.3 镜像已同时包含 GVNIC 和 IDPF guest-os-feature,无需修改。


9. 改动优先级与行动计划

第一优先:拿到 GB300 VM 后立即确认

# 确认项 方法 影响范围
1 IDPF 默认网卡名 ip -br link show + ethtool -i <dev> startup script 改名映射
2 CX-8 IB 设备名和数量 rdma link show startup script RDMA 改名
3 NM 配置文件路径和内容 ls /etc/NetworkManager/system-connections/ startup script NM 更新段
4 IPv6 地址获取方式 ip -6 addr show 全栈 IPv6 适配
5 Metadata Server IPv6 可达性 curl -6 http://metadata.google.internal/... startup script metadata 获取
6 CX-8 mlx5_core 驱动兼容性 ibstat、rdma link show 状态 ✅ 已确认兼容 — kernel 5.17 起支持 CX-8 (0x1023),我们的 6.6.119 完全覆盖
7 外网 IPv6 访问 curl -6 https://download.docker.com/... yum/dnf 安装步骤
8 asapd-lite 功能验证 kubectl get ds -n kube-system asapd-lite + healthz ⚠️ 必须部署 — TLinux 适配 YAML 已就绪,需在 A4X MAX 硬件上验证
9 DRA driver v0.5.0 是否已发布 检查 GitHub releases CX-8 拓扑匹配(可选优化,非必须)

第二优先:部署脚本/文档修改

# 修改项 复杂度 状态
1 全局变量增加 GB300 RDMA 子网(4→8) 低 待做
2 VPC 子网创建循环(4→8) 低 待做
3 VM 创建命令(NIC 类型 + 数量 + stack-type) 中 待做
4 startup script 网卡改名(设备名 + 数量) 中 ✅ 已完成 — v2 通用脚本自动适配
5 ResourceClaimTemplate RDMA count(4→8) 低 待做
6 DRA driver 版本评估和升级 — ✅ 已确认无需升级 — v0.4.0 已满足全部需求(ComputeDomain + RDMA 分配),v0.4.1 仅 bug fix/OpenShift,v0.5.0 仅增加可选的拓扑优化
7 asapd-lite DaemonSet 部署(GB300 新增) 低 ✅ YAML 已就绪 — TLinux 适配版,需 hugepages 前置
7b Hugepages 预分配(8GB,asapd-lite 前置) 低 ✅ 方案已确认 — startup script 中 echo 4096 > .../nr_hugepages
8 nccl-gib 使用方式确认 低 ✅ 已确认 — v1.1.2 同时支持 A4X/A4X MAX,用法不变

第三优先:IPv6 全栈适配(如确认需要)

# 修改项 复杂度
1 IPv6 子网配置 高
2 防火墙规则 IPv6 化 中
3 kubeadm init/join IPv6 高
4 Calico IPv6 / 双栈配置 高
5 GIB/NCCL IPv6 RoCE 验证 高

10. 可直接复用的部分(无需修改)

以下部分在 GB200 和 GB300 之间 完全相同,可直接复用:


附:关键官方文档链接汇总

主题 URL 关键段落锚点
A4X MAX GKE 部署 https://docs.cloud.google.com/ai-hypercomputer/docs/create/gke-ai-hypercompute-custom-a4x-max #requirements, #create-a-workload-policy, #create-a-node-pool-with-a4x-max, #install-the-nvidia-compute-domain-crd-and-dra-driver, #configure-the-mrdma-nics-with-asapd-lite
A4X MAX 实例创建 https://docs.cloud.google.com/ai-hypercomputer/docs/create/create-a4xmax-instance #create-compact-placement-policy, #setup-network, #create-instance
A4X GKE 部署 https://docs.cloud.google.com/ai-hypercomputer/docs/create/gke-ai-hypercompute-custom-a4x #requirements, #create-vpcs-and-subnets, #create-a-workload-policy, #install-rdma-binary-and-configure-nccl
加速器机器类型规格 https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines #the_a4x_max_and_a4x_machine_series
GPU 网络带宽 https://cloud.google.com/compute/docs/gpus/gpu-network-bandwidth #a4x-max-and-a4x-machine-types, #a4x-max-architecture, #a4x-architecture
裸金属实例 https://docs.cloud.google.com/compute/docs/instances/bare-metal-instances #differences-between-vm-instances-and-bare-metal-instances, #a4x-max-machine-series
Placement Policies https://cloud.google.com/compute/docs/instances/use-compact-placement-policies #create-a-compact-placement-policy

附2:通用 Startup Script (v2) — 自动适配 GB200/GB300

设计思路

v1 startup script 硬编码了 GB200 的网卡名(enp0s3, enp192s2, mlx5_0-3),无法在 GB300 上使用。v2 改为 自动检测:

  1. 管理网卡检测:扫描 /sys/class/net/*/device 找到所有有 PCI 设备支撑的物理以太网接口,排除 RDMA 网卡(检查 /device/infiniband 目录)
  2. 主网卡识别:通过 ip route show default 找到承载默认路由的网卡 → 命名为 bond0
  3. 次要管理网卡:按 PCI 总线地址排序 → bond1, bond2, …
  4. RDMA IB 设备:通过 rdma dev 枚举所有 IB 设备,按设备名排序 → bondN, bondN+1, …

兼容性:

平台 管理网卡 RDMA 结果
GB200 (A4X) 2× GVNIC (enp0s3, enp192s2) 4× CX-7 (mlx5_0-3) bond0-5 (6 个)
GB300 (A4X MAX) 2× IDPF (待确认设备名) 8× CX-8 (mlx5_0-7) bond0-9 (10 个)
H100 / CPU-only 无 RDMA 设备 — 跳过改名

持久化策略: - 管理网卡:首次启动创建 udev 规则 → 后续重启由 udev 直接命名为 bondX - RDMA IB 设备:rdma dev set 是运行时操作 → 每次启动都需执行 - NM 配置:首次启动更新 .nmconnection 文件中的 interface-name

Customer 版本 (tlinux4-customer-init-v2.sh)

功能:文件系统初始化 + sshd 端口 + 网卡自动改名

#!/bin/bash
# TLinux 4 (TencentOS Server 4.0) — v2 Universal Startup Script (Customer)
# Compatible with: A4X/GB200, A4X MAX/GB300, H100, CPU-only instances
#
# v5.3 镜像已内置: NVIDIA driver, GVE, IDPF, IMEX, GDRCopy, nvidia-persistenced,
#                   SELinux/firewalld disabled, memlock unlimited, sudoers, SSH
#
# 本脚本仅负责: 文件系统初始化 + sshd 22/56000 端口 + 网卡自动改名 (bond0-N)
#
# 网卡改名策略 (自动适配 GB200/GB300):
#   管理网卡 (GVNIC/IDPF): 主网卡(默认路由)→bond0, 其余按PCI地址排序→bond1, ...
#   RDMA IB设备 (mlx5_X):  按设备名排序, 接续管理网卡编号→bondN, bondN+1, ...
#   GB200 结果: bond0-1 (2×GVNIC) + bond2-5 (4×CX-7)  = 6 interfaces
#   GB300 结果: bond0-1 (2×IDPF)  + bond2-9 (8×CX-8)  = 10 interfaces
set -euo pipefail
exec > >(tee /var/log/tlinux4-customer-init.log) 2>&1

INIT_STAMP=/etc/.customer-init-done

###############################################################################
# Network interface rename (auto-detect) — runs every boot
###############################################################################
if rdma link show 2>/dev/null | grep -q .; then
  echo "=== Network interface rename (auto-detect) ==="
  BOND_IDX=0

  # Detect primary NIC (carries default route)
  PRIMARY_NIC=$(ip route show default 2>/dev/null | awk '{print $5}' | head -1)

  # Collect physical ethernet NICs needing rename
  MGMT_NICS=()
  for devpath in /sys/class/net/*/device; do
    [ -e "$devpath" ] || continue
    nic=$(basename "$(dirname "$devpath")")
    [[ "$nic" == lo || "$nic" == bond* ]] && continue
    [[ -d "/sys/class/net/$nic/device/infiniband" ]] && continue
    MGMT_NICS+=("$nic")
  done

  if [ ${#MGMT_NICS[@]} -gt 0 ]; then
    # ---- First boot: rename management NICs ----

    # Primary NIC → bond0
    if [[ -n "$PRIMARY_NIC" ]]; then
      ip link set dev "$PRIMARY_NIC" down
      ip link set dev "$PRIMARY_NIC" name bond0
      ip link set dev bond0 up
      echo "  $PRIMARY_NIC → bond0 (primary)"
      BOND_IDX=1
    fi

    # Remaining NICs → bond1, bond2, ... sorted by PCI bus address
    SORTED=$(for n in "${MGMT_NICS[@]}"; do
      [[ "$n" == "$PRIMARY_NIC" ]] && continue
      pci=$(basename "$(readlink -f "/sys/class/net/$n/device")" 2>/dev/null || echo "zzzz")
      echo "$pci $n"
    done | sort | awk '{print $2}')

    for nic in $SORTED; do
      if ip link show "$nic" &>/dev/null; then
        ip link set dev "$nic" down
        ip link set dev "$nic" name "bond${BOND_IDX}"
        ip link set dev "bond${BOND_IDX}" up
        echo "  $nic → bond${BOND_IDX}"
        BOND_IDX=$((BOND_IDX + 1))
      fi
    done
    MGMT_COUNT=$BOND_IDX

    # Update NM connection profile for primary NIC
    if [[ -n "$PRIMARY_NIC" ]]; then
      for nmf in /etc/NetworkManager/system-connections/*.nmconnection; do
        [ -f "$nmf" ] || continue
        if grep -q "interface-name=${PRIMARY_NIC}" "$nmf" 2>/dev/null; then
          sed -i "s/interface-name=${PRIMARY_NIC}/interface-name=bond0/" "$nmf"
          sed -i "s/id=${PRIMARY_NIC}/id=bond0/" "$nmf"
          nmcli connection reload 2>/dev/null || true
          echo "  Updated NM profile: ${PRIMARY_NIC} → bond0"
          break
        fi
      done
    fi

    # Create udev rules for persistent naming across reboots (one-time)
    UDEV_RULE="/etc/udev/rules.d/70-a4x-bond-rename.rules"
    if [ ! -f "$UDEV_RULE" ]; then
      : > "$UDEV_RULE"
      for bidx in $(seq 0 $((MGMT_COUNT - 1))); do
        PCI=$(basename "$(readlink -f "/sys/class/net/bond${bidx}/device")" 2>/dev/null || true)
        [ -n "$PCI" ] && echo "SUBSYSTEM==\"net\", ACTION==\"add\", KERNELS==\"$PCI\", NAME=\"bond${bidx}\"" >> "$UDEV_RULE"
      done
      echo "  Created udev rules for ${MGMT_COUNT} management NICs"
    fi
  else
    # ---- Reboot: management NICs already named by udev ----
    while ip link show "bond${BOND_IDX}" &>/dev/null; do
      BOND_IDX=$((BOND_IDX + 1))
    done
    [ $BOND_IDX -gt 0 ] && echo "  Management NICs already renamed (bond0-bond$((BOND_IDX - 1)))"
    MGMT_COUNT=$BOND_IDX
  fi

  # ---- RDMA IB devices (runtime rename, needs every boot) ----
  for rdev in $(rdma dev 2>/dev/null | awk '{print $2}' | sed 's/:$//' | sort); do
    [[ "$rdev" == bond* ]] && continue
    if rdma dev set "$rdev" name "bond${BOND_IDX}" 2>/dev/null; then
      echo "  $rdev → bond${BOND_IDX}"
      BOND_IDX=$((BOND_IDX + 1))
    fi
  done

  RDMA_COUNT=$((BOND_IDX - MGMT_COUNT))
  echo "  --- Result: ${MGMT_COUNT} mgmt + ${RDMA_COUNT} RDMA = ${BOND_IDX} total ---"
  ip -br link show type ether 2>/dev/null || true
  rdma link show 2>/dev/null || true
fi

if [ -f "$INIT_STAMP" ]; then
  echo "Customer initialization already completed. Skipping."
  exit 0
fi

echo "================================================================"
echo "  TLinux 4 v5.3 — Startup Script (v2 Universal)"
echo "  $(date)"
echo "================================================================"

###############################################################################
# [1] Boot disk partitioning: /usr/local (20G) + /data (remaining)
###############################################################################
echo "=== [1] Boot disk partitioning ==="

BOOT_DEV=$(findmnt -n -o SOURCE / | sed 's/p[0-9]*$//')
PARTITION_STAMP=/etc/.partitions-created

if [ ! -f "$PARTITION_STAMP" ]; then
  echo "--- Creating boot disk partitions (1TB disk) ---"

  sgdisk -e "$BOOT_DEV" 2>/dev/null || true

  sgdisk -n 3:0:+20G -t 3:8300 "$BOOT_DEV"
  sgdisk -n 4:0:0 -t 4:8300 "$BOOT_DEV"
  partprobe "$BOOT_DEV" 2>/dev/null || true
  sleep 2

  mkfs.xfs -f "${BOOT_DEV}p3"
  mkfs.xfs -f "${BOOT_DEV}p4"

  TMPMNT=$(mktemp -d)
  mount "${BOOT_DEV}p3" "$TMPMNT"
  cp -a /usr/local/. "$TMPMNT/" 2>/dev/null || true
  umount "$TMPMNT"
  rmdir "$TMPMNT"

  mount "${BOOT_DEV}p3" /usr/local
  mkdir -p /data
  mount "${BOOT_DEV}p4" /data

  P3_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p3")
  P4_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p4")
  if [ -n "$P3_UUID" ] && ! grep -q "$P3_UUID" /etc/fstab; then
    echo "UUID=$P3_UUID /usr/local xfs defaults,nofail 0 2" >> /etc/fstab
  fi
  if [ -n "$P4_UUID" ] && ! grep -q "$P4_UUID" /etc/fstab; then
    echo "UUID=$P4_UUID /data xfs defaults,nofail 0 2" >> /etc/fstab
  fi

  touch "$PARTITION_STAMP"
  echo "Boot disk partitioned: p3=/usr/local(20G) p4=/data(remaining)"
fi

###############################################################################
# [2] Local SSD RAID0 → /mnt/stateful_partition
###############################################################################
echo "=== [2] Local SSD RAID0 setup ==="

SSD_DEVICES=()
for disk in /dev/nvme*n1; do
  [ -b "$disk" ] || continue
  PART_COUNT=$(lsblk -n -o NAME "$disk" 2>/dev/null | wc -l)
  if [ "$PART_COUNT" -le 1 ]; then
    SSD_DEVICES+=("$disk")
    echo "  Detected local SSD: $disk ($(lsblk -n -d -o SIZE "$disk"))"
  fi
done

NUM_SSDS=${#SSD_DEVICES[@]}
echo "  Found $NUM_SSDS local SSD device(s)"

if [ "$NUM_SSDS" -gt 0 ]; then
  MOUNT_POINT="/mnt/stateful_partition"
  mkdir -p "$MOUNT_POINT"

  if [ "$NUM_SSDS" -eq 1 ]; then
    TARGET_DEV="${SSD_DEVICES[0]}"
    mkfs.xfs -f "$TARGET_DEV"
    mount "$TARGET_DEV" "$MOUNT_POINT"
    DEV_UUID=$(blkid -s UUID -o value "$TARGET_DEV")
    if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
      echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
    fi
  else
    mdadm --stop /dev/md0 2>/dev/null || true
    mdadm --create /dev/md0 --level=0 --raid-devices="$NUM_SSDS" "${SSD_DEVICES[@]}" --force --run
    mkfs.xfs -f /dev/md0
    mount /dev/md0 "$MOUNT_POINT"
    mkdir -p /etc/mdadm
    mdadm --detail --scan >> /etc/mdadm/mdadm.conf
    DEV_UUID=$(blkid -s UUID -o value /dev/md0)
    if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
      echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
    fi
  fi

  mkdir -p "$MOUNT_POINT"/{gcsfuse-cache,scratch-data}
  echo "$MOUNT_POINT mounted (total: $(df -h "$MOUNT_POINT" | awk 'NR==2{print $2}'))"
else
  echo "WARNING: No local SSD devices found"
  mkdir -p /mnt/stateful_partition
fi

###############################################################################
# [3] sshd port 22 + 56000
###############################################################################
echo "=== [3] sshd port 22 + 56000 ==="

SSHD_CHANGED=0
if ! grep -q '^Port 22' /etc/ssh/sshd_config; then
  sed -i '1i Port 22' /etc/ssh/sshd_config
  SSHD_CHANGED=1
fi
if ! grep -q '^Port 56000' /etc/ssh/sshd_config; then
  sed -i '/^Port 22/a Port 56000' /etc/ssh/sshd_config
  SSHD_CHANGED=1
fi
if [ "$SSHD_CHANGED" -eq 1 ]; then
  systemctl restart sshd
  echo "sshd now listening on port 22 and 56000"
else
  echo "sshd ports 22 and 56000 already configured"
fi

###############################################################################
# Verification
###############################################################################
echo ""
echo "================================================================"
echo "  Verification"
echo "================================================================"

echo "--- OS ---"
cat /etc/os-release | head -3
echo "Kernel: $(uname -r)"

if lspci 2>/dev/null | grep -qi 'NVIDIA'; then
  echo ""
  echo "--- GPU ---"
  nvidia-smi -L 2>&1 | head -4
  echo "Persistence: $(nvidia-smi -q 2>/dev/null | grep 'Persistence Mode' | head -1 || echo N/A)"
  echo "IMEX: $(ls /dev/nvidia-caps-imex-channels/ 2>&1)"
fi

echo ""
echo "--- Network ---"
ip -br link show type ether 2>/dev/null || true
echo "RDMA: $(rdma link show 2>/dev/null | awk '{print $2}' | tr '\n' ', ' || echo N/A)"

echo ""
echo "--- Disk ---"
df -h /usr/local /data /mnt/stateful_partition 2>/dev/null | grep -v Filesystem

echo ""
echo "--- SSH ---"
echo "Ports: $(grep '^Port' /etc/ssh/sshd_config | awk '{print $2}' | tr '\n' ', ')"

touch "$INIT_STAMP"
echo ""
echo "================================================================"
echo "  Startup complete at $(date)"
echo "================================================================"

Internal 版本 (tlinux4-internal-init-v2.sh)

功能:Customer 所有功能 + k8s worker 环境配置 (containerd + nvidia-ctk + kubeadm join)

#!/bin/bash
# TLinux 4 (TencentOS Server 4.0) — v2 Universal Startup Script (Internal)
# Includes k8s worker setup (containerd + nvidia-ctk + kubeadm join)
#
# v5.3 镜像已内置: NVIDIA driver, GVE, IDPF, IMEX, GDRCopy, nvidia-persistenced,
#                   SELinux/firewalld disabled, memlock unlimited, sudoers, SSH
#
# 本脚本负责: 文件系统初始化 + sshd 22/56000 端口 + 网卡自动改名 (bond0-N) + k8s worker
#
# 网卡改名策略 (自动适配 GB200/GB300):
#   管理网卡 (GVNIC/IDPF): 主网卡(默认路由)→bond0, 其余按PCI地址排序→bond1, ...
#   RDMA IB设备 (mlx5_X):  按设备名排序, 接续管理网卡编号→bondN, bondN+1, ...
#   GB200 结果: bond0-1 (2×GVNIC) + bond2-5 (4×CX-7)  = 6 interfaces
#   GB300 结果: bond0-1 (2×IDPF)  + bond2-9 (8×CX-8)  = 10 interfaces
set -euo pipefail
exec > >(tee /var/log/tlinux4-internal-init.log) 2>&1

K8S_VERSION="1.34"
K8S_PATCH="1.34.9"
INIT_STAMP=/etc/.internal-init-done

###############################################################################
# Network interface rename (auto-detect) — runs every boot
###############################################################################
if rdma link show 2>/dev/null | grep -q .; then
  echo "=== Network interface rename (auto-detect) ==="
  BOND_IDX=0

  # Detect primary NIC (carries default route)
  PRIMARY_NIC=$(ip route show default 2>/dev/null | awk '{print $5}' | head -1)

  # Collect physical ethernet NICs needing rename
  MGMT_NICS=()
  for devpath in /sys/class/net/*/device; do
    [ -e "$devpath" ] || continue
    nic=$(basename "$(dirname "$devpath")")
    [[ "$nic" == lo || "$nic" == bond* ]] && continue
    [[ -d "/sys/class/net/$nic/device/infiniband" ]] && continue
    MGMT_NICS+=("$nic")
  done

  if [ ${#MGMT_NICS[@]} -gt 0 ]; then
    # ---- First boot: rename management NICs ----

    # Primary NIC → bond0
    if [[ -n "$PRIMARY_NIC" ]]; then
      ip link set dev "$PRIMARY_NIC" down
      ip link set dev "$PRIMARY_NIC" name bond0
      ip link set dev bond0 up
      echo "  $PRIMARY_NIC → bond0 (primary)"
      BOND_IDX=1
    fi

    # Remaining NICs → bond1, bond2, ... sorted by PCI bus address
    SORTED=$(for n in "${MGMT_NICS[@]}"; do
      [[ "$n" == "$PRIMARY_NIC" ]] && continue
      pci=$(basename "$(readlink -f "/sys/class/net/$n/device")" 2>/dev/null || echo "zzzz")
      echo "$pci $n"
    done | sort | awk '{print $2}')

    for nic in $SORTED; do
      if ip link show "$nic" &>/dev/null; then
        ip link set dev "$nic" down
        ip link set dev "$nic" name "bond${BOND_IDX}"
        ip link set dev "bond${BOND_IDX}" up
        echo "  $nic → bond${BOND_IDX}"
        BOND_IDX=$((BOND_IDX + 1))
      fi
    done
    MGMT_COUNT=$BOND_IDX

    # Update NM connection profile for primary NIC
    if [[ -n "$PRIMARY_NIC" ]]; then
      for nmf in /etc/NetworkManager/system-connections/*.nmconnection; do
        [ -f "$nmf" ] || continue
        if grep -q "interface-name=${PRIMARY_NIC}" "$nmf" 2>/dev/null; then
          sed -i "s/interface-name=${PRIMARY_NIC}/interface-name=bond0/" "$nmf"
          sed -i "s/id=${PRIMARY_NIC}/id=bond0/" "$nmf"
          nmcli connection reload 2>/dev/null || true
          echo "  Updated NM profile: ${PRIMARY_NIC} → bond0"
          break
        fi
      done
    fi

    # Create udev rules for persistent naming across reboots (one-time)
    UDEV_RULE="/etc/udev/rules.d/70-a4x-bond-rename.rules"
    if [ ! -f "$UDEV_RULE" ]; then
      : > "$UDEV_RULE"
      for bidx in $(seq 0 $((MGMT_COUNT - 1))); do
        PCI=$(basename "$(readlink -f "/sys/class/net/bond${bidx}/device")" 2>/dev/null || true)
        [ -n "$PCI" ] && echo "SUBSYSTEM==\"net\", ACTION==\"add\", KERNELS==\"$PCI\", NAME=\"bond${bidx}\"" >> "$UDEV_RULE"
      done
      echo "  Created udev rules for ${MGMT_COUNT} management NICs"
    fi
  else
    # ---- Reboot: management NICs already named by udev ----
    while ip link show "bond${BOND_IDX}" &>/dev/null; do
      BOND_IDX=$((BOND_IDX + 1))
    done
    [ $BOND_IDX -gt 0 ] && echo "  Management NICs already renamed (bond0-bond$((BOND_IDX - 1)))"
    MGMT_COUNT=$BOND_IDX
  fi

  # ---- RDMA IB devices (runtime rename, needs every boot) ----
  for rdev in $(rdma dev 2>/dev/null | awk '{print $2}' | sed 's/:$//' | sort); do
    [[ "$rdev" == bond* ]] && continue
    if rdma dev set "$rdev" name "bond${BOND_IDX}" 2>/dev/null; then
      echo "  $rdev → bond${BOND_IDX}"
      BOND_IDX=$((BOND_IDX + 1))
    fi
  done

  RDMA_COUNT=$((BOND_IDX - MGMT_COUNT))
  echo "  --- Result: ${MGMT_COUNT} mgmt + ${RDMA_COUNT} RDMA = ${BOND_IDX} total ---"
  ip -br link show type ether 2>/dev/null || true
  rdma link show 2>/dev/null || true
fi

# v5.3 image has stale stamp from build; remove if partitions not yet created
if [ -f "$INIT_STAMP" ] && [ ! -f "/etc/.partitions-created" ]; then
  echo "Removing stale init stamp from image build..."
  rm -f "$INIT_STAMP"
fi

if [ -f "$INIT_STAMP" ]; then
  echo "Internal initialization already completed. Skipping."
  exit 0
fi

echo "================================================================"
echo "  TLinux 4 v5.3 — Internal Test Startup Script (v2 Universal)"
echo "  $(date)"
echo "================================================================"

###############################################################################
# [1] Boot disk partitioning: /usr/local (20G) + /data (remaining)
###############################################################################
echo "=== [1] Boot disk partitioning ==="

BOOT_DEV=$(findmnt -n -o SOURCE / | sed 's/p[0-9]*$//')
PARTITION_STAMP=/etc/.partitions-created

if [ ! -f "$PARTITION_STAMP" ]; then
  echo "--- Creating boot disk partitions (1TB disk) ---"

  sgdisk -e "$BOOT_DEV" 2>/dev/null || true

  sgdisk -n 3:0:+20G -t 3:8300 "$BOOT_DEV"
  sgdisk -n 4:0:0 -t 4:8300 "$BOOT_DEV"
  partprobe "$BOOT_DEV" 2>/dev/null || true
  sleep 2

  mkfs.xfs -f "${BOOT_DEV}p3"
  mkfs.xfs -f "${BOOT_DEV}p4"

  TMPMNT=$(mktemp -d)
  mount "${BOOT_DEV}p3" "$TMPMNT"
  cp -a /usr/local/. "$TMPMNT/" 2>/dev/null || true
  umount "$TMPMNT"
  rmdir "$TMPMNT"

  mount "${BOOT_DEV}p3" /usr/local
  mkdir -p /data
  mount "${BOOT_DEV}p4" /data

  P3_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p3")
  P4_UUID=$(blkid -s UUID -o value "${BOOT_DEV}p4")
  if [ -n "$P3_UUID" ] && ! grep -q "$P3_UUID" /etc/fstab; then
    echo "UUID=$P3_UUID /usr/local xfs defaults,nofail 0 2" >> /etc/fstab
  fi
  if [ -n "$P4_UUID" ] && ! grep -q "$P4_UUID" /etc/fstab; then
    echo "UUID=$P4_UUID /data xfs defaults,nofail 0 2" >> /etc/fstab
  fi

  touch "$PARTITION_STAMP"
  echo "Boot disk partitioned: p3=/usr/local(20G) p4=/data(remaining)"
fi

###############################################################################
# [2] Local SSD RAID0 → /mnt/stateful_partition
###############################################################################
echo "=== [2] Local SSD RAID0 setup ==="

SSD_DEVICES=()
for disk in /dev/nvme*n1; do
  [ -b "$disk" ] || continue
  PART_COUNT=$(lsblk -n -o NAME "$disk" 2>/dev/null | wc -l)
  if [ "$PART_COUNT" -le 1 ]; then
    SSD_DEVICES+=("$disk")
    echo "  Detected local SSD: $disk ($(lsblk -n -d -o SIZE "$disk"))"
  fi
done

NUM_SSDS=${#SSD_DEVICES[@]}
echo "  Found $NUM_SSDS local SSD device(s)"

if [ "$NUM_SSDS" -gt 0 ]; then
  MOUNT_POINT="/mnt/stateful_partition"
  mkdir -p "$MOUNT_POINT"

  if [ "$NUM_SSDS" -eq 1 ]; then
    TARGET_DEV="${SSD_DEVICES[0]}"
    mkfs.xfs -f "$TARGET_DEV"
    mount "$TARGET_DEV" "$MOUNT_POINT"
    DEV_UUID=$(blkid -s UUID -o value "$TARGET_DEV")
    if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
      echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
    fi
  else
    mdadm --stop /dev/md0 2>/dev/null || true
    mdadm --create /dev/md0 --level=0 --raid-devices="$NUM_SSDS" "${SSD_DEVICES[@]}" --force --run
    mkfs.xfs -f /dev/md0
    mount /dev/md0 "$MOUNT_POINT"
    mkdir -p /etc/mdadm
    mdadm --detail --scan >> /etc/mdadm/mdadm.conf
    DEV_UUID=$(blkid -s UUID -o value /dev/md0)
    if [ -n "$DEV_UUID" ] && ! grep -q "$DEV_UUID" /etc/fstab; then
      echo "UUID=$DEV_UUID $MOUNT_POINT xfs defaults,nofail 0 2" >> /etc/fstab
    fi
  fi

  mkdir -p "$MOUNT_POINT"/{gcsfuse-cache,scratch-data}
  echo "$MOUNT_POINT mounted (total: $(df -h "$MOUNT_POINT" | awk 'NR==2{print $2}'))"
else
  echo "WARNING: No local SSD devices found"
  mkdir -p /mnt/stateful_partition
fi

###############################################################################
# [3] sshd port 22 + 56000
###############################################################################
echo "=== [3] sshd port 22 + 56000 ==="

SSHD_CHANGED=0
if ! grep -q '^Port 22' /etc/ssh/sshd_config; then
  sed -i '1i Port 22' /etc/ssh/sshd_config
  SSHD_CHANGED=1
fi
if ! grep -q '^Port 56000' /etc/ssh/sshd_config; then
  sed -i '/^Port 22/a Port 56000' /etc/ssh/sshd_config
  SSHD_CHANGED=1
fi
if [ "$SSHD_CHANGED" -eq 1 ]; then
  systemctl restart sshd
  echo "sshd now listening on port 22 and 56000"
else
  echo "sshd ports 22 and 56000 already configured"
fi

###############################################################################
# [4] k8s worker setup (containerd + nvidia-ctk + kubeadm join)
###############################################################################
echo "=== [4] k8s $K8S_VERSION worker setup ==="

# [4.1] Swap off
echo "--- [4.1] Disable swap ---"
swapoff -a
sed -i '/swap/d' /etc/fstab

# [4.2] Kernel modules for k8s
echo "--- [4.2] Kernel modules ---"
cat > /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF
sysctl --system

# [4.3] Install containerd
echo "--- [4.3] containerd ---"
dnf install -y --enablerepo=AppStream container-selinux 2>/dev/null || true
DOCKER_ARCH=$(uname -m)
cat > /etc/yum.repos.d/docker-ce.repo <<REPOEOF
[docker-ce-stable]
name=Docker CE Stable - ${DOCKER_ARCH}
baseurl=https://download.docker.com/linux/rhel/9/${DOCKER_ARCH}/stable
enabled=1
gpgcheck=1
gpgkey=https://download.docker.com/linux/rhel/gpg
REPOEOF
dnf install -y containerd.io
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
mkdir -p /data/containerd
systemctl enable --now containerd

# [4.4] NVIDIA container toolkit
echo "--- [4.4] NVIDIA container toolkit ---"
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
  tee /etc/yum.repos.d/nvidia-container-toolkit.repo
dnf install -y nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=containerd --set-as-default
sed -i "s|root = .*/var/lib/containerd.*|root = \"/data/containerd\"|" /etc/containerd/config.toml
systemctl restart containerd

# [4.5] kubeadm / kubelet / kubectl
echo "--- [4.5] kubeadm/kubelet/kubectl ---"
cat > /etc/yum.repos.d/kubernetes.repo <<REPOEOF
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/rpm/repodata/repomd.xml.key
REPOEOF
dnf install -y --enablerepo=AppStream kubelet-${K8S_PATCH} kubeadm-${K8S_PATCH} kubectl-${K8S_PATCH} conntrack-tools socat iptables ethtool
systemctl enable kubelet

# [4.6] kubeadm join
echo "--- [4.6] kubeadm join ---"
CP_IP=$(curl -sf -H "Metadata-Flavor: Google" \
  http://metadata.google.internal/computeMetadata/v1/instance/attributes/cp-ip 2>/dev/null || true)
JOIN_TOKEN=$(curl -sf -H "Metadata-Flavor: Google" \
  http://metadata.google.internal/computeMetadata/v1/instance/attributes/join-token 2>/dev/null || true)
JOIN_HASH=$(curl -sf -H "Metadata-Flavor: Google" \
  http://metadata.google.internal/computeMetadata/v1/instance/attributes/join-hash 2>/dev/null || true)

NODE_NAME=$(cat /proc/sys/kernel/hostname 2>/dev/null || curl -sf -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/name || echo "unknown")
if [[ -n "$CP_IP" && -n "$JOIN_TOKEN" && -n "$JOIN_HASH" ]]; then
  kubeadm join ${CP_IP}:6443 \
    --token "${JOIN_TOKEN}" \
    --discovery-token-ca-cert-hash "sha256:${JOIN_HASH}" \
    --node-name "${NODE_NAME}" \
    --ignore-preflight-errors=Hostname 2>&1 || echo "kubeadm join failed, manual join required"
else
  echo "Missing CP metadata (cp-ip, join-token, join-hash). Manual join required."
  echo "Run on CP: kubeadm token create --print-join-command"
fi

###############################################################################
# Verification
###############################################################################
echo ""
echo "================================================================"
echo "  Verification"
echo "================================================================"

echo "--- OS ---"
cat /etc/os-release | head -3
echo "Kernel: $(uname -r)"

if lspci 2>/dev/null | grep -qi 'NVIDIA'; then
  echo ""
  echo "--- GPU ---"
  nvidia-smi -L 2>&1 | head -4
  echo "Persistence: $(nvidia-smi -q 2>/dev/null | grep 'Persistence Mode' | head -1 || echo N/A)"
  echo "IMEX: $(ls /dev/nvidia-caps-imex-channels/ 2>&1)"
fi

echo ""
echo "--- Network ---"
ip -br link show type ether 2>/dev/null || true
echo "RDMA: $(rdma link show 2>/dev/null | awk '{print $2}' | tr '\n' ', ' || echo N/A)"

echo ""
echo "--- Services ---"
for svc in containerd kubelet; do
  echo "$svc: $(systemctl is-active $svc 2>/dev/null || echo inactive)"
done

echo ""
echo "--- Disk ---"
df -h /usr/local /data /mnt/stateful_partition 2>/dev/null | grep -v Filesystem

echo ""
echo "--- SSH ---"
echo "Ports: $(grep '^Port' /etc/ssh/sshd_config | awk '{print $2}' | tr '\n' ', ')"

echo ""
echo "--- k8s ---"
kubeadm version 2>/dev/null || echo "kubeadm not installed"

touch "$INIT_STAMP"
echo ""
echo "================================================================"
echo "  Internal initialization complete at $(date)"
echo "================================================================"

v1 → v2 改动对照

部分 v1 (硬编码) v2 (自动检测)
管理网卡检测 硬编码 enp0s3:bond0, enp192s2:bond1 /sys/class/net/*/device 扫描 + 默认路由识别
RDMA 检测 硬编码 for i in 0 1 2 3 rdma dev 动态枚举,数量不限
NM 配置更新 硬编码文件名 enp0s3-gvnic.nmconnection 搜索所有 .nmconnection 匹配 interface-name
udev 规则 硬编码 2 条规则 根据实际管理网卡数量动态生成
RDMA 编号起点 硬编码 bond$((i+2)) 自动接续管理网卡编号
日志输出 输出 mgmt + RDMA 总数和明细 同左,增加自动检测结果汇总
其余部分 — 完全不变 (分区、SSD、sshd、k8s、验证)

附3:asapd-lite DaemonSet YAML (TLinux 适配版)

基于上游 COS 版本适配:asapd-lite-installer-a4x-max-bm-cos.yaml

适配改动: 1. 移除 cloud.google.com/gke-os-distribution: cos nodeAffinity 2. 改用自定义 label node-type: a4x-max(自建 k8s 需手动打标:kubectl label node <node> node-type=a4x-max) 3. 所有 hostPath 挂载为标准 Linux 路径,无需修改

前置条件: - Hugepages:echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages - 节点标签:kubectl label node <node> node-type=a4x-max - 镜像拉取:节点需能访问 us-docker.pkg.dev/gce-ai-infra(需 GCE SA 认证)

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: asapd-lite
  namespace: kube-system
  labels:
    k8s-app: asapd-lite
spec:
  selector:
    matchLabels:
      k8s-app: asapd-lite
  template:
    metadata:
      labels:
        k8s-app: asapd-lite
    spec:
      priorityClassName: system-node-critical
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                  - key: node-type
                    operator: In
                    values:
                      - a4x-max
      tolerations:
      - operator: Exists
      hostNetwork: true
      hostPID: true
      containers:
      - name: asapd-lite
        image: us-docker.pkg.dev/gce-ai-infra/asapd-lite/asapd-lite:v0.0.8
        command: ["/bin/bash", "-c"]
        args:
          - |
            set -x
            /usr/local/bin/run_asapd_lite.sh --run_hairpin_probe=true --hairpin_sender_port_start=12345 --hairpin_receiver_port_start=23456 --metrics_domain=prod
            sleep 15
            DADFAILED_FOUND=0
            INTERFACES=$(ip -o link show | awk -F': ' '{print $2}' | grep 'gpu')
            for iface in $INTERFACES; do
              if ip -6 addr show dev "$iface" | grep -q 'dadfailed'; then
                echo "Found dadfailed on interface $iface. Bringing it down and up."
                ip link set dev "$iface" down
                ip link set dev "$iface" up
                DADFAILED_FOUND=1
              fi
            done
            if [ "$DADFAILED_FOUND" -eq 1 ]; then
              echo "Found and attempted to fix dadfailed on one or more interfaces. Exiting to allow container restart."
              exit 1
            fi
            echo "No dadfailed detected on interfaces."
            wait
        env:
        - name: LD_LIBRARY_PATH
          value: /asapd-lite/controller
        livenessProbe:
          httpGet:
            path: /healthz
            port: 19540
          initialDelaySeconds: 60
        readinessProbe:
          httpGet:
            path: /healthz
            port: 19540
        securityContext:
          privileged: true
        volumeMounts:
        - name: host-sys
          mountPath: /sys
        - name: host-proc
          mountPath: /proc
        - name: host-udev-rules
          mountPath: /etc/udev/rules.d
        - name: host-run-udev
          mountPath: /run/udev
        - name: host-run-asapd-lite
          mountPath: /run/asapd-lite
        - mountPath: /hugepages-2Mi
          name: hugepage-2mi
        - name: var-log-google-asapd-lite
          mountPath: /var/log/google/asapd-lite
        - name: var-lib-google-asapd-lite
          mountPath: /var/lib/google/asapd-lite
        - name: host-systemd-system
          mountPath: /etc/systemd/system
        - name: host-run-systemd
          mountPath: /run/systemd
        resources:
          limits:
            hugepages-2Mi: 8192Mi
            memory: 1024Mi
      - name: netslo-ebpf-manager
        image: us-docker.pkg.dev/gce-ai-infra/netslo-ebpf-manager/ebpf_manager:release
        imagePullPolicy: Always
        command: ["/bin/bash", "-c"]
        args:
          - |
            echo "Waiting for asapd-lite to be healthy..."
            while ! curl -s -o /dev/null http://localhost:19540/healthz; do
              echo "asapd-lite not healthy yet, sleeping..."
              sleep 5
            done
            echo "asapd-lite is healthy. Starting NETSLO eBPF Manager..."
            exec /usr/local/bin/bpf_manager
        securityContext:
          privileged: true
        env:
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        volumeMounts:
        - name: sys-fs-bpf
          mountPath: /sys/fs/bpf
        - name: kernel-debug
          mountPath: /sys/kernel/debug
        - name: lib-modules
          mountPath: /lib/modules
          readOnly: true
        - name: host-sys
          mountPath: /sys
          readOnly: true
        - name: var-log-google-netslo
          mountPath: /var/log/google/netslo-ebpf-manager
      volumes:
      - name: host-sys
        hostPath:
          path: /sys
      - name: host-proc
        hostPath:
          path: /proc
      - name: host-udev-rules
        hostPath:
          path: /etc/udev/rules.d
      - name: host-run-udev
        hostPath:
          path: /run/udev
      - name: host-run-asapd-lite
        hostPath:
          path: /run/asapd-lite
          type: DirectoryOrCreate
      - name: hugepage-2mi
        emptyDir:
          medium: HugePages-2Mi
      - name: var-log-google-asapd-lite
        hostPath:
          path: /var/log/google/asapd-lite
          type: DirectoryOrCreate
      - name: var-lib-google-asapd-lite
        hostPath:
          path: /var/lib/google/asapd-lite
          type: DirectoryOrCreate
      - name: host-systemd-system
        hostPath:
          path: /etc/systemd/system
      - name: host-run-systemd
        hostPath:
          path: /run/systemd
      - name: sys-fs-bpf
        hostPath:
          path: /sys/fs/bpf
          type: DirectoryOrCreate
      - name: kernel-debug
        hostPath:
          path: /sys/kernel/debug
      - name: lib-modules
        hostPath:
          path: /lib/modules
      - name: var-log-google-netslo
        hostPath:
          path: /var/log/google/netslo-ebpf-manager
          type: DirectoryOrCreate
  updateStrategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1%