GB200/GB300 自定义镜像版本改动全记录(v2 → v24)

主线:每个版本主要改了什么。凡涉及 GPU / RDMA 相关驱动的改动,均以 🟩(GPU)/ 🟦(RDMA·网卡)标出, 并在 §5 单独汇总一份驱动演进专题。 数据来源:各版本构建脚本头注与正文(带 文件:行号)、deploy/gb-image-complete-history.md(镜像全史索引)、 goose-goes-blackwell/gb300-image/docs/gb300-doca-version-selection.md(DOCA/OFED 选型调研)。


0. 谱系:三条线,不是一条升级链

谱系 family 机型 版本范围 制镜像方式
最早 ARM64 GBtlinux-server-4-gb200/gb300GB200/GB300v1→v4dnf --installroot 从零装
v5.x 生产统一tlinux-server-4-gb200/gb300GB200/GB300/H100/CPUv5.2→v5.9客户 qcow2 rsync + chroot
GB 统一(腾讯)tlinux-gb-unifiedGB200+GB300 通吃v9→v19qcow2 全量 + delta 链
机型分家tlinux-gb200 / GB300 不挂GB200 或 GB300v19dot1 / v20→v24delta

1. 时代 A:最早 ARM64 GB 镜像(installroot)

版本 主要改了什么
v1基线(仅存 HTML 对比表,无独立脚本)
v2🟩 驱动 580.126.20;装 Fabric Manager;用 BLS 引导
v3🟩 NVIDIA 升到 595.71.05;🟩 改用 IMEX 替代 FM(不装 FM)
v4🟩 驱动降回 580.159.04 open(此后长期锁定);新增内核处理 Step 3b(cp vmlinuz + dracut);IMEX 依赖 nvidia-modprobe 先装;把 v3 踩坑写进脚本
fix_image v1修「SSH 只监听 IPv6」:AddressFamily inet6→any
fix_image v2清空 sshd drop-in、删 ListenAddress,SSH 绑全网卡
fix_image v3加 inet→any、放开 pam_access、强制 PermitRootLogin yes(允 IAP/root 调试)
fix_image v4🟦 网络修复:net.ifnames=1→0,防 GB200(gve) eth0 改名致 DHCP 起不来
fix_image v5针对 GB300:UEFI bootloop 补丁(BOOTAA64.EFI fallback)+ SSH 双栈 + 撤销 v4 改名,出 -ipv6-dual

2. 时代 B:v5.x 生产统一镜像(qcow2 rsync)

版本 主要改了什么
v5.2基线
v5.3🟩 新增 nvidia-persistenced(GPU 条件化);startup 精简。装:🟩 NVIDIA 580.159.04 open / 🟦 GVE 1.4.10-oot / 🟦 IDPF 1.0.11 / 🟩 GDRCopy 2.6 / 🟩 IMEX / CUDA cudart
v5.4UEFI NVRAM bootloop 修复(ESP 加 /EFI/BOOT/BOOTAA64.EFI + grub fallback)
v5.4-ipv6-dual双栈化;最广泛引用的生产统一镜像
v5.6命名谱系中间版(v5.9 的源)
v5.7NCCL 批量测试节点默认镜像
v5.8多个 -rescue 抢救变体
v5.9🟩 彻底移除 nvidia-imex.service(删三处+disable)+ sshd 双栈化 + 移除自定义 sshd-ipv6.service(源实为 v5.6)

3. 时代 D:GB 统一镜像(v9 → v19,family tlinux-gb-unified,一份镜像 GB200+GB300 通吃)

版本 主要改了什么
v9最早基线:qcow2 全量重建(rsync 灌 rootfs,保留原 UUID)。🟩 NVIDIA 580.159.04 open + 🟦 IDPF 1.0.11;🟩 IMEX 默认 disable;🟦 通用 DHCP 网卡(不 pin/不改名)。⚠️🟦 头注声称编 OOT gve 但正文没编(gve 回归伏笔)
v17收敛成可复现源码。🟦 网卡改按名 pin gcp-eth0/1;🟦 脚本层加 OOT gve 1.4.10 段(但存量镜像仍误用 in-tree);🟩 IMEX 改默认 enable;SSH host key 冻结 + home 属主自愈;🟩 补 nvidia-persistenced + 关机超时;MDS 防护 + kubelet drop-in;新增 images create 封装
v18把 v17 加固烤进镜像:🟩 nvidia-persistenced enabled + 关机 TimeoutStopSec;MDS 防护 kubelet drop-in。🟩 IMEX 仍 disabled
v18dot1🟩 nvidia-imex 由 disabled 改默认 enable + boot-safety drop-in;置为 poc/prod family HEAD
v18dot2新增 Lustre Client DDN 2.14(DKMS 真编译,只装 client+userspace,不配 lnet/不 mount)
v18dot2*(+gib)原地覆盖同名:新增 Google nccl-gib(NCCL/gIB 插件);gib 挪位到 /var/lib/gib + 兼容软链
v18dot3🟦 修 gve 回归事故:in-tree gve 换 OOT gve 1.4.10(治生产 38 台 GB200 因 err=-131 无法 SSH);不覆盖 v18dot2、默认不带 family
v19烤入网络三件套 + gib 挪位:① setup=false(治 bond1 抖动);② 🟦 9 个静态 keyfile 10-bond{1..9}(bond1=auto、bond2-9=disabled);③ lustre dispatcher + modprobe lnet 绑 bond1(网段走 metadata 不写死);④ gib 挪位软链

4. 时代 E/F:机型分家 + DataDirect + GB300 后续(v19dot1 / v20 → v24)

2026-08-06 用户定案:GB200/GB300 不再合并 unified,按机型分家。DataDirect 只进 GB300。

版本 机型/family 主要改了什么
v19dot1GB200 / tlinux-gb200🟦 唯一改动:GB200 的 4 张 RDMA keyfile 10-bond{2,3,4,5} 从 ipv4=disabled 改 method=auto+may-fail=true,修跨 rack RoCEv2 拿不到 IP 全挂(生产 38 台确诊)
v20GB300 / 不设 family🟦 首次烤入 DataDirect 三件套:① DOCA-OFED mlnx-ofa_kernel 现编(替换 inbox mlx5、补 data_direct 符号);② nvidia-grdma-override.conf;③ gb300-acs.service(每 boot 重放 PCIe ACS)
v20dot2GB300 / 不设 family🟦 (A) OFED 应急降级 25.10.3.1.8 → 25.07(修 8 网卡全 DOWN 回归);(B) modinfo 加 -k $KVER(构建坑)
v21GB300 / 无 family= v19 + 🟦 Data Direct + Lustre 挂载持久化机制层(systemd 依赖表达顺序,解 bond1 改名晚于 fstab 触发的竞态);配套 startup v7.0
v22GB300 / 无 family= v21 + 🟦 网卡命名从 startup 搬进镜像(烤入 udev 76-gb300-nic-name.rules + 校验脚本/service,删失效旧规则);命名从 +143s 提前到 ~10-31s;配套 startup v7.1
v23GB300 / 无 family= v22 + gib 从 rpm 捆绑版换成客户生产同款容器 installer 版(唯一改动 [7f]):rpm 版带 libnccl.so.2.30.4 会顶掉训练镜像自带 NCCL 2.30.7 致训练报错;installer 版不带 libnccl,消除冲突。配套 startup 仍 v7.1
v24(推荐)GB300 / 无 family= v23 + 烤入 systemd 全局 NUMA membind(唯一改动 [7g]):NUMAPolicy=bind/NUMAMask=0-1,避免 host 内存落到 GPU HBM(CPU-less NUMA node);需 reboot 生效。⚠️ 见下方风险

v24 的三条已接受风险(镜像 description 同样写明):① 门禁被绕过——脚本路径有 25% 余量 BLOCK,烤进镜像后新节点开机无条件生效、无 preflight;② 在跑的机器多数余量不足(2026-08-22 抽样 7 台里 5 台 node0+1 free<25%,最低 15.5%),全局 bind 下目标 node 耗尽=systemd 级故障;③ 镜像烤死不能 rollback,只能换镜像重装。未验证项:容器进程一级 NUMA 继承链(shim→容器)仅验到 containerd,未实测。

版本配对硬约束:v21↔startup v7.0、v22/v23/v24↔startup v7.1;配错→8 张 RDMA 全 DOWN(表面正常,只有 rdma link show 看得出)。当前生产默认 v24 + v7.1。


5. GPU / RDMA 相关驱动变更专题(汇总)

把散落在各版本里的驱动改动集中到一起,方便快速核对。先说结论,回应两个常见印象:

5.1 GPU 驱动(NVIDIA)

5.2 RDMA 数据网卡驱动(mlx5)—— 唯一的重大变化

阶段 版本 mlx5 内核驱动 Data Direct
早期~统一线v2 → v19 / v19dot1内核 inbox mlx5(随内核,不单独编)❌(6.6.119 不认 CX-8 15b3:2100)
DataDirectv20 → v24DOCA-OFED mlnx-ofa_kernel 现编替换 inbox✅(仅 GB300)

DOCA-OFED 版本的反复(易踩雷):

记录 版本 缘由
v20 首装25.10.3.1.8 / DOCA 3.2.3首次引入
v20dot2 应急降级25.07 / DOCA 3.1.025.10.3.1.8 把固件 40.46.7004 早期 health hiccup 当致命→8 网卡全 DOWN;25.07 能恢复(v20dot2:38-42)
最终定案(goose repo v20系 + v21→v24)25.10.3.1.8.1 / DOCA 3.2.3 LTS25-U3data_direct.c 在两版逐字节相同(换版本无性能收益);但 25.07 已冻结且低于 NVIDIA data direct 要求的 DOCA Host ≥3.2.0 底线;3.2.3 是 GB200/GB300 共同认证 LTS 至 2028。26.x 全不碰(3.3.0 CX-8 panic / 3.4.x 劝退)(README.md:887-891)

5.3 管理/前端网卡驱动(GVE / IDPF)—— 不是 RDMA,常被误认

驱动 机型 演进
GVEGB200 前端网卡v5.3=OOT 1.4.10;v9 头注声称编 OOT 却没编、v17/v18/v18dot1/v18dot2 存量镜像误用 in-tree gve→生产 38 台 GB200 err=-131 无法 SSH→v18dot3 换回 OOT 1.4.10 修复,v19→v24 沿用
IDPFGB300 管理网卡Intel OOT 1.0.11,v9→v24 全程一致(6.6 内核无 in-tree,须现编)

GVE 回归是全史最严重事故,但它是前端网卡驱动问题,不影响 RDMA 数据面(mlx5)。


6. 出处清单