GB200/GB300 自定义镜像版本改动全记录(v2 → v24)
主线:每个版本主要改了什么。凡涉及 GPU / RDMA 相关驱动的改动,均以 🟩(GPU)/ 🟦(RDMA·网卡)标出, 并在 §5 单独汇总一份驱动演进专题。 数据来源:各版本构建脚本头注与正文(带 文件:行号)、deploy/gb-image-complete-history.md(镜像全史索引)、 goose-goes-blackwell/gb300-image/docs/gb300-doca-version-selection.md(DOCA/OFED 选型调研)。
0. 谱系:三条线,不是一条升级链
| 谱系 |
family |
机型 |
版本范围 |
制镜像方式 |
| 最早 ARM64 GB | tlinux-server-4-gb200/gb300 | GB200/GB300 | v1→v4 | dnf --installroot 从零装 |
| v5.x 生产统一 | tlinux-server-4-gb200/gb300 | GB200/GB300/H100/CPU | v5.2→v5.9 | 客户 qcow2 rsync + chroot |
| GB 统一(腾讯) | tlinux-gb-unified | GB200+GB300 通吃 | v9→v19 | qcow2 全量 + delta 链 |
| 机型分家 | tlinux-gb200 / GB300 不挂 | GB200 或 GB300 | v19dot1 / v20→v24 | delta |
- 硬件:GB200 = A4X(VM),RDMA=ConnectX-7 类、走 IPv4;GB300 = A4X MAX(裸金属),RDMA=CX-8 SuperNIC、走 IPv6-only,GPU↔NIC 走 CX-8 Data Direct 独立 PCIe 树。
- 🟩=GPU 相关驱动改动 🟦=RDMA / 网卡相关驱动改动。
1. 时代 A:最早 ARM64 GB 镜像(installroot)
| 版本 |
主要改了什么 |
| v1 | 基线(仅存 HTML 对比表,无独立脚本) |
| v2 | 🟩 驱动 580.126.20;装 Fabric Manager;用 BLS 引导 |
| v3 | 🟩 NVIDIA 升到 595.71.05;🟩 改用 IMEX 替代 FM(不装 FM) |
| v4 | 🟩 驱动降回 580.159.04 open(此后长期锁定);新增内核处理 Step 3b(cp vmlinuz + dracut);IMEX 依赖 nvidia-modprobe 先装;把 v3 踩坑写进脚本 |
| fix_image v1 | 修「SSH 只监听 IPv6」:AddressFamily inet6→any |
| fix_image v2 | 清空 sshd drop-in、删 ListenAddress,SSH 绑全网卡 |
| fix_image v3 | 加 inet→any、放开 pam_access、强制 PermitRootLogin yes(允 IAP/root 调试) |
| fix_image v4 | 🟦 网络修复:net.ifnames=1→0,防 GB200(gve) eth0 改名致 DHCP 起不来 |
| fix_image v5 | 针对 GB300:UEFI bootloop 补丁(BOOTAA64.EFI fallback)+ SSH 双栈 + 撤销 v4 改名,出 -ipv6-dual |
2. 时代 B:v5.x 生产统一镜像(qcow2 rsync)
| 版本 |
主要改了什么 |
| v5.2 | 基线 |
| v5.3 | 🟩 新增 nvidia-persistenced(GPU 条件化);startup 精简。装:🟩 NVIDIA 580.159.04 open / 🟦 GVE 1.4.10-oot / 🟦 IDPF 1.0.11 / 🟩 GDRCopy 2.6 / 🟩 IMEX / CUDA cudart |
| v5.4 | UEFI NVRAM bootloop 修复(ESP 加 /EFI/BOOT/BOOTAA64.EFI + grub fallback) |
| v5.4-ipv6-dual | 双栈化;最广泛引用的生产统一镜像 |
| v5.6 | 命名谱系中间版(v5.9 的源) |
| v5.7 | NCCL 批量测试节点默认镜像 |
| v5.8 | 多个 -rescue 抢救变体 |
| v5.9 | 🟩 彻底移除 nvidia-imex.service(删三处+disable)+ sshd 双栈化 + 移除自定义 sshd-ipv6.service(源实为 v5.6) |
3. 时代 D:GB 统一镜像(v9 → v19,family tlinux-gb-unified,一份镜像 GB200+GB300 通吃)
| 版本 |
主要改了什么 |
| v9 | 最早基线:qcow2 全量重建(rsync 灌 rootfs,保留原 UUID)。🟩 NVIDIA 580.159.04 open + 🟦 IDPF 1.0.11;🟩 IMEX 默认 disable;🟦 通用 DHCP 网卡(不 pin/不改名)。⚠️🟦 头注声称编 OOT gve 但正文没编(gve 回归伏笔) |
| v17 | 收敛成可复现源码。🟦 网卡改按名 pin gcp-eth0/1;🟦 脚本层加 OOT gve 1.4.10 段(但存量镜像仍误用 in-tree);🟩 IMEX 改默认 enable;SSH host key 冻结 + home 属主自愈;🟩 补 nvidia-persistenced + 关机超时;MDS 防护 + kubelet drop-in;新增 images create 封装 |
| v18 | 把 v17 加固烤进镜像:🟩 nvidia-persistenced enabled + 关机 TimeoutStopSec;MDS 防护 kubelet drop-in。🟩 IMEX 仍 disabled |
| v18dot1 | 🟩 nvidia-imex 由 disabled 改默认 enable + boot-safety drop-in;置为 poc/prod family HEAD |
| v18dot2 | 新增 Lustre Client DDN 2.14(DKMS 真编译,只装 client+userspace,不配 lnet/不 mount) |
| v18dot2*(+gib) | 原地覆盖同名:新增 Google nccl-gib(NCCL/gIB 插件);gib 挪位到 /var/lib/gib + 兼容软链 |
| v18dot3 | 🟦 修 gve 回归事故:in-tree gve 换 OOT gve 1.4.10(治生产 38 台 GB200 因 err=-131 无法 SSH);不覆盖 v18dot2、默认不带 family |
| v19 | 烤入网络三件套 + gib 挪位:① setup=false(治 bond1 抖动);② 🟦 9 个静态 keyfile 10-bond{1..9}(bond1=auto、bond2-9=disabled);③ lustre dispatcher + modprobe lnet 绑 bond1(网段走 metadata 不写死);④ gib 挪位软链 |
4. 时代 E/F:机型分家 + DataDirect + GB300 后续(v19dot1 / v20 → v24)
2026-08-06 用户定案:GB200/GB300 不再合并 unified,按机型分家。DataDirect 只进 GB300。
| 版本 |
机型/family |
主要改了什么 |
| v19dot1 | GB200 / tlinux-gb200 | 🟦 唯一改动:GB200 的 4 张 RDMA keyfile 10-bond{2,3,4,5} 从 ipv4=disabled 改 method=auto+may-fail=true,修跨 rack RoCEv2 拿不到 IP 全挂(生产 38 台确诊) |
| v20 | GB300 / 不设 family | 🟦 首次烤入 DataDirect 三件套:① DOCA-OFED mlnx-ofa_kernel 现编(替换 inbox mlx5、补 data_direct 符号);② nvidia-grdma-override.conf;③ gb300-acs.service(每 boot 重放 PCIe ACS) |
| v20dot2 | GB300 / 不设 family | 🟦 (A) OFED 应急降级 25.10.3.1.8 → 25.07(修 8 网卡全 DOWN 回归);(B) modinfo 加 -k $KVER(构建坑) |
| v21 | GB300 / 无 family | = v19 + 🟦 Data Direct + Lustre 挂载持久化机制层(systemd 依赖表达顺序,解 bond1 改名晚于 fstab 触发的竞态);配套 startup v7.0 |
| v22 | GB300 / 无 family | = v21 + 🟦 网卡命名从 startup 搬进镜像(烤入 udev 76-gb300-nic-name.rules + 校验脚本/service,删失效旧规则);命名从 +143s 提前到 ~10-31s;配套 startup v7.1 |
| v23 | GB300 / 无 family | = v22 + gib 从 rpm 捆绑版换成客户生产同款容器 installer 版(唯一改动 [7f]):rpm 版带 libnccl.so.2.30.4 会顶掉训练镜像自带 NCCL 2.30.7 致训练报错;installer 版不带 libnccl,消除冲突。配套 startup 仍 v7.1 |
| v24(推荐) | GB300 / 无 family | = v23 + 烤入 systemd 全局 NUMA membind(唯一改动 [7g]):NUMAPolicy=bind/NUMAMask=0-1,避免 host 内存落到 GPU HBM(CPU-less NUMA node);需 reboot 生效。⚠️ 见下方风险 |
v24 的三条已接受风险(镜像 description 同样写明):① 门禁被绕过——脚本路径有 25% 余量 BLOCK,烤进镜像后新节点开机无条件生效、无 preflight;② 在跑的机器多数余量不足(2026-08-22 抽样 7 台里 5 台 node0+1 free<25%,最低 15.5%),全局 bind 下目标 node 耗尽=systemd 级故障;③ 镜像烤死不能 rollback,只能换镜像重装。未验证项:容器进程一级 NUMA 继承链(shim→容器)仅验到 containerd,未实测。
版本配对硬约束:v21↔startup v7.0、v22/v23/v24↔startup v7.1;配错→8 张 RDMA 全 DOWN(表面正常,只有 rdma link show 看得出)。当前生产默认 v24 + v7.1。
5. GPU / RDMA 相关驱动变更专题(汇总)
把散落在各版本里的驱动改动集中到一起,方便快速核对。先说结论,回应两个常见印象:
- 「GPU 驱动一开始就定下来了」——大方向对:从 v4 / v5.3 起锁定
580.159.04 open,此后 v9→v24 未变;但最早 v2→v3 有过 580.126→595 的插曲,v4 才降回锁定。
- 「后面大变化是加 DOCA-OFED 开 Data Direct」——完全正确:这是 RDMA 侧唯一的重大驱动变化(v20 起,仅 GB300)。
5.1 GPU 驱动(NVIDIA)
- 驱动版本:v2=
580.126.20 → v3=595.71.05 → v4 起 580.159.04(open),v5.x / v9→v24 全程不变(build-tlinux4-v4.sh:8;build-gb-image-v17.sh:56)。
- open 内核模块是刻意选择:只有 open 才支持 DMA-BUF / GPUDirect RDMA / NVSwitch P2P(GPU 与 RDMA 打通的前提)。
- Fabric Manager:v2 装过,v3 起全谱系不装,用 IMEX 替代(A4X Shared NVSwitch 由 hypervisor 管)。
- IMEX 开关反复(驱动本体没变):v9=disable → v17=enable → v18=disable → v18dot1 起=enable(至 v24)。
- gdrcopy:仅 v5.3 装
2.6;GB 统一线(v9→v24)明确不装。
- nvidia-persistenced:v5.3 引入,v17 起烤进 GB 统一线 + 关机超时封顶。
5.2 RDMA 数据网卡驱动(mlx5)—— 唯一的重大变化
| 阶段 |
版本 |
mlx5 内核驱动 |
Data Direct |
| 早期~统一线 | v2 → v19 / v19dot1 | 内核 inbox mlx5(随内核,不单独编) | ❌(6.6.119 不认 CX-8 15b3:2100) |
| DataDirect | v20 → v24 | DOCA-OFED mlnx-ofa_kernel 现编替换 inbox | ✅(仅 GB300) |
- 十几个版本里 RDMA 数据面一直吃内核自带 mlx5,谁都没碰;v20 才第一次换成 OFED 现编,给 inbox mlx5 backport
data_direct(内核 6.12 才进主线)(v20:19,87-115)。
- inbox 版本串
25.10-1.2.2,换 OFED 后 modinfo mlx5_core=25.10-3.1.8。
- 收益(实测):跨机 NCCL 16G alltoall
98.5 → 167.9 GB/s ≈ 1.70×;all_reduce busBW DD ON 516 vs OFF 329 ≈ 1.56×(gb300-doca-version-selection.md:§1)。
DOCA-OFED 版本的反复(易踩雷):
| 记录 |
版本 |
缘由 |
| v20 首装 | 25.10.3.1.8 / DOCA 3.2.3 | 首次引入 |
| v20dot2 应急降级 | 25.07 / DOCA 3.1.0 | 25.10.3.1.8 把固件 40.46.7004 早期 health hiccup 当致命→8 网卡全 DOWN;25.07 能恢复(v20dot2:38-42) |
| 最终定案(goose repo v20系 + v21→v24) | 25.10.3.1.8.1 / DOCA 3.2.3 LTS25-U3 | data_direct.c 在两版逐字节相同(换版本无性能收益);但 25.07 已冻结且低于 NVIDIA data direct 要求的 DOCA Host ≥3.2.0 底线;3.2.3 是 GB200/GB300 共同认证 LTS 至 2028。26.x 全不碰(3.3.0 CX-8 panic / 3.4.x 劝退)(README.md:887-891) |
- NIC 固件不刷:车队跑
40.46.7004(官方底线 40.47.1026),实测该固件下 DD 可用,不作阻塞项(非 NVIDIA 支持承诺)。
- RDMA 用户态栈:installroot 时代起装
rdma-core/libibverbs/...;v20 起 DOCA-OFED userspace 放容器镜像里、不烤进 OS 镜像(换自研训练镜像须自补)。
5.3 管理/前端网卡驱动(GVE / IDPF)—— 不是 RDMA,常被误认
| 驱动 |
机型 |
演进 |
| GVE | GB200 前端网卡 | v5.3=OOT 1.4.10;v9 头注声称编 OOT 却没编、v17/v18/v18dot1/v18dot2 存量镜像误用 in-tree gve→生产 38 台 GB200 err=-131 无法 SSH→v18dot3 换回 OOT 1.4.10 修复,v19→v24 沿用 |
| IDPF | GB300 管理网卡 | Intel OOT 1.0.11,v9→v24 全程一致(6.6 内核无 in-tree,须现编) |
GVE 回归是全史最严重事故,但它是前端网卡驱动问题,不影响 RDMA 数据面(mlx5)。
6. 出处清单
- 镜像全史索引:
deploy/gb-image-complete-history.md(已更新到 v24)。
- 构建脚本:
deploy/scripts/build-gb-image-*.sh(v17→v20dot2);goose-goes-blackwell/gb300-image/build-scripts/build-gb-image-v2{1,2,3,4}-*.sh。
- 早期:
hy/scripts/build-tlinux4-v{3,4}.sh;v5.x:hy/build-v53-image*.sh;v9:deploy/archive/old-build-scripts/build-image-v9.sh。
- DOCA/OFED 选型:
goose-goes-blackwell/gb300-image/docs/gb300-doca-version-selection.md。
- goose 交付说明:
goose-goes-blackwell/gb300-image/README.md。