GB200 / GB300(A4X / A4X MAX)运维手册
适用范围:Google Cloud 上以自建镜像(TLinux)+ 自建 Kubernetes 运行的 GB200(A4X,a4x-highgpu-4g,VM)与 GB300(A4X MAX,a4x-maxgpu-4g-metal,裸金属)集群。速查为主:第 1 章关键约束,第 2 章高频操作,第 3 章故障升级链,第 4 章报障,第 5 章监控,第 6 章自动化建议;正文关键接口内联官方链接,附录 D 是按主题分组的官方文档总表。
命令约定:以 gcloud 直连生产 project tencent-gcp-taiji,占位符 <INSTANCE>、<ZONE> 的真实取值见第 0 章。k8s 集群侧命令依各自集群工具而异,本手册只给流程。
出处标注:【官方】官方文档已核实、【CLI】以 gcloud ... --help 为准、【实测】一手实测(官方未文档化)、【待核】官方页失效或未文档化、需复核。
0. 环境速查表
| 项 | GB200 / A4X | GB300 / A4X MAX |
|---|---|---|
| 机型 | a4x-highgpu-4g(VM) | a4x-maxgpu-4g-metal(裸金属) |
| 生产 project | tencent-gcp-taiji | tencent-gcp-taiji |
| Zone | us-east1-d | us-central1-b |
| Reservation | nvidia-gb200-xvb8jh1huhy5y | nvidia-gb300-dxkhoz4ypk4mh |
| 每节点 GPU | 4 × Blackwell | 4 × Blackwell |
| NVLink 域(NVL72) | 18 节点 = 72 GPU | 18 节点 = 72 GPU |
| 前端网卡 | 2 × gVNIC(GB200 驱动) | 2 × IDPF(GB300 驱动) |
| RDMA 网卡 | 4 × CX-7(400 Gbps/GPU) | 8 × CX-8 SuperNIC(800 Gbps/GPU),IPv6-only |
| 关机/释放后果 | 无消毒,可正常删/重建 | stop/delete→该 host 消毒 ~1h,不锁整域(见 §1.1) |
| 维护行为 | 维护即停机(TERMINATE),不支持热迁移 | 同左 |
| 维护通知窗口 | 计划维护提前 90 天预告;执行停机前 10 分钟硬通知(见 §1.4) | 同左 |
| 镜像 | family tlinux-gb-unified(HEAD v19) | 同左 |
| SSH 端口 | 22 与 56000 | 22 与 56000 |
| 网卡命名 | bond0=管理, bond1=lustre, bond2..N=RDMA | 同左(GB300 约 bond2..bond9) |
1. 关键约束(先看)
1.1 GB300 关机/删除 = 该 host 消毒 ~1 小时(裸金属特性,不锁整域)
GB300 是裸金属实例。任意一台 GB300 stop 或 delete,会触发该实例所在物理 host 的"消毒(sanitization / Attested Power Cycle)":NVMe 深度擦除、固件刷新、断电重启、安全启动验证;收到 cryptographic proof 前该 host 被锁定、不可再分配。 这段时间该 host 在 reservation 里表现为 degradedHostCount +1 / healthyHostCount −1。
【实测 2026-08-05,poc subblock-0011,一次删 2 台的完整观测】:
- 消毒时长 ~1 小时:从
delete发起到该 sub-block 健康计数完全回到基线 ≈ 67 分钟(15:25 删 → 16:33 恢复)。这印证了"~1h"的量级。 - degraded 标记严重滞后:删除命令返回后计数不立刻变;第 1 台约 +26 分钟、第 2 台约 +31 分钟才被标 degraded。"删完马上看计数没动"不代表没进消毒。
- 增量最终 = 删除数,但错峰:删 2 台 → degraded 峰值确实 +2(4→6);但两台错峰进/出、先标的先恢复,故控制台很难抓到干净的"同时 +N"瞬间。
- 不锁整域:消毒进行中(degraded 已抬升),只要该 sub-block 仍有健康空槽,照样能在同域
create新机——实测此时建新机 ~3.5 分钟即 RUNNING。被锁的只是正在消毒的那台 host,不是整个 NVLink domain。 - 消毒不体现在 maintenance 计数:全程
reservationSubBlockMaintenance.maintenanceOngoingCount = 0;检测消毒只能看healthInfo(见 §1.3)。 stop对照实验(同日追测,单台):stop --discard-local-ssd=true(GB300 唯一可行的 stop,见 §1.2)后实例转TERMINATED,host 释放;degraded 在 stop 发起后约 +24.5 分钟(17:04 停 → 17:31 标记)由 4→5、healthy 14→13,签名与 delete 完全一致。证实 GB300 上 stop 与 delete 一样触发 ~1h 消毒,stop 并不更安全。
由此得出的规则:
- 不要随意 stop/delete GB300:每台代价是该 host ~1h 不可用 + 计数滞后、恢复时刻难预测。需要更多算力时,在同域加开健康空槽上的 GB300(消毒中也能开)。
gcloud compute instances reset(热重启,保盘)不触发消毒,是 GB300 恢复设备状态的首选动作;stop/delete才触发。- 整域腾挪时注意恢复是逐台错峰放回、不是一次性,按 §1.3 轮询
healthInfo确认空槽再上架。 - 开 support case 处置 GB300 时,提示"stop/delete 会触发 ~1h 消毒,尽量在 host 侧修复、避免重启实例"。
- GB200 是 VM,无此消毒问题,可正常 reset / delete / 重建。
1.2 reset 与 stop/delete 的区别
| 动作 | GB200 | GB300 | 是否触发消毒 | 是否保盘 |
|---|---|---|---|---|
instances reset | 可用 | 可用(恢复设备首选) | 否 | 是(系统盘 + Local SSD 都保) |
instances stop | 可用 | 慎用 | GB300 是【实测 2026-08-05】 | 系统盘保、Local SSD 强制丢弃 |
instances delete | 可用 | 用完统一清 | GB300 是【实测 2026-08-05】 | 否 |
reset 是硬断电重启。 若刚在机器上写过文件(如改配置),reset 前必须先 sync,否则未落盘的写会被截断(【实测】出现过文件变 0 字节)。
⚠️ GB300 裸金属的 stop 不能保留 Local SSD 【实测 2026-08-05】:instances stop 必须显式带 --discard-local-ssd,而 --discard-local-ssd=false(保留 Local SSD)在本项目直接被拒(Suspend/Stop while preserving Local SSD for Bare Metal Instances feature is not available for this project)。所以 GB300 上 stop 只能 --discard-local-ssd=true——丢弃 Local SSD、释放物理 host,在 host 释放这一层与 delete 等价,不比 delete 更安全。
注:本轮两条路径均已一手实测触发消毒——delete 与 stop(discard=true)行为完全一致:host 释放后 degraded 均在 ~24–31min 滞后后 +1、healthy −1,maintenanceOngoingCount 全程 0(只在 healthInfo 反映),消毒 ~1h 后自动回落基线。GB300 上 stop 并不比 delete 安全,凡是要停机就按 ~1h 消毒计。
1.3 消毒/降级状态如何识别
判断某 sub-block 是否有 host 在消毒/降级,看 reservation 的 healthInfo,不看 maintenance 计数(实测消毒期间 reservationSubBlockMaintenance.maintenanceOngoingCount 全程为 0):
gcloud beta compute reservations sub-blocks describe <RESERVATION> \
--block-name=<BLOCK> --sub-block-name=<SUB_BLOCK> \
--zone=<ZONE> --full-view=SUB_BLOCK_VIEW_FULL \
--format="value(resource.count,resource.inUseCount,resource.healthInfo.healthyHostCount,resource.healthInfo.degradedHostCount,resource.healthInfo.healthStatus)"
degradedHostCount升高 /healthyHostCount降低 = 有 host 在消毒或本就 degraded。注意 stop/delete 后计数滞后约 26–31 分钟才变(§1.1),"删完计数没动"不代表没进消毒。- 能否开新机看"健康空槽" =
healthyHostCount − inUseCount > 0;>0 就能开,消毒不锁整域(§1.1 实测)。 start后实例 STAGING 又回滚 TERMINATED = 落到了 degraded/消毒中的 host;换有健康空槽的 sub-block 重试。每域少量(经验 ≤2/18)degraded 属正常,不代表整域不可用。
1.4 维护通知有两层:计划维护提前 90 天,执行停机前 10 分钟硬通知
10 分钟不是计划维护的提前量。 GB(A4X)有两套彼此独立的维护通知,别混:
- 计划维护(scheduled maintenance)——提前 90 天预告:A4X Max / A4X / A4 / A3 Ultra 的"计划维护提前通知"为 90 天【官方,AI Hypercomputer host events】。这 90 天窗口内可自选时机主动检修(§6.4 的
perform-maintenance;upcoming-maintenance的canReschedule表示是否可改期),从容做「剔除 → 维护 → 加回」。这才是日常运维要主动处理的主线,详见 §6.4。 - 紧急/非计划维护——提前 7 天或几小时:开启 emergency notifications 则提前 7 天,否则几小时【官方,同 host events 页】;Compute Engine 层面 emergent maintenance 通常 7–14 天预告,问题越严重窗口越短【官方,host maintenance overview】。
- 执行停机前的硬通知——10 分钟:真正要停机那一刻,A4X / A4 / A3 Ultra 只提前 10 分钟发硬通知(普通 GPU 是 60 分钟)【官方,live migration process】。GPU 实例不支持热迁移,维护即停机(
TERMINATE)。这 10 分钟是排空 / checkpoint 的最后窗口,极短——针对不可抗力的紧急硬件故障;正常计划维护应在上面 90 天窗口内主动做完,不要被动等到这 10 分钟。
监听通知的 metadata 与主动检修命令见 §6.4。
1.5 可用性 SLO:每域 18 台保 16(64 + 8 spares)
GCP 对 A4X / A4X Max 机架的可用性承诺是 16/18:一个 NVL72 domain(= 一个 sub-block = 18 节点)内,允许最多 2 台 degraded host【实测/交付经验,见各 deployment guide 的 --min-count 说明】。据此:
- 批量申请留余量:bulk create 用
--count=18 --min-count=16,允许最多 2 台起不来仍算成功;补建缺口时必须用与前 16 台完全相同的 sub-block 与 placement policy,否则PLACEMENT_POLICY_CONSTRAINTS_INFEASIBLE。 - 每域 ≤2 台 degraded 属正常,不代表整域不可用(判读见 §4.2 的
healthInfo);超过 2 台才算跌破 SLO、影响拓扑,是升级 / 开 case 的信号(§4.3)。 - 64 + 8 spares 的由来:4 个域共 72 节点,每域保 16 → 共保 64 台健康、允许 8 台 degraded;主流训练框架据此按"64 台在跑 + 8 台热备"的容灾队列组织,degraded 机器交 GCP 修复期间用 spare 顶上,
--restart-on-failure保护下修好会自动拉回(存量 VM)。
2. 高频日常操作
2.1 连接机器
经专线直连内网,SSH 到实例管理网卡(bond0)的内网 IP(内网 IP 取法见 §2.5):
ssh <USER>@<INTERNAL_IP> # 默认端口 22
ssh <USER>@<INTERNAL_IP> -p 56000 # 22 不通时试 56000
镜像同时监听 22 与 56000 两个 SSH 端口。
SSH 不通时用串口带外排查(不依赖网络栈/sshd):
# 读最近串口输出(port 2 = 结构化人读;port 4 = 打包块)
gcloud compute instances get-serial-port-output <INSTANCE> \
--project=tencent-gcp-taiji --zone=<ZONE> --port=2
# 交互式登录内核/紧急 shell
gcloud compute connect-to-serial-port <INSTANCE> \
--project=tencent-gcp-taiji --zone=<ZONE> --port=1
串口输出命令只返回每端口最近 1 MB;要长期留存/停机后可读,建机时设 metadata serial-port-logging-enable=true,串口日志会进 Cloud Logging(每月前 50 GiB 免费,留存 30 天)【官方,串口输出概念;命令参考 get-serial-port-output】。读串口只需 compute.instances.getSerialPortOutput 权限(viewer 即可)。
2.2 健康速查(一分钟体检)
上架前、报障前、作业异常时,先跑这组只读检查:
# 1) GPU 数量与基本状态(健康节点应列 4 张 GPU,Index 0-3)
nvidia-smi
# 2) GPU 详情:ECC / row-remap / 时钟 / throttle / GSP 固件
nvidia-smi -q | grep -iE 'ECC|Remapped|Throttle|GSP|Firmware'
# 3) 内核里的 GPU/网络硬件错误(重点看 Xid、GSP timeout、AER)
sudo dmesg -T | grep -iE 'NVRM|Xid|GSP|nvlink|nvswitch|idpf|AER|pcieport'
# 4) RDMA 链路(所有口应 ACTIVE / LinkUp;DISABLED=admin-down)
rdma link
# 5) 网卡命名与状态(应见 bond0 管理、bond1 lustre、bond2..N RDMA)
nmcli -t -f DEVICE,TYPE,STATE,CONNECTION device status
ip -br link
# 6) Lustre 客户端(如已挂载)
lfs --version && lfs df
关键判读:
nvidia-smi少于 4 张 GPU = 物理掉卡,报障。dmesg出现Xid= GPU 硬件/驱动错误;Xid 143 / RmInitAdapter failed / FSP boot complete= 固件引导超时,该 GPU 已在 PCI 失效,驱动会自动下线,须下线整机维护。XID 码含义查 NVIDIA Xid Errors 目录;分级见 §3.4。rdma link出现physical_state DISABLED= 链路 admin-down,sudo ip link set <dev> up可恢复。bond1反复 down/up 或缺失 = lustre 网卡异常(见 §3.3、附录 B)。
2.3 开机前 NCCL 自检(pre-flight,强烈建议)
长作业开跑前,先在目标机上跑一次单机短 NCCL 测试,确认 GPU/NVLink 正常再纳入调度,可避免把坏卡带进大作业。
# 容器内跑(4×GPU 单机,走 NVLink/NVSwitch,不碰 RDMA)
docker run --rm --gpus all --privileged --shm-size=64g \
nvcr.io/nvidia/pytorch:26.05-py3 \
bash -c 'cd /opt && git clone https://github.com/NVIDIA/nccl-tests && \
cd nccl-tests && make -j MPI=1 MPI_HOME=/usr/local/mpi CUDA_HOME=/usr/local/cuda && \
./build/all_reduce_perf -b 512M -e 8G -f 2 -g 4'
运行姿势(重要):SSH 一断,logind 会清掉该 user session 的全部进程,nohup/setsid 都挡不住。长测试须交给 PID1 托管,日志写 /tmp:
sudo systemd-run --unit=nccl-singlenode --collect bash /path/to/test.sh
journalctl -u nccl-singlenode -f
通过判据:
- 8G busBW 单机 4-GPU 参考区间 680–690 GB/s;< 600 视为异常。
- 所有 size 的
#wrong必须为 0,末尾出现Out of bounds values : 0 OK。 - 实测基线(v19 镜像):GB200 8G=687.9 / Avg 666.4;GB300 8G=682.3 / Avg 662.5。
不通过 → 进入 §3.2 升级链。GB300 单机自检不需要 asapd-lite(asapd-lite 只服务多机 IPv6-only RoCE)。参数说明见 NCCL 官方文档 与 nccl-tests 仓库。
2.4 下架 / 重新上架节点(流程)
上架/下架的具体命令(如
kubeadm join、kubectl cordon/drain)依自建 Kubernetes 的集群工具与流程,本手册不展开;下面只给与 GB 硬件相关、必须遵守的流程要点。
下架(维护/报障前):
- 在调度系统中停止新调度并驱逐现有负载(cordon + drain 或等价操作)。
- 关机/重启前,按序停 GPU 相关服务,避免关机 hang:
nvidia-fabricmanager→nvidia-persistenced→dcgm→nvidia-imex。 - 再执行 reset / 维护 / 报障。
- GB300 特别注意:裸金属每台 stop/delete 都会触发该 host ~1h 消毒、且计数错峰恢复(§1.1),逐台反复关会让整域长期处于零散消毒、难以一次性凑齐拓扑。故 GB300 的升级/重装建议以 domain 为单位——同域一次性撤空 + 全量处理 + 统一重建,避免碎片化消毒。(注:消毒不锁整域,同域仍有健康空槽时能开新机,但为拓扑完整仍建议成域操作。)
重新上架(修复/重建后):
- 先过 §2.2 健康速查 + §2.3 单机 NCCL 自检,确认 GPU/NVLink/RDMA 全绿。
- 通过后再按自建 k8s 的流程重新加入集群,并按 NVLink 域打好调度标签(如按
nvl72-domain归组),便于同域调度。 - ARM64 提示:GB 节点是 Grace(aarch64),给节点打 arch taint 时,业务 Pod 的 toleration 应容忍该特定 taint,不要用
operator: Exists(否则会误调度到已隔离节点)【参考 k8s Taints & Tolerations】。
2.5 获取机器信息与打标签(新增机器 / 重新上架时自助查询)
新增机器、机器重建或重新上架后,用下面的命令与 Console 自行获取所需标识(VM 名 / ID / 内网 IP / 公网 IP / 所属 sub-block、block)。
一次性列出全车队关键字段(命令)
gcloud compute instances list \
--project=tencent-gcp-taiji --zones=<ZONE> \
--format="csv(name,id,machineType.basename(),status,
networkInterfaces[0].networkIP,
networkInterfaces[0].accessConfigs[0].natIP)"
networkInterfaces[0].networkIP= 第一个网络接口(管理网卡 bond0)的内网 IP——SSH(§2.1)用它。networkInterfaces[0].accessConfigs[0].natIP= 公网 IP;经专线内网访问、无外网 IP 的机器此列为空,属正常。- 加
--filter="name~<前缀>"只看某批;--format换table(...)更易读。
单台完整标识(命令)
# 名称 / ID / 机型 / 状态 / 创建与最近启动时间
gcloud compute instances describe <INSTANCE> --zone=<ZONE> \
--format='value(name,id,machineType.basename(),status,creationTimestamp,lastStartTimestamp)'
# 内网 IP / 公网 IP
gcloud compute instances describe <INSTANCE> --zone=<ZONE> \
--format='value(networkInterfaces[0].networkIP,networkInterfaces[0].accessConfigs[0].natIP)'
# 所属 sub-block / block(physical topology,可读名)
gcloud compute instances describe <INSTANCE> --zone=<ZONE> \
--format='value(resourceStatus.physicalHostTopology.block,resourceStatus.physicalHostTopology.subblock)'
VM 内部也可免鉴权从 metadata 拿拓扑哈希(同一 NVL72 domain 内所有 VM 相同,适合做 k8s 标签):
curl -sf -H "Metadata-Flavor: Google" \
"http://metadata.google.internal/computeMetadata/v1/instance/attributes/physical_host_topology"
说明:
resourceStatus.physicalHostTopology.subblock返回可读 sub-block 名(形如/clusters/.../blocks/.../subBlocks/...);metadata 返回哈希值。二者都需实例 RUNNING。反向从预留侧看某 sub-block 有哪些机器、健康如何,见 §4.2 的sub-blocks describe/list。
Console UI 查法
- 实例 IP / ID / 机型 / 状态:Console → Compute Engine → VM instances。列表右上「Column display options」可勾出 Internal IP / External IP / Instance ID 等列;点实例名进 Details 页,
Network interfaces区看 Internal/External IP,页顶看 Instance ID、Machine type、Zone。 - 所属 sub-block / block:Console → Compute Engine → Reservations → 点对应 reservation → 展开 Blocks / Sub-blocks,可看每个 sub-block 的容量与健康(
healthyHostCount/degradedHostCount);实例的 physical topology 以上面 CLI 的physicalHostTopology最直接。 - 标签:实例 Details 页 → Edit →
Labels区增改键值;列表页可按Label过滤。
打标签的建议做法
给机器打上「域 / sub-block」标签,新增或重新上架时按标签就能批量筛选、调度,无需每次记 IP。两层各打各的:
- GCE 实例 label(便于
gcloud筛选与盘点)——按所属 sub-block/domain 打:
gcloud compute instances add-labels <INSTANCE> --zone=<ZONE> \
--labels=nvl72-domain=domain-0015,subblock=0015,node-type=a4x-max
# 之后即可:gcloud compute instances list --filter="labels.nvl72-domain=domain-0015"
- k8s 节点 label(便于同域调度,避免跨物理域 NCCL fallback 降速)——手动或让 kubelet 自动上报:
# 手动
kubectl label node <NODE> nvl72-domain=domain-<d> node-type=a4x-max --overwrite
# 自动(kubelet 启动参数,取拓扑哈希前 8 位做域标签)
TOPO_HASH=$(curl -sf -H "Metadata-Flavor: Google" \
"http://metadata.google.internal/computeMetadata/v1/instance/attributes/physical_host_topology" \
| md5sum | cut -c1-8 || echo unknown-domain)
echo "KUBELET_EXTRA_ARGS=--node-labels=nvl72-domain=domain-${TOPO_HASH},node-type=a4x-max" \
> /etc/default/kubelet
建议全车队统一标签命名(如一律
domain-000N对齐 sub-block 编号),避免手动/自动两种来源写出domain-<编号>与domain-<哈希>两套值,给同域调度埋坑。
3. 故障处置与升级链
3.1 判障信号速查
| 信号 | 现象 | 快速定位 | |||
|---|---|---|---|---|---|
| SSH 不可达 | sshd 从不监听 22/56000;实例内 curl 169.254.169.254 返回异常 | 串口 get-serial-port-output --port=2;查 iptables 是否 DNAT 劫持 169.254.0.0/16(应放行元数据) | |||
| GPU 掉卡 / Xid | nvidia-smi < 4 卡;dmesg 见 Xid 143 / RmInitAdapter failed / GSP | nvidia-smi;`dmesg -T \ | grep -i xid` | ||
| GPU 变慢(无 Xid) | 作业吞吐骤降,nvidia-smi 首调很慢 | nvidia-smi -q -d PERSISTENCE,CLOCK;查 throttle;必要时收集诊断包(§5.2) | |||
| RDMA/NIC 异常 | NCCL NET/gIB: No device found;rdma link 见 DISABLED | rdma link;sudo ip link set <dev> up | |||
| IDPF 固件失联(host/设备级) | 开机数小时后 netdev 被销毁、bond1 消失、内核 HW reset 失败 | `dmesg -T \ | grep -iE 'idpf\ | reset timeout\ | firmware';ip -br link`(bond1 缺失) |
| bond1 每 60s 抖动 | lustre 网卡反复 down/up、路由 metric 漂移、手动路由留不住 | `journalctl -u NetworkManager --since -10min \ | grep -c 'bond1.*Activation: successful'` | ||
| GID table changed 刷屏 | NCCL 刷 mlx5_x:1 GID table changed(IP 抖动) | `ibv_devinfo -d mlx5_0 -v \ | grep -c 'GID\['`(应非 0 且稳定) | ||
| 关机/重启 hang | 卡 A stop job is running for … Shutdown Scripts | journalctl -b -1 -u google-shutdown-scripts.service;`ps -eo pid,stat,wchan,comm \ | grep ' D'`(找 D 状态 nvidia 进程) | ||
| 整域 degraded | start 后 STAGING 回滚 TERMINATED | 查 sub-block 健康(§4.2) |
3.2 开跑前升级链(pre-flight self-check ladder)
短 NCCL 自检(§2.3)不过,按此阶梯逐级升级,能不停机就不停机:
1) 短 NCCL 自检失败 / busBW<600 / #wrong≠0
│
▼
2) GPU reset:nvidia-smi -r ← 无 MIG、无进程占用时;清 GPU 软/硬状态
│ (NVLink 机器可能需连带 reset peer GPU)
├─ 恢复 → 重跑 §2.3,通过则上架
▼ 仍不过
3) host reset:gcloud compute instances reset <INSTANCE> --zone=<ZONE>
│ (先 sync;GB300 用 reset 不触发消毒;重启后重跑 §2.3)
├─ 恢复 → 上架
▼ 仍不过
4) 下架该节点(§2.4),停止把坏机带进作业
│
▼
5) report host faulty(§4.1)+ 视情况开 support case(§4.3)
升级到 domain 级的判据(直接走 §4.2 report subblock / 交回 GCP):
- 同一 domain 内多台机器同时失败,或
- MNNVL / NVLink switch 层故障(多机 NVLink 通信整体不通、IMEX quorum 起不来),或
- sub-block 整体 DEGRADED。
nvidia-smi -r 官方约束:MIG 启用的 vGPU 不支持;执行时该 GPU 上不能有任何应用(CUDA 程序、X server、其他 nvidia-smi 监控)在用【nvidia-smi 手册 DEVICE MODIFICATION OPTIONS】。
3.3 运行中错误(in-flight self-check)
作业跑到一半报错时的处置:
- CUDA error / Xid:先
dmesg | grep -i xid(容器内kubectl exec <pod> -- dmesg | grep -i xid)定位是哪张卡、哪个 XID 码,再按 §3.4 XID 分级表决定重试 /nvidia-smi -r/ host reset / 下架+报障。 - RDMA/NIC error:
rdma link见 DISABLED →ip link set <dev> up。- 多机 RoCE 建连超时(
ibv_modify_qp failed with 110/ QP INIT→RTR 卡住)→ 检查静态网关邻居与 asapd-lite 是否装稳。 - NCCL 日志里 netdev 名与
ip addr对不上(如日志dev bond6但无该口)→ ibdev/netdev 改名不一致,重跑网卡改名或重启。
- DCGM 主动诊断:
dcgmi diag -r 1(Quick,<2.5s)做在线快检;更深用-r 2/3(会占用 GPU,勿在作业中跑)【dcgmi diag 诊断级别】。
判定为坏卡/坏机后:先 §2.4 下架,再 §4 报障。
3.4 XID 错误分级与处置
先分清 XID 属应用/驱动层(查作业,不必换机)还是固件/硬件层(可能 reset 恢复,或需换机)。处置权威取 GCP GPU 排障页(XID handling),reset/换机决策取 NVIDIA GPU Debug Guidelines(Table 1)。
| XID | 层级 | reset 可恢复 | 处置 |
|---|---|---|---|
| 13 | 应用(图形引擎异常/非法访存) | 不适用 | 调试作业(cuda-gdb / Compute Sanitizer),非硬件错误,不必换机 |
| 31 | 应用(访存 page fault) | 不适用 | 先查作业非法访存;持续/批量出现则按硬件走诊断 |
| 94 / 95 / 137 | 应用(GCP 明确"非 ECC 硬件错误") | 不适用 | 调试作业后重试 |
| 48 | 固件/硬件可恢复(双比特 ECC / DBE) | 是 | nvidia-smi -r 或重启清 ECC 状态;若随后出现 63/64 → 下架 + reset(已进入 page-retirement) |
| 63 | 固件/硬件可恢复(ECC page retirement / row-remap) | 是 | nvidia-smi -r 或 host reset |
| 64 | 固件/硬件可恢复(ECC row-remap) | 部分 | reset/reboot;remap bank 耗尽 → 不可恢复,Google 主动送修 |
| 61 / 62 | 硬件/固件(PMU breakpoint / halt) | 是 | 上报并 reset 受影响 GPU(62 注意与旧驱动 bug 关联) |
| 74 | 硬件(NVLink error) | 通常否 | 检查机械连接;GCP 归 Google 主动送修;若多机/switch 层 → §4.2 域级报障 |
| 79 | 硬件(GPU fallen off the bus,PCI 掉失) | 否 | 下架 + report host faulty / 换机;reset 无效 |
| 92 | 硬件(单比特 ECC 高速率) | 是(暂可用) | 跑 field diagnostics,按 RMA 阈值评估,不必立即换机 |
| 119 / 120 | 固件/硬件(GSP 错误) | 视情况 | 按 NVIDIA 文档处理;常伴 RmInitAdapter failed |
| 140 | 硬件 | 否 | Google 主动发起 emergency maintenance(换机) |
可确证原则(官方明述):
- 双比特 ECC(48/63/64)→ reset 清状态;
nvidia-smi -r主要就是用于清 ECC/GPU 状态。 - 48 后跟 63/64 = 升级信号:ECC 已进入 page-retirement/row-remap → 下架节点并 reset。
- GPU 从 PCI 掉失(79)/ remap bank 耗尽(64)/ 140 = 不可恢复,reset 无效,下架 + 报障/换机。
- 应用类(13/31/94/95/137)不是硬件错误,先重试/调试作业,不要贸然 reset 或报障。
- 热节流不产生 XID:GPU 过热降频看
nvidia-smi -q的clocks_throttle_reasons.hw_slowdown,归监控项(§5.1),不在 XID 分级内。
k8s 层(若用 device-plugin 检测):致命 XID 会把节点 GPU 标 unhealthy、阻止调度——这正是 §6.2 自动发现的信号源之一,GKE 的实现见 GKE GPU 排障(可作自建 k8s 参考)。
注:GCP 页与 NVIDIA 页分级方向一致、无冲突。上表只列官方点名的 XID 码;其余码(如 43/45)及 NVIDIA 完整 Xid Catalog 全码表未在此臆造,需逐码定义时查 NVIDIA Xid Errors 目录【该页明细子页为 JS 渲染,查阅以官网现场为准】。
4. 报障:report faulty 与开 support case
三条路径,按故障范围选:
- report host faulty(§4.1):单实例自助报障,触发 Google 对该主机紧急维护(会停你这台 VM)。适合确诊单台主机硬件故障。
- report subblock faulty(§4.2):整个 NVLink domain(sub-block)级自助报障,会立即中断该域所有 VM。适合同域多台故障或 NVLink 交换机故障。
- 开 support case(§4.3):走 Customer Care 流程,人工介入。适合需要 Google 侧诊断/说明、或前两者不适用/不确定的场景。
report faulty(host 或 sub-block)是自助命令,与 support case 是独立路径。实践建议:确诊单机硬件坏 → report host faulty;同域多机/switch 坏 → report subblock faulty;不确诊 / 需解释 → 开 case(可附上已做的 report faulty)。
4.1 report host faulty(自助,会停机)
【官方,report-faulty-host how-it-works】适用于 A4X Max、A4X、A4、A3 Ultra/Mega/High(即本项目 GB200、GB300 均适用);前提:实例处于 RUNNING 且为 reservation-bound provisioning。
gcloud compute instances report-host-as-faulty <INSTANCE> \
--project=tencent-gcp-taiji --zone=<ZONE> \
--disruption-schedule=IMMEDIATE \
--fault-reasons="behavior=UNRECOVERABLE_GPU_ERROR,description=<自由文本,如 Xid 143 on GPU2, PCI failed>"
参数【CLI,gcloud report-host-as-faulty 参考】:
--disruption-schedule:IMMEDIATE(立即)或FUTURE。--fault-reasons:behavior=<枚举>,description=<文本>。behavior枚举(以本机gcloud ... --help为准):BEHAVIOR_UNSPECIFIED/PERFORMANCE(变慢无 Xid)/SILENT_DATA_CORRUPTION/UNRECOVERABLE_GPU_ERROR(GPU 不可恢复,如致命 Xid)/CHIP_ERROR。--async可选,不等待返回。
报障后行为(A4X Max 属 ALL_CAPACITY 运营模式,报障不被限流):
- 提交后约 10–12 分钟内实例仍 RUNNING;
- Google 开始修主机时实例停机——
autoRestart开 → 转REPAIRING自动重启,关 → 转TERMINATED需手动start; - 主机修复通常耗时 3–14 天甚至更久——报障即意味着该机长时间退出算力池,务必先按第 3 章确诊、下架后再报。
GB300 提醒:report host faulty 会停机,而 GB300 停机触发 ~1h 消毒(§1.1)。叠加 3–14 天主机修复窗口,GB300 报障前应确认确有必要。
相关:GPU 机型维护行为强制 TERMINATE(不支持热迁移);挂 GPU 的实例在 host error 后最多需要 1 小时才 terminate【官方,GPU host maintenance】。
【待核】修复后是否自动恢复:官方原 report-host-as-faulty 概念页当前 URL 已失效,"主机修好后实例是自动拉回还是需手动重建"未能从现行官方文档证实。实测经验是需按原拓扑手动重建(见 §6.3)。可对比的官方锚点:普通 host error 场景下
automaticRestart=true会自动在健康主机重启(通常 3 分钟内),但这是普通 host error 行为,report-faulty(主动送修 + reservation-bound 裸金属)是否同逻辑未文档化。建议 poc 实测一次完整"送修→修复→恢复"生命周期确认。
4.2 domain 级报障(sub-block report faulty)
有"把整个 NVLink domain 报障"的官方命令:report-subblock-as-faulty,作用在 reservation sub-block 级(A4X/GB200/GB300 里一个 sub-block ≈ 一个 NVL72 NVLink domain)。这与单实例 report-host-as-faulty(§4.1)、主动维护 perform-maintenance 都不同,是"整批主机 / 整域故障交回修复"的专用接口。用于同一 domain 内多台主机故障或 NVLink 交换机故障。
第一步:先查 sub-block 健康(确认确是域级问题)【CLI,sub-blocks describe】:
gcloud beta compute reservations sub-blocks describe <RESERVATION> \
--block-name=<BLOCK> --sub-block-name=<SUB_BLOCK> \
--project=tencent-gcp-taiji --zone=<ZONE> \
--full-view=SUB_BLOCK_VIEW_FULL # 仅 BASIC / FULL 两个有效值
healthInfo 字段含义【官方,reservationSubBlocks REST】:healthStatus(HEALTHY / DEGRADED)、healthyHostCount、degradedHostCount、healthyInfraCount、degradedInfraCount、inUseHostCount,以及 physicalTopology{cluster, block, subBlock}。DEGRADED 是聚合标记,仅表示域内存在 degraded host,不等于整块不可用;少量 degraded(经验 ≤2/18)可接受。
辅助:查主机维护原因(A4X 权威监控页)【官方,host events】,maintenanceReasons 枚举含 FAILURE_NVLINK / FAILURE_MEMORY / FAILURE_NETWORK / FAILURE_NIC——FAILURE_NVLINK 佐证为 NVLink/switch 层故障。
第二步:整域撤空。 报障会立即中断该 sub-block 内所有 VM,先把业务从整域撤走(§2.4;GB300 本就以域为单位)。
第三步:report subblock faulty【CLI,report-subblock-as-faulty;REST reportFaulty】:
gcloud beta compute reservations sub-blocks report-subblock-as-faulty <RESERVATION> \
--project=tencent-gcp-taiji --zone=<ZONE> \
--block-name=<BLOCK> --sub-block-name=<SUB_BLOCK> \
--disruption-schedule=IMMEDIATE \
--failure-component=NVLINK_SWITCH \
--fault-reasons="behavior=SWITCH_FAILURE,description=<自由文本>"
枚举值(以 gcloud 命令参考页为准):
--disruption-schedule:仅IMMEDIATE(域内所有 VM 立即中断)。--failure-component:MULTIPLE_FAULTY_HOSTS(同域多台主机故障)或NVLINK_SWITCH(NVLink 交换机故障)。--fault-reasons:behavior=<枚举>,description=<文本>,behavior枚举:PERFORMANCE/SWITCH_FAILURE/GPU_ERROR(可重复该 flag)。
权限:对应 IAM 权限极可能是 compute.reservationSubBlocks.reportFaulty(命名惯例推断,未逐字核实);可用 ... sub-blocks test-iam-permissions --permissions=compute.reservationSubBlocks.reportFaulty 验证。
替代动作:若只是主动检修而非报障,用 perform-maintenance(§6.4);单机可用 simulate-maintenance-event 演练一次维护事件。
4.3 开 support case(何时用、必填信息、优先级)
创建途径(官方无 gcloud 子命令建 case,只有以下两条):
- Console:Support > Cases > Get help → 选产品 → 描述问题 → 选 priority → 选渠道 → Submit【官方,管理 support case】。
- Cloud Support API:
POST https://cloudsupport.googleapis.com/v2/{parent}/cases,必填displayName / description / classification / priority(测试可加testCase=true)【官方,cases.create REST】。
开 case 前准备的信息(官方 checklist,见 Best practices / Describing your issue),及在本环境如何获取:
| 要素 | 内容 | 如何获取 |
|---|---|---|
| Time | 故障时间(ISO 8601,带时区) | 从作业日志 / dmesg -T / 监控图取准确时间点 |
| Product | 具体产品/API/Console URL | 如 Compute Engine A4X/A4X MAX |
| Location | zone | us-east1-d(GB200)/ us-central1-b(GB300) |
| Identifiers | project ID/number、instance name、instance ID、故障设备 PCI | gcloud compute instances describe <INSTANCE> --zone=<ZONE> --format='value(id,name,zone,machineType,status,creationTimestamp,lastStartTimestamp)';PCI 从 dmesg/lspci |
| Artifacts | 日志、串口输出、诊断包、截图、stack trace | 串口 §2.1;诊断包 §5.2;dmesg/journalctl |
| Problem type | intermittent / transient / consistent | 据观察判断 |
优先级 P1–P4(开 case 时选)【官方,Case 优先级定义】:
| 级别 | 定义 | 典型场景 |
|---|---|---|
| P1 Critical | 生产不可用 | 整域/多机宕、生产训练全停 |
| P2 High | 服务严重受损 | 多机故障、带宽严重不达标 |
| P3 Medium | 部分受损、无用户可见影响 | 单机坏卡但作业可迁移 |
| P4 Low | 几乎无影响 | 咨询、非阻塞问题 |
响应时间取决于支持等级(Support tier)【官方,TSSG 服务等级】:Standard 不能开 P1(P2=4h/P3=8h/P4=8h);Enhanced P1=1h;Premium P1=15min。改 priority、升级、follow-the-sun 仅 Enhanced/Premium 提供。请先确认本项目所属 tier 再设优先级。
GB 系列何时开 case:确诊单台主机硬件坏、能承受停机 → 优先走 §4.1 report host faulty(更快、自助)。除此之外,以下三类常需开 case 人工介入:
- degraded / 掉卡超出 SLO(>2/18)、需要加速修复:report host faulty 后默认进入 Google 的修理队列(通常 3–14 天);当一个域 degraded 主机超过 SLO 允许的 2 台、已跌破 16/18(§1.5)且影响生产时,开 case 说明原因、请求提高优先级加速,而不是干等默认队列。
- 整个 sub-block 挂:域级不可用影响大,在 §4.2
report subblock faulty的同时直接开 case 升级(按 §优先级选 P1/P2),推动 Google 侧介入。 - 不明原因的维护 / 重启:机器被非预期停机、重启或反复维护,想查明根因时开 case,请 Google 侧提供主机事件与原因。
开 case 时在描述里注明已做的排查与(若已执行)report host / subblock faulty,并附诊断包(§5.2)。
5. 监控与告警
监控信号有两个来源,配合使用:
- GPU 指标(含 XID)——自建 Kubernetes 上的 Prometheus + DCGM exporter(§5.1):GPU 指标最可靠的来源,不依赖 GCP 侧对 TLinux/ARM 的支持。
- VM 日志 / 串口——
gcloud直接拉取(§5.3):把内核日志、串口输出取到本地或接入自有平台。
一条关键事实:GCP 没有"GPU XID 主机事件自动结构化写入 Cloud Logging"的一等机制——XID 要靠 VM 上自采内核日志(NVRM: Xid),或靠 DCGM exporter 指标。
5.1 首选:自建 Prometheus + DCGM exporter
部署形态:DaemonSet,镜像 nvcr.io/nvidia/k8s/dcgm-exporter(ARM64 multi-arch),hostPID: true + privileged: true,监听 端口 9400(DCGM_EXPORTER_LISTEN=":9400"),带 prometheus.io/scrape: "true" / prometheus.io/port: "9400" 注解供 Prometheus 抓取。本项目已有现成 yaml:deploy/k8s-platform/dcgm-exporter-daemonset.yaml。
关键告警指标与建议阈值:
| 指标 | 阈值 | 含义 |
|---|---|---|
DCGM_FI_DEV_XID_ERRORS | > 0 | 出现 XID 错误(GPU 故障的头号信号) |
DCGM_FI_DEV_GPU_TEMP | > 85 °C | GPU 过温 |
DCGM_FI_DEV_MEMORY_TEMP | > 95 °C | 显存过温 |
DCGM_FI_DEV_POWER_USAGE | > 1000 W | 功耗异常 |
DCGM_FI_DEV_UNCORRECTABLE_REMAPPED_ROWS | > 0 | 不可纠正行重映射 |
DCGM_FI_DEV_ROW_REMAP_FAILURE | > 0 | 行重映射失败(立即维修) |
DCGM_FI_DEV_PCIE_REPLAY_COUNTER | 持续增长 | PCIe 链路质量劣化 |
指标名与更多字段见 NVIDIA dcgm-exporter 仓库【DCGM_FI_DEV_XID_ERRORS 是否在默认 counters CSV、字段号,以仓库 etc/*-counters.csv 现场为准】。
注意:要监控 XID,必须用独立 dcgm-exporter(端口 9400)+ Prometheus——GCP 侧的 DCGM 采集不导出 XID 指标(只有温度、利用率、ECC、NVLink/PCIe 流量等)。
5.2 在 VM 上及时发现 xid / cuda / rdma error
# XID / GPU 硬件错误(最重要):看内核日志(XID 格式为 "NVRM: Xid ...")
sudo dmesg -T | grep -i xid
sudo dmesg -T | grep -iE 'NVRM|GSP|nvlink|nvswitch|AER|pcieport'
# GPU 状态全量(ECC/row-remap/时钟/throttle/GSP 固件)
nvidia-smi -q
# RDMA/IDPF 网卡错误
sudo dmesg -T | grep -iE 'idpf|mlx5|reset timeout|firmware'
rdma link
# NCCL 调试(作业侧):打开 INFO 看走 NVLink 还是 RoCE、有无建连失败
# NCCL_DEBUG=INFO NCCL_DEBUG_SUBSYS=INIT,NET,ENV
GCP GPU 排障官方页确认:XID 主要靠自采 dmesg / /var/log/kern.log / /var/log/messages 里的 Xid 码;热节流看 nvidia-smi 的 clocks_throttle_reasons.hw_slowdown。
一键诊断包(GPU 慢/疑难,只读采集,产出 tar.gz):本项目有 deploy/scripts/gb300-gpu-slow-diag.sh,采集系统/驱动/persistence/nvidia-smi 计时/-q 全量/容器运行时/strace 阻塞 ioctl/dmesg/PCIe 链路速率/DCGM discovery/nvidia-bug-report.sh 全量包——报障附件直接用它的产物。
5.3 用 gcloud 拿日志与串口
# 读某实例的错误级日志(注意用 instance_id,不是 name)
gcloud logging read \
'resource.type=gce_instance AND resource.labels.instance_id=<INSTANCE_ID> AND severity>=ERROR' \
--project=tencent-gcp-taiji --limit=50 --format=json
# 串口输出(见 §2.1)
gcloud compute instances get-serial-port-output <INSTANCE> \
--project=tencent-gcp-taiji --zone=<ZONE> --port=2
instance_id 用 gcloud compute instances describe <INSTANCE> --zone=<ZONE> --format='value(id)' 取。gcloud logging read 查询语法见 gcloud logging 用法。前提是 VM 日志已进 Cloud Logging(需在 VM 上部署日志采集器)。
5.4 对接自有告警平台的接口
已有告警 / 值班平台的,GCP 侧只需提供信号的拉取 / 推送 / 操作三类接口,如何接入自便:
- 拉取(pull):Prometheus 抓 dcgm-exporter(§5.1);
gcloud logging read/get-serial-port-output拉日志与串口(§5.3);sub-blocks describe拉预留健康(§4.2)。 - 推送(push):Cloud Monitoring alerting policy / log-based alert → 通知渠道(Email / Slack / PagerDuty / Webhook / Pub/Sub)【官方,通知渠道】。Webhook 仅支持公网 endpoint;内网系统走 Pub/Sub 订阅端拉取更稳。
- 操作(act):report host / subblock faulty、reset、perform-maintenance 等 gcloud / REST 接口(§4、§6)。
一个边界要知道:log-based alert 只能对接通知渠道、不触发 Cloud Functions【官方,log-based alerts】;要做"事件自动处置",走 Logging Sink → Pub/Sub → Functions/Eventarc(§6.3)。
可接的最小信号集参考:DCGM DCGM_FI_DEV_XID_ERRORS>0、GPU_TEMP>85、ROW_REMAP_FAILURE>0;log-based alert 匹配 dmesg 中 Xid(需先把 syslog/kern 日志采进 Cloud Logging);串口日志(若开启)中的 kernel panic 关键字。
6. 自动化建议
定位:这一章不是要立刻上一套自动化系统,而是把前五章的接口/信号串成可落地的思路,给出用哪些 GCP/开源组件、关键命令与精简样例。凡官方未文档化处均标【待核】,落地前先在 poc(GB200 subblock-0015,避开 GB300 消毒陷阱)实测。
6.1 总体架构:两层自愈(复刻 GKE 自动修复思路)
自建 k8s 没有 GKE 的 Node Auto-Repair,但可以复刻 GKE 的标准做法——GKE 内部就是"设备插件用 NVML 检测关键 XID → 标节点 unhealthy → drain + 同名重建",信号源之一是 Node Problem Detector【官方参考,GKE GPU 排障、GKE node auto-repair】。
建议的两层结构:
┌─ 组件1:节点健康哨兵(DaemonSet 或 systemd) ──────────────┐
│ 周期/事件触发跑:dmesg NVRM:Xid 解析 + nvidia-smi + dcgmi │
│ diag -r 1 + rdma link/ibstat;判级(§3.4)→ 给节点打 │
│ label/taint(如 hardware-faulty=true / gpu-degraded) │
└───────────────────────────┬──────────────────────────────┘
│ 监听 label
┌───────────────────────────▼──────────────────────────────┐
│ 组件2:集群自愈控制器(自建 Controller / 运维跳板脚本) │
│ 可恢复 → nvidia-smi -r / host reset,复检通过则 uncordon │
│ 不可恢复 → drain → report-host-as-faulty → 记录拓扑元数据 │
│ → 轮询预留容量恢复 → 原参重建 → 自检 → 重新上架 │
│ 域级(同域多台/switch)→ report-subblock-as-faulty │
└──────────────────────────────────────────────────────────┘
三条防线要点(下面各场景展开):防雪崩限流、区分软硬件、拓扑参数严格保持。
6.2 场景一:VM 内掉 GPU / RDMA / XID 的自动发现与处理
发现(组件1):
- XID(首选、最直接):内核日志里的
NVRM: Xid是最可靠信号。两种落地:- 自建 Prometheus 对
DCGM_FI_DEV_XID_ERRORS > 0告警(§5.1); - 或 Node Problem Detector 的 system-log-monitor 写正则匹配
NVRM: Xid。注意 NPD 没有任何内置 GPU/XID 规则,必须自己写——这是官方明确的限制【官方 NPD 仓库】。
- 自建 Prometheus 对
- 掉卡:
nvidia-smi少于 4 卡,或对应 XID 79(fell off the bus);可做成 NPD custom-plugin(脚本按 exit code 报健康)。 - RDMA 掉设备:VM 内检测靠 OS/OFED 工具
rdma link show/ibstat//sys/class/infiniband/mlx5_*/ports/1/state,包成 custom-plugin。GCP 无官方 VM 内 RDMA 健康检测文档,属 OS 层需自建【待核】。
处理(组件2,分级依 §3.4):
- 可恢复(48/63/64 等 ECC 类):先在调度系统停占用/驱逐,再
nvidia-smi -r(要求 GPU 无进程占用;GKE 经验:reset 前需临时停 DCGM exporter【官方,GKE GPU 排障】);复检 §2.3 通过 → 恢复调度。 - 不可恢复(79 掉卡 / 140 / remap bank 耗尽):下架 → 自动调
report-host-as-faulty --fault-reasons=behavior=UNRECOVERABLE_GPU_ERROR(§4.1)。"哪个 XID 映射到 UNRECOVERABLE"这张表需你方按 §3.4 + NVIDIA XID 目录 落实。
精简样例——NPD custom-plugin 探针(XID 哨兵思路):
#!/bin/bash
# exit 0 = healthy;非 0 = 上报 problem,由 NPD 转成 NodeCondition
if dmesg | grep -qE 'NVRM: Xid .*: (79|140|119|120)[,)]'; then
echo "unrecoverable XID detected"; exit 1 # 组件2 据此 drain + report-host-as-faulty
fi
[ "$(nvidia-smi -L | wc -l)" -eq 4 ] || { echo "GPU count != 4"; exit 1; }
exit 0
参考架构(直接借鉴):GKE 的 device-plugin 用 NVML 判 XID critical/non-critical、节点连续 unhealthy 超阈值触发 drain + 同名重建(drain 超时 1h)【官方,GKE GPU 排障、node auto-repair】。GKE 未公开"关键 XID 白名单"具体号码,该映射用 §3.4 自建。
6.3 场景二:degraded 恢复后事件触发自动重建
痛点:GB300 是 reservation-bound 裸金属,report-host-as-faulty 后 VM 被停/删;主机修好后需按完全相同的拓扑参数手动重建(命名序列、reservation sub-block 全路径、resource-policies、网络接口),否则拓扑不匹配会导致 NCCL 严重降速。
当前定位:先用手动重建,不要上 MIG。MIG(Managed Instance Group)auto-repair 的模型是"实例挂了就删掉、在预留里重建一台补足目标数",而 GB 系列预留是 ALL_CAPACITY(整块预留全被本项目消费,无空闲余量)+ reservation-bound 裸金属——MIG 没有空 host 可补,且 GB300 消毒 ~1h,与 MIG"立即重建"的假设冲突。故 MIG 不适合 FULL_CAPACITY 的 GB 系列预留,现阶段用下方手动重建。 MIG 是否可用留作后续验证任务(见本节末)。
如何得知"可以重建了":
- 轮询(推荐):定期
sub-blocks describe … --full-view=SUB_BLOCK_VIEW_FULL看healthInfo的healthyHostCount是否恢复(§4.2)。GB300 消毒 ~1h,轮询即可。 - 事件驱动(可选):host error / 自动重启会写 Cloud Logging 系统事件(operation type
compute.instances.hostError/compute.instances.automaticRestart)【官方,host maintenance overview】,可作 sink filter。
自动重建落地链路(事件驱动;注意用 Sink 不是 log-based alert):
Cloud Logging ──(sink,--log-filter 过滤 hostError 等)──▶ Pub/Sub topic ──▶ Cloud Functions / Eventarc
└─▶ 重建脚本
# 建 Logging Sink 到 Pub/Sub(官方:configure_export_v2)
gcloud logging sinks create gb-fault-sink \
pubsub.googleapis.com/projects/tencent-gcp-taiji/topics/gb-faults \
--log-filter='resource.type="gce_instance" AND
protoPayload.methodName=("compute.instances.hostError" OR "compute.instances.guestTerminate")'
# 之后给 sink 的 writer identity 授 roles/pubsub.publisher;Pub/Sub 再触发 Functions/Eventarc
参考:Logging sink 配置、Eventarc 总览(Eventarc 也可直接以 Cloud Audit Logs 为源触发 Cloud Run/Functions)。
从 degraded host 手动恢复节点的命令(先备好这套,再谈自动化):
- 报障前先
gcloud compute instances describe存下拓扑元数据:machineType、reservationAffinity(sub-block 全路径)、resourcePolicies、各网络接口(nic-type=IDPF/MRDMA 等)。 - 轮询容量恢复后,用存下的参数原样拉起同名机器。GB300 重建模板(reservation 精确到 sub-block 全路径 +
RESERVATION_BOUND;网络接口 = 1 管理 IDPF + 1 lustre IDPF + 8 MRDMA):
RESERVATION_PATH="projects/${PROJECT}/reservations/${RESERVATION_NAME}/reservationBlocks/${BLOCK_NAME}/reservationSubBlocks/${SUBBLOCK}"
gcloud compute instances create "${NAME}" \
--project="$PROJECT" --zone="$ZONE" --machine-type=a4x-maxgpu-4g-metal \
--image="$IMAGE" --image-project="$IMAGE_PROJECT" \
--boot-disk-size="$BOOT_DISK_SIZE" --boot-disk-type="$BOOT_DISK_TYPE" --scopes=cloud-platform \
--reservation-affinity=specific --reservation="${RESERVATION_PATH}" \
--provisioning-model=RESERVATION_BOUND --instance-termination-action=STOP \
--on-host-maintenance=TERMINATE --restart-on-failure \
--resource-policies="${POLICY}" \
--network-interface=nic-type=IDPF,network=${MGMT_NET},subnet=${MGMT_SUB} \
--network-interface=nic-type=IDPF,network=${LUSTRE_NET},subnet=${LUSTRE_SUB},no-address \
--network-interface=nic-type=MRDMA,network=${RDMA_NET},subnet=${RDMA_SUB},stack-type=IPV6_ONLY,no-address \
# …重复 MRDMA 接口共 8 个(GB300);GB200 用 a4x-highgpu-4g + 4 个 RDMA 接口 \
--metadata-from-file=startup-script=scripts/tlinux4-customer-init-universal.sh \
--async
出处:deploy/taiji-gb300-infra-guide.md(§2.5 重建模板)、deploy/gb-fleet-fix-handover-runbook.md(§2.3)。
- 起来后跑 startup script 完成初始化,再过 §2.3 自检,才重新上架(
kubectl uncordon)。 - 防雪崩限流:限制同时 report-faulty / drain 的比例(如 Max Unavailable ≤5%),避免大面积误判把整池送修。
- GB300 特例:report-host 会触发 ~1h 消毒 + 后续维修,重建等待以此为准;域级问题直接 §4.2。
后续验证任务(MIG 自动化)——手动流程稳定后再评估是否值得上 MIG,验证项:
- A4X / A4X Max 能否入 MIG;一个 domain 用 MIG 拉 18 台、最低保 16 台(
targetSize=18,配合分布式部署容忍 2 台缺失)是否可行。 - degraded host 恢复后 MIG 能否自动补齐到目标数(而不是卡在无余量)。
- VM 存活但内部掉 GPU/RDMA 的场景:MIG 的 health check 看不到 VM 内部,需由 k8s 侧(§6.2 哨兵)剔除节点 +
report-host-as-faulty,再由 MIG/手动重建——验证这条链路能否闭环。
6.4 场景三:计划维护的主动处理
先分清两种维护(§1.4),运维重心完全不同:
- 执行前 10 分钟硬通知——只针对不可抗力的硬件故障触发的紧急停机(GPU 无热迁移,只能 TERMINATE)。这不是能提前编排的东西,只能让 VM 兜底监听、收到就快速 checkpoint/排空(下方"兜底"一段)。
- 计划维护——GCP 一般提前约 1 个月告知。这才是主战场:在这一个月窗口内,自己挑低峰,按"摘节点 → 触发维护 → 修好加回"三步主动做完,不要拖到被动停机。
主动三步(计划维护窗口内完成):
- 摘节点(drain):
kubectl drain <node> --ignore-daemonsets --delete-emptydir-data,把 GB300 以整域(一个 sub-block / 18 台)为单位撤空——同域是一张 NVLink 网,拆一半没有意义。 - 触发维护:对撤空的目标下发
perform-maintenance,自选时机而不是等系统排期。
# 一个 sub-block(推荐的 GB300 单位)
gcloud beta compute reservations sub-blocks perform-maintenance <RESERVATION> \
--block-name=<B> --sub-block-name=<SB> --zone=<ZONE>
# 一个 block,--scope 选范围:all / running(有VM) / unused(空闲)——先修 unused 再挑低峰修 running
gcloud beta compute reservations blocks perform-maintenance <RESERVATION> \
--block-name=<B> --scope=unused --zone=<ZONE>
# 单/多实例
gcloud compute instances perform-maintenance <INSTANCE> --zone=<ZONE>
参考:sub-blocks perform-maintenance、blocks perform-maintenance。
- 修好加回:维护完成 → 过 §2.3 NCCL 自检 →
kubectl uncordon <node>重新上架。GB300 若期间发生了消毒,等 §4.2healthInfo恢复健康再拉起(§6.3 的手动恢复命令)。
上线前演练:用 gcloud compute instances simulate-maintenance-event <INSTANCE> [--with-extended-notifications] 在单机模拟一次维护事件,验证排空逻辑能在窗口内跑完【CLI,simulate-maintenance-event】。
兜底(应对不可抗力的 10 分钟硬通知):VM 内长轮询元数据,收到即快速 checkpoint / 排空——这只是安全网,不是日常运维手段:
# 长轮询,维护事件一变即返回(GPU 机型返回 TERMINATE_ON_HOST_MAINTENANCE)
curl -s -H "Metadata-Flavor: Google" \
"http://metadata.google.internal/computeMetadata/v1/instance/maintenance-event?wait_for_change=true"
出处【官方,GPU host maintenance、simulate host maintenance】。GPU 无热迁移宽限,没有"排空完成前阻止维护"的 hold 接口,所以兜底排空逻辑要足够快。
6.5 落地建议与风险清单
- 先软后硬:能靠
nvidia-smi -r/ host reset 恢复的(可恢复 XID、RDMA admin-down)先自愈,重启无效再 report-faulty,避免不必要的长周期换机。 - 防雪崩限流:自动 report-faulty / drain 设并发上限;大面积健康检查失败时熔断转人工。
- 拓扑严格保持:重建必须复用原 sub-block 全路径 + resource-policy,否则 NCCL 降速。
- 域级聚合:同一 sub-block 内多台短时间同时报错 → 聚合成一次
report-subblock-as-faulty,不要逐台报单机故障。 - 需 poc 实测的缺口(上线前逐项验证):
- report-host-as-faulty 完整"送修→修复→恢复"生命周期是否需手动重建;
- MIG 自动化验证(§6.3 末:A4X/A4X Max 能否入 MIG、一域 18 台保 16、degraded 恢复自动补齐、VM 内掉卡的剔除+report 闭环);
- "主机修复完成"是否有独立推送事件/日志(否则只能轮询 healthInfo)。
附录 A:故障信号 → 处置速查
| 现象 | 先做 | 不行则 |
|---|---|---|
| 短 NCCL 自检 busBW<600 / #wrong≠0 | nvidia-smi -r | host reset → 下架 → report faulty |
nvidia-smi < 4 卡 | 记录 PCI + dmesg Xid | 下架 → report host faulty |
| dmesg 见 Xid 143 / RmInitAdapter failed | 下架该节点 | report host faulty(GPU 已 PCI 失效) |
rdma link DISABLED | ip link set <dev> up | 重跑网卡改名 / host reset |
| bond1 每 60s 抖动 / 路由留不住 | 查 NetworkManager 日志 | 按 lustre 网卡修复流程处理 |
| SSH 不通 | 串口 port2 看栈 | 查 iptables 是否劫持元数据 169.254.169.254 |
start 后回滚 TERMINATED | 查 sub-block 健康(§4.2) | 换健康 sub-block / 开 case 交回 GCP |
| 同域多机同时坏 / MNNVL / switch 故障 | 整域撤空 | report-subblock-as-faulty(§4.2) |
| GB300 需下线 | 确认必要性(消毒 ~1h) | reset 优先于 stop;必须停再报障 |
| 收到维护通知(10 分钟) | checkpoint + 排空 | 或主动 perform-maintenance 选低峰(§6.4) |
附录 B:常用命令速查
# 连接 / 串口
ssh <USER>@<INTERNAL_IP> # 专线直连内网;22 不通试 -p 56000
gcloud compute instances get-serial-port-output <INSTANCE> --project=tencent-gcp-taiji --zone=<ZONE> --port=2
# 健康
nvidia-smi ; nvidia-smi -q ; rdma link ; nmcli device status ; sudo dmesg -T | grep -i xid ; lfs df
# 自检(交 PID1 托管)
sudo systemd-run --unit=nccl-singlenode --collect bash /path/to/nccl-test.sh ; journalctl -u nccl-singlenode -f
# 恢复升级链
nvidia-smi -r
gcloud compute instances reset <INSTANCE> --project=tencent-gcp-taiji --zone=<ZONE> # 先 sync;GB300 不触发消毒
# 报障
gcloud compute instances report-host-as-faulty <INSTANCE> --project=tencent-gcp-taiji --zone=<ZONE> \
--disruption-schedule=IMMEDIATE --fault-reasons="behavior=UNRECOVERABLE_GPU_ERROR,description=..." # 会停机;修主机 3-14 天
gcloud beta compute reservations sub-blocks describe <RESERVATION> --block-name=<B> --sub-block-name=<SB> --zone=<ZONE> --full-view=SUB_BLOCK_VIEW_FULL
gcloud beta compute reservations sub-blocks report-subblock-as-faulty <RESERVATION> --block-name=<B> --sub-block-name=<SB> --zone=<ZONE> \
--disruption-schedule=IMMEDIATE --failure-component=NVLINK_SWITCH --fault-reasons="behavior=SWITCH_FAILURE,description=..." # 域级报障,立即中断全域
# 维护
curl -s -H "Metadata-Flavor: Google" "http://metadata.google.internal/computeMetadata/v1/instance/maintenance-event?wait_for_change=true"
gcloud beta compute reservations blocks perform-maintenance <RESERVATION> --block-name=<B> --scope=unused --zone=<ZONE>
gcloud compute instances simulate-maintenance-event <INSTANCE> --zone=<ZONE>
# 日志
gcloud logging read 'resource.type=gce_instance AND resource.labels.instance_id=<ID> AND severity>=ERROR' --project=tencent-gcp-taiji --limit=50
附录 C:自动化组件速查
| 用途 | 组件 / 接口 | 官方文档 |
|---|---|---|
| GPU 指标(含 XID) | 自建 dcgm-exporter + Prometheus | dcgm-exporter |
| 节点故障哨兵 | Node Problem Detector(自写 GPU 规则) | node-problem-detector |
| XID→告警 | log-based metric + log-based alert | log-based alerts |
| 事件→自动化 | Logging Sink → Pub/Sub → Functions/Eventarc | sink 配置 / Eventarc |
| 单机报障 | instances report-host-as-faulty | 参考 |
| 域级报障 | sub-blocks report-subblock-as-faulty | 参考 |
| 查预留健康(轮询重建) | sub-blocks describe --full-view=FULL | 参考 |
| 主动检修 | reservations {sub-blocks,blocks} perform-maintenance | sub-blocks / blocks |
| 维护通知监听 | metadata maintenance-event / upcoming-maintenance | GPU host maintenance |
| 节点自愈参考架构 | GKE GPU 检测 + node auto-repair | GKE GPU / auto-repair |
附录 D:官方文档总表(按主题)
报障 / 主机维护
- report-faulty-host how-it-works(适用机型/前提/修复时长/autoRestart)
- gcloud report-host-as-faulty 命令参考
- gcloud report-subblock-as-faulty 命令参考(域级)
- reservationSubBlocks.reportFaulty REST
- sub-blocks describe(healthInfo / --full-view)
- reservationSubBlocks REST(healthInfo 字段)
- host maintenance overview(hostError / 自动重启)
- GPU host maintenance(TERMINATE / maintenance-event / upcoming-maintenance)
- live migration process(A4X 10 分钟通知)
- host events(A4X,maintenanceReasons 含 FAILURE_NVLINK)
- sub-blocks perform-maintenance / blocks perform-maintenance
- simulate-maintenance-event
Support case
- 创建 / 管理 case(Console)
- cases.create(Cloud Support API)
- 开 case 信息 checklist(Best practices)
- Case 优先级 P1–P4 定义
- 支持等级 × 优先级 × 响应时间(TSSG)
GPU 排障 / 日志 / 串口
- Compute GPU 排障(XID handling)
- GKE GPU 排障(device-plugin NVML 检测 XID)
- gcloud logging read 用法
- 串口输出概念(1MB / serial-port-logging-enable)
- get-serial-port-output 命令参考
监控 / 告警 / 自动化
- GPU 监控总览
- 告警总览 / 创建阈值策略
- log-based alerts / log-based metrics
- 通知渠道(Webhook / Pub/Sub)
- Logging sink 配置(导出到 Pub/Sub)
- Eventarc 总览
- MIG autohealing
- GKE node auto-repair
NVIDIA / Kubernetes
- NVIDIA Xid Errors 目录
- NVIDIA GPU Debug Guidelines(Table 1:reset vs RMA)
- nvidia-smi 手册(-r / --gpu-reset)
- DCGM feature overview / dcgmi diag 诊断级别
- dcgm-exporter(指标名)
- Node Problem Detector
- k8s 安全驱逐节点(drain/cordon) / Taints & Tolerations
- NCCL 环境变量 / nccl-tests
- NVIDIA IMEX 指南(多机 NVLink)
出处说明:NVIDIA 官方页多为单页 JS 渲染,上表给可访问的页面 URL + 章节名;具体 XID 码表、nvidia-imex-ctl flag 请以官方页对应章节与 --help 现场输出为准,勿凭记忆引用。标【待核】的条目为官方页当前失效或未文档化,需 poc 实测或联网复核。