GB200/GB300 故障报障采集指引

本文说明一次故障报障需要采集哪些信息,目的是让后台在不上机、不复现的前提下定位问题。许多故障事后无法复现(典型如跨域集合通信静默死锁,不报错、任务一停即失证),因此关键信号必须在故障发生的当下就落盘。

下面给出的是常用采集方法。贵方如已有监控与慢节点检测体系,可用自有工具产出同等信息,达到相同目的即可,不必照搬具体命令。

一次完整的报障应包含三部分:业务日志、宿主机诊断包、以及诊断包采不到的补充项(附带脚本)。


一、业务日志(应用层)

在作业启动时注入下列配置,让每个 rank 在故障当下把诊断信号写进日志。注入点是作业容器的 Pod spec 或启动脚本,不是宿主机全局设置,不影响其他作业。全程不使用 nsys,开销可接受、可日常常开。

采集项 常用做法(示例) 目的
集合通信轨迹(flight recorder)设 TORCH_FR_BUFFER_SIZE=20000 与 TORCH_NCCL_TRACE_BUFFER_SIZE=20000(两个名都设,兼容不同 torch 版本)+ TORCH_NCCL_DUMP_ON_TIMEOUT=1死锁/卡顿定位的核心:能看出哪个通信组、哪个 rank 停在哪一步,区分真死锁与等对端。单进程 dump 仅几 KB
逐-rank NCCL 日志NCCL_DEBUG=INFO、NCCL_DEBUG_SUBSYS=INIT,NET,GRAPH,TUNING,ENV,NVLS、NCCL_DEBUG_FILE=<dir>/nccl.%h.%p每个 rank 独立的建链、选路(NVLink vs RoCE)、拓扑、NVLink SHARP 建立、生效环境;这些多在初始化时打一次,量小可常开。逐操作的 COLL 不放进常开(会放大日志量),"卡在哪个集合"由 flight recorder 兜底
逐-rank 标准输出torchrun --redirects=3 --tee=3 --log-dir=<dir>每个 rank 独立落盘的 stdout/stderr,故障 rank 的报错不被淹没
启动命令与生效配置记录完整启动命令,并导出实际生效的环境变量:`env \grep -E '^(NCCL\TORCH\CUDA)' > effective-env.txt`确认现场配置与预期一致,排除"参数以为设了、实际没生效"
rank → 主机 映射启动时打印 RANK / LOCAL_RANK / WORLD_SIZE / HOSTNAME / GPU把 rank 号翻译成物理机,故障 rank 才能对应到具体节点
逐-rank 计时Megatron:--timing-log-level 2 --timing-log-option all(用 all,minmax 不给 rank 号)定位慢在哪一类阶段、哪一个 rank,区分计算、通信、I/O

推理作业(vLLM / Ray)目的相同:NCCL_* / TORCH_FR_* 同样适用,逐进程日志改由 vLLM/Ray 的 worker 日志目录承载。


二、宿主机诊断包(nvidia-bug-report + sosreport)

两个工具在当前镜像(现网 GB300/GB200 与 v24 均已实测)上的行为如下。

2.1 nvidia-bug-report

采集 GPU、驱动、NVLink、Xid 及相关内核信息。

当前版本只扫描最近 3 次启动、且按 NVIDIA/Xorg 关键字过滤,不遍历全部历史日志,因此耗时不随开机时长增长(实测约 10 秒、产物约 3 MB,完整)。直接运行即可:

nvidia-bug-report.sh

产物为当前目录下的 nvidia-bug-report.log.gz。不要用清理或 vacuum 日志的方式换速度,否则会丢掉故障前的关键记录。

2.2 sosreport

采集操作系统、存储、网络、容器运行时等主机侧信息。当前镜像自带的是标准 sos 4.6.0,插件齐全。非交互运行、抬高超时、不裁剪日志:

sos report --batch --all-logs --plugin-timeout=600 --cmd-timeout=600

只需最近若干天的日志时,加 --since(同时约束 journal 与归档日志):

sos report --batch --all-logs --since=<YYYYMMDD> --plugin-timeout=600 --cmd-timeout=600

sosreport 有两处采不到,由第三部分的脚本补齐:每张 RDMA 网卡的错误计数(infiniband 插件跳过 RoCE),以及对 Lustre 服务端的主动连通性探测。


三、补充采集(脚本)

sosreport 采不到的两类关键信息,用附录脚本补采。脚本纯只读,不改任何配置,可在生产节点直接运行:

sudo bash gb-support-supplement.sh

覆盖两项:

可选环境变量:GAP(两次采样间隔秒数,默认 30)、PING_TIMEOUT(单个 ping 超时秒数,默认 4)。脚本见文末附录。


四、隔离后的受控复测(可选,针对疑似节点)

当某节点 / subblock 被判为疑似故障,在剔除或暂停任务后,可在隔离状态下跑一次受控的多机集合通信压测。它提供业务日志给不了的东西:一个已知通信模式、可与健康节点直接对比的干净结果。

用途:性能达标(busBW 落在参考区间)可排除被测路径上的网络硬件持续性故障——坏链路、坏光模块、坏网卡、NVLink 掉链等一大类问题,这是很有价值的一类排除。要让这个结论成立,测试必须真正走过嫌疑路径:

运行(多机 all_reduce,示例):

NCCL_DEBUG=INFO \
NCCL_DEBUG_SUBSYS=INIT,COLL,NET,GRAPH,TUNING,ENV,NVLS \
NCCL_DEBUG_FILE=<dir>/nccl.%h.%p \
all_reduce_perf -b 512M -e 8G -f 2 -g <每机GPU数>

交付:busBW 数字 + 与 3 台健康节点的对照 + 完整逐-rank 日志。参考区间:GB300 / GB200 峰值约 680 GB/s,低于 600 判异常。

说明:NCCL_ASYNC_ERROR_HANDLING 是 PyTorch(ProcessGroupNCCL)层的开关,裸 all_reduce_perf 不读它;若改用 torch 拉起复测,写 TORCH_NCCL_ASYNC_ERROR_HANDLING=1。


五、采集哪些节点

按采集成本分两档,避免全量重型采集:

数据类别 采集范围 理由
业务日志(第一部分,轻量)尽量全采。至少 rank0 + 每节点 local_rank0 + 被判为慢/卡的 rank开销极小,而死锁定位需要全 rank 对比
宿主机诊断包 + 补充脚本(第二、三部分,重型)对比采样:全部疑似故障节点 + 3 台健康对照每台耗时较长,诊断价值主要来自故障节点与健康节点的对比

对照节点要求:取自同一次任务,优先同一 NVLink 域 / 同一 rack,使对比在相同拓扑与负载下成立;健康对照取 3 台即可。


六、一次完整报障应包含

  1. 业务日志:flight recorder + 逐-rank NCCL/stdout + 生效 env + rank→host 映射 + 逐-rank 计时;
  2. 疑似节点 + 3 台健康对照的 nvidia-bug-report.log.gz 与 sosreport;
  3. 补充脚本输出(RoCE 计数 + Lustre 连通性);
  4. (可选)疑似节点隔离后的受控 NCCL 复测:busBW + 逐-rank 日志 + 健康节点对照;
  5. 故障现象简述:任务规模、并行切分(TP/PP/EP/DP/CP)、大致发生时间、涉及的 rank/节点(若已知)。

附录:补充采集脚本 gb-support-supplement.sh

#!/usr/bin/env bash
# 报障补采脚本,补齐 sosreport 采不到的两类信息:
#   1. RoCE 网卡的错误计数。sos 的 infiniband 插件会跳过 RoCE,这些计数它不采,
#      而它们正是判断网卡或网络是否出问题的关键。
#   2. Lustre 到各存储服务端的主动连通性。sos 只读本地挂载状态,不会主动去 ping,
#      节点空闲时链路即使断了也看不出来。
#
# 全程只读,不改任何配置,可在生产节点直接运行。
#
# 关于计数怎么看:这些计数是开机到现在的累计值,健康机器的绝对值也可能很大,
# 单看一个数没有意义。所以这里前后采两次、中间等一段时间,报告这段时间里的
# 增量。只有增量在涨,才说明现在真有问题。
set -u

H=$(hostname)
GAP=${GAP:-30}                 # RoCE 前后两次采样的间隔秒数
PING_TIMEOUT=${PING_TIMEOUT:-4}
IB=/sys/class/infiniband

echo "==== 报障补采  host=$H  time=$(date '+%F %T')  采样间隔=${GAP}s ===="

# 重点关注的错误计数。前一组是 RDMA 传输层的重试/超时/乱序,后一组是物理层
# (线缆、光模块)的错误。清单外的计数如果也在涨,会额外列出来。
KEYS="packet_seq_err out_of_sequence local_ack_timeout_err rnr_nak_retry_err implied_nak_seq_err req_cqe_error resp_cqe_error req_remote_access_errors resp_remote_access_errors"
PHYS="symbol_error link_error_recovery link_downed port_rcv_errors"

# 把所有网卡所有端口的计数读进一个字典,key 是 "网卡|端口|计数名"。
read_counters() {
  local -n dst=$1
  local dev port f n
  for dev in $(ls "$IB" 2>/dev/null); do
    for port in $(ls "$IB/$dev/ports" 2>/dev/null); do
      for f in "$IB/$dev/ports/$port/hw_counters/"* "$IB/$dev/ports/$port/counters/"*; do
        [ -f "$f" ] || continue
        n=$(basename "$f")
        dst["$dev|$port|$n"]=$(cat "$f" 2>/dev/null)
      done
    done
  done
}

# 只在两个值都是纯数字时算差,避免个别非数字计数文件报错。
delta() {
  case "$1$2" in *[!0-9]*) echo "-"; return;; esac
  echo $(( $2 - $1 ))
}

echo
echo "==== 第一部分:RoCE 错误计数(增量)===="
declare -A S0 S1
read_counters S0
sleep "$GAP"
read_counters S1

for dev in $(ls "$IB" 2>/dev/null); do
  for port in $(ls "$IB/$dev/ports" 2>/dev/null); do
    st=$(awk '{print $2}' "$IB/$dev/ports/$port/state" 2>/dev/null)
    rate=$(cat "$IB/$dev/ports/$port/rate" 2>/dev/null)
    link=$(cat "$IB/$dev/ports/$port/link_layer" 2>/dev/null)
    echo "-- $dev port $port  state=$st rate=$rate link=$link --"

    # 先按重点清单顺序输出,没有该计数的驱动就跳过。
    for name in $KEYS $PHYS; do
      k="$dev|$port|$name"
      [ -n "${S1[$k]:-}" ] || continue
      printf "   %-26s %s (增量 +%s)\n" "$name" "${S1[$k]}" "$(delta "${S0[$k]:-0}" "${S1[$k]}")"
    done

    # 再扫一遍剩下的计数,增量大于 0 的也列出来,可能是清单没覆盖到的信号。
    for k in "${!S1[@]}"; do
      [ "${k%%|*}" = "$dev" ] || continue
      [ "$(echo "$k" | cut -d'|' -f2)" = "$port" ] || continue
      name="${k##*|}"
      case " $KEYS $PHYS " in *" $name "*) continue;; esac
      d=$(delta "${S0[$k]:-0}" "${S1[$k]}")
      [ "$d" != "-" ] && [ "$d" -gt 0 ] && printf "   %-26s %s (增量 +%s) [其他增长]\n" "$name" "${S1[$k]}" "$d"
    done
  done
done

echo
echo "==== 第二部分:Lustre 服务端主动连通性(lctl ping)===="
if ! command -v lctl >/dev/null 2>&1; then
  echo "  未找到 lctl,跳过(本机未安装 Lustre 客户端)"
else
  # 服务端 NID 从 osc/mdc 的 conn_uuid 读取。这个参数在空闲态也存在,
  # 所以不用挂载或跑训练就能拿到完整的存储服务端清单。
  NIDS=$(lctl get_param -n osc.*.ost_conn_uuid mdc.*.mds_conn_uuid 2>/dev/null | grep -oE '[0-9.]+@tcp' | sort -u)
  TOT=$(printf '%s\n' "$NIDS" | grep -c '@tcp')
  if [ "$TOT" -eq 0 ]; then
    echo "  未发现 Lustre 服务端 NID(未挂载或非 Lustre 节点)"
  else
    ok=0; bad=""
    for nid in $NIDS; do
      if timeout "$PING_TIMEOUT" lctl ping "$nid" >/dev/null 2>&1; then
        ok=$((ok+1))
      else
        bad="${bad:+$bad,}${nid%@tcp}"
      fi
    done
    echo "  可达 $ok/$TOT  不可达=[$bad]"
    echo "SUPPLEMENT host=$H lustre_reachable=$ok/$TOT unreachable=[$bad]"
  fi
fi