GB200/GB300 故障报障采集指引
本文说明一次故障报障需要采集哪些信息,目的是让后台在不上机、不复现的前提下定位问题。许多故障事后无法复现(典型如跨域集合通信静默死锁,不报错、任务一停即失证),因此关键信号必须在故障发生的当下就落盘。
下面给出的是常用采集方法。贵方如已有监控与慢节点检测体系,可用自有工具产出同等信息,达到相同目的即可,不必照搬具体命令。
一次完整的报障应包含三部分:业务日志、宿主机诊断包、以及诊断包采不到的补充项(附带脚本)。
一、业务日志(应用层)
在作业启动时注入下列配置,让每个 rank 在故障当下把诊断信号写进日志。注入点是作业容器的 Pod spec 或启动脚本,不是宿主机全局设置,不影响其他作业。全程不使用 nsys,开销可接受、可日常常开。
| 采集项 | 常用做法(示例) | 目的 | |||
|---|---|---|---|---|---|
| 集合通信轨迹(flight recorder) | 设 TORCH_FR_BUFFER_SIZE=20000 与 TORCH_NCCL_TRACE_BUFFER_SIZE=20000(两个名都设,兼容不同 torch 版本)+ TORCH_NCCL_DUMP_ON_TIMEOUT=1 | 死锁/卡顿定位的核心:能看出哪个通信组、哪个 rank 停在哪一步,区分真死锁与等对端。单进程 dump 仅几 KB | |||
| 逐-rank NCCL 日志 | NCCL_DEBUG=INFO、NCCL_DEBUG_SUBSYS=INIT,NET,GRAPH,TUNING,ENV,NVLS、NCCL_DEBUG_FILE=<dir>/nccl.%h.%p | 每个 rank 独立的建链、选路(NVLink vs RoCE)、拓扑、NVLink SHARP 建立、生效环境;这些多在初始化时打一次,量小可常开。逐操作的 COLL 不放进常开(会放大日志量),"卡在哪个集合"由 flight recorder 兜底 | |||
| 逐-rank 标准输出 | torchrun --redirects=3 --tee=3 --log-dir=<dir> | 每个 rank 独立落盘的 stdout/stderr,故障 rank 的报错不被淹没 | |||
| 启动命令与生效配置 | 记录完整启动命令,并导出实际生效的环境变量:`env \ | grep -E '^(NCCL\ | TORCH\ | CUDA)' > effective-env.txt` | 确认现场配置与预期一致,排除"参数以为设了、实际没生效" |
| rank → 主机 映射 | 启动时打印 RANK / LOCAL_RANK / WORLD_SIZE / HOSTNAME / GPU | 把 rank 号翻译成物理机,故障 rank 才能对应到具体节点 | |||
| 逐-rank 计时 | Megatron:--timing-log-level 2 --timing-log-option all(用 all,minmax 不给 rank 号) | 定位慢在哪一类阶段、哪一个 rank,区分计算、通信、I/O |
推理作业(vLLM / Ray)目的相同:NCCL_* / TORCH_FR_* 同样适用,逐进程日志改由 vLLM/Ray 的 worker 日志目录承载。
二、宿主机诊断包(nvidia-bug-report + sosreport)
两个工具在当前镜像(现网 GB300/GB200 与 v24 均已实测)上的行为如下。
2.1 nvidia-bug-report
采集 GPU、驱动、NVLink、Xid 及相关内核信息。
当前版本只扫描最近 3 次启动、且按 NVIDIA/Xorg 关键字过滤,不遍历全部历史日志,因此耗时不随开机时长增长(实测约 10 秒、产物约 3 MB,完整)。直接运行即可:
nvidia-bug-report.sh
产物为当前目录下的 nvidia-bug-report.log.gz。不要用清理或 vacuum 日志的方式换速度,否则会丢掉故障前的关键记录。
2.2 sosreport
采集操作系统、存储、网络、容器运行时等主机侧信息。当前镜像自带的是标准 sos 4.6.0,插件齐全。非交互运行、抬高超时、不裁剪日志:
sos report --batch --all-logs --plugin-timeout=600 --cmd-timeout=600
只需最近若干天的日志时,加 --since(同时约束 journal 与归档日志):
sos report --batch --all-logs --since=<YYYYMMDD> --plugin-timeout=600 --cmd-timeout=600
sosreport 有两处采不到,由第三部分的脚本补齐:每张 RDMA 网卡的错误计数(infiniband 插件跳过 RoCE),以及对 Lustre 服务端的主动连通性探测。
三、补充采集(脚本)
sosreport 采不到的两类关键信息,用附录脚本补采。脚本纯只读,不改任何配置,可在生产节点直接运行:
sudo bash gb-support-supplement.sh
覆盖两项:
- RoCE 错误计数:每张 RDMA 网卡的传输层与物理层错误计数(
packet_seq_err、local_ack_timeout_err、symbol_error等)。脚本前后采样两次、报告增量——这些是累计值,只有增量在涨才说明当前有问题。 - Lustre 连通性:枚举全部存储服务端并逐个
lctl ping,空闲态也能测出真实断路(非 Lustre 节点自动跳过)。
可选环境变量:GAP(两次采样间隔秒数,默认 30)、PING_TIMEOUT(单个 ping 超时秒数,默认 4)。脚本见文末附录。
四、隔离后的受控复测(可选,针对疑似节点)
当某节点 / subblock 被判为疑似故障,在剔除或暂停任务后,可在隔离状态下跑一次受控的多机集合通信压测。它提供业务日志给不了的东西:一个已知通信模式、可与健康节点直接对比的干净结果。
用途:性能达标(busBW 落在参考区间)可排除被测路径上的网络硬件持续性故障——坏链路、坏光模块、坏网卡、NVLink 掉链等一大类问题,这是很有价值的一类排除。要让这个结论成立,测试必须真正走过嫌疑路径:
- 通信模式贴近故障:一般 / NVLink 类用
all_reduce_perf;EP / DeepEP / all-to-all 类改用alltoall_perf(对称 all_reduce 压不到 all-to-all 路径); - rank 摆放跨到嫌疑节点 / 域,否则测的是别处的硬件;
- 消息尺寸拉到大区间(如
-b 512M -e 8G -f 2),小包测不出链路劣化; - 与补充脚本的计数增量一起看:只在真作业下才涨的间歇性错误,短跑未必触发,靠第三部分的计数增量兜底。
运行(多机 all_reduce,示例):
NCCL_DEBUG=INFO \
NCCL_DEBUG_SUBSYS=INIT,COLL,NET,GRAPH,TUNING,ENV,NVLS \
NCCL_DEBUG_FILE=<dir>/nccl.%h.%p \
all_reduce_perf -b 512M -e 8G -f 2 -g <每机GPU数>
交付:busBW 数字 + 与 3 台健康节点的对照 + 完整逐-rank 日志。参考区间:GB300 / GB200 峰值约 680 GB/s,低于 600 判异常。
说明:NCCL_ASYNC_ERROR_HANDLING 是 PyTorch(ProcessGroupNCCL)层的开关,裸 all_reduce_perf 不读它;若改用 torch 拉起复测,写 TORCH_NCCL_ASYNC_ERROR_HANDLING=1。
五、采集哪些节点
按采集成本分两档,避免全量重型采集:
| 数据类别 | 采集范围 | 理由 |
|---|---|---|
| 业务日志(第一部分,轻量) | 尽量全采。至少 rank0 + 每节点 local_rank0 + 被判为慢/卡的 rank | 开销极小,而死锁定位需要全 rank 对比 |
| 宿主机诊断包 + 补充脚本(第二、三部分,重型) | 对比采样:全部疑似故障节点 + 3 台健康对照 | 每台耗时较长,诊断价值主要来自故障节点与健康节点的对比 |
对照节点要求:取自同一次任务,优先同一 NVLink 域 / 同一 rack,使对比在相同拓扑与负载下成立;健康对照取 3 台即可。
六、一次完整报障应包含
- 业务日志:flight recorder + 逐-rank NCCL/stdout + 生效 env + rank→host 映射 + 逐-rank 计时;
- 疑似节点 + 3 台健康对照的
nvidia-bug-report.log.gz与 sosreport; - 补充脚本输出(RoCE 计数 + Lustre 连通性);
- (可选)疑似节点隔离后的受控 NCCL 复测:busBW + 逐-rank 日志 + 健康节点对照;
- 故障现象简述:任务规模、并行切分(TP/PP/EP/DP/CP)、大致发生时间、涉及的 rank/节点(若已知)。
附录:补充采集脚本 gb-support-supplement.sh
#!/usr/bin/env bash
# 报障补采脚本,补齐 sosreport 采不到的两类信息:
# 1. RoCE 网卡的错误计数。sos 的 infiniband 插件会跳过 RoCE,这些计数它不采,
# 而它们正是判断网卡或网络是否出问题的关键。
# 2. Lustre 到各存储服务端的主动连通性。sos 只读本地挂载状态,不会主动去 ping,
# 节点空闲时链路即使断了也看不出来。
#
# 全程只读,不改任何配置,可在生产节点直接运行。
#
# 关于计数怎么看:这些计数是开机到现在的累计值,健康机器的绝对值也可能很大,
# 单看一个数没有意义。所以这里前后采两次、中间等一段时间,报告这段时间里的
# 增量。只有增量在涨,才说明现在真有问题。
set -u
H=$(hostname)
GAP=${GAP:-30} # RoCE 前后两次采样的间隔秒数
PING_TIMEOUT=${PING_TIMEOUT:-4}
IB=/sys/class/infiniband
echo "==== 报障补采 host=$H time=$(date '+%F %T') 采样间隔=${GAP}s ===="
# 重点关注的错误计数。前一组是 RDMA 传输层的重试/超时/乱序,后一组是物理层
# (线缆、光模块)的错误。清单外的计数如果也在涨,会额外列出来。
KEYS="packet_seq_err out_of_sequence local_ack_timeout_err rnr_nak_retry_err implied_nak_seq_err req_cqe_error resp_cqe_error req_remote_access_errors resp_remote_access_errors"
PHYS="symbol_error link_error_recovery link_downed port_rcv_errors"
# 把所有网卡所有端口的计数读进一个字典,key 是 "网卡|端口|计数名"。
read_counters() {
local -n dst=$1
local dev port f n
for dev in $(ls "$IB" 2>/dev/null); do
for port in $(ls "$IB/$dev/ports" 2>/dev/null); do
for f in "$IB/$dev/ports/$port/hw_counters/"* "$IB/$dev/ports/$port/counters/"*; do
[ -f "$f" ] || continue
n=$(basename "$f")
dst["$dev|$port|$n"]=$(cat "$f" 2>/dev/null)
done
done
done
}
# 只在两个值都是纯数字时算差,避免个别非数字计数文件报错。
delta() {
case "$1$2" in *[!0-9]*) echo "-"; return;; esac
echo $(( $2 - $1 ))
}
echo
echo "==== 第一部分:RoCE 错误计数(增量)===="
declare -A S0 S1
read_counters S0
sleep "$GAP"
read_counters S1
for dev in $(ls "$IB" 2>/dev/null); do
for port in $(ls "$IB/$dev/ports" 2>/dev/null); do
st=$(awk '{print $2}' "$IB/$dev/ports/$port/state" 2>/dev/null)
rate=$(cat "$IB/$dev/ports/$port/rate" 2>/dev/null)
link=$(cat "$IB/$dev/ports/$port/link_layer" 2>/dev/null)
echo "-- $dev port $port state=$st rate=$rate link=$link --"
# 先按重点清单顺序输出,没有该计数的驱动就跳过。
for name in $KEYS $PHYS; do
k="$dev|$port|$name"
[ -n "${S1[$k]:-}" ] || continue
printf " %-26s %s (增量 +%s)\n" "$name" "${S1[$k]}" "$(delta "${S0[$k]:-0}" "${S1[$k]}")"
done
# 再扫一遍剩下的计数,增量大于 0 的也列出来,可能是清单没覆盖到的信号。
for k in "${!S1[@]}"; do
[ "${k%%|*}" = "$dev" ] || continue
[ "$(echo "$k" | cut -d'|' -f2)" = "$port" ] || continue
name="${k##*|}"
case " $KEYS $PHYS " in *" $name "*) continue;; esac
d=$(delta "${S0[$k]:-0}" "${S1[$k]}")
[ "$d" != "-" ] && [ "$d" -gt 0 ] && printf " %-26s %s (增量 +%s) [其他增长]\n" "$name" "${S1[$k]}" "$d"
done
done
done
echo
echo "==== 第二部分:Lustre 服务端主动连通性(lctl ping)===="
if ! command -v lctl >/dev/null 2>&1; then
echo " 未找到 lctl,跳过(本机未安装 Lustre 客户端)"
else
# 服务端 NID 从 osc/mdc 的 conn_uuid 读取。这个参数在空闲态也存在,
# 所以不用挂载或跑训练就能拿到完整的存储服务端清单。
NIDS=$(lctl get_param -n osc.*.ost_conn_uuid mdc.*.mds_conn_uuid 2>/dev/null | grep -oE '[0-9.]+@tcp' | sort -u)
TOT=$(printf '%s\n' "$NIDS" | grep -c '@tcp')
if [ "$TOT" -eq 0 ]; then
echo " 未发现 Lustre 服务端 NID(未挂载或非 Lustre 节点)"
else
ok=0; bad=""
for nid in $NIDS; do
if timeout "$PING_TIMEOUT" lctl ping "$nid" >/dev/null 2>&1; then
ok=$((ok+1))
else
bad="${bad:+$bad,}${nid%@tcp}"
fi
done
echo " 可达 $ok/$TOT 不可达=[$bad]"
echo "SUPPLEMENT host=$H lustre_reachable=$ok/$TOT unreachable=[$bad]"
fi
fi