dsh-scnet 0.1.0

package/skills/scnet-hpc/references/software-compatibility.md

@@ -0,0 +1,49 @@
+## 国产超算软件兼容性排查
+
+### 验证顺序
+
+1. **系统 ABI**：确认发行版、glibc、CPU 架构和节点类型；检查 wheel 的 `manylinux` 标签是否高于目标 glibc。
+2. **工具链**：记录 GCC/Clang、DTK、HIP、CMake、MPI、Python 和框架版本；登录节点可用不等于计算节点可用。
+3. **最小探针**：在目标计算节点验证 import、设备枚举、最小 kernel、一个真实功能和退出码。
+4. **依赖路径**：区分 pip/conda 解析失败、运行时动态库失败、框架 kernel 不支持和模型/数据下载失败。
+5. **端到端结果**：记录成功条件、性能、显存/内存、失败日志和未验证范围。
+
+### 已验证的典型边界
+
+- **gfx936 / BW1000**：Triton、硬件 FP8 `torch._scaled_mm`、部分 bitsandbytes INT8 路径可能不可用；纯 PyTorch 软件反量化可作为推理兜底，但需要单独做性能和精度验证。
+- **gfx906 / Z100**：CentOS 7.6 的 glibc 2.17 会限制 manylinux wheel 版本；安装 Python 软件时优先选 manylinux2014 / manylinux_2_17 兼容包。MinerU 场景中，Python 3.10 + onnxruntime 1.16.3 是已验证方向，magika 版本/API 需要随源码适配。
+- **GROMACS HIP**：先验证 CMake 最低版本、DTK 的 `lib`/`lib64` CMake 路径、目标架构、FFTW 预置和 SIMD；CUDA 兼容层与原生 HIP 的性能不可直接互相推断。
+
+### 作业验证模板
+
+```bash
+set -o pipefail
+python3 -c 'import torch; print(torch.__version__); print(torch.cuda.is_available())'
+python3 -c 'import <target_package>; print("import ok")'
+<minimal_function_test>
+rc=$?
+echo "test_exit_code=$rc"
+exit "$rc"
+```
+
+不要只看 `sacct` 的 `COMPLETED`。脚本必须显式传递最后一个测试命令的退出码，并同时读取 `.out/.err`。
+
+### 公开报告模板
+
+标题采用“项目 + 加速器/平台 + 编译与性能/兼容性测试报告”。正文建议按以下顺序：
+
+1. 环境信息
+2. 编译过程与主要难题
+3. 最终方案与验证结果
+4. 测试数据与资源占用
+5. 已知限制与注意事项
+6. 经验总结与通用建议
+7. 附录：快速复现命令
+
+发布前扫描：
+
+```bash
+rg -n -i 'ssh|password|token|secret|/home/|/public/|/Users/|@[A-Za-z0-9.-]+|192\.168\.|10\.|172\.(1[6-9]|2[0-9]|3[0-1])\.|job [0-9]+|作业编号|节点名' report.html
+```
+
+将命中项替换为占位符或概括描述；保留版本、架构、错误类型、性能数据和验证边界。

package/skills/scnet-hpc/references/troubleshooting.md

@@ -0,0 +1,205 @@
+# 排查作业失败
+
+## 第一原则：不要相信 `sacct` 的 State
+
+bash 脚本里 Python 崩了之后，bash 继续执行后面的行，作业以**最后一条命令**的退出码
+结束。真实案例：
+
+```
+$ sacct -j <JOB_ID> --format=JobID,JobName,State,ExitCode,Elapsed
+<JOB_ID> | example-job | COMPLETED | 0:0 | 00:34:32
+```
+
+看着完美，实际上 Python 在第 3 分钟就抛了 `ValueError`，日志末尾还打印了脚本里
+写的 `===== COMPLETE =====`。
+
+**排查顺序永远是：读日志 → 看 State，不是反过来。**
+
+预防：脚本末尾写
+
+```bash
+rc=$?
+echo "### python exit=$rc"
+exit $rc
+```
+
+## 日志被进度条淹没时
+
+`transformers` 加载权重的进度条写到 stderr，会刷出几万字符：
+
+```bash
+grep -v "Loading weights" job_123.err | tail -50
+# 或者只看 Python traceback
+grep -A30 "Traceback" job_123.err | head -60
+```
+
+## 按报错分类
+
+### `QOSMinGRES`
+
+```
+sbatch: error: min tres(gres/dcu) request 0 exceeds per-job max tres limit 1
+       for qos <QOS名>
+sbatch: error: QOSMinGRES
+```
+
+忘了 `--gres=dcu:N`。这个分区**强制**每个作业至少 1 张 DCU，纯 CPU 作业也要写。
+
+### `too much memory was requested relative to the number of CPUs`
+
+违反 `--mem ≤ cpus-per-task × DEF_MEM_PER_CPU`（值见 profile）。
+要么降 `--mem`，要么加 `--cpus-per-task`。
+
+### `libmsgpackc.so.2` / `libgalaxyhip.so.5: cannot open shared object file`
+
+三种可能：
+
+1. **在登录节点跑 torch** —— 登录节点缺 `libmsgpackc.so.2`，即使 `module load`
+   之后也 import 不了。必须用 `srun`/`sbatch`。
+2. **忘了 `module load`** —— venv 激活前必须先
+   `module load compiler/gcc/9.3.0 compiler/dtk/26.04`。
+3. **顺序错了** —— 先激活 venv 再 module load 也会失败，顺序必须是 module 在前。
+
+### `Name or service not known` / `Hugging Face Hub is in offline mode`
+
+计算节点在访问外网。典型的是 `transformers` 的 kernel 下载机制：
+
+```
+ValueError: Version 4 of 'kernels-community/finegrained-fp8' is not available
+           in the local cache and Hugging Face Hub is in offline mode
+```
+
+或者更慢的版本（httpx 超时后才报）：
+
+```
+httpcore.ConnectError: [Errno -2] Name or service not known
+```
+
+脚本里加 `export HF_HUB_OFFLINE=1` 让它立刻失败而不是慢慢超时。但根本问题是**这个
+库需要运行时下载**，得找不依赖下载的替代路径。
+
+### `cannot get address for 'hipDrvLaunchKernelEx' from libamdhip64.so`
+
+Triton。DTK 26.04 的 HIP 运行时缺上游 ROCm 7 的 API，Triton 的 AMD backend 加载
+即失败。**放弃这条路**，包括所有依赖 Triton kernel 的框架（SGLang FP8、vLLM ROCm
+MoE、transformers finegrained-fp8）。
+
+### `torch._scaled_mm is only supported on CUDA devices with compute capability >= 9.0 or 8.9, or ROCm MI300+`
+
+gfx936 不支持硬件 FP8 计算。需要软件反量化（把 FP8 权重转成 BF16 再算）。
+
+### 退出码 53，且**完全没有日志文件**
+
+`#SBATCH` 是注释行，**Slurm 不做变量展开**。日志路径里写 `$USER` 会被当成字面量
+目录名，作业启动就失败：
+
+```
+$ sacct -j <ID> --format=State,ExitCode
+FAILED|0:53
+$ cat ~/scripts/logs/myjob_<ID>.log
+cat: No such file or directory        ← 连日志都没有，因为写不进去
+```
+
+两个原因都会导致这个：
+
+1. `--output` / `--error` 路径里有未展开的变量（`$USER`、`$HOME`）
+2. **日志目录不存在** —— Slurm 不会自动创建
+
+修法：`#SBATCH` 里写完整字面量路径，提交前 `mkdir -p <日志目录>`。
+`scripts/new-job.sh` 会展开好用户名并提示建目录。
+
+### `module load` 静默失败：作业返回 0 但 `ROCM_PATH` 没设置
+
+某些集群的 module 函数只在 **login shell** 里定义。用普通 `#!/bin/bash` 时
+`module load` 什么都不做，也不报错：
+
+```
+ROCM_PATH=未设置
+--- 架构 ---           ← rocminfo 无输出
+--- 显存 ---           ← rocm-smi 无输出
+### python exit=0      ← 作业「成功」了
+```
+
+这比直接报错更坑，因为退出码是 0。实测于昆山集群。
+
+修法：shebang 用 `#!/bin/bash -l`，或在 heredoc 内包一层 `bash -l`。
+`scripts/new-job.sh` 生成的脚本已经用 `bash -l`。
+
+自检：作业里打印 `echo "ROCM_PATH=${ROCM_PATH:-未设置}"`，未设置就说明没生效。
+
+### `TIMEOUT`
+
+`--time` 不够。注意大模型加载本身就很慢（DeepSeek V4 加载 154B 权重约 27 分钟），
+`--time` 要留足加载 + 计算的总时间。
+
+### OOM（进程被杀，日志突然截断）
+
+```bash
+sacct -j <ID> --format=JobID,State,MaxRSS,ReqMem -P
+```
+
+注意 `MaxRSS` **只出现在 `.batch` 子步骤那一行**，主作业行是空的：
+
+```
+JobID|MaxRSS|ReqMem
+<JOB_ID>||115G              ← 主行没有 MaxRSS
+<JOB_ID>.batch|120586316K|  ← 实际峰值在这里
+```
+
+`MaxRSS` 接近 `cpus × DEF_MEM_PER_CPU` 就是 CPU 内存不够，加 `--cpus-per-task`。
+上例申请了 `--mem=115gb` 而实际用到 120GB —— 因为 cgroup 按
+`32 × 3888MB = 121.5GB` 给（该集群 DEF_MEM_PER_CPU=3888），`--mem` 只是请求量。
+
+GPU OOM 会有明确的 `torch.cuda.OutOfMemoryError`，看每卡分配：
+
+```python
+for i in range(torch.cuda.device_count()):
+    print(i, torch.cuda.memory_allocated(i) / 1024**3, "GB")
+```
+
+### 作业一直 `PD (Priority)` 不动
+
+排队等资源，正常现象。看预计启动时间：
+
+```bash
+squeue -j <ID> --start
+sinfo -p <分区> -o "%n %t"           # 有几台 idle
+```
+
+`drain`/`drng` 状态的节点不参与调度，忙时可能等很久。
+
+## 调试策略
+
+**验证要便宜。** 大模型加载动辄半小时，用大作业试错代价太高。分层验证：
+
+1. **纯逻辑**（不需要 GPU/torch）→ 本地 Python 直接跑
+2. **需要 torch/DCU 但数据量小** → `srun` 交互式，约 5 秒拿到节点
+3. **小规模真实数据** → 2 分钟的 `sbatch` 探针作业
+4. **完整模型** → 最后才做
+
+真实教训：DeepSeek V4 的反量化实现，先写 16 项单元测试（2 分钟作业）验证数值正确，
+再跑完整模型。如果跳过第 3 步直接跑，每轮试错 30 分钟。
+
+**探针作业模板**：只读 metadata 不加载权重，几秒就出结果：
+
+```python
+from safetensors import safe_open
+with safe_open(path, framework="pt", device="cpu") as f:
+    sl = f.get_slice(key)
+    print(key, sl.get_shape(), sl.get_dtype())   # 不读实际数据
+```
+
+## 检查作业真正在干什么
+
+```bash
+# 作业跑在哪个节点
+squeue -j <ID> -o "%N"
+
+# 登到那个节点看进程（作业运行期间可以）
+ssh <节点名> 'top -b -n1 -u $USER | head -20'
+
+# GPU 占用
+srun --jobid=<ID> --overlap rocm-smi
+```
+
+`--overlap` 让新的 srun 步骤共享已有作业的资源分配，不用重新排队。

package/skills/scnet-hpc/scripts/_common.sh

@@ -0,0 +1,66 @@
+#!/usr/bin/env bash
+# 加载集群 profile。被其他脚本 source。
+#
+#   . "$(dirname "$0")/_common.sh"
+#   load_cluster "$CLUSTER"        # 空则自动选择
+#
+# 自动选择规则：clusters/ 下只有一个非模板 profile 时用它，否则要求显式指定。
+
+REPO_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
+CLUSTER_DIR="$REPO_ROOT/clusters"
+
+die() { printf '错误: %s\n' "$1" >&2; exit 1; }
+info() { printf '  %s\n' "$1"; }
+
+list_clusters() {
+    find "$CLUSTER_DIR" -maxdepth 1 -name '*.conf' ! -name '_*' -exec basename {} .conf \; 2>/dev/null | sort
+}
+
+load_cluster() {
+    local want="${1:-}"
+    local available
+    available=$(list_clusters)
+
+    [ -n "$available" ] || die "clusters/ 下没有可用的 profile。
+从模板新建一个：
+  cp $CLUSTER_DIR/_template.conf $CLUSTER_DIR/<集群短名>.conf"
+
+    if [ -z "$want" ]; then
+        local count
+        count=$(printf '%s\n' "$available" | grep -c .)
+        if [ "$count" -eq 1 ]; then
+            want="$available"
+        else
+            die "有多个集群 profile，请用 --cluster <名> 指定：
+$(printf '%s\n' "$available" | sed 's/^/  /')"
+        fi
+    fi
+
+    local conf="$CLUSTER_DIR/$want.conf"
+    [ -f "$conf" ] || die "找不到 profile: $conf
+可用的：
+$(printf '%s\n' "$available" | sed 's/^/  /')"
+
+    # shellcheck disable=SC1090
+    . "$conf"
+
+    [ -n "${CLUSTER_ID:-}" ] || die "$conf 里 CLUSTER_ID 为空"
+    [ -n "${SSH_HOST:-}" ]   || die "$conf 里 SSH_HOST 为空"
+    : "${SSH_PORT:=22}"
+    : "${HOME_BASE:=/public/home}"
+
+    CLUSTER_CONF="$conf"
+}
+
+# 从参数里摘出 --cluster <名>，剩下的放进 REST[]
+parse_cluster_arg() {
+    CLUSTER=""
+    REST=()
+    while [ $# -gt 0 ]; do
+        case "$1" in
+            --cluster) CLUSTER="${2:-}"; shift 2 ;;
+            --cluster=*) CLUSTER="${1#*=}"; shift ;;
+            *) REST+=("$1"); shift ;;
+        esac
+    done
+}

package/skills/scnet-hpc/scripts/new-job.sh

@@ -0,0 +1,146 @@
+#!/usr/bin/env bash
+# 生成一个符合目标集群所有约束的作业脚本骨架。
+#
+#   ./new-job.sh [--cluster <集群短名>] <作业名> [加速器数] [cpu数] [时长]
+#
+# 内存按 cpus × DEF_MEM_PER_CPU 自动取安全值，避免手算出错。
+
+set -euo pipefail
+
+. "$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)/_common.sh"
+
+parse_cluster_arg "$@"
+set -- "${REST[@]+${REST[@]}}"
+
+# --user <名>：远端用户名与本地不同时指定（日志路径需要真实用户名）
+REMOTE_USER=""
+ARGS=()
+while [ $# -gt 0 ]; do
+    case "$1" in
+        --user) REMOTE_USER="${2:-}"; shift 2 ;;
+        --user=*) REMOTE_USER="${1#*=}"; shift ;;
+        *) ARGS+=("$1"); shift ;;
+    esac
+done
+set -- "${ARGS[@]+${ARGS[@]}}"
+
+NAME="${1:-}"
+ACCEL="${2:-1}"
+CPUS="${3:-8}"
+TIME="${4:-00:20:00}"
+
+if [ -z "$NAME" ]; then
+    cat >&2 <<EOF
+用法: $0 [--cluster <集群短名>] [--user <远端用户名>] <作业名> [加速器数] [cpu数] [时长]
+
+例子:
+  $0 probe                    # 1 卡, 8 核, 20 分钟（探针）
+  $0 infer 8 32 01:30:00      # 8 卡, 32 核, 1.5 小时（大模型）
+
+可用集群: $(list_clusters | tr '\n' ' ')
+EOF
+    exit 1
+fi
+
+load_cluster "$CLUSTER"
+
+[ "${SCHEDULER:-slurm}" = "slurm" ] \
+    || die "暂只支持 slurm，${CLUSTER_ID} 用的是 ${SCHEDULER}"
+
+# 内存上限 = cpus × DEF_MEM_PER_CPU，留 1GB 余量避免边界抖动
+if [ -n "${DEF_MEM_PER_CPU:-}" ]; then
+    MEM_MB=$(( CPUS * DEF_MEM_PER_CPU ))
+    MEM_GB=$(( MEM_MB / 1024 ))
+    [ "$MEM_GB" -gt 1 ] && MEM_GB=$(( MEM_GB - 1 ))
+    MEM_LINE="#SBATCH --mem=${MEM_GB}gb"
+    MEM_NOTE="${MEM_GB}gb（上限 $(( MEM_MB / 1024 )).$(( MEM_MB % 1024 * 100 / 1024 ))gb）"
+else
+    MEM_LINE="# DEF_MEM_PER_CPU 未在 profile 中设置，未生成 --mem"
+    MEM_NOTE="未设置"
+fi
+
+# QOS 强制申请加速器时必须写 --gres
+GRES_LINE=""
+if [ -n "${GRES_TYPE:-}" ]; then
+    GRES_LINE="#SBATCH --gres=${GRES_TYPE}:${ACCEL}"
+    [ -n "${MIN_GRES:-}" ] && GRES_LINE="$GRES_LINE          # 必须：QOS 要求最少 ${MIN_GRES}"
+fi
+
+# 远端用户名。#SBATCH 是注释行，Slurm 不做变量展开 —— 日志路径里写 $USER
+# 会被当成字面量目录名，作业以 exit 53 失败且不产生日志。所以这里必须展开成
+# 真实用户名。默认取本地用户名，不同时用 --user 覆盖。
+REMOTE_USER="${REMOTE_USER:-$(whoami)}"
+HOME_DIR="${HOME_BASE}/${REMOTE_USER}"
+
+# 脚本体（非 #SBATCH 行）里可以正常用 $USER
+MODULES=""
+[ -n "${MODULE_LOADS:-}" ] && MODULES="module load ${MODULE_LOADS}"
+VENV_LINE=""
+[ -n "${DEFAULT_VENV:-}" ] && VENV_LINE="source ${HOME_DIR}/${DEFAULT_VENV}/bin/activate"
+
+OFFLINE_LINES=""
+if [ "${COMPUTE_NODE_OFFLINE:-yes}" = "yes" ]; then
+    OFFLINE_LINES="# 计算节点无外网：让 Hub 请求立刻失败，而不是等 httpx 超时
+export HF_HUB_OFFLINE=1
+export TRANSFORMERS_OFFLINE=1"
+fi
+
+OUT="${NAME}.slurm"
+[ -e "$OUT" ] && die "$OUT 已存在"
+
+cat > "$OUT" <<EOF
+#!/bin/bash -l
+# 目标集群: ${CLUSTER_ID} (${CLUSTER_DESC:-$SSH_HOST})
+#
+# 注意 shebang 是 "bash -l"（login shell）。有些集群的 module 函数只在 login
+# shell 里定义，用普通 "#!/bin/bash" 会让 module load 静默失败 —— 作业照样
+# 返回 0，但 ROCM_PATH 不设置、rocminfo/rocm-smi 无输出。实测于昆山集群。
+#SBATCH --job-name=${NAME}
+#SBATCH --partition=${PARTITION}
+${GRES_LINE}
+#SBATCH --nodes=1
+#SBATCH --ntasks-per-node=1
+#SBATCH --cpus-per-task=${CPUS}
+${MEM_LINE}
+#SBATCH --time=${TIME}
+#SBATCH --output=${HOME_DIR}/scripts/logs/${NAME}_%j.log
+#SBATCH --error=${HOME_DIR}/scripts/logs/${NAME}_%j.err
+
+module purge
+${MODULES}
+${VENV_LINE}
+
+${OFFLINE_LINES}
+
+echo "### node=\$(hostname) jobid=\$SLURM_JOB_ID"
+date +"%Y-%m-%d %H:%M:%S"
+
+python3 - <<'PYEOF'
+import torch
+print("torch", torch.__version__, "|", torch.cuda.get_device_name(0),
+      "| devices", torch.cuda.device_count())
+
+# TODO: 在这里写你的代码
+PYEOF
+
+rc=\$?
+echo "### python exit=\$rc"
+date +"%Y-%m-%d %H:%M:%S"
+# 必须传播退出码，否则 python 崩了 sacct 仍显示 COMPLETED（假成功）
+exit \$rc
+EOF
+
+chmod +x "$OUT"
+
+# 清掉 profile 缺项造成的空行
+sed -i.bak '/^$/N;/^\n$/D' "$OUT" 2>/dev/null && rm -f "$OUT.bak"
+
+echo "已生成 $OUT"
+echo "  集群=${CLUSTER_ID}  ${GRES_TYPE:-加速器}=${ACCEL}  CPU=${CPUS}  内存=${MEM_NOTE}  时长=${TIME}"
+echo "  日志目录=${HOME_DIR}/scripts/logs（用户名 ${REMOTE_USER}，不对请加 --user）"
+echo
+echo "上传并提交："
+echo "  scp $OUT ${CLUSTER_ID}:${HOME_DIR}/scripts/"
+echo "  ssh ${CLUSTER_ID} 'mkdir -p ${HOME_DIR}/scripts/logs && sbatch --test-only ${HOME_DIR}/scripts/$OUT'"
+echo
+echo "注意：logs 目录必须先存在，否则作业会以 exit 53 失败且不产生任何日志。"

package/skills/scnet-hpc/scripts/probe-cluster.sh

@@ -0,0 +1,156 @@
+#!/usr/bin/env bash
+# 探测一个已能 SSH 登录的集群，输出可直接保存为 profile 的内容。
+#
+#   ./probe-cluster.sh <ssh别名或host> [集群短名] > ../clusters/<集群短名>.conf
+#
+# 新增集群时先手工能 ssh 上去，再跑这个脚本自动填大部分字段。
+# 探测不到的项留空并注释说明，不猜。
+
+set -euo pipefail
+
+TARGET="${1:-}"
+NAME="${2:-$TARGET}"
+
+[ -n "$TARGET" ] || { echo "用法: $0 <ssh别名或host> [集群短名]" >&2; exit 1; }
+
+r() { ssh -o BatchMode=yes -o ConnectTimeout=15 "$TARGET" "$1" 2>/dev/null || true; }
+
+echo "==> 探测 $TARGET ..." >&2
+
+# 先确认能连上，否则后面全是空值
+probe_ok=$(r 'echo yes')
+[ "$probe_ok" = "yes" ] || { echo "错误: 无法通过 ssh 连接 $TARGET" >&2; exit 1; }
+
+USER_REMOTE=$(r 'whoami')
+LOGIN_HOST=$(r 'hostname')
+HOME_REAL=$(r 'echo $HOME')
+HOME_BASE_V=$(dirname "$HOME_REAL")
+
+# ---- 调度器 ----
+SCHED="unknown"
+r 'command -v sbatch'  >/dev/null && [ -n "$(r 'command -v sbatch')" ]  && SCHED="slurm"
+[ "$SCHED" = "unknown" ] && [ -n "$(r 'command -v qsub')" ] && SCHED="pbs"
+
+PART=""; DEFMEM=""; MAXWALL=""; MINGRES=""; GRESTYPE=""
+NODECNT=""; CPUS_N=""; NODEMEM=""
+
+if [ "$SCHED" = "slurm" ]; then
+    # 取第一个 up 状态的分区
+    PART=$(r "sinfo -h -o '%P %a' | awk '\$2==\"up\"{print \$1; exit}'" | tr -d '*')
+
+    if [ -n "$PART" ]; then
+        SCON=$(r "scontrol show partition $PART")
+        DEFMEM=$(printf '%s' "$SCON" | tr ' ' '\n' | sed -n 's/^DefMemPerCPU=//p' | head -1)
+        MAXWALL=$(printf '%s' "$SCON" | tr ' ' '\n' | sed -n 's/^MaxTime=//p' | head -1)
+        NODECNT=$(printf '%s' "$SCON" | tr ' ' '\n' | sed -n 's/^TotalNodes=//p' | head -1)
+
+        # QOS 的 MinTRES（如 gres/dcu=1）—— 决定是否强制申请加速器
+        QOSN=$(printf '%s' "$SCON" | tr ' ' '\n' | sed -n 's/^QoS=//p' | head -1)
+        if [ -n "$QOSN" ] && [ "$QOSN" != "N/A" ]; then
+            MINTRES=$(r "sacctmgr -nP show qos where name=$QOSN format=MinTRES")
+            # gres/dcu=1 -> dcu:1
+            MINGRES=$(printf '%s' "$MINTRES" | sed -n 's|.*gres/\([a-z]*\)=\([0-9]*\).*|\1:\2|p')
+        fi
+
+        # 节点规格取第一台
+        NODEINFO=$(r "sinfo -h -p $PART -o '%c|%m|%G' | head -1")
+        CPUS_N=$(printf '%s' "$NODEINFO" | cut -d'|' -f1)
+        NODEMEM=$(printf '%s' "$NODEINFO" | cut -d'|' -f2 | awk '{printf "%d", $1/1024}')
+        # gres 形如 dcu:Hygon:8(S:0-7) 或 gpu:a100:4
+        # 先砍掉括号里的 socket 映射，再取最后一段数字，否则会抓到 "0-7"
+        GRESRAW=$(printf '%s' "$NODEINFO" | cut -d'|' -f3)
+        GRESBASE=${GRESRAW%%(*}
+        GRESTYPE=$(printf '%s' "$GRESBASE" | cut -d: -f1)
+        ACCEL_N=$(printf '%s' "$GRESBASE" | awk -F: '{print $NF}' | tr -dc '0-9')
+    fi
+fi
+
+CPU_MODEL_V=$(r "lscpu | sed -n 's/^Model name:[[:space:]]*//p' | head -1")
+
+# ---- 网络（登录节点）----
+# 超时给足 15s 并重试：某些站点首包慢，单次探测会误判成不可达
+net_ok=""; net_bad=""
+for h in pypi.org pypi.tuna.tsinghua.edu.cn modelscope.cn huggingface.co github.com; do
+    reachable="no"
+    for _ in 1 2; do
+        code=$(r "timeout 15 curl -sI https://$h -o /dev/null -w '%{http_code}'")
+        case "$code" in 2*|3*) reachable="yes"; break ;; esac
+    done
+    if [ "$reachable" = "yes" ]; then
+        net_ok="$net_ok $h"
+    else
+        net_bad="$net_bad $h"
+    fi
+done
+
+# ---- 登录节点能否 import torch ----
+torch_login=$(r 'python3 -c "import torch" 2>&1 | tail -1')
+missing_lib=$(printf '%s' "$torch_login" | sed -n 's/^ImportError: \([^:]*\.so[^:]*\).*/\1/p')
+
+QUOTA=$(r "df -BG $HOME_REAL 2>/dev/null | awk 'NR==2{gsub(/[^0-9]/,\"\",\$2); print \$2}'")
+
+echo "==> 完成，输出 profile" >&2
+
+cat <<EOF
+# ${NAME} —— 自动探测于 $(date +%Y-%m-%d)
+# 探测源: ssh ${TARGET} (登录节点 ${LOGIN_HOST})
+# 留空的项表示未能自动探测，请手工确认后填写。
+
+# ---- 连接 ----
+CLUSTER_ID="${NAME}"
+CLUSTER_DESC=""
+SSH_HOST="$(ssh -G "$TARGET" 2>/dev/null | awk '/^hostname /{print $2}')"
+SSH_PORT="$(ssh -G "$TARGET" 2>/dev/null | awk '/^port /{print $2}')"
+HOME_BASE="${HOME_BASE_V}"
+
+KEY_NAME_MARKER=""
+NEEDS_UPDATE_HOSTKEYS_NO="no"
+
+# ---- 调度器 ----
+SCHEDULER="${SCHED}"
+PARTITION="${PART}"
+DEF_MEM_PER_CPU="${DEFMEM}"
+MIN_GRES="${MINGRES}"
+GRES_TYPE="${GRESTYPE}"
+MAX_WALLTIME="${MAXWALL}"
+
+# ---- 硬件 ----
+ACCEL_NAME=""
+ACCEL_ARCH=""
+ACCEL_PER_NODE="${ACCEL_N:-}"
+ACCEL_MEM_GB=""
+CPUS_PER_NODE="${CPUS_N}"
+CPU_MODEL="${CPU_MODEL_V}"
+NODE_MEM_GB="${NODEMEM}"
+NODE_COUNT="${NODECNT}"
+LOGIN_NODES="${LOGIN_HOST}"
+HOME_QUOTA_GB="${QUOTA}"
+
+# ---- 软件栈 ----
+TOOLCHAIN=""
+TOOLCHAIN_VERSION=""
+TOOLCHAIN_PATH=""
+MODULE_LOADS=""
+DEFAULT_VENV=""
+
+# ---- 网络 ----
+NET_OK="$(echo "$net_ok" | sed 's/^ //')"
+NET_BLOCKED="$(echo "$net_bad" | sed 's/^ //')"
+PIP_INDEX="https://pypi.tuna.tsinghua.edu.cn/simple"
+COMPUTE_NODE_OFFLINE="yes"
+TMP_SHARED="no"
+
+# ---- 已知问题 ----
+LOGIN_NODE_MISSING_LIBS="${missing_lib}"
+KNOWN_LIMITATIONS=""
+
+# 探测时登录节点 import torch 的结果（供参考）：
+#   ${torch_login:-（无输出，可能已可用）}
+#
+# 还需手工确认的：
+#   - ACCEL_NAME / ACCEL_ARCH：在计算节点跑
+#       srun -p ${PART} ${MINGRES:+--gres=$MINGRES} --time=00:05:00 rocminfo | grep gfx
+#     或 nvidia-smi --query-gpu=name --format=csv
+#   - MODULE_LOADS：module avail 里挑编译器和加速器 SDK
+#   - KNOWN_LIMITATIONS：跑一次能力探针（见 references/troubleshooting.md）
+EOF