@pawlogic/dl 0.37.1 → 0.38.1

package/dl-npm-update.sh

@@ -1,9 +1,8 @@
 #!/bin/sh
 # dl 沙箱内自更新 (npm 版本) —— 替代 dl-selfupdate.sh 的 GCS 路径。
 #
-# wrapper 在 exec dl 之前调一次本脚本。任何步骤失败一律 swallow,永远 exit 0,
-# 绝不阻塞业务 dl 调用。当次仍用旧 bundle,新 bundle 装完后**下次** dl 调用才生效
-# (agent 失败重试天然吃到新版)。
+# wrapper 在 exec dl 之前同步调一次本脚本。更新失败不阻止继续调用已有 bundle。
+# --cli 绕过 TTL,输出 outcome 给 self-update 命令;安装与恢复仍使用同一把锁。
 #
 # dist-tag 来源,优先级从高到低:
 #   1. PI_DL_DIST_TAG  —— hono-pi-e2b 每条命令注入 (e2b-operations.ts),反映
@@ -37,6 +36,11 @@ STAMP=/tmp/dl-npm-checkedat
 LOCK=/tmp/dl-npm-update.lock
 TTL=300
 PACKAGE="@pawlogic/dl"
+# 独立下发恢复脚本时,拒绝被尚未包含修复的 npm 包降级。
+UPDATER_REVISION=2
+CLI=false
+[ "${1:-}" = "--cli" ] && CLI=true
+RECOVERED=false
 
 # 注入值优先,回落到 wrapper 烤死的值(理由见文件头)。
 #
@@ -65,6 +69,17 @@ report_event() {
   _outcome="$1"
   _dur="${2:-null}"
   _errfile="${3:-}"
+  _code=""
+  _syscall=""
+  if [ -n "$_errfile" ] && [ -f "$_errfile" ]; then
+    _code=$(awk '/^npm (error|ERR!) code [A-Z0-9_]+$/ {print $4; exit}' "$_errfile")
+    _syscall=$(awk '/^npm (error|ERR!) syscall [a-z]+$/ {print $4; exit}' "$_errfile")
+  fi
+  if [ "$CLI" = true ]; then
+    printf '%s\n' "$_outcome"
+    printf 'code=%s syscall=%s recovered=%s\n' "$_code" "$_syscall" "$RECOVERED" >&2
+    return 0
+  fi
   [ -z "${CALLBACK_SERVER_URL:-}" ] && return 0
   [ -z "${DL_PROXY_TOKEN:-}" ] && return 0
   command -v curl >/dev/null 2>&1 || return 0
@@ -118,9 +133,9 @@ report_event() {
     curl -fsS -m 2 -X POST "${CALLBACK_SERVER_URL%/}/sandbox-rpc/dl/selfupdate-event" \
       -H 'content-type: application/json' \
       -H "authorization: Bearer ${DL_PROXY_TOKEN}" \
-      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null,\"error_tail\":$_err_json,\"project_id\":$_proj_json,\"mode\":$_mode_json,\"user_tier\":$_tier_json,\"user_id\":$_user_json,\"prompt_id\":$_prompt_json,\"tool_call_id\":$_toolcall_json,\"sandbox_id\":$_sandbox_json}" \
+      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null,\"error_tail\":$_err_json,\"error_code\":\"$_code\",\"error_syscall\":\"$_syscall\",\"recovered\":$RECOVERED,\"project_id\":$_proj_json,\"mode\":$_mode_json,\"user_tier\":$_tier_json,\"user_id\":$_user_json,\"prompt_id\":$_prompt_json,\"tool_call_id\":$_toolcall_json,\"sandbox_id\":$_sandbox_json}" \
       >/dev/null 2>&1 || true
-  ) &
+  ) 9>&- &
 }
 
 # 采样 TTL hit 上报: 10 选 1。awk 比 $RANDOM 更便携 (busybox sh 默认没 $RANDOM)。
@@ -144,33 +159,72 @@ fi
 # 整个 turn 都还在用另一条 lane 的 dl —— 自愈就不"立刻"了。tag 跟本次解析出
 # 来的不一致直接跳过 TTL 重装。老格式(只有 epoch)解出来的 tag 是空串,同样
 # 判成不一致,升级后第一次调用自然会重装一遍。
-now=$(date +%s 2>/dev/null) || exit 0
-last=0
-last_tag=""
-if [ -f "$STAMP" ]; then
-  _stamp_line=$(head -n1 "$STAMP" 2>/dev/null || echo "")
-  last="${_stamp_line%% *}"
-  case "$_stamp_line" in
-    *' '*) last_tag="${_stamp_line#* }" ;;
-    *) last_tag="" ;;
-  esac
-  case "$last" in
-    ''|*[!0-9]*) last=0 ;;
-  esac
-fi
-if [ "$last_tag" = "$TAG" ]; then
-  delta=$((now - last))
-  if [ "$delta" -ge 0 ] && [ "$delta" -lt "$TTL" ]; then
-    if should_sample_ttl; then
-      report_event ttl_hit null
+check_ttl() {
+  now=$(date +%s 2>/dev/null) || exit 0
+  last=0
+  last_tag=""
+  if [ -f "$STAMP" ]; then
+    _stamp_line=$(head -n1 "$STAMP" 2>/dev/null || echo "")
+    last="${_stamp_line%% *}"
+    case "$_stamp_line" in
+      *' '*) last_tag="${_stamp_line#* }" ;;
+      *) last_tag="" ;;
+    esac
+    case "$last" in
+      ''|*[!0-9]*) last=0 ;;
+    esac
+  fi
+  if [ "$CLI" = false ] && [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl.mjs ] \
+      && [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/ilands.mjs ] && [ "$last_tag" = "$TAG" ]; then
+    delta=$((now - last))
+    if [ "$delta" -ge 0 ] && [ "$delta" -lt "$TTL" ]; then
+      if should_sample_ttl; then
+        report_event ttl_hit null
+      fi
+      exit 0
     fi
-    exit 0
   fi
-fi
+}
+
+check_ttl
 
 # 单飞锁:并发 dl 调用同时进来时只让一个跑 npm install,其他直接退出。
 # flock 不一定有(busybox sh) → mkdir 兜底原子锁。
+install_package() {
+  # 在持锁的 shell 内限制 npm 耗时,避免 CLI 超时只杀 shell 却留下安装子进程。
+  HOME=/home/user timeout -k 5s 30s npm install -g --prefix=/home/user/.local \
+    --no-audit --no-fund --no-update-notifier --force \
+    "$PACKAGE@$TAG" >/dev/null 2>"$_errlog"
+  _install_status=$?
+  case "$_install_status" in
+    124|137) printf 'npm error code ETIMEDOUT\n' >> "$_errlog" ;;
+  esac
+  return "$_install_status"
+}
+
+# 只备份本次 ENOTEMPTY 明确指向的 dl 临时目录,不扫描/删除其它包或工作文件。
+recover_retired_directory() {
+  node - "$_errlog" <<'NODE'
+const fs = require('node:fs');
+const path = require('node:path');
+try {
+  const log = fs.readFileSync(process.argv[2], 'utf8');
+  const field = name => log.match(new RegExp('^npm (?:error|ERR!) ' + name + ' (.+)$', 'm'))?.[1];
+  const scope = '/home/user/.local/lib/node_modules/@pawlogic';
+  const dest = field('dest');
+  if (field('code') !== 'ENOTEMPTY' || field('syscall') !== 'rename'
+      || field('path') !== scope + '/dl' || !dest
+      || path.dirname(dest) !== scope || !/^\.dl-[A-Za-z0-9]+$/.test(path.basename(dest))
+      || fs.realpathSync(scope) !== scope || !fs.lstatSync(dest).isDirectory()) process.exit(1);
+  const backup = fs.mkdtempSync('/home/user/.local/lib/dl-update-backup-');
+  fs.renameSync(dest, path.join(backup, path.basename(dest)));
+} catch { process.exit(1); }
+NODE
+}
+
 run_install() {
+  # 首次安装等待锁期间,另一个入口可能已经装好并写入 TTL。
+  check_ttl
   _t0=$(date +%s 2>/dev/null || echo 0)
   # stderr 写到独立文件 npm_fail 分支带末尾给观测端;stdout 仍丢掉。
   _errlog=$(mktemp 2>/dev/null || echo "/tmp/dl-npm-err.$$")
@@ -187,12 +241,23 @@ run_install() {
   # --force to overwrite"); --force 允许 npm 覆盖。Honeycomb 上 staging
   # dl-selfupdate dataset 看到的所有 npm_fail outcome (#741 接通后) 都是这条,
   # 加 --force 就清零。
-  if HOME=/home/user npm install -g --prefix=/home/user/.local \
-      --no-audit --no-fund --no-update-notifier --force \
-      "$PACKAGE@$TAG" >/dev/null 2>"$_errlog"; then
+  if install_package; then
     _outcome=ok
   else
     _outcome=npm_fail
+    if recover_retired_directory; then
+      if install_package; then
+        _outcome=ok
+        RECOVERED=true
+      fi
+    fi
+  fi
+  # npm exit 0 还不足以证明两个入口完整,缺失时不记为成功。
+  if [ "$_outcome" = ok ] && { [ ! -s /home/user/.local/lib/node_modules/@pawlogic/dl/dl.mjs ] \
+      || [ ! -s /home/user/.local/lib/node_modules/@pawlogic/dl/ilands.mjs ]; }; then
+    _outcome=npm_fail
+    RECOVERED=false
+    printf 'npm error code INCOMPLETE_INSTALL\n' >> "$_errlog"
   fi
   _t1=$(date +%s 2>/dev/null || echo 0)
   _dur_ms=$(( (_t1 - _t0) * 1000 ))
@@ -207,11 +272,15 @@ run_install() {
   # dl-npm-update.sh), npm install 完成后覆盖一份到 wrapper 调用的固定路径。
   # 1 代 lag: 本次仍跑老逻辑, 新逻辑下次 dl 调用生效 —— 比"等 e2b template republish
   # + 老 snapshot 自然下线"快好几个量级, snapshot resume 的沙箱也能跟上。
-  # 当前进程文件是 shell 解释器一次性读入内存的, 覆盖自身不会撕裂正在执行的循环。
-  if [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh ]; then
+  # 原子替换,避免覆盖当前 shell 仍在读取的 inode;失败时不从旧包回滚恢复脚本。
+  _packaged_updater=/home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh
+  _packaged_revision=$(awk -F= '/^UPDATER_REVISION=[0-9]+$/ {print $2; exit}' "$_packaged_updater" 2>/dev/null || true)
+  if [ "$_outcome" = ok ] && [ "${_packaged_revision:-0}" -ge "$UPDATER_REVISION" ]; then
+    _refresh=$(mktemp /home/user/.local/lib/dl-npm-update.XXXXXX)
     cp /home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh \
-       /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
-    chmod +x /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
+       "$_refresh" 2>/dev/null \
+      && chmod +x "$_refresh" 2>/dev/null \
+      && mv -f "$_refresh" /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
   fi
   echo "$now $TAG" > "$STAMP"
   if [ "$_outcome" = "npm_fail" ]; then
@@ -224,7 +293,13 @@ run_install() {
 
 if command -v flock >/dev/null 2>&1; then
   (
-    if ! flock -n 9; then
+    # 首次安装允许等另一入口完成,已有 bundle 的日常调用仍直接跳过。
+    _lock_wait=0
+    if [ ! -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl.mjs ] \
+        || [ ! -f /home/user/.local/lib/node_modules/@pawlogic/dl/ilands.mjs ]; then
+      _lock_wait=30
+    fi
+    if ! flock -w "$_lock_wait" 9; then
       report_event lock_skip null
       exit 0
     fi