@pawlogic/dl 0.4.0-staging.d17e90a → 0.4.0-staging.d357346

package/dl-npm-update.sh

@@ -1,13 +1,21 @@
 #!/bin/sh
 # dl 沙箱内自更新 (npm 版本) —— 替代 dl-selfupdate.sh 的 GCS 路径。
 #
-# wrapper 在 exec dl 之前调一次本脚本。任何步骤失败一律 swallow,永远 exit 0,
-# 绝不阻塞业务 dl 调用。当次仍用旧 bundle,新 bundle 装完后**下次** dl 调用才生效
-# (agent 失败重试天然吃到新版)。
+# wrapper 在 exec dl 之前同步调一次本脚本。更新失败不阻止继续调用已有 bundle。
+# --cli 绕过 TTL,输出 outcome 给 self-update 命令;安装与恢复仍使用同一把锁。
 #
-# 触发条件:DL_NPM_DIST_TAG 已 bake 到 sandbox env(prod=latest,staging=staging;PR
-# preview 留空 → 本脚本直接 exit,沙箱内 dl 锁在 template 烤进去那版,便于 PR 间
-# 复现 / 互不污染)。
+# dist-tag 来源,优先级从高到低:
+#   1. PI_DL_DIST_TAG  —— hono-pi-e2b 每条命令注入 (e2b-operations.ts),反映
+#      **当前**这条 lane。
+#   2. DL_NPM_DIST_TAG —— template build 时按 alias 烤进 wrapper 第二行
+#      (prod=latest,staging=staging;PR preview 留空 → 本脚本直接 exit,沙箱内
+#      dl 锁在 template 烤进去那版,便于 PR 间复现 / 互不污染)。
+#
+# 1 必须压过 2:project → sandbox_id 这条记录是 prod / staging 共享的 (staging
+# 切片连的是同一个 pi-agent-prod-pg),切换环境时会 resume 到对方那台沙箱,而 2
+# 跟着**建沙箱时**那个模板走 —— prod 建的沙箱被 staging resume 之后仍然会去装
+# @latest。wrapper 是烤死在镜像里的改不动,但本脚本每次 npm install 后会从新包里
+# 拷一份覆盖自己 (见下方"自我热更"),所以存量沙箱两代之内就能吃到这条优先级。
 #
 # 鉴权: 不需要。包发到 npmjs.com 的 @pawlogic scope (public),npm 默认 registry
 # 就是 npmjs.com,匿名 download 直接通,沙箱没有 ~/.npmrc。
@@ -28,6 +36,30 @@ STAMP=/tmp/dl-npm-checkedat
 LOCK=/tmp/dl-npm-update.lock
 TTL=300
 PACKAGE="@pawlogic/dl"
+# 独立下发恢复脚本时,拒绝被尚未包含修复的 npm 包降级。
+UPDATER_REVISION=2
+CLI=false
+[ "${1:-}" = "--cli" ] && CLI=true
+RECOVERED=false
+
+# 注入值优先,回落到 wrapper 烤死的值(理由见文件头)。
+#
+# 逐个来源单独校验、非法就继续往下回落,而不是先选后校验 —— 后者会让一个
+# 写坏的 PI_DL_DIST_TAG 把整台沙箱的自更新彻底关掉,而不是退回模板烤死的值。
+# 规则跟 self-update.ts 的 resolveDistTag 保持一致(首字符必须是字母数字)。
+# 这个值会流到 npm install 的参数和 stamp 文件里,不合法一律当没给。
+_valid_tag() {
+  case "${1:-}" in
+    '' | [!A-Za-z0-9]* | *[!A-Za-z0-9._-]*) return 1 ;;
+    *) return 0 ;;
+  esac
+}
+TAG=""
+if _valid_tag "${PI_DL_DIST_TAG:-}"; then
+  TAG="$PI_DL_DIST_TAG"
+elif _valid_tag "${DL_NPM_DIST_TAG:-}"; then
+  TAG="$DL_NPM_DIST_TAG"
+fi
 
 # ── 观测上报: fire-and-forget JSON POST,失败 swallow ────────────────────────
 # args: outcome duration_ms [error_tail_file]
@@ -37,10 +69,21 @@ report_event() {
   _outcome="$1"
   _dur="${2:-null}"
   _errfile="${3:-}"
+  _code=""
+  _syscall=""
+  if [ -n "$_errfile" ] && [ -f "$_errfile" ]; then
+    _code=$(awk '/^npm (error|ERR!) code [A-Z0-9_]+$/ {print $4; exit}' "$_errfile")
+    _syscall=$(awk '/^npm (error|ERR!) syscall [a-z]+$/ {print $4; exit}' "$_errfile")
+  fi
+  if [ "$CLI" = true ]; then
+    printf '%s\n' "$_outcome"
+    printf 'code=%s syscall=%s recovered=%s\n' "$_code" "$_syscall" "$RECOVERED" >&2
+    return 0
+  fi
   [ -z "${CALLBACK_SERVER_URL:-}" ] && return 0
   [ -z "${DL_PROXY_TOKEN:-}" ] && return 0
   command -v curl >/dev/null 2>&1 || return 0
-  _tag="${DL_NPM_DIST_TAG:-unknown}"
+  _tag="${TAG:-unknown}"
   case "$_tag" in
     latest|staging) ;;
     *) _tag="unknown" ;;
@@ -90,9 +133,9 @@ report_event() {
     curl -fsS -m 2 -X POST "${CALLBACK_SERVER_URL%/}/sandbox-rpc/dl/selfupdate-event" \
       -H 'content-type: application/json' \
       -H "authorization: Bearer ${DL_PROXY_TOKEN}" \
-      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null,\"error_tail\":$_err_json,\"project_id\":$_proj_json,\"mode\":$_mode_json,\"user_tier\":$_tier_json,\"user_id\":$_user_json,\"prompt_id\":$_prompt_json,\"tool_call_id\":$_toolcall_json,\"sandbox_id\":$_sandbox_json}" \
+      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null,\"error_tail\":$_err_json,\"error_code\":\"$_code\",\"error_syscall\":\"$_syscall\",\"recovered\":$RECOVERED,\"project_id\":$_proj_json,\"mode\":$_mode_json,\"user_tier\":$_tier_json,\"user_id\":$_user_json,\"prompt_id\":$_prompt_json,\"tool_call_id\":$_toolcall_json,\"sandbox_id\":$_sandbox_json}" \
       >/dev/null 2>&1 || true
-  ) &
+  ) 9>&- &
 }
 
 # 采样 TTL hit 上报: 10 选 1。awk 比 $RANDOM 更便携 (busybox sh 默认没 $RANDOM)。
@@ -100,8 +143,8 @@ should_sample_ttl() {
   awk 'BEGIN{srand(); exit !(int(rand()*10)==0)}' 2>/dev/null
 }
 
-# 环境不全 → no-op。staging / prod 才烤 DL_NPM_DIST_TAG,PR preview / 本地裸跑空。
-if [ -z "${DL_NPM_DIST_TAG:-}" ]; then
+# 环境不全 → no-op。staging / prod 两个来源至少有一个有值,PR preview / 本地裸跑空。
+if [ -z "$TAG" ]; then
   report_event no_tag null
   exit 0
 fi
@@ -110,25 +153,78 @@ if ! command -v npm >/dev/null 2>&1; then
   exit 0
 fi
 
-# TTL 拦截。stamp 损坏当 0 处理。
-now=$(date +%s 2>/dev/null) || exit 0
-if [ -f "$STAMP" ]; then
-  last=$(cat "$STAMP" 2>/dev/null || echo 0)
-  case "$last" in
-    ''|*[!0-9]*) last=0 ;;
-  esac
-  delta=$((now - last))
-  if [ "$delta" -ge 0 ] && [ "$delta" -lt "$TTL" ]; then
-    if should_sample_ttl; then
-      report_event ttl_hit null
+# TTL 拦截。stamp 格式 `<epoch> <tag>`,stamp 损坏当 0 处理。
+#
+# tag 也要存:只比时间戳的话,切完 lane 的头 300s 会被 TTL short-circuit 掉,
+# 整个 turn 都还在用另一条 lane 的 dl —— 自愈就不"立刻"了。tag 跟本次解析出
+# 来的不一致直接跳过 TTL 重装。老格式(只有 epoch)解出来的 tag 是空串,同样
+# 判成不一致,升级后第一次调用自然会重装一遍。
+check_ttl() {
+  now=$(date +%s 2>/dev/null) || exit 0
+  last=0
+  last_tag=""
+  if [ -f "$STAMP" ]; then
+    _stamp_line=$(head -n1 "$STAMP" 2>/dev/null || echo "")
+    last="${_stamp_line%% *}"
+    case "$_stamp_line" in
+      *' '*) last_tag="${_stamp_line#* }" ;;
+      *) last_tag="" ;;
+    esac
+    case "$last" in
+      ''|*[!0-9]*) last=0 ;;
+    esac
+  fi
+  if [ "$CLI" = false ] && [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl.mjs ] \
+      && [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/ilands.mjs ] && [ "$last_tag" = "$TAG" ]; then
+    delta=$((now - last))
+    if [ "$delta" -ge 0 ] && [ "$delta" -lt "$TTL" ]; then
+      if should_sample_ttl; then
+        report_event ttl_hit null
+      fi
+      exit 0
     fi
-    exit 0
   fi
-fi
+}
+
+check_ttl
 
 # 单飞锁:并发 dl 调用同时进来时只让一个跑 npm install,其他直接退出。
 # flock 不一定有(busybox sh) → mkdir 兜底原子锁。
+install_package() {
+  # 在持锁的 shell 内限制 npm 耗时,避免 CLI 超时只杀 shell 却留下安装子进程。
+  HOME=/home/user timeout -k 5s 30s npm install -g --prefix=/home/user/.local \
+    --no-audit --no-fund --no-update-notifier --force \
+    "$PACKAGE@$TAG" >/dev/null 2>"$_errlog"
+  _install_status=$?
+  case "$_install_status" in
+    124|137) printf 'npm error code ETIMEDOUT\n' >> "$_errlog" ;;
+  esac
+  return "$_install_status"
+}
+
+# 只备份本次 ENOTEMPTY 明确指向的 dl 临时目录,不扫描/删除其它包或工作文件。
+recover_retired_directory() {
+  node - "$_errlog" <<'NODE'
+const fs = require('node:fs');
+const path = require('node:path');
+try {
+  const log = fs.readFileSync(process.argv[2], 'utf8');
+  const field = name => log.match(new RegExp('^npm (?:error|ERR!) ' + name + ' (.+)$', 'm'))?.[1];
+  const scope = '/home/user/.local/lib/node_modules/@pawlogic';
+  const dest = field('dest');
+  if (field('code') !== 'ENOTEMPTY' || field('syscall') !== 'rename'
+      || field('path') !== scope + '/dl' || !dest
+      || path.dirname(dest) !== scope || !/^\.dl-[A-Za-z0-9]+$/.test(path.basename(dest))
+      || fs.realpathSync(scope) !== scope || !fs.lstatSync(dest).isDirectory()) process.exit(1);
+  const backup = fs.mkdtempSync('/home/user/.local/lib/dl-update-backup-');
+  fs.renameSync(dest, path.join(backup, path.basename(dest)));
+} catch { process.exit(1); }
+NODE
+}
+
 run_install() {
+  # 首次安装等待锁期间,另一个入口可能已经装好并写入 TTL。
+  check_ttl
   _t0=$(date +%s 2>/dev/null || echo 0)
   # stderr 写到独立文件 npm_fail 分支带末尾给观测端;stdout 仍丢掉。
   _errlog=$(mktemp 2>/dev/null || echo "/tmp/dl-npm-err.$$")
@@ -145,12 +241,23 @@ run_install() {
   # --force to overwrite"); --force 允许 npm 覆盖。Honeycomb 上 staging
   # dl-selfupdate dataset 看到的所有 npm_fail outcome (#741 接通后) 都是这条,
   # 加 --force 就清零。
-  if HOME=/home/user npm install -g --prefix=/home/user/.local \
-      --no-audit --no-fund --no-update-notifier --force \
-      "$PACKAGE@$DL_NPM_DIST_TAG" >/dev/null 2>"$_errlog"; then
+  if install_package; then
     _outcome=ok
   else
     _outcome=npm_fail
+    if recover_retired_directory; then
+      if install_package; then
+        _outcome=ok
+        RECOVERED=true
+      fi
+    fi
+  fi
+  # npm exit 0 还不足以证明两个入口完整,缺失时不记为成功。
+  if [ "$_outcome" = ok ] && { [ ! -s /home/user/.local/lib/node_modules/@pawlogic/dl/dl.mjs ] \
+      || [ ! -s /home/user/.local/lib/node_modules/@pawlogic/dl/ilands.mjs ]; }; then
+    _outcome=npm_fail
+    RECOVERED=false
+    printf 'npm error code INCOMPLETE_INSTALL\n' >> "$_errlog"
   fi
   _t1=$(date +%s 2>/dev/null || echo 0)
   _dur_ms=$(( (_t1 - _t0) * 1000 ))
@@ -165,13 +272,17 @@ run_install() {
   # dl-npm-update.sh), npm install 完成后覆盖一份到 wrapper 调用的固定路径。
   # 1 代 lag: 本次仍跑老逻辑, 新逻辑下次 dl 调用生效 —— 比"等 e2b template republish
   # + 老 snapshot 自然下线"快好几个量级, snapshot resume 的沙箱也能跟上。
-  # 当前进程文件是 shell 解释器一次性读入内存的, 覆盖自身不会撕裂正在执行的循环。
-  if [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh ]; then
+  # 原子替换,避免覆盖当前 shell 仍在读取的 inode;失败时不从旧包回滚恢复脚本。
+  _packaged_updater=/home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh
+  _packaged_revision=$(awk -F= '/^UPDATER_REVISION=[0-9]+$/ {print $2; exit}' "$_packaged_updater" 2>/dev/null || true)
+  if [ "$_outcome" = ok ] && [ "${_packaged_revision:-0}" -ge "$UPDATER_REVISION" ]; then
+    _refresh=$(mktemp /home/user/.local/lib/dl-npm-update.XXXXXX)
     cp /home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh \
-       /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
-    chmod +x /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
+       "$_refresh" 2>/dev/null \
+      && chmod +x "$_refresh" 2>/dev/null \
+      && mv -f "$_refresh" /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
   fi
-  echo "$now" > "$STAMP"
+  echo "$now $TAG" > "$STAMP"
   if [ "$_outcome" = "npm_fail" ]; then
     report_event "$_outcome" "$_dur_ms" "$_errlog"
   else
@@ -182,7 +293,13 @@ run_install() {
 
 if command -v flock >/dev/null 2>&1; then
   (
-    if ! flock -n 9; then
+    # 首次安装允许等另一入口完成,已有 bundle 的日常调用仍直接跳过。
+    _lock_wait=0
+    if [ ! -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl.mjs ] \
+        || [ ! -f /home/user/.local/lib/node_modules/@pawlogic/dl/ilands.mjs ]; then
+      _lock_wait=30
+    fi
+    if ! flock -w "$_lock_wait" 9; then
       report_event lock_skip null
       exit 0
     fi