@pawlogic/dl 0.4.0-staging.6f42a13 → 0.4.0-staging.a0637c4

package/dl-npm-update.sh

@@ -0,0 +1,163 @@
+#!/bin/sh
+# dl 沙箱内自更新 (npm 版本) —— 替代 dl-selfupdate.sh 的 GCS 路径。
+#
+# wrapper 在 exec dl 之前调一次本脚本。任何步骤失败一律 swallow,永远 exit 0,
+# 绝不阻塞业务 dl 调用。当次仍用旧 bundle,新 bundle 装完后**下次** dl 调用才生效
+# (agent 失败重试天然吃到新版)。
+#
+# 触发条件:DL_NPM_DIST_TAG 已 bake 到 sandbox env(prod=latest,staging=staging;PR
+# preview 留空 → 本脚本直接 exit,沙箱内 dl 锁在 template 烤进去那版,便于 PR 间
+# 复现 / 互不污染)。
+#
+# 鉴权: 不需要。包发到 npmjs.com 的 @pawlogic scope (public),npm 默认 registry
+# 就是 npmjs.com,匿名 download 直接通,沙箱没有 ~/.npmrc。
+#
+# TTL 300s 缓存:同一 sandbox 5 分钟内多次 dl 调用只查一次。LLM 调用链常一分钟 10+
+# 次,不加缓存白白打满 npm registry。
+#
+# 观测: 每条分支结束 fire-and-forget POST 一条事件到 callback-server
+#   $CALLBACK_SERVER_URL/internal/dl-selfupdate-event,backend 转 Prometheus
+#   counter + 结构化日志。TTL 命中频繁(每个沙箱 5min 内 N 次), 按 1/10 采样上报;
+#   其余分支(install / no_tag / no_npm / lock_skip)全量上报。
+#   上报失败一律 swallow,绝不让观测链阻塞自更新本身。
+
+set -u
+
+STAMP=/tmp/dl-npm-checkedat
+LOCK=/tmp/dl-npm-update.lock
+TTL=300
+PACKAGE="@pawlogic/dl"
+
+# ── 观测上报: fire-and-forget JSON POST,失败 swallow ────────────────────────
+# args: outcome duration_ms [error_tail_file]
+# error_tail_file 仅 npm_fail 分支传入,读末尾 ~200 字节带上去 —— 之前 npm stderr
+# 全 swallow,根本看不到为什么失败,fleet 升级率 0.24% 都查不到根因。
+report_event() {
+  _outcome="$1"
+  _dur="${2:-null}"
+  _errfile="${3:-}"
+  [ -z "${CALLBACK_SERVER_URL:-}" ] && return 0
+  command -v curl >/dev/null 2>&1 || return 0
+  _tag="${DL_NPM_DIST_TAG:-unknown}"
+  case "$_tag" in
+    latest|staging) ;;
+    *) _tag="unknown" ;;
+  esac
+  _ver=""
+  _verfile="/home/user/.local/lib/node_modules/@pawlogic/dl/package.json"
+  if [ -f "$_verfile" ] && command -v node >/dev/null 2>&1; then
+    _ver=$(node -e 'try{console.log(require("'"$_verfile"'").version||"")}catch(e){}' 2>/dev/null || echo "")
+  fi
+  # error_tail: 末尾 200 字节, JSON 不安全字符 (\ " 控制符 / 换行 / tab) 一律压成
+  # 单空格; 长度上限挡住 LB 滥用,字符替换让 JSON 不需要复杂 escape。
+  _err_json="null"
+  if [ -n "$_errfile" ] && [ -f "$_errfile" ]; then
+    _err_raw=$(tail -c 200 "$_errfile" 2>/dev/null | tr '\n\r\t\\"' '     ' | tr -d '\000-\037')
+    if [ -n "$_err_raw" ]; then
+      _err_json="\"$_err_raw\""
+    fi
+  fi
+  # 后台 curl, -m 2 上限 2s; 不解析响应; stderr/stdout 全丢。
+  (
+    curl -fsS -m 2 -X POST "${CALLBACK_SERVER_URL%/}/internal/dl-selfupdate-event" \
+      -H 'content-type: application/json' \
+      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null,\"error_tail\":$_err_json}" \
+      >/dev/null 2>&1 || true
+  ) &
+}
+
+# 采样 TTL hit 上报: 10 选 1。awk 比 $RANDOM 更便携 (busybox sh 默认没 $RANDOM)。
+should_sample_ttl() {
+  awk 'BEGIN{srand(); exit !(int(rand()*10)==0)}' 2>/dev/null
+}
+
+# 环境不全 → no-op。staging / prod 才烤 DL_NPM_DIST_TAG,PR preview / 本地裸跑空。
+if [ -z "${DL_NPM_DIST_TAG:-}" ]; then
+  report_event no_tag null
+  exit 0
+fi
+if ! command -v npm >/dev/null 2>&1; then
+  report_event no_npm null
+  exit 0
+fi
+
+# TTL 拦截。stamp 损坏当 0 处理。
+now=$(date +%s 2>/dev/null) || exit 0
+if [ -f "$STAMP" ]; then
+  last=$(cat "$STAMP" 2>/dev/null || echo 0)
+  case "$last" in
+    ''|*[!0-9]*) last=0 ;;
+  esac
+  delta=$((now - last))
+  if [ "$delta" -ge 0 ] && [ "$delta" -lt "$TTL" ]; then
+    if should_sample_ttl; then
+      report_event ttl_hit null
+    fi
+    exit 0
+  fi
+fi
+
+# 单飞锁:并发 dl 调用同时进来时只让一个跑 npm install,其他直接退出。
+# flock 不一定有(busybox sh) → mkdir 兜底原子锁。
+run_install() {
+  _t0=$(date +%s 2>/dev/null || echo 0)
+  # stderr 写到独立文件 npm_fail 分支带末尾给观测端;stdout 仍丢掉。
+  _errlog=$(mktemp 2>/dev/null || echo "/tmp/dl-npm-err.$$")
+  # 必须带 --prefix=/home/user/.local 跟 HOME=/home/user,跟 sandbox-template
+  # 首次安装那一段对齐 (packages/sandbox-template/scripts/publish-e2b-template.ts
+  # 里 wrapper 写法)。沙箱进程 owner 是 user,无 /usr/lib/node_modules 写权限;
+  # 不带 prefix → npm 走默认全局路径 → EACCES 1 秒内挂掉, stderr 又被吞 → fleet
+  # 自更新 100% 失败但完全黑盒。这是 PR #729 漏掉 prefix 留下的 bug。
+  if HOME=/home/user npm install -g --prefix=/home/user/.local \
+      --no-audit --no-fund --no-update-notifier \
+      "$PACKAGE@$DL_NPM_DIST_TAG" >/dev/null 2>"$_errlog"; then
+    _outcome=ok
+  else
+    _outcome=npm_fail
+  fi
+  _t1=$(date +%s 2>/dev/null || echo 0)
+  _dur_ms=$(( (_t1 - _t0) * 1000 ))
+  # npm install -g 会重生成 /home/user/.local/bin/{dl,ilands} shim 顶掉 wrapper
+  # 软链, 立刻 re-link 回 /usr/local/bin/{dl,ilands} wrapper —— 不然 PATH 命中
+  # npm shim, 下次调用绕过 wrapper, dl 的 DL_NPM_DIST_TAG export 跑不到, 自更新
+  # 链路死掉; ilands 也跟着丢 wrapper(虽然 ilands 自己不需要 env, 但 update.sh
+  # 入口被绕过, 跟 dl 同时挂)。
+  ln -sf /usr/local/bin/dl /home/user/.local/bin/dl >/dev/null 2>&1 || true
+  ln -sf /usr/local/bin/ilands /home/user/.local/bin/ilands >/dev/null 2>&1 || true
+  # 自我热更: @pawlogic/dl npm 包里 ship 了本脚本的最新版 (packages/dl/sandbox-assets/
+  # dl-npm-update.sh), npm install 完成后覆盖一份到 wrapper 调用的固定路径。
+  # 1 代 lag: 本次仍跑老逻辑, 新逻辑下次 dl 调用生效 —— 比"等 e2b template republish
+  # + 老 snapshot 自然下线"快好几个量级, snapshot resume 的沙箱也能跟上。
+  # 当前进程文件是 shell 解释器一次性读入内存的, 覆盖自身不会撕裂正在执行的循环。
+  if [ -f /home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh ]; then
+    cp /home/user/.local/lib/node_modules/@pawlogic/dl/dl-npm-update.sh \
+       /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
+    chmod +x /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
+  fi
+  echo "$now" > "$STAMP"
+  if [ "$_outcome" = "npm_fail" ]; then
+    report_event "$_outcome" "$_dur_ms" "$_errlog"
+  else
+    report_event "$_outcome" "$_dur_ms"
+  fi
+  rm -f "$_errlog" 2>/dev/null || true
+}
+
+if command -v flock >/dev/null 2>&1; then
+  (
+    if ! flock -n 9; then
+      report_event lock_skip null
+      exit 0
+    fi
+    run_install
+  ) 9>"$LOCK"
+else
+  if mkdir "$LOCK" 2>/dev/null; then
+    trap 'rmdir "$LOCK" 2>/dev/null || true' EXIT INT TERM
+    run_install
+  else
+    report_event lock_skip null
+  fi
+fi
+
+exit 0