@pawlogic/dl 0.4.0-staging.f7f0c02 → 0.4.0-staging.fa43fd4

package/dl-npm-update.sh

@@ -16,9 +16,10 @@
 # 次,不加缓存白白打满 npm registry。
 #
 # 观测: 每条分支结束 fire-and-forget POST 一条事件到 callback-server
-#   $CALLBACK_SERVER_URL/internal/dl-selfupdate-event,backend 转 Prometheus
-#   counter + 结构化日志。TTL 命中频繁(每个沙箱 5min 内 N 次), 按 1/10 采样上报;
+#   $CALLBACK_SERVER_URL/sandbox-rpc/dl/selfupdate-event,backend 仅转发到 Honeycomb,
+#   schema 校验由本脚本端负责。TTL 命中频繁(每个沙箱 5min 内 N 次), 按 1/10 采样上报;
 #   其余分支(install / no_tag / no_npm / lock_skip)全量上报。
+#   鉴权: 复用 $DL_PROXY_TOKEN (沙箱 env, hono-pi-e2b 注入), Authorization Bearer。
 #   上报失败一律 swallow,绝不让观测链阻塞自更新本身。
 
 set -u
@@ -29,11 +30,15 @@ TTL=300
 PACKAGE="@pawlogic/dl"
 
 # ── 观测上报: fire-and-forget JSON POST,失败 swallow ────────────────────────
-# args: outcome duration_ms
+# args: outcome duration_ms [error_tail_file]
+# error_tail_file 仅 npm_fail 分支传入,读末尾 ~200 字节带上去 —— 之前 npm stderr
+# 全 swallow,根本看不到为什么失败,fleet 升级率 0.24% 都查不到根因。
 report_event() {
   _outcome="$1"
   _dur="${2:-null}"
+  _errfile="${3:-}"
   [ -z "${CALLBACK_SERVER_URL:-}" ] && return 0
+  [ -z "${DL_PROXY_TOKEN:-}" ] && return 0
   command -v curl >/dev/null 2>&1 || return 0
   _tag="${DL_NPM_DIST_TAG:-unknown}"
   case "$_tag" in
@@ -45,11 +50,47 @@ report_event() {
   if [ -f "$_verfile" ] && command -v node >/dev/null 2>&1; then
     _ver=$(node -e 'try{console.log(require("'"$_verfile"'").version||"")}catch(e){}' 2>/dev/null || echo "")
   fi
+  # 上下文维度: 全部从 hono-pi-e2b 注入的 PI_* env 里读 (e2b-operations.ts:582-627),
+  # 加上 E2B sandbox hostname (= sandbox ID)。校验只允许 [A-Za-z0-9_-], 防奇怪字符
+  # 破坏 JSON 后续没办法 escape; 不合法 / 空一律 null。
+  #
+  # 维度用途:
+  #   - project_id   per-project 去重 (COUNT_DISTINCT) 是 fleet 升级率口径
+  #   - mode         dramaland / ilands / ... 按产品线切升级率
+  #   - user_tier    starter / pro / ... 看付费用户升级率差异
+  #   - user_id      单用户排障 (高基数)
+  #   - prompt_id    LLM turn 级聚合 (高基数)
+  #   - tool_call_id 单次工具调用关联到自更新 outcome (高基数)
+  #   - sandbox_id   单沙箱排障; E2B 内 hostname 就是 sandbox ID
+  _json_or_null() {
+    case "${1:-}" in
+      "") echo "null" ;;
+      *[!A-Za-z0-9_-]*) echo "null" ;;
+      *) printf '"%s"' "$1" ;;
+    esac
+  }
+  _proj_json=$(_json_or_null "${PI_PROJECT_ID:-}")
+  _mode_json=$(_json_or_null "${PI_MODE:-}")
+  _tier_json=$(_json_or_null "${PI_USER_TIER:-}")
+  _user_json=$(_json_or_null "${PI_USER_ID:-}")
+  _prompt_json=$(_json_or_null "${PI_PROMPT_ID:-}")
+  _toolcall_json=$(_json_or_null "${PI_TOOL_CALL_ID:-}")
+  _sandbox_json=$(_json_or_null "${HOSTNAME:-$(hostname 2>/dev/null || echo)}")
+  # error_tail: 末尾 200 字节, JSON 不安全字符 (\ " 控制符 / 换行 / tab) 一律压成
+  # 单空格; 长度上限挡住 LB 滥用,字符替换让 JSON 不需要复杂 escape。
+  _err_json="null"
+  if [ -n "$_errfile" ] && [ -f "$_errfile" ]; then
+    _err_raw=$(tail -c 200 "$_errfile" 2>/dev/null | tr '\n\r\t\\"' '     ' | tr -d '\000-\037')
+    if [ -n "$_err_raw" ]; then
+      _err_json="\"$_err_raw\""
+    fi
+  fi
   # 后台 curl, -m 2 上限 2s; 不解析响应; stderr/stdout 全丢。
   (
-    curl -fsS -m 2 -X POST "${CALLBACK_SERVER_URL%/}/internal/dl-selfupdate-event" \
+    curl -fsS -m 2 -X POST "${CALLBACK_SERVER_URL%/}/sandbox-rpc/dl/selfupdate-event" \
       -H 'content-type: application/json' \
-      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null}" \
+      -H "authorization: Bearer ${DL_PROXY_TOKEN}" \
+      -d "{\"trigger\":\"wrapper\",\"dist_tag\":\"$_tag\",\"outcome\":\"$_outcome\",\"duration_ms\":$_dur,\"installed_version\":\"$_ver\",\"build_short_sha\":null,\"error_tail\":$_err_json,\"project_id\":$_proj_json,\"mode\":$_mode_json,\"user_tier\":$_tier_json,\"user_id\":$_user_json,\"prompt_id\":$_prompt_json,\"tool_call_id\":$_toolcall_json,\"sandbox_id\":$_sandbox_json}" \
       >/dev/null 2>&1 || true
   ) &
 }
@@ -89,7 +130,24 @@ fi
 # flock 不一定有(busybox sh) → mkdir 兜底原子锁。
 run_install() {
   _t0=$(date +%s 2>/dev/null || echo 0)
-  if npm install -g --silent --no-audit --no-fund --no-update-notifier "$PACKAGE@$DL_NPM_DIST_TAG" >/dev/null 2>&1; then
+  # stderr 写到独立文件 npm_fail 分支带末尾给观测端;stdout 仍丢掉。
+  _errlog=$(mktemp 2>/dev/null || echo "/tmp/dl-npm-err.$$")
+  # 必须带 --prefix=/home/user/.local 跟 HOME=/home/user,跟 sandbox-template
+  # 首次安装那一段对齐 (packages/sandbox-template/scripts/publish-e2b-template.ts
+  # 里 wrapper 写法)。沙箱进程 owner 是 user,无 /usr/lib/node_modules 写权限;
+  # 不带 prefix → npm 走默认全局路径 → EACCES 1 秒内挂掉, stderr 又被吞 → fleet
+  # 自更新 100% 失败但完全黑盒。这是 PR #729 漏掉 prefix 留下的 bug。
+  #
+  # --force 必须带: 本脚本 install 后会 `ln -sf /usr/local/bin/dl
+  # /home/user/.local/bin/dl` 把 npm shim 顶成软链 (修 PATH 顺序, 见下方
+  # ln -sf 那两行)。下次 install 时 npm 看 /home/user/.local/bin/dl 已经存在
+  # 且不是它自己管理的, 默认 EEXIST 拒绝覆盖 (error 信息里直接写 "run npm with
+  # --force to overwrite"); --force 允许 npm 覆盖。Honeycomb 上 staging
+  # dl-selfupdate dataset 看到的所有 npm_fail outcome (#741 接通后) 都是这条,
+  # 加 --force 就清零。
+  if HOME=/home/user npm install -g --prefix=/home/user/.local \
+      --no-audit --no-fund --no-update-notifier --force \
+      "$PACKAGE@$DL_NPM_DIST_TAG" >/dev/null 2>"$_errlog"; then
     _outcome=ok
   else
     _outcome=npm_fail
@@ -114,7 +172,12 @@ run_install() {
     chmod +x /home/user/.local/lib/dl-npm-update.sh 2>/dev/null || true
   fi
   echo "$now" > "$STAMP"
-  report_event "$_outcome" "$_dur_ms"
+  if [ "$_outcome" = "npm_fail" ]; then
+    report_event "$_outcome" "$_dur_ms" "$_errlog"
+  else
+    report_event "$_outcome" "$_dur_ms"
+  fi
+  rm -f "$_errlog" 2>/dev/null || true
 }
 
 if command -v flock >/dev/null 2>&1; then