@whyshu/argent-engine 0.0.0-stage → 0.6.0

package/engine/scripts/poll-fulfillment.sh

@@ -0,0 +1,293 @@
+#!/bin/bash
+set -euo pipefail
+# 停用开关：存在 ~/.dsh/argent/PAUSE_POLL 时立即退出（本机 hermes agent 承担
+# FULL 轮询时使用；恢复执行：rm ~/.dsh/argent/PAUSE_POLL）
+if [ -f "$HOME/.dsh/argent/PAUSE_POLL" ]; then
+  exit 0
+fi
+# Argent FULL 货件自动化 — 多店铺多记录并行 wrapper（no_agent 模式，路径参数化版）
+# 1) 查询飞书 状态 in (Pending, 运行中) 且 就绪=true 的记录（兼容数组解析；运行中残留可续跑）
+# 2) 按记录 spawn orchestrator（--record-id 定向）——同店不同记录并行（每进程独立 CDP 标签页），
+#    同 record 防重入由 orchestrator 内部 record 级 flock（/tmp/ziniao-<record_id>.lock）保证，
+#    本脚本另用 pgrep 跳过已有存活进程的记录（避免 cron 重叠期重复 spawn 噪音）
+# 日志: ~/.dsh/argent/fulfillment-logs/run-<日期>-<店名>-<record_id>.log
+#
+# argent-dsh 自持路径（脚本与数据均属 argent-dsh，不触碰 hermes 目录）：
+#   固化脚本（poll/orchestrator/init）: ~/.argent-dsh/scripts/（安装器部署，update 更新）
+#   客户数据（stores.json/fulfillment.env/cdp-port-map.json）: ~/.dsh/argent/
+#   cron: 系统 crontab（crontab -l 含 poll-fulfillment.sh，由 init-ml.sh 注册）
+# 路径参数化（客户机器无开发机固定路径）：
+#   orchestrator 解析顺序：${FULFILLMENT_ORCH}（fulfillment.env 可配置）
+#     → 脚本同目录 orchestrator.py（= ~/.argent-dsh/scripts/ 部署副本）
+#     → ${ARGENT_PROFILE_HOME:-~/.argent-dsh}/scripts/orchestrator.py
+#   stores.json 解析顺序：${STORES_JSON}（fulfillment.env 可配置）
+#     → ~/.dsh/argent/stores.json（默认，客户数据，update 不覆盖）
+#     → ${ARGENT_PROFILE_HOME:-~/.argent-dsh}/scripts/stores.json（旧版兜底）
+
+# ── 身份确认 ──
+# cron 任务由 init-ml.sh 注册在系统 crontab，脚本部署在 ~/.argent-dsh/scripts/——天然隔离；
+# 未安装 argent-dsh（ml-seller）的机器不会有本 cron job，此守卫仅作防御性校验。
+PROFILE_NAME="${ARGENT_PROFILE_NAME:-argent-ml-seller}"
+PROFILE_HOME="${ARGENT_PROFILE_HOME:-$HOME/.argent-dsh}"
+if [ ! -d "$PROFILE_HOME" ]; then
+  echo "[poll] 未安装 argent-dsh（${PROFILE_HOME}），跳过 FULL 轮询（隔离守卫）" >&2
+  exit 0
+fi
+
+# ── fulfillment.env 路径解析（env → ~/.dsh/argent/（默认）→ 脚本目录兜底）──
+ENV_FILE="${FULFILLMENT_ENV_FILE:-}"
+for cand in \
+  "$ENV_FILE" \
+  "$HOME/.dsh/argent/fulfillment.env" \
+  "$PROFILE_HOME/scripts/fulfillment.env"; do
+  if [ -n "$cand" ] && [ -f "$cand" ]; then
+    ENV_FILE="$cand"
+    break
+  fi
+done
+if [ -f "$ENV_FILE" ]; then
+  set -a; source "$ENV_FILE"; set +a
+fi
+
+LOG_DIR="$HOME/.dsh/argent/fulfillment-logs"
+mkdir -p "$LOG_DIR"
+
+# ── orchestrator 路径解析 ──
+ORCH="${FULFILLMENT_ORCH:-}"
+if [ -z "$ORCH" ]; then
+  SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
+  for cand in \
+    "$SCRIPT_DIR/orchestrator.py" \
+    "$PROFILE_HOME/scripts/orchestrator.py"; do
+    [ -f "$cand" ] && ORCH="$cand" && break
+  done
+fi
+if [ -z "$ORCH" ] || [ ! -f "$ORCH" ]; then
+  echo "[poll] 未找到 orchestrator.py，请先运行初始化向导（init-ml.sh）或设置 FULFILLMENT_ORCH" >&2
+  exit 1
+fi
+
+# ── stores.json 路径解析（env → ~/.dsh/argent/（默认）→ 脚本目录兜底）──
+STORES_JSON="${STORES_JSON:-}"
+for cand in \
+  "$STORES_JSON" \
+  "$HOME/.dsh/argent/stores.json" \
+  "$PROFILE_HOME/scripts/stores.json"; do
+  if [ -n "$cand" ] && [ -f "$cand" ]; then
+    STORES_JSON="$cand"
+    break
+  fi
+done
+if [ ! -f "$STORES_JSON" ]; then
+  echo "[poll] 未找到本地 stores.json（${HOME}/.dsh/argent/），将尝试实时读取紫鸟环境（ziniao-cli store list）" >&2
+  STORES_JSON=""
+fi
+export STORES_JSON
+
+# cron 环境 PATH 兜底（2026-09-01 Huangwei Mac mini 实测）：cron 最小 PATH 无 ~/node/bin
+# （lark-cli shebang 为 /usr/bin/env node）与 ~/.local/bin（npm 全局 lark-cli 位置）。
+# 追加无害：正常 shell 中这些目录若不存在则被忽略。
+export PATH="$HOME/node/bin:$HOME/.local/bin:$PATH"
+
+# 解释器解析（2026-09-22 重启事故：默认值写死 ~/.dsh/argent/venv ⇒ 重启后静默空转）
+pick_py() {
+  local c
+  # 候选（2026-09-22）：ARGENT_PY → DSH_HOME/argent/venv → ~/.dsh/argent/venv → 仓库 .venv → PATH
+  for c in "${ARGENT_PY:-}" "${DSH_HOME:-$HOME/.dsh}/argent/venv/bin/python3" \
+           "$HOME/.dsh/argent/venv/bin/python3" "${REPO:-}/.venv/bin/python3" \
+           "$(command -v python3 2>/dev/null || true)"; do
+    [ -n "$c" ] || continue
+    [ -x "$c" ] || continue
+    "$c" -c 'import openpyxl, yaml' 2>/dev/null || continue   # 硬要求：配置/发票生成必需
+    "$c" -c 'import PIL, playwright' 2>/dev/null || \
+      echo "[$(date '+%F %T')] ⚠️ 解释器 $c 缺 pillow/playwright ⇒ 浏览器流程会失败（修：node install-argent.mjs --venv-only）" >&2
+    printf '%s' "$c"; return 0
+  done
+  return 1
+}
+if ! PY="$(pick_py)"; then
+  echo "❌ 找不到可用解释器（需含 openpyxl + yaml）：ARGENT_PY / ~/.dsh/argent/venv/bin/python3 / <repo>/.venv / PATH 的 python3" >&2
+  echo "   修复: python3 -m venv ~/.dsh/argent/venv && ~/.dsh/argent/venv/bin/pip install openpyxl pyyaml" >&2
+  exit 2
+fi
+[ -x "$PY" ] || PY=python3
+# lark-cli 解析：PATH → /opt/homebrew/bin（Intel/标准 brew）→ ~/.local/bin（npm 全局，Huangwei Mac mini 实测位置）
+# 2026-09-01 修复：Mac mini cron 环境 PATH 不含 ~/.local/bin，fallback 到不存在的 /opt/homebrew/bin/lark-cli
+# → 查询静默失败 → poll 空跑（cron.log 0 字节 8/21 起）。三链兜底后仍找不到才报错。
+LARK="$(command -v lark-cli || true)"
+if [ -z "$LARK" ] || [ ! -x "$LARK" ]; then LARK="/opt/homebrew/bin/lark-cli"; fi
+if [ ! -x "$LARK" ]; then LARK="$HOME/.local/bin/lark-cli"; fi
+if [ ! -x "$LARK" ]; then
+  echo "[poll] 未找到 lark-cli（已尝试 PATH、/opt/homebrew/bin、$HOME/.local/bin），跳过本轮" >&2
+  exit 1
+fi
+
+# 2026-09-01 入口日志：每轮 cron 执行必写（0 条 Pending 时静默无输出曾导致无法区分
+# 「cron 没跑」vs「跑了但无记录」——与 poll-invoice 的「开始发票轮询」对齐）。
+echo "[poll] $(date '+%F %T') 开始 FULL 轮询（模式: ${FULL_TABLE_MODE:-legacy}）"
+
+# ── KB-095：表格模式开关 FULL_TABLE_MODE=lip|legacy ──
+# lip=李培-箱唛工作表直驱（识别层+拾取层在 orchestrator.py --mode lip-poll，映射集中）；
+# legacy=现 FULL 任务表（本脚本原查询逻辑，零回归）。模式缺失时按表 token 推断：
+# 存在 FULL_BASE_TOKEN/FULL_TABLE_ID → lip，否则 legacy（存量兼容）。
+TABLE_MODE="${FULL_TABLE_MODE:-}"
+if [ -z "$TABLE_MODE" ]; then
+  if [ -n "${FULL_BASE_TOKEN:-}" ] && [ -n "${FULL_TABLE_ID:-}" ]; then
+    TABLE_MODE="lip"
+  else
+    TABLE_MODE="legacy"
+  fi
+fi
+export TABLE_MODE
+echo "[poll] $(date '+%F %T') 表格模式: ${TABLE_MODE}"
+
+if [ "$TABLE_MODE" = "lip" ]; then
+  # ── lip：识别层 + 拾取层委托 orchestrator --mode lip-poll（无浏览器依赖）──
+  # 识别层：FULL状态空∧货件号空 → 校验（实时刷新紫鸟授权后）→ 置 待执行/跳过+备注
+  # 拾取层：FULL状态=待执行∧就绪=true∧条件齐 → 输出候选（record_id<TAB>店铺名）
+  # orchestrator spawn 后自行置 FULL状态=执行中+就绪=false（拾取消费确认位）。
+  # stdout 仅候选行；日志/错误走 stderr（已重定向到日志，不污染 RECORDS）。
+  LIP_LOG="$LOG_DIR/poll-lip-$(date '+%F').log"
+  RECORDS=$( "$PY" "$ORCH" --mode lip-poll 2>>"$LIP_LOG" || true )
+  echo "[poll] $(date '+%F %T') lip-poll 拾取候选: $(printf '%s\n' "$RECORDS" | grep -c . || true) 条（日志 ${LIP_LOG}）"
+else
+  # ── legacy：原 FULL 任务表查询逻辑（零回归）──
+
+# 查询 状态 in (Pending, 运行中) 的记录（就绪=true 在解析层过滤；状态字段可能返回数组需兼容）
+# 运行中+就绪=true = 上次中断残留（orchestrator 异常未走失败分支），应继续捡取续跑；
+# 就绪=false 的失败记录仍不捡（解析层排除）。
+OUT=$( "$LARK" base +record-list \
+  --base-token "${FEISHU_BASE_TOKEN:-}" \
+  --table-id "${FEISHU_TABLE_ID:-}" \
+  --filter-json '{"logic":"or","conditions":[["状态","==","Pending"],["状态","==","运行中"]]}' \
+  --format json 2>/dev/null || true )
+
+# 解析记录（record_id + 店铺名；stores.json 过滤；就绪=true 且 状态 Pending/运行中）
+# 输出: 每行 "record_id<TAB>店铺名"（与 record_id_list 对齐）
+RECORDS=$( printf '%s' "$OUT" | "$PY" -c '
+import json, os, sys
+try:
+    d = json.load(sys.stdin)
+    fields = d["data"]["fields"]
+    rows = d["data"]["data"]
+    ids = d["data"]["record_id_list"]
+except Exception:
+    sys.exit(0)
+try:
+    p = os.environ.get("STORES_JSON") or os.path.expanduser("~/.dsh/argent/stores.json")
+    if not os.path.isfile(p):
+        p = os.path.expanduser("~/.argent-dsh/scripts/stores.json")
+    stores_map = json.load(open(p))
+    valid = set(stores_map.keys())
+    src = "stores.json"
+except Exception:
+    valid = None
+    src = None
+if valid is None:
+    # 无本地映射缓存 → 实时读取紫鸟环境（ziniao-cli store list，只读数据源）
+    # 并保存一份到 argent 自己的路径（~/.dsh/argent/stores.json，初始化语义）
+    import subprocess
+    try:
+        out = subprocess.run(["ziniao-cli", "store", "list"],
+                             capture_output=True, text=True, timeout=20)
+        d = json.loads(out.stdout)
+        items = d.get("data", {}).get("items", [])
+        ml = [i for i in items if "MercadoLibre" in (i.get("platformName") or "")]
+        valid = {i.get("storeName") for i in ml}
+        src = "ziniao"
+        if valid:
+            try:
+                target = os.path.expanduser("~/.dsh/argent/stores.json")
+                os.makedirs(os.path.dirname(target), exist_ok=True)
+                map_data = {i.get("storeName"): {
+                    "store_id": str(i.get("storeId") or ""),
+                    "platform": "MercadoLibre", "cdp_port": 0} for i in ml}
+                with open(target, "w", encoding="utf-8") as f:
+                    json.dump(map_data, f, ensure_ascii=False, indent=2)
+            except Exception:
+                pass
+            print("[poll] stores.json 缺失，已实时读取紫鸟环境 %d 个并保存（ziniao-cli store list）" % len(valid),
+                  file=sys.stderr)
+    except Exception:
+        valid = None
+        src = None
+if valid is None:
+    print("[poll] 无法获取店铺映射（本地 stores.json 缺失且 ziniao-cli store list 不可用），跳过本轮", file=sys.stderr)
+    sys.exit(0)
+out_lines = []
+for i, row in enumerate(rows):
+    f = dict(zip(fields, row))
+    if f.get("就绪") is not True:
+        continue
+    status = f.get("状态")
+    statuses = status if isinstance(status, list) else [status]
+    if not any(k in str(s) for k in ("Pending", "运行中") for s in statuses if s is not None):
+        continue
+    rid = str(ids[i]) if i < len(ids) else ""
+    # lark-cli 单选字段返回 list（如 [\u00272店-子账号\u0027]），取首元素再与 stores.json key 匹配
+    raw_store = f.get("店铺名称")
+    store = str(raw_store[0] if isinstance(raw_store, list) and raw_store else raw_store or "").strip()
+    if not rid or not store:
+        continue
+    if valid is not None and store not in valid:
+        print(f"[poll] 跳过未配置店铺: {store} (record={rid})", file=sys.stderr)
+        continue
+    out_lines.append(f"{rid}\t{store}")
+print("\n".join(out_lines))
+' || true )
+fi
+
+# KB-085：按店分组 spawn——同店所有待处理记录合并为一次 orchestrator 调用（单 CDP 连接
+# 多标签页批量模式），根治「同店多记录并发 connect_over_cdp 触发紫鸟实例重启」；
+# 不同店仍可并行（不同窗口不同端口）；记录级 flock 防重入由 orchestrator 内部保证，
+# 店级 pgrep 跳过已有存活进程（cron 重叠期不重复 spawn）
+if [ -n "$RECORDS" ]; then
+  # 按店聚合：store -> "rid1 rid2 ..."
+  # ⚠️ bash 3.2 兼容（macOS 默认 bash 3.2.57 不支持 declare -A 关联数组——KB-085
+  # 引入的 declare -A 在 Mac mini 报「declare: -A: invalid option」导致分组失效、
+  # 有 Pending 也不 spawn，2026-09-02 实测）。改用「前缀变量」模拟关联数组。
+  _store_keys=""
+  while IFS=$'\t' read -r rid store; do
+    if [ -z "$rid" ]; then
+      continue
+    fi
+    # 变量名用 store 做后缀（特殊字符转义为 _），值追加 rid
+    _var="BY_STORE_$(printf '%s' "$store" | tr -c 'A-Za-z0-9' '_')"
+    # KB-100：同店多候选按**逗号**追加（对齐 orchestrator --records 逗号协议
+    # split(",")——原空格追加在 lip 同店 ≥2 候选时拼成单条非法 record_id 致
+    # spawn 失败死循环，2026-09-04 16:10 实测）；首元素带前导逗号由 L250 去掉。
+    eval "$_var=\"\${$_var:-},$rid\""
+    # 记录店名集合（去重）
+    case " $_store_keys " in
+      *" $store "*) ;;
+      *) _store_keys="$_store_keys $store" ;;
+    esac
+  done <<< "$RECORDS"
+  N=0
+  for store in $_store_keys; do
+    if pgrep -f "orchestrator.py.*--store-name[ =]${store}" >/dev/null 2>&1; then
+      echo "[poll] $(date '+%F %T') 店铺 ${store} 已有 orchestrator 进程运行，整店跳过（防重入）"
+      continue
+    fi
+    _var="BY_STORE_$(printf '%s' "$store" | tr -c 'A-Za-z0-9' '_')"
+    # KB-100：去掉聚合值前导逗号（首个 rid 前），recs 即为逗号分隔记录串
+    eval "recs=\"\${$_var#,}\""
+    LOG_FILE="$LOG_DIR/run-$(date '+%F')-${store}-batch.log"
+    FULFILLMENT_LOG_FILE="$LOG_FILE" nohup "$PY" "$ORCH" --mode full --allow-write \
+      --store-name "$store" --records "$recs" >> "$LOG_FILE" 2>&1 &
+    N=$((N + 1))
+    echo "[poll] $(date '+%F %T') 店铺 ${store} 批量 spawn（记录: ${recs}）"
+  done
+  _total=0
+  for store in $_store_keys; do
+    _var="BY_STORE_$(printf '%s' "$store" | tr -c 'A-Za-z0-9' '_')"
+    # KB-100：聚合值为逗号分隔（前导逗号已去除的按店 recs 语义），按逗号计数
+    # （wc -w 对逗号串只算 1 词；count = 逗号数 + 1，非空值才计）
+    eval "_cnt=\"\${$_var#,}\""
+    if [ -n "$_cnt" ]; then
+      _total=$((_total + $(printf '%s' "$_cnt" | tr ',' '\n' | grep -c . || true)))
+    fi
+  done
+  echo "[poll] $(date '+%F %T') 已按店分组并行启动 ${N} 个 orchestrator（同店单连接批量，记录合计 ${_total}）"
+fi
+exit 0

package/engine/scripts/poll-invoice.sh

@@ -0,0 +1,74 @@
+#!/bin/bash
+set -euo pipefail
+# Argent 发票阶段 B 轮询 — poll-invoice.sh（KB-045）
+# 扫描 FULL任务表：发票状态=待生成 且 FULL状态=已完成 的行 → 阶段 A 生成发票 →
+# 阶段 B 回写飞书发票文件 → 上传鑫中航 → 下载大货标签 → 状态流转（无人值守）。
+# 职责边界：本机（chester Mac）承担发票轮询；Mac mini hermes cron 承担 FULL 轮询
+# （poll-fulfillment.sh）——发票轮询放本机，互不干扰。
+# 防重入：pgrep 跳过已有进程（invoice_runner 单实例串行处理全部待办记录，
+#         无需 record 级并行——发票流程慢（浏览器操作），串行更稳）。
+# 日志：~/.dsh/argent/invoice-logs/run-<日期>-stageA/B.log
+
+# 暂停开关（2026-09-10，与 poll-fulfillment.sh 的 PAUSE_POLL 同风格）：
+# 存在 ~/.dsh/argent/PAUSE_INVOICE 时立即退出、不做任何事。
+# 用途：**本机是开发/测试机，生产（FULL+发票）跑在 Huangwei 客户机上**；而本机
+# invoice-mapping.json 指向的是正式 Base 的 FULL任务 表 —— 若不暂停，本机会与客户机
+# **抢同一批生产行**（本机 pgrep 只能防本机重入，管不了另一台机器）。
+# 恢复/手工试跑：rm ~/.dsh/argent/PAUSE_INVOICE（或直接手工单独执行 runner）
+if [ -f "$HOME/.dsh/argent/PAUSE_INVOICE" ]; then
+  exit 0
+fi
+
+PROFILE_HOME="${ARGENT_PROFILE_HOME:-$HOME/.argent-dsh}"
+if [ ! -d "$PROFILE_HOME" ]; then
+  echo "[poll-invoice] 未安装 argent-dsh，跳过发票轮询" >&2
+  exit 0
+fi
+
+# KB-090：launchd 最小 PATH 兜底（同 poll-fulfillment.sh L87-90）——invoice_runner.py
+# 裸 spawn lark-cli，launchd 环境 PATH 无 ~/.local/bin（npm 全局 lark-cli 实测位置）与
+# ~/node/bin（lark-cli shebang /usr/bin/env node）→ ENOENT 静默失败（2026-09-03 cron 同源
+# 事故）。脚本层注入 + runner 层三链解析双保险（防 plist/脚本被重置）。
+export PATH="$HOME/node/bin:$HOME/.local/bin:$PATH"
+
+LOG_DIR="$HOME/.dsh/argent/invoice-logs"
+mkdir -p "$LOG_DIR"
+
+# 解释器解析（2026-09-22 重启事故：默认值写死 ~/.dsh/argent/venv ⇒ 重启后静默空转）
+pick_py() {
+  local c
+  # 候选（2026-09-22）：ARGENT_PY → DSH_HOME/argent/venv → ~/.dsh/argent/venv → 仓库 .venv → PATH
+  for c in "${ARGENT_PY:-}" "${DSH_HOME:-$HOME/.dsh}/argent/venv/bin/python3" \
+           "$HOME/.dsh/argent/venv/bin/python3" "${REPO:-}/.venv/bin/python3" \
+           "$(command -v python3 2>/dev/null || true)"; do
+    [ -n "$c" ] || continue
+    [ -x "$c" ] || continue
+    "$c" -c 'import openpyxl, yaml' 2>/dev/null || continue   # 硬要求：配置/发票生成必需
+    "$c" -c 'import PIL, playwright' 2>/dev/null || \
+      echo "[$(date '+%F %T')] ⚠️ 解释器 $c 缺 pillow/playwright ⇒ 浏览器流程会失败（修：node install-argent.mjs --venv-only）" >&2
+    printf '%s' "$c"; return 0
+  done
+  return 1
+}
+if ! PY="$(pick_py)"; then
+  echo "❌ 找不到可用解释器（需含 openpyxl + yaml）：ARGENT_PY / ~/.dsh/argent/venv/bin/python3 / <repo>/.venv / PATH 的 python3" >&2
+  echo "   修复: python3 -m venv ~/.dsh/argent/venv && ~/.dsh/argent/venv/bin/pip install openpyxl pyyaml" >&2
+  exit 2
+fi
+[ -x "$PY" ] || PY=python3
+RUNNER="$PROFILE_HOME/scripts/invoice_runner.py"
+[ -f "$RUNNER" ] || RUNNER="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)/invoice_runner.py"
+
+# 防重叠：同一轮内 runner 已在跑则跳过（cron 每 5 分钟，一轮可能 >5 分钟）
+if pgrep -f "invoice_runner.py" >/dev/null 2>&1; then
+  echo "[poll-invoice] $(date '+%F %T') invoice_runner 已有进程运行，跳过本轮"
+  exit 0
+fi
+
+echo "[poll-invoice] $(date '+%F %T') 开始发票轮询"
+# 阶段 A：FULL 已完成 + 发票状态=待生成 → 生成发票 + 回写「发票文件」+ 状态「填写中」
+"$PY" "$RUNNER" --generate >> "$LOG_DIR/run-$(date '+%F')-stageA.log" 2>&1 || true
+# 阶段 B：发票状态=填写中 → 上传鑫中航 + 下载大货标签 + 回写 + 状态流转
+"$PY" "$RUNNER" --stageb >> "$LOG_DIR/run-$(date '+%F')-stageB.log" 2>&1 || true
+echo "[poll-invoice] $(date '+%F %T') 发票轮询完成"
+exit 0