@ia-ccun/code-agent-cli 0.0.52 → 0.0.53-beta.2

package/scripts/regression/README.md

@@ -0,0 +1,224 @@
+# aicode-cli 回归测试套件
+
+> 用于验证每次升级 pi 底层依赖后，aicode-cli 的功能完整性不受影响。
+> 也可用于新 aicode 版本发布前的本地预检。
+
+## 设计目标
+
+| 维度 | 验证内容 |
+|---|---|
+| **版本对齐** | aicode 二进制版本 + 4 个 pi 依赖包主版本一致 |
+| **aicode 特色功能** | 20 个自定义 TS 扩展全部加载，无冲突 / 无语法错误 |
+| **RPC 协议兼容** ⭐ | AicodeRpcClient.kt 实际用到的 17 个 RPC 命令 + 7 个事件类型 + 字段 schema |
+| **预置资产** | 5 个 Prompt + 21+ 个 Skill 全部通过 `get_commands` 注册 |
+| **核心能力** | prompt → message_update 完整事件流、tool_execution 配对 |
+| **pi 0.85 新功能** | `clear_queue` RPC、GPT-6 Astra、thinking 持久化、`usage.cacheWrite1h` |
+
+> ⭐ **RPC 协议兼容** 是本套件的核心重点 — 任何 RPC 命令的字段格式变化都会在 case 03 失败。
+
+## 快速开始
+
+### 前置依赖
+
+```bash
+brew install jq
+```
+
+### 运行全部测试
+
+```bash
+# 默认（使用 PATH 中的 aicode，配置目录 ~/.aicode-cli）
+./run-all.sh
+
+# 指定 aicode 二进制（测试本地包）
+AICODE_BIN=$(pwd)/bin/cli.js ./run-all.sh
+```
+
+### 只跑部分 case
+
+```bash
+# 只跑 RPC 兼容性（升级后必跑）
+./run-all.sh --only 03
+
+# 跑 RPC + 新功能验证（最小升级预检）
+./run-all.sh --only 03,07
+
+# 跑核心 4 个
+./run-all.sh --only 01,02,03,07
+```
+
+### 单个 case 直接跑
+
+```bash
+./cases/01-version-and-deps.sh
+./cases/02-extension-loading.sh
+./cases/03-rpc-protocol.sh
+./cases/04-prompt-stream.sh
+./cases/05-slash-commands-and-skills.sh
+./cases/06-tool-execution.sh
+./cases/07-pi-new-features.sh
+```
+
+## Case 清单
+
+| Case | 文件 | 主题 | 关键断言 |
+|---|---|---|---|
+| **01** | `01-version-and-deps.sh` | 版本与依赖 | `aicode -v` 格式合规 + 4 个 pi 包主版本匹配 |
+| **02** | `02-extension-loading.sh` | aicode 扩展加载 | 启动无 `Failed to load`/`conflict`/`SyntaxError`；aicode-* 命令注册 |
+| **03** ⭐ | `03-rpc-protocol.sh` | **RPC 协议兼容性矩阵** | 17 个 RPC 命令 + 7 个事件类型 + 字段 schema + stopReason 枚举值 |
+| **04** | `04-prompt-stream.sh` | prompt 事件流 | `agent_start`/`turn_start`/`message_update`(thinking_delta/text_delta)/`turn_end`/`agent_end` 序列 |
+| **05** | `05-slash-commands-and-skills.sh` | Prompts + Skills | `/git-commit` `/workflow` 等 5 个 prompt + `/skill:code-review` 等核心 skill |
+| **06** | `06-tool-execution.sh` | 工具调用 | `tool_execution_start` 必带 `toolCallId`+`toolName`（0.84.3 修复点） |
+| **07** | `07-pi-new-features.sh` | pi 0.85 新功能 | `clear_queue` RPC、GPT-6、thinking 持久化、`cacheWrite1h` |
+
+## RPC 协议覆盖矩阵（case 03）
+
+### RPC 命令（17 个）
+
+| 命令 | 来源 | 用途 |
+|---|---|---|
+| `prompt` / `steer` / `follow_up` / `abort` | AicodeRpcClient.streamPrompt/Steer/FollowUp/abort | 消息流 |
+| `compact` | AicodeRpcClient.compact | 上下文压缩 |
+| `extension_ui_response` | AicodeRpcClient.respondExtensionUi | 扩展 UI 回调 |
+| `get_state` / `get_session_stats` / `get_commands` | fetchState/fetchSessionStats/getCommands | 状态查询 |
+| `get_available_models` / `get_available_thinking_levels` | AicodeRpcClient | 模型/thinking 选择 |
+| `get_messages` / `get_entries` / `get_tree` | AicodeRpcClient | 会话历史 |
+| `set_thinking_level` / `cycle_thinking_level` / `set_model_provider` | AicodeRpcClient | 模型控制 |
+| `set_tools` | AicodeRpcClient.setTools | 工具开关 |
+| `new_session` / `clear_queue` | AicodeRpcClient.newSession/clearQueue | 会话管理 + 队列 |
+
+### 事件类型（11 个）
+
+| 事件 | AicodeStreamItem 映射 |
+|---|---|
+| `agent_start` / `turn_start` | lifecycle |
+| `message_start` / `message_end` | lifecycle |
+| `message_update` | Text / Thinking |
+| `turn_end` / `agent_end` | TurnEnd / lifecycle |
+| `tool_execution_start` / `_update` / `_end` | ToolStart / ToolUpdate / ToolEnd |
+| `queue_update` | QueueUpdate |
+| `auto_retry_end` | Error |
+
+### 字段 schema（关键）
+
+- `message_start.message.role` ∈ {user, assistant, toolResult}
+- `message_update.assistantMessageEvent.{type, delta, contentIndex}`
+- `turn_end.message.usage.{input, output, cost, ...}`
+- `tool_execution_start.{toolCallId, toolName, args}` （0.84.3 修复点）
+- `tool_execution_end.{isError: "true"|"false"}`
+- `message_end.message.stopReason` ∈ {end_turn, tool_use, error, max_tokens, aborted}
+- `agent_end.willRetry` ∈ {"true", "false"}
+
+## 升级后必跑
+
+```bash
+# 1. 改完 package.json，npm install
+# 2. 编译
+npm run build
+
+# 3. RPC 兼容性是首要重点
+./scripts/regression/run-all.sh --only 03
+
+# 4. 全量回归
+./scripts/regression/run-all.sh
+
+# 5. 看 results/*.log
+ls scripts/regression/results/
+```
+
+## 验收标准
+
+升级可发布的最低条件：
+
+| Case | 最低要求 |
+|---|---|
+| 01 version-and-deps | 全部 pass |
+| 02 extension-loading | fail_count = 0 |
+| **03 rpc-protocol** | **全部 pass 或 skip（已知不支持）** |
+| 04 prompt-stream | 全部 pass |
+| 05 slash-commands-and-skills | 注册率 ≥ 80% |
+| 06 tool-execution | 至少 1 个 tool 事件配对成功 |
+| 07 pi-new-features | skip 都标 "pi < 0.85.0 不支持" |
+
+## 输出位置
+
+| 文件 | 内容 |
+|---|---|
+| `results/<case-name>.log` | 每个 case 的 stdout（pass/fail 行 + RPC 事件 log） |
+| `results/.last_pid` | 最近一次 spawn 的 RPC 进程 PID（调试用） |
+
+## 隔离机制
+
+每个 case 独立 spawn 一个 `aicode --mode rpc --no-session` 子进程，使用临时目录（`mktemp -d`）作为 configDir，**不污染**用户 `~/.aicode-cli/`。结束后自动清理。
+
+但 `02-extension-loading.sh` 需要真实加载扩展（不能用 `-ne`），所以它会用临时目录作为 configDir 跑全量加载，验证 20 个扩展都能正常启动。
+
+## 依赖扩展的 case
+
+- **02、05** 都需要正常启动扩展 → 不传 `-ne`
+- **03、04、06、07** 主要测 RPC 协议 → 用 `-ne` 跳过扩展避免冲突
+
+## 调试
+
+### 单独看 RPC 事件流
+
+```bash
+# 看 03 的 RPC 命令响应
+jq -c 'select(.type=="response")' scripts/regression/results/03-rpc-protocol.log | head -20
+
+# 看 message_update delta 流
+grep message_update scripts/regression/results/04-prompt-stream.log | \
+    jq -c '{event: .assistantMessageEvent.type, delta: .assistantMessageEvent.delta}'
+```
+
+### 验证 RPC schema 漂移
+
+```bash
+# 列出所有 turn_end 的 usage keys
+jq -c 'select(.type=="turn_end") | .message.usage | keys | sort' \
+    scripts/regression/results/03-rpc-protocol.log | sort -u
+
+# 对比不同 pi 版本
+diff <(jq -c '...' results-v0.80.log) <(jq -c '...' results-v0.85.log)
+```
+
+## 与 aicode-plugin-swing 的关系
+
+| 层 | 测试位置 |
+|---|---|
+| aicode CLI 功能（命令/扩展/skills） | 本套件（scripts/regression/） |
+| RPC 协议兼容性 | 本套件 case 03 ⭐ |
+| Kotlin 客户端逻辑 | `~/icode/aicode-idea-plugin-swing/src/test/kotlin/com/nu/aicode/rpc/` |
+| 升级兼容性评估 | `~/icode/aicode-idea-plugin-swing/docs/spec/upgrade-code-agent-cli-to-pi-085.md` |
+| 端到端 IDE 集成 | aicode-plugin-swing 实际 IDE 测试 |
+
+**本套件（CLI 侧）+ Kotlin 单元测试 + 实际 IDE 集成 = 完整回归链路。**
+
+## 添加新 case
+
+1. 复制 `cases/06-tool-execution.sh` → `cases/08-my-feature.sh`
+2. 修改 `CURRENT_CASE`
+3. 调用 `source "$SCRIPT_DIR/../lib/common.sh"`
+4. 用 `pass` / `fail` / `skip` 报告结果
+5. 最后 `summary; exit $?`
+
+## 添加新的 RPC 命令到 case 03
+
+编辑 `03-rpc-protocol.sh` 的 `RPC_COMMANDS` 数组：
+
+```bash
+RPC_COMMANDS=(
+    ...
+    "my_new_command|{\"foo\":\"bar\"}"
+)
+```
+
+格式：`type|payload`，payload 会拼到 `{...,"id":"rpcN"}` 中。
+
+## 修订记录
+
+| 日期 | 修订 |
+|---|---|
+| 2026-09-12 | 初版：6 个 case |
+| 2026-09-12 v2 | 新增 case 03 RPC 协议兼容性矩阵（17 命令 + 11 事件 + schema）|
+| 2026-09-12 v2 | 重新编号：03 RPC / 04 prompt / 05 slash / 06 tool / 07 pi-new |

package/scripts/regression/cases/01-version-and-deps.sh

@@ -0,0 +1,94 @@
+#!/usr/bin/env bash
+# 01-version-and-deps.sh
+# 验证：aicode 二进制版本 + 内嵌 pi 包版本
+# 这是回归测试的入口，确认我们用的版本符合预期
+
+set -uo pipefail
+CURRENT_CASE="01-version-and-deps"
+SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
+source "$SCRIPT_DIR/../lib/common.sh"
+
+header "$CURRENT_CASE" "version & pi dependencies"
+
+# ----- Test 1: aicode -v 输出 -----
+header "$CURRENT_CASE" "aicode binary"
+if ! command -v "$AICODE_BIN" >/dev/null 2>&1; then
+    fail "aicode 二进制存在" "未找到 $AICODE_BIN，设 AICODE_BIN 环境变量"
+    summary
+    exit 1
+fi
+pass "aicode 二进制存在 ($AICODE_BIN)"
+
+VERSION=$("$AICODE_BIN" -v 2>&1 | head -1)
+echo "    version: $VERSION"
+
+if [[ "$VERSION" =~ ^[0-9]+\.[0-9]+\.[0-9]+(-[a-z0-9.]+)?$ ]]; then
+    pass "版本号格式合规 ($VERSION)"
+else
+    fail "版本号格式合规" "got: $VERSION"
+fi
+
+# ----- Test 2: 内嵌 pi 包版本 -----
+header "$CURRENT_CASE" "pi package dependencies"
+
+# 找到 aicode 安装路径里的 package.json
+AICODE_PATH=$(command -v "$AICODE_BIN")
+# 解析 symlink
+if [[ -L "$AICODE_PATH" ]]; then
+    AICODE_PATH=$(readlink "$AICODE_PATH")
+fi
+
+# 找 package.json
+RESOLVED_PATH=$(node -e "
+const path = require('path');
+const fs = require('fs');
+let p = '$AICODE_PATH';
+// aicode -> ../lib/node_modules/@ia-ccun/code-agent-cli/bin/cli.js
+if (p.includes('/lib/node_modules/')) {
+    p = p.split('/lib/node_modules/')[0] + '/lib/node_modules/@ia-ccun/code-agent-cli';
+} else if (p.includes('/.bin/')) {
+    p = path.join(path.dirname(p), '..', 'lib', 'node_modules', '@ia-ccun', 'code-agent-cli');
+}
+try {
+    const pkg = JSON.parse(fs.readFileSync(path.join(p, 'package.json'), 'utf8'));
+    console.log(p);
+    console.log(JSON.stringify(pkg.dependencies || {}));
+} catch (e) { console.error(e.message); process.exit(1); }
+" 2>&1) || {
+    fail "解析 aicode 安装路径" "node 解析失败"
+    summary
+    exit 1
+}
+
+AICODE_ROOT=$(echo "$RESOLVED_PATH" | head -1)
+DEPS_JSON=$(echo "$RESOLVED_PATH" | tail -1)
+echo "    install path: $AICODE_ROOT"
+echo "    declared deps: $DEPS_JSON"
+
+# 检查 4 个核心 pi 包
+for pkg in @earendil-works/pi-agent-core @earendil-works/pi-ai @earendil-works/pi-coding-agent @earendil-works/pi-tui; do
+    declared=$(echo "$DEPS_JSON" | python3 -c "import json,sys; d=json.load(sys.stdin); print(d.get('$pkg','MISSING'))" 2>/dev/null)
+    if [[ "$declared" == "MISSING" || -z "$declared" ]]; then
+        fail "$pkg 已在 dependencies 声明" "declared: $declared"
+        continue
+    fi
+    pass "$pkg declared as $declared"
+
+    # 检查实际安装版本
+    actual=$("$AICODE_ROOT/node_modules/$pkg/package.json" -e "console.log(require('$AICODE_ROOT/node_modules/$pkg/package.json').version)" 2>/dev/null)
+    if [[ -n "$actual" ]]; then
+        # 解析 semver 主要版本
+        declared_major=$(echo "$declared" | sed -E 's/^[^0-9]*([0-9]+).*/\1/')
+        actual_major=$(echo "$actual" | sed -E 's/^[^0-9]*([0-9]+).*/\1/')
+        if [[ "$declared_major" == "$actual_major" ]]; then
+            pass "$pkg 安装版本 $actual 满足 ^$declared_major"
+        else
+            fail "$pkg 主版本一致" "declared major=$declared_major | actual=$actual"
+        fi
+    else
+        fail "$pkg 实际安装版本" "无法读取 $AICODE_ROOT/node_modules/$pkg/package.json"
+    fi
+done
+
+summary
+exit $?

package/scripts/regression/cases/02-extension-loading.sh

@@ -0,0 +1,130 @@
+#!/usr/bin/env bash
+# 02-extension-loading.sh
+# 验证：aicode-cli 自带的 20 个 TypeScript 扩展在 RPC 启动时全部成功加载
+#
+# 这是 aicode-cli 的核心差异化能力：
+#   - aicode-btw / aicode-plan / aicode-advisor / aicode-cd / aicode-grillMe
+#   - aicode-safety-guard / aicode-todo-progress / aicode-tips / aicode-pets
+#   - context-monitor / context / error-monitor / working-msg / tps
+#   - goal / review / ponytail / custom / custom-footer / msg-debug
+#
+# 升级 pi 后扩展 API 可能微调，必须验证：
+#   1. 启动时没有任何 "Failed to load extension" 错误
+#   2. 没有任何工具名冲突（conflict error）
+#   3. 至少 N 个 aicode-* 扩展在 .agents.md 或 get_commands 中可见
+
+set -uo pipefail
+CURRENT_CASE="02-extension-loading"
+SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
+source "$SCRIPT_DIR/../lib/common.sh"
+
+header "$CURRENT_CASE" "aicode custom extensions"
+
+if ! spawn_rpc; then
+    fail "spawn aicode RPC（带扩展）" "进程启动失败"
+    summary
+    exit 1
+fi
+pass "spawn aicode RPC (pid=$REGRESSION_PID)"
+
+# ----- Test 1: 启动日志中无扩展加载失败 -----
+header "$CURRENT_CASE" "extension load errors"
+
+# 把 stderr/stdout 全捕获到 log（-ne 关闭扩展 → 我们用普通模式）
+cleanup_rpc
+
+# 重启：不用 -ne，让所有扩展都加载
+WORKDIR=$(mktemp -d -t aicode-ext.XXXXXX)
+cat >"$WORKDIR/config.json" <<EOF
+{"name":"aicode-test","banner":"","themeColor":"#49bccf","configDir":"$(basename "$WORKDIR")"}
+EOF
+
+LOG="$RESULTS_DIR/${CURRENT_CASE}.log"
+: >"$LOG"
+
+"$AICODE_BIN" --config "$WORKDIR" --mode rpc --no-session \
+    < /dev/null >"$LOG" 2>&1 &
+EXT_PID=$!
+
+# 等启动完成（5s 应该够）
+sleep 5
+kill "$EXT_PID" 2>/dev/null
+wait "$EXT_PID" 2>/dev/null
+
+# 错误关键字扫描
+echo "    scanning log for extension errors..."
+
+fail_count=0
+for pattern in "Failed to load extension" "Tool.*conflicts with" "Cannot find module" "SyntaxError" "TypeError.*Extension"; do
+    matches=$(grep -cE "$pattern" "$LOG" 2>/dev/null || echo 0)
+    if [[ "$matches" -gt 0 ]]; then
+        fail "无 $pattern 错误" "found $matches matches"
+        grep -E "$pattern" "$LOG" | head -3 | sed 's/^/      /'
+        fail_count=$((fail_count + matches))
+    else
+        pass "无 '$pattern' 错误"
+    fi
+done
+
+# ----- Test 2: get_commands 包含 aicode- 自定义命令 -----
+# 不带 -ne 启动，确认扩展注册的 slash commands 也可见
+header "$CURRENT_CASE" "aicode custom slash commands"
+
+spawn_rpc 2>/dev/null || {
+    fail "second spawn" "进程启动失败"
+    summary; exit 1
+}
+
+send '{"type":"get_commands","id":"e1"}'
+sleep 1
+
+cmds_json=$(jq -c 'select(.id=="e1" and .type=="response") | .data.commands' "$REGRESSION_LOG" 2>/dev/null | head -1)
+cmd_count=$(echo "$cmds_json" | jq -c 'length' 2>/dev/null)
+echo "    registered commands: $cmd_count"
+
+if [[ -z "$cmd_count" || "$cmd_count" == "null" || "$cmd_count" -lt 5 ]]; then
+    fail "至少注册 5 个命令" "got: $cmd_count"
+else
+    pass "注册 $cmd_count 个 slash commands"
+fi
+
+# 关键 aicode 自定义命令（在 /llama /model /settings 等内置之外的 aicode-*）
+AICODE_CMDS=("/aicode-cd" "/grill-me" "/bugs" "/goal" "/plan" "/workflow" "/git-commit" "/feat" "/init-project" "/code-simplifier")
+for cmd in "${AICODE_CMDS[@]}"; do
+    if echo "$cmds_json" | jq -e --arg c "$cmd" '.[] | select(.name == $c)' >/dev/null 2>&1; then
+        pass "扩展命令 $cmd 已注册"
+    else
+        # 可能该命令需要其他条件才注册，标记 skip
+        skip "扩展命令 $cmd 已注册" "未在 get_commands 中找到"
+    fi
+done
+
+# ----- Test 3: get_state 反映扩展注册的工具 -----
+header "$CURRENT_CASE" "tools registered by extensions"
+
+send '{"type":"get_state","id":"e2"}'
+sleep 1
+
+# 通过发 prompt 让模型思考，看 tool_execution_start 是否包含 aicode 扩展工具
+# （aicode-safety-guard 注册的 safety_check / aicode-plan 注册的 todo_update 等）
+
+send '{"type":"prompt","message":"just say hi","id":"e3"}'
+sleep 8
+
+# 收集所有出现过的 tool_name
+all_tools=$(jq -r 'select(.type=="tool_execution_start") | .toolName // empty' "$REGRESSION_LOG" 2>/dev/null | sort -u)
+echo "    observed tools: $(echo "$all_tools" | tr '\n' ' ')"
+
+# 内置工具一定在
+for tool in read bash write edit; do
+    if echo "$all_tools" | grep -qx "$tool"; then
+        pass "内置工具 $tool 可调用"
+    else
+        # 单次 prompt 可能不调用
+        skip "内置工具 $tool 可调用" "本次 prompt 未触发"
+    fi
+done
+
+cleanup_rpc
+summary
+exit $?