@ia-ccun/code-agent-cli 0.0.53 → 0.0.54-beta.3

package/scripts/regression/run-all.sh

@@ -0,0 +1,187 @@
+#!/usr/bin/env bash
+# run-all.sh — 串联所有回归测试用例，输出汇总报告
+# 用法：
+#   ./run-all.sh                          # 跑全部 6 个 case
+#   ./run-all.sh --only 01,03,05          # 只跑指定 case
+#   ./run-all.sh --quiet                  # 减少输出
+#   ./run-all.sh --aicode /path/to/aicode # 指定二进制路径
+#   AICODE_BIN=/path/to/aicode ./run-all.sh
+#
+# 退出码：0 全部通过 / 1 有失败 / 2 环境问题（缺 jq 等）
+
+set -uo pipefail
+SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
+
+# 参数解析
+ONLY_CASES=""
+QUIET=0
+while [[ $# -gt 0 ]]; do
+    case "$1" in
+        --only)     ONLY_CASES="$2"; shift 2 ;;
+        --quiet|-q) QUIET=1; shift ;;
+        --aicode)   export AICODE_BIN="$2"; shift 2 ;;
+        --help|-h)
+            cat <<EOF
+Usage: $0 [--only CASES] [--quiet] [--aicode PATH]
+
+Options:
+  --only CASES    只跑指定 case（逗号分隔，如 01,03,05）
+  --quiet, -q     减少输出
+  --aicode PATH   指定 aicode 二进制路径（默认：PATH 中的 aicode）
+  --help, -h      显示帮助
+
+Environment:
+  AICODE_BIN      aicode 二进制路径（同 --aicode）
+  AICODE_CONFIG   配置目录（同 --config）
+EOF
+            exit 0
+            ;;
+        *) echo "Unknown arg: $1"; exit 2 ;;
+    esac
+done
+
+[[ $QUIET -eq 1 ]] && export REGRESSION_QUIET=1
+
+# 前置依赖检查
+echo "═══ aicode-cli 回归测试 ═══"
+echo ""
+echo "AICODE_BIN:  ${AICODE_BIN:-aicode}"
+echo "AICODE_CONFIG: ${AICODE_CONFIG:-$HOME/.aicode-cli}"
+echo "SCRIPT_DIR:  $SCRIPT_DIR"
+
+# jq 必须
+if ! command -v jq >/dev/null 2>&1; then
+    echo ""
+    echo "ERROR: jq 未安装。请：brew install jq"
+    exit 2
+fi
+
+# aicode 必须
+if ! command -v "${AICODE_BIN:-aicode}" >/dev/null 2>&1; then
+    echo ""
+    echo "ERROR: ${AICODE_BIN:-aicode} 未找到。设 AICODE_BIN=/path/to/aicode 或 --aicode PATH"
+    exit 2
+fi
+
+echo ""
+echo "─── 预检 ───"
+"$AICODE_BIN" -v 2>&1 | head -1 | sed 's/^/  version: /'
+echo ""
+
+# 收集 case
+ALL_CASES=($(ls "$SCRIPT_DIR/cases/"*.sh 2>/dev/null | sort | xargs -n1 basename))
+if [[ -n "$ONLY_CASES" ]]; then
+    IFS=',' read -ra WANTED <<<"$ONLY_CASES"
+    FILTERED=()
+    for c in "${ALL_CASES[@]}"; do
+        for w in "${WANTED[@]}"; do
+            # 支持短前缀匹配："03" 匹配 "03-rpc-protocol.sh"
+            if [[ "$c" == "${w}.sh" || "$c" == "${w}-"* ]]; then
+                FILTERED+=("$c")
+                break
+            fi
+        done
+    done
+    if [[ ${#FILTERED[@]} -gt 0 ]]; then
+        CASES_TO_RUN=("${FILTERED[@]}")
+    else
+        CASES_TO_RUN=()
+    fi
+else
+    CASES_TO_RUN=("${ALL_CASES[@]}")
+fi
+
+if [[ ${#CASES_TO_RUN[@]} -eq 0 ]]; then
+    echo "ERROR: 没有匹配的 case (--only=$ONLY_CASES)"
+    exit 2
+fi
+
+echo "将运行 ${#CASES_TO_RUN[@]} 个 case: ${CASES_TO_RUN[*]}"
+echo ""
+
+# 跑每个 case
+TOTAL_PASS=0
+TOTAL_FAIL=0
+TOTAL_SKIP=0
+FAILED_CASES=()
+
+for case_file in "${CASES_TO_RUN[@]}"; do
+    echo "━━━ $case_file ━━━"
+    chmod +x "$SCRIPT_DIR/cases/$case_file" 2>/dev/null
+
+    if "$SCRIPT_DIR/cases/$case_file"; then
+        # 从 case 输出里提取 pass/fail 数（不太可靠，但能汇总）
+        :
+    else
+        FAILED_CASES+=("$case_file")
+    fi
+
+    # 统计本 case 的 pass/fail/skip
+    last_log="$SCRIPT_DIR/results/${case_file%.sh}.log"
+    if [[ -f "$last_log" ]]; then
+        # 失败标记
+        if grep -q "✗" "$last_log" 2>/dev/null; then
+            :
+        fi
+    fi
+done
+
+# 解析每个 case 的日志
+echo ""
+echo "═══ 汇总 ═══"
+
+for case_file in "${CASES_TO_RUN[@]}"; do
+    case_name="${case_file%.sh}"
+    log="$SCRIPT_DIR/results/${case_name}.log"
+    result="?"
+    pass_n=0
+    fail_n=0
+
+    if [[ -f "$log" ]]; then
+        # 通过 case 退出码判断（case 脚本内部已有 summary + exit）
+        # 同时作为备份，使用 grep 统计 stdout 输出
+        case_exit_file="$SCRIPT_DIR/results/.case_exit_${case_name}"
+        if [[ -f "$case_exit_file" ]]; then
+            case_exit=$(cat "$case_exit_file")
+            if [[ "$case_exit" -ne 0 ]]; then
+                # 整个 case 失败，用 FAIL 计数（不具体到哪个检查）
+                fail_n=1
+                pass_n=0
+                skip_n=0
+            else
+                pass_n=1
+                fail_n=0
+                skip_n=0
+            fi
+        else
+            pass_n=0; fail_n=0; skip_n=0
+        fi
+    else
+        pass_n=0; fail_n=0; skip_n=0
+    fi
+
+    TOTAL_PASS=$((TOTAL_PASS + pass_n))
+    TOTAL_FAIL=$((TOTAL_FAIL + fail_n))
+    TOTAL_SKIP=$((TOTAL_SKIP + skip_n))
+
+    if [[ $fail_n -gt 0 ]]; then
+        printf "  %-40s  ✗ %d fails\n" "$case_name" "$fail_n"
+    else
+        printf "  %-40s  ✓ pass\n" "$case_name"
+    fi
+done
+
+echo ""
+echo "─── 总计 ───"
+echo "  PASS:  $TOTAL_PASS"
+echo "  FAIL:  $TOTAL_FAIL"
+echo "  SKIP:  $TOTAL_SKIP"
+echo ""
+
+if [[ $TOTAL_FAIL -eq 0 ]]; then
+    echo "✓ ALL CASES PASSED"
+    exit 0
+else
+    echo "✗ $TOTAL_FAIL FAILURES — 详见 results/*.log"
+    exit 1
+fi