tars-cli 0.1.10__tar.gz → 1.0.0__tar.gz

{tars_cli-0.1.10 → tars_cli-1.0.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: tars-cli
-Version: 0.1.10
+Version: 1.0.0
 Summary: tars 平台命令行工具
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown
@@ -32,7 +32,7 @@ pip install tars-cli
 
 ```bash
 $ tars --version
-tars-cli 0.1.10
+tars-cli 1.0.0
 ```
 
 ### 升级
@@ -297,3 +297,54 @@ tars -o json -q eval run <plugin_id> \
 |--------|------|
 | 0 | 成功 |
 | 2 | 执行错误（网络、参数、认证等） |
+
+## Claude Code 集成
+
+tars-cli 提供了 Claude Code Skill，安装后可在 Claude Code 中使用自然语言调用 tars 命令（如"帮我评估 xxx 插件"），无需记忆 CLI 参数。
+
+### 安装
+
+安装 tars-cli 后，skill 文件已随包分发。运行以下命令将 skill 部署到当前项目：
+
+```bash
+# 查找 tars_cli 包安装路径并复制到全局 skill 目录
+SKILL_SRC="$(python -c 'import tars_cli, pathlib; print(pathlib.Path(tars_cli.__file__).parent / "skills" / "tars-cli")')"
+SKILL_DST="$HOME/.claude/skills/tars-cli"
+mkdir -p "$SKILL_DST/references"
+cp "$SKILL_SRC/SKILL.md" "$SKILL_DST/"
+cp "$SKILL_SRC/references/auth.md" "$SKILL_DST/references/"
+cp "$SKILL_SRC/references/workflows.md" "$SKILL_DST/references/"
+echo "✓ tars-cli skill 已安装到 $SKILL_DST"
+```
+
+部署后的目录结构：
+
+```
+~/.claude/
+└── skills/
+    └── tars-cli/
+        ├── SKILL.md              # Skill 主文件（命令映射 + 执行流程）
+        └── references/
+            ├── auth.md            # 登录/登出流程
+            └── workflows.md       # 完整评估工作流 + 错误处理
+```
+
+已有同名 skill 时直接覆盖即可更新。
+
+### 支持的自然语言指令
+
+| 示例 | 实际执行的命令 |
+|------|---------------|
+| "登录 tars" | `tars auth login` |
+| "导入插件 https://github.com/xxx/xxx.git" | `tars plugin import <git_url>` |
+| "帮我评估 xxx 插件" | 完整评估流程（生成数据集 → 发布 → 运行评估 → 导出报告） |
+| "生成数据集" | `tars dataset generate ...` |
+| "查看评估状态" | `tars eval status ...` |
+| "下载模板" | `tars template download ...` |
+| "导出报告" | `tars plugin export-report ...` |
+
+### 前置条件
+
+- 已安装 tars-cli：`pip install tars-cli`
+- 已登录：`tars auth login -s <server_url>`
+- Claude Code 版本 >= 1.0（支持 Skill 功能）

{tars_cli-0.1.10 → tars_cli-1.0.0}/README.md

@@ -12,7 +12,7 @@ pip install tars-cli
 
 ```bash
 $ tars --version
-tars-cli 0.1.10
+tars-cli 1.0.0
 ```
 
 ### 升级
@@ -277,3 +277,54 @@ tars -o json -q eval run <plugin_id> \
 |--------|------|
 | 0 | 成功 |
 | 2 | 执行错误（网络、参数、认证等） |
+
+## Claude Code 集成
+
+tars-cli 提供了 Claude Code Skill，安装后可在 Claude Code 中使用自然语言调用 tars 命令（如"帮我评估 xxx 插件"），无需记忆 CLI 参数。
+
+### 安装
+
+安装 tars-cli 后，skill 文件已随包分发。运行以下命令将 skill 部署到当前项目：
+
+```bash
+# 查找 tars_cli 包安装路径并复制到全局 skill 目录
+SKILL_SRC="$(python -c 'import tars_cli, pathlib; print(pathlib.Path(tars_cli.__file__).parent / "skills" / "tars-cli")')"
+SKILL_DST="$HOME/.claude/skills/tars-cli"
+mkdir -p "$SKILL_DST/references"
+cp "$SKILL_SRC/SKILL.md" "$SKILL_DST/"
+cp "$SKILL_SRC/references/auth.md" "$SKILL_DST/references/"
+cp "$SKILL_SRC/references/workflows.md" "$SKILL_DST/references/"
+echo "✓ tars-cli skill 已安装到 $SKILL_DST"
+```
+
+部署后的目录结构：
+
+```
+~/.claude/
+└── skills/
+    └── tars-cli/
+        ├── SKILL.md              # Skill 主文件（命令映射 + 执行流程）
+        └── references/
+            ├── auth.md            # 登录/登出流程
+            └── workflows.md       # 完整评估工作流 + 错误处理
+```
+
+已有同名 skill 时直接覆盖即可更新。
+
+### 支持的自然语言指令
+
+| 示例 | 实际执行的命令 |
+|------|---------------|
+| "登录 tars" | `tars auth login` |
+| "导入插件 https://github.com/xxx/xxx.git" | `tars plugin import <git_url>` |
+| "帮我评估 xxx 插件" | 完整评估流程（生成数据集 → 发布 → 运行评估 → 导出报告） |
+| "生成数据集" | `tars dataset generate ...` |
+| "查看评估状态" | `tars eval status ...` |
+| "下载模板" | `tars template download ...` |
+| "导出报告" | `tars plugin export-report ...` |
+
+### 前置条件
+
+- 已安装 tars-cli：`pip install tars-cli`
+- 已登录：`tars auth login -s <server_url>`
+- Claude Code 版本 >= 1.0（支持 Skill 功能）

{tars_cli-0.1.10 → tars_cli-1.0.0}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "tars-cli"
-version = "0.1.10"
+version = "1.0.0"
 description = "tars 平台命令行工具"
 requires-python = ">=3.11"
 dependencies = [
@@ -28,6 +28,9 @@ dev = [
     "build>=1.0",
 ]
 
+[tool.setuptools.package-data]
+tars_cli = ["skills/**/*.md"]
+
 [project.scripts]
 tars = "tars_cli.app:app"
 

tars_cli-1.0.0/tars_cli/__init__.py

@@ -0,0 +1 @@
+__version__ = "1.0.0"

tars_cli-1.0.0/tars_cli/skills/tars-cli/SKILL.md

@@ -0,0 +1,100 @@
+---
+name: tars-cli
+description: "This skill should be used when the user asks to \"登录 tars\", \"导入插件\", \"生成数据集\", \"发布数据集\", \"运行评估\", \"查看评估状态\", \"导出报告\", \"下载模板\", \"上传评估计划\", or mentions plugin evaluation, dataset generation, AI Agent testing, or tars CLI operations. Triggers even without the word 'tars' if the intent matches."
+---
+
+# tars CLI 自然语言调用器
+
+将自然语言需求翻译为 `tars` CLI 命令并执行。
+
+## 前置条件
+
+1. 运行 `tars --version`，确认命令存在
+2. 若命令不存在，自动安装（使用清华镜像源加速，避免超时）：
+   ```bash
+   pip install tars-cli -i https://pypi.tuna.tsinghua.edu.cn/simple
+   ```
+   清华源失败时，依次尝试阿里云源 `https://mirrors.aliyun.com/pypi/simple/` 和官方源。安装后再次验证
+3. **检查登录状态**：读取凭证文件 `/Users/easyops/Library/Application Support/tars/credentials.json`
+   - 文件存在且包含 `server_url` 字段 → 输出当前登录环境：`当前环境: <server_url>`，然后继续执行
+   - 文件不存在或不包含 `server_url` → 提示用户需要先登录，询问登录环境信息（server_url、username、password），然后执行登录流程（详见 `references/auth.md`）
+
+## 命令映射
+
+### 认证 (auth)
+
+| 用户意图 | 命令 |
+|---------|------|
+| 登出 | `tars auth logout` |
+| 登录 | 见 `references/auth.md` |
+
+### 插件管理 (plugin)
+
+| 用户意图 | 命令 |
+|---------|------|
+| 从 Git 导入插件 | `tars plugin import <git_url>` |
+| 从 Git 导入插件（指定分支/路径/认证） | `tars plugin import <git_url> --branch <branch> --path <subpath> --auth-type <none\|token\|ssh-key> --auth-token <token>` |
+| 从本地文件导入插件 | `tars plugin import /path/to/plugin.zip --overwrite` |
+| 导出评估报告 | `tars plugin export-report <plugin_id>` |
+| 查看插件详情 | `curl -s -H "Authorization: Bearer <token>" "<server_url>/api/v1/plugins/<plugin_id>"` |
+
+Git 导入可选参数：`--branch`（默认 main）、`--path`、`--auth-type`（none/token/ssh-key）、`--auth-token`。本地文件导入支持 `--overwrite`。
+
+### 数据集管理 (dataset)
+
+| 用户意图 | 命令 |
+|---------|------|
+| 生成数据集（按 Agent） | `tars dataset generate <plugin_id> --agent-name <name> --conversation-type single_turn` |
+| 生成数据集（按 Skill） | `tars dataset generate <plugin_id> --skill-name <name> --conversation-type multi_turn` |
+| 列出数据集版本（按 Agent） | `tars dataset list <plugin_id> --agent-name <name> --conversation-type single_turn` |
+| 列出数据集版本（按 Skill） | `tars dataset list <plugin_id> --skill-name <name> --conversation-type multi_turn` |
+| 发布数据集 | `tars dataset publish <version_id>` |
+| 上传评估计划（按 Agent） | `tars dataset upload <plugin_id> --agent-name <name> --conversation-type single_turn --plan plan.yaml --cases cases.yaml` |
+| 上传评估计划（按 Skill） | `tars dataset upload <plugin_id> --skill-name <name> --conversation-type multi_turn --plan plan.yaml --cases cases.yaml` |
+
+关键参数：
+- `--agent-name` 和 `--skill-name` 二选一，必须指定其中一个
+- `--conversation-type`（简写 `-t`）支持 `single_turn` 和 `multi_turn`，必须通过 `AskUserQuestion` 让用户选择
+- `publish` 只需要 version_id
+
+### 评估 (eval)
+
+| 用户意图 | 命令 |
+|---------|------|
+| 运行评估（按 Agent） | `tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id>` |
+| 运行评估（按 Skill） | `tars eval run <plugin_id> --skill-name <name> --dataset-version <version_id>` |
+| 查看评估状态 | `tars eval status <task_id>` |
+
+`--agent-name` 和 `--skill-name` 二选一，可不传。`eval status` 只需要 task_id。
+
+### 模板 (template)
+
+| 用户意图 | 命令 |
+|---------|------|
+| 下载评估计划模板 | `tars template download plan -f yaml` |
+| 下载单轮测试用例模板 | `tars template download testcase-single` |
+| 下载多轮测试用例模板 | `tars template download testcase-multi` |
+
+### 全局选项
+
+可在任何命令前添加：`-o/--output FORMAT`（table/json/yaml）、`-q/--quiet`、`--verbose`、`--server URL`。全局选项必须放在子命令之前。
+
+## 执行流程
+
+1. **理解意图**：分析自然语言描述，判断要执行哪个命令组
+2. **判断目标类型**：
+   - 用户提到 "agent" 或 "智能体" → 使用 `--agent-name`
+   - 用户提到 "skill" 或 "技能" → 使用 `--skill-name`
+   - 未明确说明 → 通过 `AskUserQuestion` 询问，**必须等待回复后再继续**
+3. **确认对话类型**：通过 `AskUserQuestion` 让用户选择单轮或多人，**必须等待回复后再继续**，不要自行决定
+4. **收集参数**：若用户未提供必要参数（plugin_id、名称等），先询问
+5. **构建命令**：根据映射表构建完整的 tars CLI 命令
+6. **执行命令**：直接运行，不需要额外确认
+7. **展示结果**：将命令原始输出完整展示给用户。**禁止**追加提问、建议或多余评论
+
+## Additional Resources
+
+### Reference Files
+
+- **`references/workflows.md`** - 完整评估工作流（5步流程）、评估完成后诊断结论与 Web 链接、CI/CD 集成、错误处理
+- **`references/auth.md`** - 登录流程（非交互式 API 调用）、凭证存储、登出

tars_cli-1.0.0/tars_cli/skills/tars-cli/references/auth.md

@@ -0,0 +1,45 @@
+# 认证流程
+
+## 登录（非交互式）
+
+`tars auth login` 依赖 `typer.prompt()` 交互式输入，在当前环境中无法正常工作。改为直接调用 API 完成登录：
+
+1. 通过 `AskUserQuestion` 向用户询问以下信息（如用户未主动提供）：
+   - `server_url`：服务端地址（默认 `http://localhost:8001`）
+   - `username`：用户名
+   - `password`：密码
+2. 使用 `curl` 调用登录 API：
+
+```bash
+curl -s -X POST "<server_url>/api/v1/auth/login" \
+  -H "Content-Type: application/json" \
+  -d '{"username": "<username>", "password": "<password>"}'
+```
+
+3. 从响应中提取 `access_token`、`refresh_token`、`expires_at`
+4. 将凭证写入文件：
+
+```bash
+mkdir -p "$HOME/Library/Application Support/tars"
+cat > "$HOME/Library/Application Support/tars/credentials.json" << 'EOF'
+{
+  "server_url": "<server_url>",
+  "access_token": "<access_token>",
+  "refresh_token": "<refresh_token>",
+  "expires_at": "<expires_at>"
+}
+EOF
+chmod 600 "$HOME/Library/Application Support/tars/credentials.json"
+```
+
+5. 确认登录成功，告知用户
+
+**注意**：登录失败时（HTTP 非 200），向用户展示错误信息并建议检查用户名密码。
+
+## 登出
+
+直接执行 CLI 命令：
+
+```bash
+tars auth logout
+```

tars_cli-1.0.0/tars_cli/skills/tars-cli/references/workflows.md

@@ -0,0 +1,109 @@
+# 详细工作流
+
+## 完整评估流程
+
+当用户说"帮我跑一下插件 xxx 的评估"时，按以下步骤执行：
+
+### 第1步：列出可评估的 Agent 和 Skill
+
+调用 API 获取插件详情，列出所有可评估的 Agent 和 Skill：
+
+```bash
+curl -s -H "Authorization: Bearer <token>" "<server_url>/api/v1/plugins/<plugin_id>"
+```
+
+从返回的 JSON 中提取 `agents` 和 `skills` 列表，展示给用户（名称 + 描述），使用 `AskUserQuestion` 让用户选择要评估的目标。
+
+### 第2步：列出所有已有数据集版本（单轮 + 多轮全部列出）
+
+对用户选中的目标，**必须同时查询单轮和多轮**的所有已有数据集版本，不要因为之前已确认过对话类型就只查一种。全部展示给用户：
+
+```bash
+tars dataset list <plugin_id> --agent-name <name> --conversation-type single_turn
+tars dataset list <plugin_id> --agent-name <name> --conversation-type multi_turn
+```
+
+（如果选的是 Skill，将 `--agent-name` 替换为 `--skill-name`）
+
+将**所有**查询结果（单轮和多轮）一并展示给用户，使用 `AskUserQuestion` 让用户选择：
+
+- **使用已有数据集**：仅从状态为 **已发布（published）** 的版本中选择一个（标注是单轮还是多轮），**草稿（draft）状态的版本不可用于评估，不得出现在选项中**，跳到第4步
+- **生成新数据集**：跳到第3步
+
+### 第3步：生成并发布新数据集
+
+使用 `AskUserQuestion` 让用户确认对话类型（单轮/多轮），然后执行：
+
+```bash
+tars dataset generate <plugin_id> --agent-name/--skill-name <name> --conversation-type <type>
+tars dataset publish <version_id>
+```
+
+**失败处理**：只有当命令明确返回错误（exit code 非零、error 信息）时才视为失败。**必须**通过 `AskUserQuestion` 向用户确认下一步操作，提供以下选项：
+
+- **重新生成**：重试同类型数据集生成
+- **切换对话类型**：改为生成另一种对话类型的数据集
+- **选择已有数据集**：回到第2步，从已发布的数据集中选择一个
+- **中止**：终止整个评估流程
+
+**禁止**在生成失败后自行决定使用不匹配的已有数据集进行评估。
+
+### 第4步：运行评估
+
+```bash
+tars eval run <plugin_id> --agent-name/--skill-name <name> --dataset-version <version_id>
+```
+
+### 第5步：导出报告
+
+```bash
+tars plugin export-report <plugin_id>
+```
+
+## 评估完成后的诊断结论与 Web 链接
+
+当 `eval status` 返回 `status: completed`（或 `partial`）时，**必须**执行以下两步：
+
+### 获取诊断结论
+
+调用 API：
+
+```bash
+curl -s -H "Authorization: Bearer <token>" "<server_url>/api/v1/evaluation-report/<task_id>/optimization-suggestions"
+```
+
+从返回 JSON 中提取 `diagnosis_report.failure_diagnosis.issues` 数组，按以下格式逐条展示：
+
+```
+[{priority}][{layer}] {mode}
+  缺陷表现: {manifestation}
+  代表案例: {representative_cases}
+  根因分析: {root_cause}
+  优化建议: {suggested_fix}
+```
+
+如果返回的 issues 为空或接口请求失败，则跳过诊断部分。
+
+### 输出 Web 页面链接
+
+根据 `server_url` 拼接 web 报告页面链接。规则：将 `server_url` 的端口替换为 `8000`，拼接路径 `/plugins/<plugin_id>/evaluation/<task_id>`。格式为：
+
+```
+Web 查看: <web_url>
+```
+
+## CI/CD 集成
+
+如果用户提到 CI/CD、自动化、pipeline 等关键词，提示设置环境变量：
+
+```bash
+export TARS_ACCESS_TOKEN=<token>
+export TARS_SERVER_URL=<server_url>
+```
+
+## 错误处理
+
+- 命令返回退出码 2 → 读取错误信息并向用户解释原因
+- 认证相关错误 → 提示重新登录
+- 网络错误 → 提示检查 server_url 和网络连接
+- 参数错误 → 提示正确的命令格式

{tars_cli-0.1.10 → tars_cli-1.0.0}/tars_cli.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: tars-cli
-Version: 0.1.10
+Version: 1.0.0
 Summary: tars 平台命令行工具
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown
@@ -32,7 +32,7 @@ pip install tars-cli
 
 ```bash
 $ tars --version
-tars-cli 0.1.10
+tars-cli 1.0.0
 ```
 
 ### 升级
@@ -297,3 +297,54 @@ tars -o json -q eval run <plugin_id> \
 |--------|------|
 | 0 | 成功 |
 | 2 | 执行错误（网络、参数、认证等） |
+
+## Claude Code 集成
+
+tars-cli 提供了 Claude Code Skill，安装后可在 Claude Code 中使用自然语言调用 tars 命令（如"帮我评估 xxx 插件"），无需记忆 CLI 参数。
+
+### 安装
+
+安装 tars-cli 后，skill 文件已随包分发。运行以下命令将 skill 部署到当前项目：
+
+```bash
+# 查找 tars_cli 包安装路径并复制到全局 skill 目录
+SKILL_SRC="$(python -c 'import tars_cli, pathlib; print(pathlib.Path(tars_cli.__file__).parent / "skills" / "tars-cli")')"
+SKILL_DST="$HOME/.claude/skills/tars-cli"
+mkdir -p "$SKILL_DST/references"
+cp "$SKILL_SRC/SKILL.md" "$SKILL_DST/"
+cp "$SKILL_SRC/references/auth.md" "$SKILL_DST/references/"
+cp "$SKILL_SRC/references/workflows.md" "$SKILL_DST/references/"
+echo "✓ tars-cli skill 已安装到 $SKILL_DST"
+```
+
+部署后的目录结构：
+
+```
+~/.claude/
+└── skills/
+    └── tars-cli/
+        ├── SKILL.md              # Skill 主文件（命令映射 + 执行流程）
+        └── references/
+            ├── auth.md            # 登录/登出流程
+            └── workflows.md       # 完整评估工作流 + 错误处理
+```
+
+已有同名 skill 时直接覆盖即可更新。
+
+### 支持的自然语言指令
+
+| 示例 | 实际执行的命令 |
+|------|---------------|
+| "登录 tars" | `tars auth login` |
+| "导入插件 https://github.com/xxx/xxx.git" | `tars plugin import <git_url>` |
+| "帮我评估 xxx 插件" | 完整评估流程（生成数据集 → 发布 → 运行评估 → 导出报告） |
+| "生成数据集" | `tars dataset generate ...` |
+| "查看评估状态" | `tars eval status ...` |
+| "下载模板" | `tars template download ...` |
+| "导出报告" | `tars plugin export-report ...` |
+
+### 前置条件
+
+- 已安装 tars-cli：`pip install tars-cli`
+- 已登录：`tars auth login -s <server_url>`
+- Claude Code 版本 >= 1.0（支持 Skill 功能）

{tars_cli-0.1.10 → tars_cli-1.0.0}/tars_cli.egg-info/SOURCES.txt

@@ -20,6 +20,9 @@ tars_cli/commands/dataset_cmd.py
 tars_cli/commands/eval_cmd.py
 tars_cli/commands/plugin_cmd.py
 tars_cli/commands/template_cmd.py
+tars_cli/skills/tars-cli/SKILL.md
+tars_cli/skills/tars-cli/references/auth.md
+tars_cli/skills/tars-cli/references/workflows.md
 tars_cli/utils/__init__.py
 tars_cli/utils/polling.py
 tars_cli/utils/progress.py

tars_cli-0.1.10/tars_cli/__init__.py

@@ -1 +0,0 @@
-__version__ = "0.1.10"