tars-cli 0.1.4__tar.gz → 0.1.5__tar.gz

tars_cli-0.1.5/PKG-INFO

@@ -0,0 +1,267 @@
+Metadata-Version: 2.4
+Name: tars-cli
+Version: 0.1.5
+Summary: tars 平台命令行工具
+Requires-Python: >=3.11
+Description-Content-Type: text/markdown
+Requires-Dist: typer>=0.12
+Requires-Dist: httpx>=0.27
+Requires-Dist: rich>=13.0
+Requires-Dist: pyyaml>=6.0
+Requires-Dist: platformdirs>=4.0
+Provides-Extra: dev
+Requires-Dist: pytest>=8.0; extra == "dev"
+Requires-Dist: pytest-mock>=3.12; extra == "dev"
+Requires-Dist: pytest-cov>=5.0; extra == "dev"
+Requires-Dist: respx>=0.21; extra == "dev"
+Requires-Dist: mypy>=1.8; extra == "dev"
+Requires-Dist: ruff>=0.3; extra == "dev"
+Requires-Dist: build>=1.0; extra == "dev"
+
+# tars-cli
+
+tars 平台命令行工具，支持插件导入、数据集管理、评估执行和报告导出。
+
+## 安装
+
+```bash
+pip install tars-cli
+```
+
+### 安装验证
+
+```bash
+$ tars --version
+tars-cli 0.1.5
+```
+
+### 升级
+
+```bash
+pip install --upgrade tars-cli
+```
+
+### 环境要求
+
+- Python >= 3.11
+- 依赖：typer >= 0.12, httpx >= 0.27, rich >= 13.0, pyyaml >= 6.0, platformdirs >= 4.0
+
+## 快速开始
+
+```bash
+# 登录
+tars auth login -s <server_url>
+
+# 导入插件
+tars plugin import <git_url>
+
+# 智能生成数据集并执行评估
+tars dataset generate <plugin_id> --agent-name <name>
+tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id>
+
+# 导出测评报告
+tars plugin export-report <plugin_id>
+```
+
+## 命令测试结果
+
+### 认证
+
+```bash
+$ tars auth login -s <server_url>
+登录 tars 平台
+用户名: admin
+密码: ********
+✓ 登录成功
+  服务器: <server_url>
+  用户: admin
+
+$ tars auth logout
+✓ 已登出，本地凭证已清除
+```
+
+### 插件管理
+
+```bash
+$ tars plugin import https://github.com/org/repo.git
+✓ 插件验证通过
+✓ Plugin 导入成功
+
+$ tars plugin import /path/to/plugin.zip --overwrite
+✓ 插件验证通过
+✓ Plugin 导入成功（已覆盖）
+
+$ tars plugin export-report <plugin_id>
+message: 报告导出成功
+path: /path/to/report_<plugin_id>_<timestamp>.html
+```
+
+### 模板下载
+
+```bash
+$ tars template download plan -f yaml
+✓ 模板已下载
+  文件: plan-template.yaml
+
+$ tars template download testcase-single
+✓ 模板已下载
+  文件: testcase-single-template.yaml
+
+$ tars template download testcase-multi
+✓ 模板已下载
+  文件: testcase-multi-template.yaml
+```
+
+### 数据集管理
+
+> `--agent-name` 和 `--skill-name` 二选一，必须指定其中一个。`publish` 仅需版本 ID，无需指定目标。
+>
+> `--conversation-type`（简写 `-t`）支持 `single_turn`（默认）和 `multi_turn`，用于指定会话类型。
+
+#### 按 Agent 生成 & 管理
+
+```bash
+$ tars dataset generate <plugin_id> --agent-name <name> --conversation-type single_turn
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:03:56
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:04:47
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/golden-set/<version_id>
+👉 下一步: tars dataset publish <version_id>
+version_id: <version_id>
+status: draft
+case_count:
+message: 数据集生成完成
+
+$ tars dataset list <plugin_id> --agent-name <name> --conversation-type single_turn
+              数据集版本列表
+┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━┓
+┃ 版本 ID                            ┃ 状态     ┃ 用例数 ┃ 创建时间           ┃
+┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━┩
+│ <version_id>                       │ published│ N      │ <datetime>         │
+│ <version_id>                       │ draft    │ N      │ <datetime>         │
+└────────────────────────────────────┴──────────┴────────┴────────────────────┘
+```
+
+#### 按 Skill 生成 & 管理
+
+```bash
+$ tars dataset generate <plugin_id> --skill-name <name> --conversation-type multi_turn
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:03:56
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:04:47
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/golden-set/<version_id>
+👉 下一步: tars dataset publish <version_id>
+version_id: <version_id>
+status: draft
+case_count:
+message: 数据集生成完成
+
+$ tars dataset list <plugin_id> --skill-name <name> --conversation-type multi_turn
+              数据集版本列表
+┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━┓
+┃ 版本 ID                            ┃ 状态     ┃ 用例数 ┃ 创建时间           ┃
+┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━┩
+│ <version_id>                       │ published│ N      │ <datetime>         │
+└────────────────────────────────────┴──────────┴────────┴────────────────────┘
+```
+
+#### 发布数据集版本
+
+```bash
+$ tars dataset publish <version_id>
+version_id: <version_id>
+status: published
+message: 发布成功
+```
+
+### 评估
+
+> `--agent-name` 和 `--skill-name` 二选一，可不传。`eval status` 仅需任务 ID。
+
+#### 按 Agent 评估
+
+```bash
+$ tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id>
+任务已创建: <task_id>
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:07:13
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/evaluation/<task_id>
+👉 下一步: tars plugin export-report <plugin_id>
+task_id: <task_id>
+status: completed
+score: <score>
+pass_rate: <rate>
+message: 评估完成
+
+$ tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id> --threshold 0.8
+任务已创建: <task_id>
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:07:13
+
+task_id: <task_id>
+status: completed
+score: <score>
+pass_rate: <rate>
+message: 评估完成
+（退出码为 1，评分低于阈值）
+```
+
+#### 按 Skill 评估
+
+```bash
+$ tars eval run <plugin_id> --skill-name <name> --dataset-version <version_id>
+任务已创建: <task_id>
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:07:13
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/evaluation/<task_id>
+👉 下一步: tars plugin export-report <plugin_id>
+task_id: <task_id>
+status: completed
+score: <score>
+pass_rate: <rate>
+message: 评估完成
+```
+
+#### 查看评估状态
+
+```bash
+$ tars eval status <task_id>
+task_id: <task_id>
+status: completed
+overall_score: <score>
+total_cases: <N>
+passed_cases: <N>
+failed_cases: <N>
+```
+
+## 全局选项
+
+| 选项 | 说明 |
+|------|------|
+| `-o, --output FORMAT` | 输出格式：`table`（默认）/ `json` / `yaml` |
+| `-q, --quiet` | 安静模式 |
+| `--verbose` | 打印 HTTP 请求日志 |
+| `--server URL` | 覆盖服务地址（优先级：`--server` > `TARS_SERVER_URL` 环境变量 > 默认 `http://localhost:8001`） |
+| `-V, --version` | 查看版本 |
+
+## CI/CD 集成
+
+```bash
+export TARS_ACCESS_TOKEN=<token>
+export TARS_SERVER_URL=https://your-tars-server.com
+
+tars eval run <plugin_id> \
+  --agent-name <name> \
+  --dataset-version <version_id> \
+  --threshold 0.8 \
+  -o json -q
+```
+
+评分低于阈值时退出码为 1，可用于流水线门禁。
+
+## 退出码
+
+| 退出码 | 含义 |
+|--------|------|
+| 0 | 成功 / 评估通过 |
+| 1 | 评估未通过（评分低于 `--threshold`） |
+| 2 | 执行错误（网络、参数、认证等） |

tars_cli-0.1.5/README.md

@@ -0,0 +1,247 @@
+# tars-cli
+
+tars 平台命令行工具，支持插件导入、数据集管理、评估执行和报告导出。
+
+## 安装
+
+```bash
+pip install tars-cli
+```
+
+### 安装验证
+
+```bash
+$ tars --version
+tars-cli 0.1.5
+```
+
+### 升级
+
+```bash
+pip install --upgrade tars-cli
+```
+
+### 环境要求
+
+- Python >= 3.11
+- 依赖：typer >= 0.12, httpx >= 0.27, rich >= 13.0, pyyaml >= 6.0, platformdirs >= 4.0
+
+## 快速开始
+
+```bash
+# 登录
+tars auth login -s <server_url>
+
+# 导入插件
+tars plugin import <git_url>
+
+# 智能生成数据集并执行评估
+tars dataset generate <plugin_id> --agent-name <name>
+tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id>
+
+# 导出测评报告
+tars plugin export-report <plugin_id>
+```
+
+## 命令测试结果
+
+### 认证
+
+```bash
+$ tars auth login -s <server_url>
+登录 tars 平台
+用户名: admin
+密码: ********
+✓ 登录成功
+  服务器: <server_url>
+  用户: admin
+
+$ tars auth logout
+✓ 已登出，本地凭证已清除
+```
+
+### 插件管理
+
+```bash
+$ tars plugin import https://github.com/org/repo.git
+✓ 插件验证通过
+✓ Plugin 导入成功
+
+$ tars plugin import /path/to/plugin.zip --overwrite
+✓ 插件验证通过
+✓ Plugin 导入成功（已覆盖）
+
+$ tars plugin export-report <plugin_id>
+message: 报告导出成功
+path: /path/to/report_<plugin_id>_<timestamp>.html
+```
+
+### 模板下载
+
+```bash
+$ tars template download plan -f yaml
+✓ 模板已下载
+  文件: plan-template.yaml
+
+$ tars template download testcase-single
+✓ 模板已下载
+  文件: testcase-single-template.yaml
+
+$ tars template download testcase-multi
+✓ 模板已下载
+  文件: testcase-multi-template.yaml
+```
+
+### 数据集管理
+
+> `--agent-name` 和 `--skill-name` 二选一，必须指定其中一个。`publish` 仅需版本 ID，无需指定目标。
+>
+> `--conversation-type`（简写 `-t`）支持 `single_turn`（默认）和 `multi_turn`，用于指定会话类型。
+
+#### 按 Agent 生成 & 管理
+
+```bash
+$ tars dataset generate <plugin_id> --agent-name <name> --conversation-type single_turn
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:03:56
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:04:47
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/golden-set/<version_id>
+👉 下一步: tars dataset publish <version_id>
+version_id: <version_id>
+status: draft
+case_count:
+message: 数据集生成完成
+
+$ tars dataset list <plugin_id> --agent-name <name> --conversation-type single_turn
+              数据集版本列表
+┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━┓
+┃ 版本 ID                            ┃ 状态     ┃ 用例数 ┃ 创建时间           ┃
+┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━┩
+│ <version_id>                       │ published│ N      │ <datetime>         │
+│ <version_id>                       │ draft    │ N      │ <datetime>         │
+└────────────────────────────────────┴──────────┴────────┴────────────────────┘
+```
+
+#### 按 Skill 生成 & 管理
+
+```bash
+$ tars dataset generate <plugin_id> --skill-name <name> --conversation-type multi_turn
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:03:56
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:04:47
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/golden-set/<version_id>
+👉 下一步: tars dataset publish <version_id>
+version_id: <version_id>
+status: draft
+case_count:
+message: 数据集生成完成
+
+$ tars dataset list <plugin_id> --skill-name <name> --conversation-type multi_turn
+              数据集版本列表
+┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━┓
+┃ 版本 ID                            ┃ 状态     ┃ 用例数 ┃ 创建时间           ┃
+┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━┩
+│ <version_id>                       │ published│ N      │ <datetime>         │
+└────────────────────────────────────┴──────────┴────────┴────────────────────┘
+```
+
+#### 发布数据集版本
+
+```bash
+$ tars dataset publish <version_id>
+version_id: <version_id>
+status: published
+message: 发布成功
+```
+
+### 评估
+
+> `--agent-name` 和 `--skill-name` 二选一，可不传。`eval status` 仅需任务 ID。
+
+#### 按 Agent 评估
+
+```bash
+$ tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id>
+任务已创建: <task_id>
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:07:13
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/evaluation/<task_id>
+👉 下一步: tars plugin export-report <plugin_id>
+task_id: <task_id>
+status: completed
+score: <score>
+pass_rate: <rate>
+message: 评估完成
+
+$ tars eval run <plugin_id> --agent-name <name> --dataset-version <version_id> --threshold 0.8
+任务已创建: <task_id>
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:07:13
+
+task_id: <task_id>
+status: completed
+score: <score>
+pass_rate: <rate>
+message: 评估完成
+（退出码为 1，评分低于阈值）
+```
+
+#### 按 Skill 评估
+
+```bash
+$ tars eval run <plugin_id> --skill-name <name> --dataset-version <version_id>
+任务已创建: <task_id>
+  completed ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:07:13
+
+📎 在 Web 端查看: <server_url>/plugins/<plugin_id>/evaluation/<task_id>
+👉 下一步: tars plugin export-report <plugin_id>
+task_id: <task_id>
+status: completed
+score: <score>
+pass_rate: <rate>
+message: 评估完成
+```
+
+#### 查看评估状态
+
+```bash
+$ tars eval status <task_id>
+task_id: <task_id>
+status: completed
+overall_score: <score>
+total_cases: <N>
+passed_cases: <N>
+failed_cases: <N>
+```
+
+## 全局选项
+
+| 选项 | 说明 |
+|------|------|
+| `-o, --output FORMAT` | 输出格式：`table`（默认）/ `json` / `yaml` |
+| `-q, --quiet` | 安静模式 |
+| `--verbose` | 打印 HTTP 请求日志 |
+| `--server URL` | 覆盖服务地址（优先级：`--server` > `TARS_SERVER_URL` 环境变量 > 默认 `http://localhost:8001`） |
+| `-V, --version` | 查看版本 |
+
+## CI/CD 集成
+
+```bash
+export TARS_ACCESS_TOKEN=<token>
+export TARS_SERVER_URL=https://your-tars-server.com
+
+tars eval run <plugin_id> \
+  --agent-name <name> \
+  --dataset-version <version_id> \
+  --threshold 0.8 \
+  -o json -q
+```
+
+评分低于阈值时退出码为 1，可用于流水线门禁。
+
+## 退出码
+
+| 退出码 | 含义 |
+|--------|------|
+| 0 | 成功 / 评估通过 |
+| 1 | 评估未通过（评分低于 `--threshold`） |
+| 2 | 执行错误（网络、参数、认证等） |

{tars_cli-0.1.4 → tars_cli-0.1.5}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "tars-cli"
-version = "0.1.4"
+version = "0.1.5"
 description = "tars 平台命令行工具"
 requires-python = ">=3.11"
 dependencies = [

tars_cli-0.1.5/tars_cli/__init__.py

@@ -0,0 +1 @@
+__version__ = "0.1.5"

{tars_cli-0.1.4 → tars_cli-0.1.5}/tars_cli/hints.py

@@ -4,13 +4,13 @@ import typer
 
 ROUTE_MAP: dict[str, str] = {
     "plugin_import": "/plugins/{plugin_id}",
-    "plugin_report": "/plugins/{plugin_id}/report",
-    "dataset_version": "/plugins/{plugin_id}/datasets/{version_id}",
-    "dataset_generate": "/plugins/{plugin_id}/datasets/{version_id}",
-    "dataset_upload": "/plugins/{plugin_id}/datasets/{version_id}",
-    "dataset_publish": "/plugins/{plugin_id}/datasets/{version_id}",
-    "eval_task": "/plugins/{plugin_id}/evaluations/{task_id}",
-    "eval_run": "/plugins/{plugin_id}/evaluations/{task_id}",
+    "plugin_report": "",
+    "dataset_version": "/plugins/{plugin_id}/golden-set/{version_id}",
+    "dataset_generate": "/plugins/{plugin_id}/golden-set/{version_id}",
+    "dataset_upload": "/plugins/{plugin_id}/golden-set/{version_id}",
+    "dataset_publish": "/plugins/{plugin_id}/golden-set/{version_id}",
+    "eval_task": "/plugins/{plugin_id}/evaluation/{task_id}",
+    "eval_run": "/plugins/{plugin_id}/evaluation/{task_id}",
 }
 
 NEXT_STEP_MAP: dict[str, str] = {