expert_eval_cli 2.0.0 → 2.0.1

package/dist/index.js

@@ -13,7 +13,7 @@ function createProgram() {
     program
         .name('expert_eval')
         .description('AI-friendly CLI for ExpertEval API')
-        .version('2.0.0')
+        .version('2.0.1')
         .option('--format <type>', 'Output format: json, csv, table, or auto (default: auto)', 'auto')
         .option('-q, --quiet', 'Suppress output (exit codes only)', false);
     program.addCommand((0, auth_js_1.makeAuthCommand)());

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "expert_eval_cli",
-  "version": "2.0.0",
+  "version": "2.0.1",
   "description": "AI-friendly CLI for ExpertEval OpenAPI — experts, versions, evaluation tasks, records and agent accounts",
   "main": "dist/index.js",
   "types": "dist/index.d.ts",

package/skill/SKILL.md

@@ -1,16 +1,46 @@
 ---
 name: expert-eval-cli
-version: "1.0.1"
+version: "2.0.1"
 description: >
-  ExpertEval CLI 工具技能：帮助用户安装、更新 expert_eval_cli，完成认证，
-  并执行 experts、versions、eval-tasks、eval-records、agent-accounts 操作。
-  当用户提到 ExpertEval、专家评估、评测任务、评审记录、版本管理、评测账号时触发。
+  ExpertEval CLI 工具技能：帮助用户安装、更新和使用 expert_eval_cli，完成 API Key 认证、
+  环境切换、专家管理、版本包上传与解析、评测任务创建/查询、评测记录单条或批量回写、
+  评测账号领取/释放等操作。适用于 ExpertEval、专家评估、评测任务、评测记录、版本管理、
+  agent.json/agent.yml/skills.json 上传、评测账号管理等场景。
 ---
 
 # ExpertEval CLI 技能
 
 本技能帮助用户和 AI Agent 使用 `expert_eval_cli` 命令行工具与 ExpertEval API 交互。
 
+## 能力介绍
+
+当用户需要操作 ExpertEval 平台时，使用本技能调用 `expert_eval` CLI 完成端到端任务。核心能力包括：
+
+- **安装与升级**：安装、更新 `expert_eval_cli`，并校验 `expert_eval --version`。
+- **认证管理**：通过环境变量或本地配置文件保存 API Key，支持查看认证状态与登出。
+- **环境切换**：支持线上环境和开发环境 Base URL，通过环境变量或登录参数切换。
+- **专家管理**：查询、创建、更新、删除专家；支持按关键词和状态筛选；可拉取专家原始 `agent.json` / `agent.yml`。
+- **版本管理**：查询、获取、创建、删除版本；支持上传 ZIP 包，也支持直接传入解析后的 `agent.json`、`agent.yml`、`skills.json`。
+- **评测任务管理**：查询、创建、获取详情、删除评测任务；详情包含版本、记录和用例信息；可拉取任务对应的被测 Agent Card。
+- **评测记录回写**：按任务查询评测记录，单条更新状态/评论/证据，或通过 JSON/文件批量更新记录。
+- **评测账号管理**：查询 ready/running 账号，领取评测账号并在完成后释放回 ready。
+- **Agent 友好输出**：非 TTY 默认 JSON 输出，支持 `--format json|csv|table|auto` 与 `--quiet`，便于自动化解析和流水线集成。
+
+## 适用场景
+
+- 用户提到 ExpertEval、专家评估、专家/版本/评测任务/评测记录/评测账号。
+- 用户需要创建或维护专家条目、上传专家版本包、发起评测、查看评测进度。
+- 用户需要读取评测任务记录，并把评测结论、评论、证据链接回写到平台。
+- 用户需要为自动化 Agent/CI 脚本配置 ExpertEval API Key、Base URL 或 JSON 输出。
+
+## 使用原则
+
+1. 优先使用 `--format json` 获取机器可读输出，除非用户明确需要表格或 CSV。
+2. 需要认证时优先使用 `EXPERT_EVAL_API_KEY` 环境变量；交互式长期使用可通过 `expert_eval auth login` 写入本地配置。
+3. 上传版本时，如已有本地 ZIP，优先使用 `--package-zip-file`；如已有解析产物，可直接使用 `--agent-json-file`、`--agent-yaml-file`、`--skill-json-file`。
+4. 回写评测记录前，应先查询记录 ID 和现有状态，避免误更新。
+5. 对批量更新，优先使用 `--records-file`，便于审计和重试。
+
 ## 安装与更新
 
 ### 首次安装
@@ -105,24 +135,46 @@ expert_eval --format json experts list
 expert_eval experts list | cat
 ```
 
+全局选项：
+
+```bash
+expert_eval --format json   # 强制 JSON 输出
+expert_eval --format csv    # 强制 CSV 输出
+expert_eval --format table  # 强制表格输出
+expert_eval --format auto   # 自动选择输出格式（默认）
+expert_eval -q              # 静默模式，仅依赖 exit code
+```
+
 ### 常用操作速查
 
 | 操作 | 命令 |
 |---|---|
 | 列出专家 | `expert_eval experts list` |
+| 按条件查询专家 | `expert_eval experts list --page 1 --page-size 50 --keyword "AI" --status published` |
+| 获取专家详情 | `expert_eval experts get exp-001` |
 | 创建专家 | `expert_eval experts create --expert-id exp-001 --name "AI安全专家" --owner 1847292357012580 --status developing` |
 | 更新专家 | `expert_eval experts update exp-001 --name "新名称" --status published` |
+| 清空专家 owner/description | `expert_eval experts update exp-001 --clear-owner --clear-description` |
 | 查看专家卡/YAML | `expert_eval experts agent-card exp-001` / `expert_eval experts agent-yaml exp-001` |
 | 删除专家 | `expert_eval experts delete <expert-id>` |
 | 列出版本 | `expert_eval versions list --expert-id exp-001` |
-| 创建版本 | `expert_eval versions create --expert-id exp-001 --package-zip-file ./pkg.zip` |
+| 获取版本详情 | `expert_eval versions get <version-id>` |
+| 上传 ZIP 创建版本 | `expert_eval versions create --expert-id exp-001 --package-zip-file ./pkg.zip --package-name pkg.zip` |
+| 用解析产物创建版本 | `expert_eval versions create --expert-id exp-001 --agent-json-file ./agent.json --agent-yaml-file ./agent.yml --skill-json-file ./skills.json` |
+| 删除版本 | `expert_eval versions delete <version-id>` |
+| 查询评测任务 | `expert_eval eval-tasks list --expert-id exp-001 --status in_progress` |
 | 创建评测任务 | `expert_eval eval-tasks create --version-id v-1 --name "v1 评测"` |
 | 获取任务详情 | `expert_eval eval-tasks get <task-id>` |
 | 获取任务记录 | `expert_eval eval-tasks records <task-id>` |
+| 获取任务 Agent Card | `expert_eval eval-tasks agent-card <task-id>` |
+| 删除评测任务 | `expert_eval eval-tasks delete <task-id>` |
 | 列出评审记录 | `expert_eval eval-records list --eval-task-id task-1` |
 | 修改评审记录 | `expert_eval eval-records update <record-id> --status passed --comment "通过"` |
+| 清空记录评论/证据 | `expert_eval eval-records update <record-id> --clear-comment --clear-evidence` |
 | 批量修改记录 | `expert_eval eval-records batch --records-file ./records.json` |
 | 查询评测账号 | `expert_eval agent-accounts list --status ready` |
+| 领取评测账号 | `expert_eval agent-accounts start agent-001` |
+| 释放评测账号 | `expert_eval agent-accounts done agent-001` |
 
 ### 分页查询
 
@@ -130,6 +182,35 @@ expert_eval experts list | cat
 
 ```bash
 expert_eval experts list --page 2 --page-size 20
+expert_eval versions list --page 1 --page-size 50 --expert-id exp-001
+expert_eval eval-tasks list --page 1 --page-size 50 --version-id v-1
+```
+
+### 状态枚举
+
+- 专家状态：`developing`、`adjusting`、`published`、`paused`
+- 评测任务状态：`pending`、`in_progress`、`failed`、`changes_requested`、`passed`
+- 评测记录状态：`untested`、`passed`、`warning`、`failed`
+- 评测账号状态：`ready`、`running`
+
+### 批量回写记录格式
+
+`eval-records batch` 支持 JSON 数组或 `{ "records": [...] }`：
+
+```json
+[
+  {
+    "id": "record-1",
+    "status": "passed",
+    "comment": "符合标准"
+  },
+  {
+    "id": "record-2",
+    "status": "failed",
+    "comment": "未满足验收标准",
+    "evidence": "https://example.com/evidence.png"
+  }
+]
 ```
 
 ### 错误处理