aipctl 2026.10.15 → 2026.10.16
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +17 -0
- package/build/index.cjs +1391 -77
- package/docs/api-contract-inventory.md +21 -1
- package/evaluation/README.md +155 -0
- package/evaluation/cases.csv +7 -0
- package/evaluation/evaluation.example.json +13 -0
- package/evaluation/judge-instructions.md +47 -0
- package/package.json +14 -10
package/README.md
CHANGED
|
@@ -156,3 +156,20 @@ mise run desktop:cli:local -- run --help
|
|
|
156
156
|
## Architecture
|
|
157
157
|
|
|
158
158
|
자세한 구조는 [`docs/architecture.md`](./docs/architecture.md)를 봅니다.
|
|
159
|
+
|
|
160
|
+
## Agent 평가
|
|
161
|
+
|
|
162
|
+
기존 에이전트의 설정과 MCP 연결·인증을 동일 조직에 복제할 수 있습니다. 새 CUSTOM 에이전트는 비활성 상태로 생성됩니다. 활성화에는 기존 승인 정책이 적용됩니다.
|
|
163
|
+
|
|
164
|
+
```bash
|
|
165
|
+
aipctl admin agent clone --org <org-slug> --name "개선 테스트" --json <source-agent-id>
|
|
166
|
+
aipctl agent enable --org <org-slug> <new-agent-id>
|
|
167
|
+
```
|
|
168
|
+
|
|
169
|
+
복제에는 Backend clone API 및 Gateway 배포가 필요합니다. PERSONAL·파트너 배포 유형은 지원하지 않으며, 설정을 누락한 부분 복제로 대체하지 않습니다. 공유 Skill·Knowledge·MCP 리소스 연결과 인증 grant는 유지하고, 에이전트·MCP 설정 레코드는 별도로 생성합니다. 대화·메모리 데이터는 복사하지 않습니다.
|
|
170
|
+
|
|
171
|
+
`aipctl eval run --config evaluation.json`으로 `en`/`ko`/`ja` 단일턴 데이터셋 실행, Judge 채점, 언어별 집계, 이전 결과 비교와 My Drive 저장을 수행합니다. 케이스 실행 언어, 보고서 언어, `--optimize` instruction 언어를 각각 설정합니다. 저장 실패는 `aipctl eval upload <local-run-directory>`로 Agent 재호출 없이 재시도합니다.
|
|
172
|
+
|
|
173
|
+
새 결과는 My Drive의 `Agent Evaluations/<Agent name> [ID]`에 영문 중립 파일명으로 저장합니다. Markdown 본문과 CLI 안내는 설정한 `reportLocale`로 표시하고, CSV/JSON schema와 사용자 평가 증거는 번역하지 않습니다. 기존 v1/v2 결과는 조회하되 v3 결과와 자동 비교하지 않습니다.
|
|
174
|
+
|
|
175
|
+
공식 Judge는 [Judge 지침](evaluation/judge-instructions.md)의 전체 내용을 `AIP Evaluation Judge` (`BUILT_IN / MASTER / MASTRA`, `claude-5-sonnet`)에 등록하고 조직에 설치합니다. 별도 평가 Skill은 필요하지 않습니다. CLI는 실행 전에 공식 `aip-eval-v2` 설정과 instruction hash를 검사합니다. locale 설정, CSV, 저장 구조, 비교·복구 방법은 [평가 가이드](evaluation/README.md)를 참조하세요.
|