dsh-llm-verifier 0.1.0 → 0.1.2
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +37 -15
- package/lib/client.js +848 -0
- package/lib/index.js +427 -67
- package/lib/types/client.js +56 -5
- package/lib/types/config.d.ts +2 -0
- package/lib/types/config.js +2 -1
- package/lib/types/index.d.ts +1 -0
- package/lib/types/index.js +50 -7
- package/lib/types/statistics.d.ts +118 -0
- package/lib/types/statistics.js +176 -0
- package/package.json +25 -22
- package/src/client.tsx +72 -4
- package/src/config.ts +4 -1
- package/src/index.ts +42 -7
- package/src/statistics.test.ts +52 -0
- package/src/statistics.ts +283 -0
- package/lib/caller-BgqCctCh.js +0 -324
package/README.md
CHANGED
|
@@ -17,29 +17,50 @@
|
|
|
17
17
|
|
|
18
18
|
## 安装与启用 (Installation & Usage)
|
|
19
19
|
|
|
20
|
-
### 1. 使用
|
|
20
|
+
### 1. 使用 `dsh plugin` 安装
|
|
21
21
|
|
|
22
|
-
|
|
22
|
+
DeepSeek Harness(DSH)通过 profile 独立管理各个运行环境的插件依赖。请使用 `dsh plugin` 命令将插件安装至目标 profile(如 `web`):
|
|
23
23
|
|
|
24
24
|
```bash
|
|
25
|
-
#
|
|
25
|
+
# 方式 A:从 npm 官方 Registry 安装(推荐)
|
|
26
26
|
dsh plugin --profile web add dsh-llm-verifier
|
|
27
27
|
```
|
|
28
28
|
|
|
29
|
-
|
|
29
|
+
> [!NOTE]
|
|
30
|
+
> `dsh plugin add` 安装成功后,DSH 会自动识别包内的 `dsh.bundle` 声明并完成插件层自动对齐(Reconcile),**无需手动修改任何配置文件**。
|
|
31
|
+
|
|
32
|
+
### 2. 启动与配置
|
|
33
|
+
|
|
34
|
+
启动 DSH Web 客户端:
|
|
35
|
+
|
|
36
|
+
```bash
|
|
37
|
+
dsh web
|
|
38
|
+
# 或
|
|
39
|
+
dsh --profile web
|
|
40
|
+
```
|
|
30
41
|
|
|
31
|
-
|
|
32
|
-
- **自定义 Patch Overlay(可选)**:若在自定义 Profile 清单中手动声明,可在 `cordis.patch.yml` 中配置:
|
|
33
|
-
```yaml
|
|
34
|
-
- insert:
|
|
35
|
-
- id: llm-verifier
|
|
36
|
-
name: 'dsh-llm-verifier'
|
|
37
|
-
```
|
|
38
|
-
- **配置面板**:启动 DSH 后打开 **`设置 → LLM Verifier`** 即可可视化配置裁判所使用的 Provider、Model、推理强度、并发限制与缓存策略。
|
|
42
|
+
启动后进入前端界面,打开 **`设置 → LLM Verifier`** 即可可视化配置裁判所使用的 Provider、Model、推理强度(Reasoning Effort)、最大并发与缓存策略。
|
|
39
43
|
|
|
40
|
-
### 3.
|
|
44
|
+
### 3. 常用管理命令
|
|
45
|
+
|
|
46
|
+
```bash
|
|
47
|
+
# 更新插件至最新版本
|
|
48
|
+
dsh plugin --profile web update dsh-llm-verifier
|
|
41
49
|
|
|
42
|
-
|
|
50
|
+
# 卸载插件
|
|
51
|
+
dsh plugin --profile web remove dsh-llm-verifier
|
|
52
|
+
|
|
53
|
+
# 查看当前 Profile 已安装的插件与依赖列表
|
|
54
|
+
dsh plugin --profile web list
|
|
55
|
+
```
|
|
56
|
+
|
|
57
|
+
### 4. 作为独立库引用(可选)
|
|
58
|
+
|
|
59
|
+
如果你在其它 TypeScript / JavaScript 项目中需要复用核心评分标尺与锦标赛算法,可直接作为普通 npm 依赖安装并引入:
|
|
60
|
+
|
|
61
|
+
```bash
|
|
62
|
+
pnpm add dsh-llm-verifier
|
|
63
|
+
```
|
|
43
64
|
|
|
44
65
|
```typescript
|
|
45
66
|
import {
|
|
@@ -143,6 +164,7 @@ flowchart LR
|
|
|
143
164
|
|
|
144
165
|
| 配置项 | 说明 |
|
|
145
166
|
|---|---|
|
|
167
|
+
| **启用工具 (Enabled)** | 是否允许 Agent 调用 verifier 工具;关闭后调用会立即返回错误,不产生任何模型请求(设置页「工具开关」按钮可切换) |
|
|
146
168
|
| **供应商 (Provider)** | 从 DSH 当前已配置且可路由的 Provider 列表中选择 |
|
|
147
169
|
| **模型 (Model)** | 从所选 Provider 的模型目录中指定具体裁判模型 |
|
|
148
170
|
| **推理强度 (Reasoning Effort)** | 使用 Adapter 为该模型声明的思考强度,或保留模型默认值 |
|
|
@@ -215,4 +237,4 @@ software is provided “AS IS”, without warranty. See the upstream LICENSE
|
|
|
215
237
|
for the complete legal text.
|
|
216
238
|
```
|
|
217
239
|
|
|
218
|
-
衷心感谢上游项目的作者及贡献者开源了细粒度 A–T 奖励机制、Token 对数概率期望打分、任务进度验证、Bradley–Terry 软胜率模型以及 Probabilistic Pivot Tournament 锦标赛算法。本 DSH 插件将这一系列优秀成果移植并深度整合至 TypeScript 与 DeepSeek Harness 生态中;本插件不对上述理论算法声明原创所有权。
|
|
240
|
+
衷心感谢上游项目的作者及贡献者开源了细粒度 A–T 奖励机制、Token 对数概率期望打分、任务进度验证、Bradley–Terry 软胜率模型以及 Probabilistic Pivot Tournament 锦标赛算法。本 DSH 插件将这一系列优秀成果移植并深度整合至 TypeScript 与 DeepSeek Harness 生态中;本插件不对上述理论算法声明原创所有权。
|