dsh-neartoken 0.14.0 → 0.15.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +13 -6
- package/lib/client.js +627 -145
- package/lib/client.js.map +1 -1
- package/lib/index.js +551 -97
- package/lib/types/client/NearTokenSection.d.ts +1 -1
- package/lib/types/client/api.d.ts +27 -3
- package/lib/types/client/locales.d.ts +56 -0
- package/lib/types/host/account.d.ts +19 -0
- package/lib/types/host/routes.d.ts +14 -3
- package/lib/types/host/topup.d.ts +58 -0
- package/lib/types/host/whitelist.d.ts +19 -5
- package/lib/types/host/wire-error.d.ts +49 -0
- package/lib/types/index.d.ts +35 -0
- package/lib/types/protocol.d.ts +63 -0
- package/package.json +1 -1
package/README.md
CHANGED
|
@@ -33,6 +33,7 @@
|
|
|
33
33
|
| `src/host/protocol-router.ts` | 按模型选上游协议(claude / gemini / gpt / 其余) |
|
|
34
34
|
| `src/host/session-key.ts` | 从 `GenerateOptions.sessionId` 取会话亲和键,四条 wire 用它让站点把会话粘在同一渠道 |
|
|
35
35
|
| `src/host/provider-mount.ts` | 路由挂载、撤下、白名单变更时 `replace()` 重播 |
|
|
36
|
+
| `src/host/topup.ts` | 站点充值面:读 amount 档位与渠道、下单,把 403 `DSH_TOKEN_REQUIRED` 翻成「是否 DSH 密钥」的原因 |
|
|
36
37
|
| `src/host/images.ts` | 生图:挑通道、发请求、两种响应都读成 bytes |
|
|
37
38
|
| `src/host/image-tool.ts` | `generate_image` 工具:选模型/分组、把图写进 attachment |
|
|
38
39
|
| `src/host/image-settings.ts` | 生图设置读写与校验(模型必须是站点当前的生图模型,分组必须是该模型自己的分组) |
|
|
@@ -48,7 +49,8 @@
|
|
|
48
49
|
4. 插件轮询到批准后自动完成:把站点为该插件铸造的 API key 写进 credentials 的 `NEARTOKEN_API_KEY`,并挂上 `neartoken` provider。
|
|
49
50
|
5. 「断开连接」删掉本地凭据、撤掉 provider,并调用站点的撤销端点。
|
|
50
51
|
6. 卡片下方的「模型白名单」勾选即自动保存 —— 未勾选的不再出现在模型选择器里,且当场生效(Host 用 `AdapterRegistrationHandle.replace()` 重新声明同一条路由,同步发布 `llm/adapters-updated`,浏览器重拉目录)。没设置过白名单时默认全部显示,「全部显示」清空白名单。
|
|
51
|
-
7.
|
|
52
|
+
7. 账户卡片里的「充值」区:点档位或自己填金额 → 「去支付」→ 站点生成易支付订单,插件把支付页交给系统浏览器打开,付完余额在 5 分钟内自动刷新。**只有 DSH 设备授权签发的密钥能下单**;换成普通令牌时这里会显示「重新连接」。
|
|
53
|
+
8. 再往下的「图像生成」卡片:先勾「启用 generate_image 工具」,再勾要用的生图模型并为每个模型选分组(选的是**计费分组**,不是模型),最后点保存。工具随开关挂载/撤下,模型立刻能用或不能用。
|
|
52
54
|
|
|
53
55
|
备用路径:直接让 credentials 服务存 `NEARTOKEN_API_KEY`,或启动环境导出同名变量 —— provider 会在启动时按凭据现状挂载。
|
|
54
56
|
|
|
@@ -99,13 +101,16 @@
|
|
|
99
101
|
|
|
100
102
|
| 优先级 | 来源 | 维护方式 |
|
|
101
103
|
|---|---|---|
|
|
102
|
-
| 1 |
|
|
103
|
-
| 2 |
|
|
104
|
-
| 3 | `
|
|
104
|
+
| 1 | 设置页「模型白名单 → 覆盖」填的上下文(`modelMeta`,volatile,保存即生效) | 设置页模型行点「覆盖」 |
|
|
105
|
+
| 2 | `modelOverrides.*.contextWindow` | 改 profile 配置,重启 |
|
|
106
|
+
| 3 | 站点 `/api/pricing` 的 `context_window` | 在 New API 管理后台维护 |
|
|
107
|
+
| 4 | `defaultContextWindow` | 改 profile 配置 |
|
|
108
|
+
|
|
109
|
+
设置页的「覆盖」编辑器(模型白名单每行右侧按钮)可给单个模型改**上下文 / 最大输出 / 输入类型**三项:填了的字段逐项盖过 `modelOverrides` 与站点声明,留空的字段沿用下一级;输入类型(文本/图像)整体生效、至少留一项。数据存 `modelMeta`(volatile,与白名单同一次 profile 写入),保存后路由即重申、模型选择器立刻刷新,「清除覆盖」回到站点声明。编辑器里同时显示站点声明值作参照。
|
|
105
110
|
|
|
106
111
|
最大输出(`max_tokens`)只在**站点或配置明确给出**时才写进请求。站点可能把同一个名字路由到上限更低的渠道,照抄厂商口径会把「回答被截断」换成「请求被拒」。不给出该字段时由上游默认值决定。
|
|
107
112
|
|
|
108
|
-
输入模态(`text` / `image
|
|
113
|
+
输入模态(`text` / `image`)优先级:设置页「覆盖」的输入类型(`modelMeta.*.input`)> `modelOverrides.*.input` > 站点 `input_modalities` > `['text']`。**站点没声明的模型一律当纯文本**,因为 harness 把「没有声明」当成「没有权限」:只有声明了 `image` 的模型才允许 `read_image` 和携带图片的请求,否则图片会在发出前被拦下。所以后台忘了勾 `image` 的模型,症状是「贴图被拦」而不是「报错」。
|
|
109
114
|
|
|
110
115
|
推理档位(`minimal` / `low` / `medium` / `high` / `xhigh` / `max`)优先级:`modelOverrides.*.reasoning` > 站点 `reasoning_levels` > 无档位。**站点没声明就没有档位选择器** —— 与其发一个上游不认的档位换来 400,不如不提供。
|
|
111
116
|
|
|
@@ -188,6 +193,7 @@ Gemini 系走原生 surface 而不是 openai 兼容层:同模型同提示词
|
|
|
188
193
|
- 四套 wire(chat / anthropic / genai / responses)各自解析 SSE;**用户消息里的图片按各协议原样发送** —— chat 用 `image_url` part、anthropic 用 `source.base64`、genai 用 `inlineData`、responses 用 `input_image`。字节由 `attachments.readImage` 在请求前内联;没有 attachments 服务或读不出来会**让请求失败**,不再静默降级成纯文本(曾经就是这样:贴的截图模型根本收不到)。文件块(非图片附件)仍不发;`/model` 弹窗仍是内置平铺列表;箭头键盘导航未接。
|
|
189
194
|
- 四套 wire 的 SSE 解析都有「帧样本 → 期望 chunk 序列」回归测试(`src/host/wire-parse.spec.ts`),帧样本取自生产网关的真实响应。网关在内容帧上发 `"usage": null`,只有末帧带真值:任何一处把 `usage` 当对象直接读都会让整条流中途崩掉(曾导致 claude 模型全不可用)。
|
|
190
195
|
- **每个请求都带会话亲和键**:chat 与 responses 发 `prompt_cache_key`,anthropic 发 `metadata.user_id`,取值都是 DSH 的 `GenerateOptions.sessionId`。站点就是靠这个值挑上游渠道的(New API 的「codex cli trace」规则:`^gpt-.*$` + `/v1/responses`,键取自 body 的 `prompt_cache_key`,取不到就把整条规则跳过),而提示词缓存按**上游账号**存 —— 不带键时每个请求随机换账号,缓存永远不中。实测同一 6k 前缀:不带键连发 4 次 `cached_tokens` 全 0;带键后第 2 次起 5888/6011 ≈ 98%。`/v1/chat/completions` 上目前没有对应规则,chat 线即使带键也只是偶发命中,要彻底解决需要站点加一条匹配该路径的亲和规则;anthropic 线的 `metadata.user_id` 同理(规则只作用于 `/v1/messages`,这一条已经匹配)。
|
|
196
|
+
- **anthropic 线显式打缓存断点**:Anthropic 只在 `cache_control` 断点处写缓存,没有断点就整段 prompt 按新输入计价(亲和键只保证落在同一上游账号,不产生缓存)。每个请求打 4 个断点:`tools` 末项、`system` 末块、最后两条消息各自末块 —— harness 每轮全量重放历史,尾部双断点保证下一轮几乎全命中,每轮只写新增片段。实测(Claude Max 超惠分组,~6.3k token 前缀):无断点连发两次 `cache_read` 全 0;打点后第 2 次起 `in=4, cr=6316`,三轮增长历史 `cr` 累积到 10811、`in` 恒为个位数。断点也覆盖 `tool_result` 结尾的轮次(DSH 会话的常态形态)。
|
|
191
197
|
- 推理等级按各协议自己的词汇发送:**anthropic 发 `thinking.type=adaptive` + `output_config.effort`**(不能再用 `thinking.type=enabled` + `budget_tokens`:Claude 5 代直接 400 `requires adaptive thinking`,而 adaptive 在老代际上同样可用,所以统一用它;`minimal` 收敛成 `low`);genai 发 `thinkingConfig` 且带 `includeThoughts`(不带你拿不到思维链);chat 与 responses 发 `reasoning_effort` / `reasoning.effort`。
|
|
192
198
|
- **Gemini 4 换成 `thinkingLevel`**:这一代不再接受 token 预算(发 budget 会 400 `Use thinking level instead`),按 `gemini-<主版本>` ≥ 4 自动切换字段,等级名用 `low` / `medium` / `high` / `max`。
|
|
193
199
|
- 思考历史**不回传**:harness 的 reasoning 块没有 signature 槽位,anthropic 的 `signature_delta` 与 gemini 的 `thoughtSignature` 都被丢弃。当前网关的转换层本身也会丢弃 thinking 块,所以多轮不会因此报错;接真正的 Anthropic / Gemini 直连渠道时这一条会变成硬限制。
|
|
@@ -196,6 +202,7 @@ Gemini 系走原生 surface 而不是 openai 兼容层:同模型同提示词
|
|
|
196
202
|
- `-c` 后缀是站点自己的约定(带该后缀的模型工具调用不可靠):站点声明了端点类型时插件按声明提供,声明里没有它就不会出现;没有声明时按名字隐藏它的无后缀孪生之外的变体。
|
|
197
203
|
- 站点上新但还没在后台填能力的模型:只要声明了端点类型就会提供,容量走 `defaultContextWindow`,模态按纯文本、没有推理档位(除非在 `modelOverrides` 里写明)。这不是 bug,是「站点是唯一真源」的直接后果——补能力请去后台填,不必等插件发版。
|
|
198
204
|
- pricing 加载失败时沿用上一次成功的结果,从未成功过则目录为空(失败不写缓存,下次调用会重试)。
|
|
205
|
+
- **上游错误映射到共享重试码表**(`src/host/wire-error.ts`):429→`RATE_LIMIT`、5xx/529/流中途失败→`SERVER`、网络层断连→`TRANSPORT`(fetch 抛错但非用户取消),这三类是 base 组合里 `dsh-llm-retry` 默认策略(5 次、指数退避、读 `retry-after`)会等过去重试的;401/403→`AUTH`、402/余额耗尽→`QUOTA`、400/413→`INVALID_REQUEST`、上下文超限→`CONTEXT_WINDOW_EXCEEDED`、其余→`HTTP_<status>` 保持不可重试。曾经全部抛 `PROVIDER_ERROR`——不在默认可重试集合里,网关一次瞬断就终止整轮(「一遇错误立即停止」的根因)。
|
|
199
206
|
- 账号卡片的钱是**两次读**拼接的:授权那一刻 grant 里的 `user` 给出身份事实,余额/已用/代金券则来自站点 `/api/dsh/device/wallet`——Host 每 5 分钟读一次,页面在余额旁另有**立即刷新**按钮(`POST /neartoken/refresh`,读完后把同一份状态回给页面),所以不必重连也能看到新数字。落盘到 profile 下的 `neartoken-account.json` 只作重启回退。站点若没有该端点或读不到,卡片保留上一次的数字、不会清空。代金券为空时卡片给一句去「邀请计划」(站点 `/wallet` 页)领免费代金券的提示。
|
|
200
207
|
- 白名单按裸模型名过滤:勾掉某模型会把它的所有分组一起隐藏;某个正在使用的模型被勾掉后,会话里已选中的 id 仍在,但选择器里不再列出它。
|
|
201
208
|
- 白名单写入走 DSH 的 Settings:profile 里该行只保留 volatile 字段,所以别把 `baseURL` 等非 volatile 字段写进**同一个 profile 行**(会在此后第一次保存白名单时被 Settings 的 strip 规则清掉)。
|
|
@@ -211,4 +218,4 @@ pnpm run typecheck
|
|
|
211
218
|
pnpm run test # vitest:account / pricing / adapter / model-caps / groups / whitelist / routes / config / wire-parse / images / image-settings / image-tool
|
|
212
219
|
pnpm run typecheck # 两个 face 分别检查(host 与 client 的 ctx.sessions 声明互相冲突,不能同 program)
|
|
213
220
|
pnpm run build # lib/index.js (host) + lib/client.js (client) + lib/types
|
|
214
|
-
```
|
|
221
|
+
```
|