@mokuyoaxis/dsh-iris 0.2.0 → 0.2.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (93) hide show
  1. package/.dsh/skills/iris-compose-media/SKILL.md +10 -5
  2. package/.dsh/skills/iris-compose-media/references/workflows.md +7 -1
  3. package/.dsh/skills/iris-verify-ui/SKILL.md +2 -1
  4. package/CHANGELOG.md +69 -2
  5. package/README.en.md +67 -31
  6. package/README.md +67 -31
  7. package/bin/dsh-iris.js +222 -21
  8. package/docs/AGENT_QUICKSTART.md +10 -6
  9. package/docs/ARCHITECTURE.md +34 -19
  10. package/docs/ARTIFACT_LIBRARY.md +5 -5
  11. package/docs/ARTIFACT_MANIFEST.md +1 -1
  12. package/docs/CLI_MANAGEMENT.md +183 -0
  13. package/docs/COMPOSITE_VISION.md +35 -0
  14. package/docs/CORE_RUNTIME_CONTRACT.md +16 -7
  15. package/docs/DSH_CORE_MIGRATION.md +48 -19
  16. package/docs/DSH_RC2_ADAPTATION.md +4 -2
  17. package/docs/FAULT_INJECTION.md +21 -2
  18. package/docs/HEADLESS_CLI.md +15 -7
  19. package/docs/HOST_ADAPTER_CONTRACT.md +10 -10
  20. package/docs/HOST_DOCTOR.md +3 -3
  21. package/docs/MODEL_PORT_CONTRACT.md +21 -14
  22. package/docs/OCR_MODEL.md +39 -0
  23. package/docs/PROMPT_OPTIMIZER.md +77 -0
  24. package/docs/PROVIDER_ADAPTER_CONTRACT.md +15 -5
  25. package/docs/PROVIDER_HEALTH.md +22 -5
  26. package/docs/PROVIDER_RUNTIME_HARNESS.md +1 -1
  27. package/docs/PROVIDER_SUBMISSION_CONTRACT.md +2 -2
  28. package/docs/ROADMAP.md +37 -19
  29. package/docs/SECURITY.md +5 -5
  30. package/docs/TASK_SEMANTICS.md +2 -2
  31. package/docs/VISION_CLI.md +132 -0
  32. package/docs/VISION_MODEL.md +51 -0
  33. package/docs/WORKBENCH_ARTIFACTS.md +67 -0
  34. package/docs/file-access-across-environments.md +8 -5
  35. package/docs/releases/0.2.1.md +56 -0
  36. package/docs/releases/0.2.2.md +31 -0
  37. package/lib/actions.js +199 -286
  38. package/lib/adapters.js +216 -41
  39. package/lib/api.js +49 -7
  40. package/lib/capability.js +23 -16
  41. package/lib/chromium-browser.js +117 -0
  42. package/lib/client.js +933 -117
  43. package/lib/command-service.js +121 -7
  44. package/lib/composite-vision-routing.js +42 -0
  45. package/lib/config.js +102 -14
  46. package/lib/core-artifact-store.js +45 -13
  47. package/lib/core-lease-recovery.js +64 -92
  48. package/lib/core-maintenance.js +213 -0
  49. package/lib/core-runtime.js +45 -47
  50. package/lib/core-tasks.js +12 -5
  51. package/lib/core-user-projection.js +1 -0
  52. package/lib/core-writer-lease.js +134 -0
  53. package/lib/dsh-core-adapter.js +63 -9
  54. package/lib/dsh-text-model-adapter.js +222 -0
  55. package/lib/dsh-vision-model-adapter.js +75 -0
  56. package/lib/generation-input.js +36 -5
  57. package/lib/headless-vision.js +181 -0
  58. package/lib/host-runtime.js +1 -0
  59. package/lib/http-vision-model-adapter.js +187 -0
  60. package/lib/image-edit-input.js +34 -0
  61. package/lib/index.js +205 -175
  62. package/lib/locate.js +86 -28
  63. package/lib/media-probe.js +2 -1
  64. package/lib/model-call-runtime.js +45 -0
  65. package/lib/model-invoker.js +4 -2
  66. package/lib/model-port-contract.js +13 -5
  67. package/lib/models.js +29 -42
  68. package/lib/ocr-model-routing.js +26 -0
  69. package/lib/ocr.js +110 -64
  70. package/lib/prompt-optimizer-config.js +21 -10
  71. package/lib/prompt-optimizer-core.js +247 -0
  72. package/lib/prompt-optimizer.js +37 -193
  73. package/lib/provider-adapters.js +87 -10
  74. package/lib/provider-catalog.js +19 -7
  75. package/lib/provider-config-service.js +235 -0
  76. package/lib/provider-contract.js +3 -2
  77. package/lib/provider-health.js +80 -1
  78. package/lib/provider-protocol.js +84 -0
  79. package/lib/provider-task-runner.js +63 -19
  80. package/lib/summarize.js +31 -20
  81. package/lib/summary-input.js +52 -0
  82. package/lib/task-wait.js +40 -0
  83. package/lib/video-input.js +30 -0
  84. package/lib/vision-core.js +42 -0
  85. package/lib/vision-image-input.js +83 -0
  86. package/lib/vision-input.js +31 -0
  87. package/lib/vision-model-routing.js +180 -0
  88. package/lib/vision.js +3 -2
  89. package/lib/workbench-artifacts.js +52 -0
  90. package/lib/workbench-management.js +151 -0
  91. package/lib/workbench-zip.js +39 -0
  92. package/package.json +1 -1
  93. package/user_guide.md +74 -30
package/user_guide.md CHANGED
@@ -1,10 +1,12 @@
1
1
  # dsh-iris 用户指南
2
2
 
3
- 本指南说明如何安装、配置和使用 dsh-iris。项目仍处于早期版本;升级前请先阅读 [CHANGELOG](CHANGELOG.md)。
3
+ 本指南说明如何安装、配置和使用 Iris 0.2.2。升级范围见 [CHANGELOG](CHANGELOG.md) 和 [发布说明](docs/releases/0.2.2.md)。
4
+
5
+ 0.2.2 的能力来自明确功能标签、旧能力字段绑定或供应商能力元数据,账号和名称不再自动赋能。已有明确配置保留;仅有裸账号的配置需要先给实际模型设置功能,再加入有序候选池。
4
6
 
5
7
  ## 安装
6
8
 
7
- 先运行 `dsh --version`。Iris `0.2.0` 仅声明支持 DSH `0.2.0-rc.2`;旧 DSH `>=0.1.2-rc.1 <0.1.3-0` 或 `0.1.5-rc.1` 使用固定版本 Iris `0.1.4`。验证边界见[适配说明](docs/DSH_RC2_ADAPTATION.md)。还需要 PATH 中的 `pnpm`,以及至少一个媒体或视觉服务供应商。Iris 0.2.0 要求 Node.js 22.0.0 或更高版本,旧 npm 0.1.4 的历史要求为 20.10.0;如果所用 DSH 版本要求更高,以 DSH 为准。Iris 0.1.1 及后续 0.1.x 不兼容 DSH 0.1.0/0.1.1 的旧客户端 Runtime。
9
+ 先运行 `dsh --version`。Iris `0.2.2` 仅声明支持 DSH `0.2.0-rc.2`;旧 DSH `>=0.1.2-rc.1 <0.1.3-0` 或 `0.1.5-rc.1` 使用固定版本 Iris `0.1.4`。验证边界见[适配说明](docs/DSH_RC2_ADAPTATION.md)。还需要 PATH 中的 `pnpm`,以及至少一个媒体或视觉服务供应商。Iris 0.2.2 要求 Node.js 22.0.0 或更高版本,旧 npm 0.1.4 的历史要求为 20.10.0;如果所用 DSH 版本要求更高,以 DSH 为准。Iris 0.1.1 及后续 0.1.x 不兼容 DSH 0.1.0/0.1.1 的旧客户端 Runtime。
8
10
 
9
11
  在上述旧 DSH 范围内,从 npm 安装固定稳定版到 Web profile:
10
12
 
@@ -15,17 +17,21 @@ dsh web
15
17
 
16
18
  npm 上无 scope 的 `dsh-iris` 是另一款插件;安装或更新 Iris Media 时必须使用完整 scoped 包名。
17
19
 
18
- 只下载旧稳定包可运行 `npm pack @mokuyoaxis/dsh-iris@0.1.4`,安装为普通 npm 依赖可运行 `npm install @mokuyoaxis/dsh-iris@0.1.4`;后者不会自动加入 DSH profile。固定版本仍可在 latest 更新后安装,0.1.4 不包含新的 Core 媒体 CLI。DSH rc.2 使用 0.2.0。
20
+ 只下载旧稳定包可运行 `npm pack @mokuyoaxis/dsh-iris@0.1.4`,安装为普通 npm 依赖可运行 `npm install @mokuyoaxis/dsh-iris@0.1.4`;后者不会自动加入 DSH profile。固定版本仍可在 latest 更新后安装,0.1.4 不包含新的 Core 媒体 CLI。DSH rc.2 使用 0.2.2。
19
21
 
20
22
  在 DSH `0.2.0-rc.2` 上,从 npm 安装:
21
23
 
22
24
  ```bash
23
- dsh plugin --profile web add @mokuyoaxis/dsh-iris@0.2.0
25
+ dsh plugin --profile web add @mokuyoaxis/dsh-iris@0.2.2
24
26
  dsh web
25
27
  ```
26
28
 
27
29
  浏览器默认打开 `http://127.0.0.1:3080`。插件安装后只会在下一次 DSH 启动时装载;如果 DSH 已经运行,请先停止再启动。启动输出包含一次性认证参数时,必须完整打开该 URL,不能只输入裸地址。
28
30
 
31
+ ### 独立 CLI
32
+
33
+ 无需 DSH,在自己的项目安装 `npm install @mokuyoaxis/dsh-iris@0.2.2`,通过 `npx dsh-iris --help` 查看入口。详见 [Headless CLI](docs/HEADLESS_CLI.md) 和 [视觉 CLI](docs/VISION_CLI.md)。
34
+
29
35
  其他 DSH 版本,包括 `0.2.0` 正式版与其他 rc,须另行验收。让 Agent 协助安装时,可使用[简要 Prompt](docs/AGENT_QUICKSTART.md)。
30
36
 
31
37
  通过 dsh-market 安装时也要核对显示的 Iris 版本、完整 scoped 包名和 DSH 支持范围。市场可能缓存 npm 信息;旧宿主仍按固定 `@0.1.4` 命令安装,不直接跟随 latest。
@@ -47,6 +53,7 @@ dsh --profile web --dump-config
47
53
  3. Base URL 填 `https://dashscope.aliyuncs.com/compatible-mode/v1`;如果账号使用百炼业务空间专属域名,再把“媒体 Base URL”填为同地域的 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`(地域按账号实际情况替换)。
48
54
  4. 填入与模型、Endpoint 同地域的 DashScope API Key,点击“保存”。
49
55
  5. 展开刚添加的供应商,点击“发现模型”。
56
+ 6. 若模型显示“未标注功能”,点击其“设置功能”,勾选已确认支持的功能并保存。
50
57
 
51
58
  如果只有一个供应商,可以先保留“能力分配”为自动。Iris 会从模型池中为画图、视频、语音、转写和视觉能力选择第一个匹配模型。需要固定模型或设置故障转移顺序时,再到“能力分配(failover 顺序)”中调整。
52
59
 
@@ -59,38 +66,45 @@ Iris 当前支持两类调用路径:
59
66
  | 路径 | 可用能力 | 说明 |
60
67
  |---|---|---|
61
68
  | DashScope 百炼 | 图片、视频、TTS、转写、视觉 | 覆盖最完整;媒体请求只允许阿里云官方 HTTPS 域名 |
62
- | OpenAI 兼容 | Images 图片生成、Chat Completions 视觉 | 具体模型和能力取决于兼容服务 |
69
+ | OpenAI 兼容 | Images/聊天/Responses 图片生成、聊天带图编辑、Chat Completions 视觉 | 具体模型和能力取决于兼容服务 |
63
70
 
64
71
  工作台会按实际媒体端点安全推断协议:设置了“媒体 Base URL”时以它为准,否则沿用 Base URL。阿里云官方 DashScope、地域和 Workspace HTTPS 域名可使用 `dashscope`,其他地址使用 `openai-images`,也可以在供应商卡片中明确选择。即使配置被误标为 `dashscope`,Iris 也会在 fetch 前拒绝向非官方地址发送 DashScope API Key。分离端点后,普通 Base URL 可继续服务视觉/对话,媒体 Base URL 专门服务图片、视频、TTS、转写和媒体模型发现;留空即保持旧行为。
65
72
 
66
- 同一个 OpenAI 兼容 Base URL 只有在实际提供相应接口时才能承担对应能力:图片生成需要 Images 接口,视觉理解需要支持图片输入的 Chat Completions 接口。通用 OpenAI 兼容端点目前不能替代 Iris 的 DashScope 视频、TTS 或转写协议。
73
+ 0.2.1支持每个生图模型独立设置 `imageProtocol`,省略或 `auto` 继承账号默认。例如网关的 `gemini-image` 如果通过聊天接口返回图片,可显式设置 `image-gen` 能力和 `openai-chat-images` 协议;已验证 Responses 生图的模型可选择 `openai-responses-images`(当前同步单图)。同账号的其他模型仍可使用 `openai-images` 或 `dashscope`。仅有模型名称的目录不会自动证明生图能力。产物保留真实 PNG/JPEG/WebP 字节和后缀,保存为 Core Artifact 后可按 ID 看图/OCR,详见 [配置与使用示例](docs/CLI_MANAGEMENT.md#模型级图片协议)。
67
74
 
68
- 开发分支中,自动选择的未知端点会在供应商管理区显示“协议为推断值,请确认”,仍按 OpenAI Images 兼容格式请求。显式选择协议后清除标记;不支持的显式协议会在请求前报错,配置值仍保留。视觉类型 `type` 与媒体协议独立,未支持的视觉类型不会被转换为 OpenAI。
75
+ 同一个 OpenAI 兼容 Base URL 只有在实际提供相应接口时才能承担对应能力:图片生成按模型配置选择 Images、聊天或 Responses 接口,聊天改图需模型支持带图生成,视觉理解需要支持图片输入的 Chat Completions 接口。通用 OpenAI 兼容端点目前不能替代 Iris 的 DashScope 视频、TTS 或转写协议。
76
+
77
+ 自动选择的未知端点会在供应商管理区显示“协议为推断值,请确认”,仍按 OpenAI Images 兼容格式请求。显式选择协议后清除标记;不支持的显式协议会在请求前报错,配置值仍保留。视觉类型 `type` 与媒体协议独立,未支持的视觉类型不会被转换为 OpenAI。
69
78
 
70
79
  ## 模型池
71
80
 
72
- “发现模型”对普通 OpenAI 兼容服务读取 `GET /models`;对阿里云官方端点读取并分页拉完 `GET /api/v1/models`。官方 `IG/VG/ASR/TTS/VU` 能力元数据优先,缺少元数据时才按模型名兜底。用户手工纠正的能力标签优先级最高,后续重新发现不会覆盖。发现失败时,原模型池不会被清空。
81
+ “发现模型”对普通 OpenAI 兼容服务读取 `GET /models`;对阿里云官方端点读取并分页拉完 `GET /api/v1/models`。供应商返回的 `IG/VG/ASR/TTS/VU` 等明确能力元数据用于功能分类;只有名称或未知能力时,模型显示“未标注功能”,需手动设置。已有明确配置(包括空标签)优先,后续重新发现不会覆盖。分类声明仍需实测,不证明远端接口已经可用。发现失败时,原模型池不会被清空。
73
82
 
74
- 开发分支采用合并发现:保留手工模型、手工能力标注及本次目录未返回的旧模型,只追加或更新发现项。删除模型仍需用户显式操作。运行时仅使用已配置模型;某项能力缺少模型时会提示配置,不再猜测厂商默认值。旧裸账号的兼容目录会在配置写入时转成可编辑的模型条目,显式空模型池不会触发该迁移。
83
+ 模型发现采用合并更新:保留手工模型、明确功能标签及本次目录未返回的旧模型,只追加或更新发现项。删除模型仍需用户显式操作。裸账号在保存或加载时都不再补厂商默认模型;已经保存的模型和标签保留,`imageModel` 等旧字段仍作为明确功能绑定兼容。空模型池、空能力标签保持权威。某项功能没有候选时会提示配置。
75
84
 
76
85
  模型池中的能力名称如下:
77
86
 
78
87
  | 能力 | 配置值 | 典型工具 |
79
88
  |---|---|---|
80
89
  | 图片生成 | `image-gen` | `iris_draw_image` |
90
+ | Artifact 原图编辑(聊天生图) | `image-gen` | `iris_edit_image` |
81
91
  | 视频生成 | `video-gen` | `iris_generate_video` |
82
92
  | 语音合成 | `tts` | `iris_speak_text` |
83
93
  | 音频转写 | `transcribe` | `iris_transcribe_audio` |
84
94
  | 视觉理解 | `vision` | `iris_look_at_image`、OCR、定位、视频摘要 |
85
95
 
86
- 没有 `/models` 接口时,可以在供应商的模型池中手动添加模型名。Iris 能识别常见的 wan、qwen-vl、qwen-tts、qwen-audio ASR Filetrans、Fun-ASR、paraformer、gpt-image、dall-e 和 Gemini 命名;无法识别的模型需要在高级配置中显式填写 `capabilities`。
96
+ 没有 `/models` 接口时,可以手动添加模型名,再通过“设置功能”明确选择用途;也可在配置中填写模型的 `capabilities`。省略标签时保持未标注,即使名字像已知媒体模型也不会进入功能候选链。
97
+
98
+ 未提供标签的模型仍可在后续发现中接收供应商能力元数据;显式保存空标签表示当前不加入任何功能池,发现不会覆盖该选择。
99
+
100
+ Iris 先按画图、视频、语音、转写和视觉功能组织候选池,再按该功能的能力分配顺序选模型;每次从首项开始,生成只有明确未受理才切换。标注功能不会发起实测、生成或改变分配顺序。
87
101
 
88
102
  点击模型旁单项能力标记会进行验证。视觉、图片和 TTS 会先显示确认框,再发起真实供应商请求,不是本地校验:
89
103
 
90
104
  - 视觉测试会发送一张最小测试图;
91
105
  - 图片和 TTS 测试会生成真实产物;
92
- - 视频不会自动提交探针,因为“只确认受理”也可能创建计费任务;应通过“视频生成”操作验证。
93
- - 转写不使用空样本探针,应通过“音频转写”操作用真实音频验证。
106
+ - 视频不会自动提交探针,因为“只确认受理”也可能创建计费任务;正常使用可通过“视频生成”验证,耗尽后的恢复须用 CLI `models test --capability video-gen --input` 明确提供真实素材。
107
+ - 转写不使用空样本探针;耗尽后的恢复须用 CLI `models test --capability transcribe --input` 明确提供真实音频。
94
108
 
95
109
  模型不必经过“测”才能使用;正常的真实任务成功也会形成健康证据。模型池按钮只测试被点击的“供应商 × 模型 × 能力”,不会顺带验证同名模型或其他能力。
96
110
 
@@ -104,10 +118,12 @@ Iris 当前支持两类调用路径:
104
118
  | 蓝色 | 已配置,待验证 | 配置可用于路由,但尚无 7 天内成功证据,或旧成功已经过期 |
105
119
  | 绿色 | 近期验证成功 | 显式实测或真实任务在 7 天内成功 |
106
120
  | 暗红色 | 认证失败 | 最近出现明确 401、403 或认证/权限错误 |
121
+ | 琥珀色 | 429 冷却中 | 临时跳过模型,显示恢复候选资格的时间;优先遵从 `Retry-After`,默认 60 秒 |
122
+ | 红色 | 额度/预算耗尽已停用 | 明确免费额度或预算耗尽,手动实测成功后恢复 |
107
123
 
108
- 绿色旁显示的是最近成功时间,红色旁显示的是最近决定性认证失败时间。修改 API Key、Base URL、协议、供应商类型或能力模型会使相关旧证据失效。429/额度限制、网络、5xx、内容安全、取消和受理未知不会把近期绿色改红;Iris 也不会定时后台探测或为了点亮状态产生隐形费用。
124
+ 绿色旁显示最近成功时间,受阻模型显示原因和时间。短时限流与明确耗尽按账号 × 模型持久记录,重启后继续跳过;冷却到期只恢复候选资格,不发起请求、不自动变绿。实测按钮保持可用,可提前检测;只有明确的实测成功才解除持续停用,失败、发现、改变分配或旧任务成功都不能解除。修改 Key/端点会使旧验证证据失效,但不会清除耗尽停用。网络、5xx、内容安全、取消和受理未知不覆盖近期成功。此冷却/耗尽规则已纳入 0.2.1。
109
125
 
110
- 有多条 failover 路径时,只要一条近期成功,能力就是绿色;没有绿色但有待验证路径时为蓝色;只有全部已配置路径都明确认证失败时才为暗红。没有路径则为灰色。完整契约见 [Provider 与能力健康状态](docs/PROVIDER_HEALTH.md)。
126
+ 有多条 failover 路径时,可用候选近期成功则汇总为绿色,其次为待验证的蓝色;全部仅冷却时为琥珀色,全部受阻且含决定性失败时显示调用受阻。没有路径则为灰色。完整契约见 [Provider 与能力健康状态](docs/PROVIDER_HEALTH.md)。
111
127
 
112
128
  ## 能力分配和故障转移
113
129
 
@@ -138,6 +154,20 @@ IRIS_IMPORT_WORKBENCH_CONFIG="/absolute/path/ai-paint/data/config.json" dsh web
138
154
 
139
155
  变量未设置时不进行导入;相对路径会被拒绝。文件不可读、JSON 无效或没有有效供应商时会给出提示,不输出密钥。导入后的密钥写入 Iris 自己的配置文件,权限设为仅当前用户可读写;工作台和接口只返回密钥提示,不返回完整值。该操作不发送模型请求。
140
156
 
157
+ ## 工作台作品管理
158
+
159
+ 作品库统一展示 Core 与旧版的图片、视频、音频和文本,默认每页 24 个,可按媒体类型、来源和产物类型筛选。刷新或关闭识别结果保留当前页码与筛选。
160
+
161
+ Core 图片卡可直接点击“看图”或“OCR”;结果可以复制、下载为文本或取消。原始 PNG 可直接识别,不需要复制附件路径或转换 JPG。OCR 会明确显示部分完成,详细用法见 [工作台作品管理](docs/WORKBENCH_ARTIFACTS.md)。这些入口属于 0.2.1,更新本地插件后需重新加载 DSH 后端与客户端。
162
+
163
+ 作品详情和跨页选择支持批量管理:可复制选中 ID,或把 Core/旧版作品合为一个 ZIP 下载(最多 200 项、128 MiB)。Core 删除先展示预览,明确确认后移入可恢复回收区;任务/产物引用会阻止删除,关联的已结束任务记录需逐项明确勾选。“Core 回收区”可恢复同一隔离事务,遇到原位置冲突不会覆盖文件;旧版作品仍保留原有永久删除语义。
164
+
165
+ ### 按 Artifact ID 改图
166
+
167
+ Core 静态 PNG/JPEG/WebP 图片卡可点击“改图”,填写修改指令,再选择聊天生图模型。点击“生成修改版”才调用模型,修改版保存为关联原图的新作品,原图保留;可继续看图、OCR、下载或编辑。
168
+
169
+ Agent 可调用 `iris_edit_image`,提供 `source_artifact_id`、`prompt` 与可选 `model_ref`。CLI 使用 `run image` 的同名字段,详见 [Artifact 聊天改图](docs/CLI_MANAGEMENT.md#artifact-聊天改图)。仅支持 `openai-chat-images` 的带图生成,不提供 mask、多参考图或连续编辑历史。
170
+
141
171
  ## 高级配置文件
142
172
 
143
173
  一般应使用 Iris 工作台。只有在配置工作台尚未覆盖的协议或模型能力时,才需要直接编辑:
@@ -159,7 +189,6 @@ $DSH_HOME/iris/v1/providers.json
159
189
  "name": "Primary media provider",
160
190
  "type": "openai",
161
191
  "baseUrl": "https://api.example.com/v1",
162
- "mediaBaseUrl": "https://WORKSPACE_ID.cn-beijing.maas.aliyuncs.com/compatible-mode/v1",
163
192
  "apiKey": "YOUR_API_KEY",
164
193
  "enabled": true,
165
194
  "mediaProtocol": "openai-images",
@@ -178,7 +207,7 @@ $DSH_HOME/iris/v1/providers.json
178
207
 
179
208
  `mediaBaseUrl` 可以省略或留空,此时媒体调用沿用 `baseUrl`。`assignments` 可以省略;省略后使用模型池顺序。包含特殊字符的 provider 或模型引用会经过 URL 编码,复杂引用建议在工作台中生成,不要手写。
180
209
 
181
- 当前开发分支允许为明确不需要认证的本地端点设置 `"auth": "none"` 并省略 `apiKey`;缺省或 `"auth": "bearer"` 仍要求 Key,保持旧配置行为。无认证模式不会发送 Authorization 头,已有的旧 Key 也不会被带入该模式的媒体请求。工作台尚无专门的无认证开关,需要按上述停机原则编辑私有配置;不要对需要认证的公网端点使用 `auth:none`。
210
+ 可为明确不需要认证的本地端点设置 `"auth": "none"` 并省略 `apiKey`;缺省或 `"auth": "bearer"` 仍要求 Key,保持旧配置行为。无认证模式不会发送 Authorization 头,已有的旧 Key 也不会被带入该模式的媒体请求。工作台尚无专门的无认证开关,需要按上述停机原则编辑私有配置;不要对需要认证的公网端点使用 `auth:none`。
182
211
 
183
212
  API Key 以明文保存在宿主侧的 `providers.json` 中。POSIX 上 Iris 目录为 `0700`、文件为 `0600`,0.1.1 首次启动会收紧既有 Iris 树但不修改内容或跟随符号链接;Windows 的 mode 不能替代 ACL。状态接口和界面只返回掩码,不会显示完整 Key。不要把这个文件提交到版本库或发给他人。
184
213
 
@@ -192,6 +221,10 @@ Iris 工作台中的文件字段提供三种方式:
192
221
 
193
222
  浏览器上传单文件上限为 64 MB,默认保留 7 天。视频和音频操作最终都需要一个宿主可读路径;浏览器自己的路径、`content://` URI 和远程电脑上的路径不能直接使用。跨系统细节见[文件访问与跨环境](docs/file-access-across-environments.md)。
194
223
 
224
+ 看图、定位和 OCR 还可直接使用 Core 图片 `artifact_id`;视频摘要可复用 `frame_artifact_ids`。Core ID 与会话附件 ID 不混用,原 PNG 无需先转换为 JPG。Artifact 输入只读核验 MIME 与哈希,不要求原文件或临时导出。
225
+
226
+ 视觉操作共用完整终态、取消和整体预算。账号/模型的输入预算只处理发送副本,默认 8 MiB;Core 原图与下载保持不变。长图 OCR 最多 32 块、64 次生成、120 秒,明确标记部分完成和缩小时的细字风险;定位将模型的 0–1000 归一化坐标映射回原图像素。配置与示例见 [输入预算](docs/CLI_MANAGEMENT.md#看图输入预算)、[OCR](docs/OCR_MODEL.md) 和 [定位/摘要](docs/COMPOSITE_VISION.md)。
227
+
195
228
  ## 最小指令
196
229
 
197
230
  配置完成后,可以直接在会话中说:
@@ -210,7 +243,7 @@ Iris 工作台中的文件字段提供三种方式:
210
243
 
211
244
  直接写工具名最明确;自然语言也可以,由 Agent 判断需要调用哪个 Iris 工具。视频、图片和语音生成可能产生供应商费用。
212
245
 
213
- 从 0.1.2 起,插件会在 DSH Skill registry 可用时自动注册 `iris-verify-ui` 和 `iris-compose-media`,不要求会话工作区位于本仓库,也不需要用户复制 `.dsh/skills/`。项目目录中存在同名 Skill 时,DSH 仍优先使用项目版本;宿主未提供 Skill registry 时不影响 14 个 Iris 工具。
246
+ 从 0.1.2 起,插件会在 DSH Skill registry 可用时自动注册 `iris-verify-ui` 和 `iris-compose-media`,不要求会话工作区位于本仓库,也不需要用户复制 `.dsh/skills/`。项目目录中存在同名 Skill 时,DSH 仍优先使用项目版本;宿主未提供 Skill registry 时不影响 Iris 工具(0.2.1共 15 个)。
214
247
 
215
248
  用户想稳定指定方法时,可直接用 DSH 的 `/name` 形式:
216
249
 
@@ -224,16 +257,18 @@ Iris 工作台中的文件字段提供三种方式:
224
257
 
225
258
  ## 对话框提示词优化
226
259
 
260
+ 0.2.2 在既有只组装、本次规则和可编辑对照上提供一般功能:默认忠实整理、可选改写表达、独立补充建议,以及折叠卡、改图用途与贴近 Skills 的指令;特殊功能后续安排。详见 [提示词优化与规则组装](docs/PROMPT_OPTIMIZER.md)。规则按次传入,原有自定义 v1 配置保留,读取旧配置不自动重写。
261
+
227
262
  安装并启用 Iris 后,DSH 对话输入区会出现一个没有边框、底色和文字的“🫧”入口。点击后打开半透明玻璃悬浮窗;桌面端靠近输入区,手机窄屏自动变为底部面板,并适配浏览器安全区、可用高度和内部滚动。它独立于 Iris 工作台,可用于普通问答、写作、编程以及图片/视频生成提示词。[查看 Android 16 真机完整流程](docs/screenshots.md)。
228
263
 
229
264
  使用流程:
230
265
 
231
266
  1. 在对话框写入草稿,点击“🫧”。
232
- 2. 选择“通用对话、图片生成、视频生成、首尾帧视频”之一。
233
- 3. 点击“生成预览”。此时会调用模型,可能产生费用。
234
- 4. 检查结果后选择“写回输入框、复制、再优化”或“恢复原文”。Iris 不会自动发送消息。
267
+ 2. 在一般功能中选择“通用、画图、改图、视频、数字人”(旧 0.2.1 的四目标调用保持兼容)。
268
+ 3. 0.2.2 默认“忠实整理”,保持原文与句序,只调整分组/分段。需要润色或明确改变指定内容时选择“改写表达”,再展开本次规则;只组装仍原样拼接草稿与前后缀,不调用模型。旧后端保留“智能优化”。
269
+ 4. 编辑预览、检查原文与改动,然后选择“写回输入框、复制、重新生成预览”或“恢复原文”。需要额外创意时展开“可选补充与待确认”,点击获取才调用一次模型;勾选后还需点击采纳才加入预览,可以撤回上次采纳。手动编辑会清除旧建议绑定;建议与待确认问题不代表已验证事实或用户已有要求。折叠不清空选择和结果,Iris 不会自动发送消息。
235
270
 
236
- 默认路由是当前会话模型;当前会话没有选择时使用 DSH 默认模型。面板中的“JSON 配置”可以导出当前配置、导入修改后的 JSON,或恢复 Iris 内置默认值。配置单独保存在 `$DSH_HOME/iris/v1/prompt-optimizer.json`,不包含供应商 API Key,也不与 `providers.json` 混合。
271
+ 默认路由是当前会话模型;当前会话没有选择时使用 DSH 默认模型。0.2.2 的“指令与模型设置”可查看当前默认或自定义指令,导出/导入 JSON,或恢复内置默认值。配置单独保存在 `$DSH_HOME/iris/v1/prompt-optimizer.json`,不包含供应商 API Key,也不与 `providers.json` 混合。
237
272
 
238
273
  导出文件格式:
239
274
 
@@ -245,8 +280,9 @@ Iris 工作台中的文件字段提供三种方式:
245
280
  "targets": {
246
281
  "general": "通用任务的补充要求",
247
282
  "image": "图片提示词的补充要求",
283
+ "image-edit": "明确修改范围并保持原图其余特征",
248
284
  "video": "视频提示词的补充要求",
249
- "s2v": "首尾帧视频的补充要求"
285
+ "s2v": "首帧加音频数字人视频的补充要求"
250
286
  },
251
287
  "route": {
252
288
  "mode": "session"
@@ -289,11 +325,17 @@ Task v2 将“供应商是否受理、观察是否继续、远端结果和本地
289
325
 
290
326
  旧版任务会明确显示“旧任务 · 只读”。只有服务端明确返回 `schemaVersion=1` 才使用该标签;客户端与服务端热更新暂时不同步时,不会把字段缺失的新任务误判为旧任务。
291
327
 
328
+ ### 生图错误诊断(0.2.2)
329
+
330
+ 即时错误与任务详情显示同一脱敏原因。包装的网络异常保留请求或正文读取阶段及可用的底层错误码,可区分 DNS/TLS、连接建立超时、等待响应头超时和正文中断;原生取消/超时保持各自分类,鉴权、参数、限流及额度错误分别分类。`fetch failed` 本身不能证明图片太大或网关回收长连接,需结合阶段与错误码判断。
331
+
332
+ 尺寸按当前协议归一分隔符。DashScope 多模态只校验已确认的总像素范围,合法长边不受额外单边上限限制;本地面积不合法明确记为未受理。传输中断仍保留受理未知,不自动重提收费请求。HTTP 200 响应头不等于正文完整或图片已交付;生成成功后的本地交付失败仍与生成结果分开记录。详见 [Provider Adapter 契约](docs/PROVIDER_ADAPTER_CONTRACT.md#错误与取消传播)。
333
+
292
334
  ### 清除历史与作品库
293
335
 
294
336
  工作台中的作品库独立于任务历史。新落盘媒体会自动入库;首次升级会接回已有 `outputs/`,也可以随时点击“找回本地作品”重新扫描。清空已完成任务或清理旧任务只删除任务状态、Prompt、错误与重试记录,作品仍可在工作台和泡泡打开。
295
337
 
296
- 删除单件作品或清空作品库会删除实际媒体文件,需要独立确认;相关任务记录不会连带删除,但其中的媒体会无法打开。“删除孤儿产物”不会触碰已入库作品。重要作品仍应另行备份,详见[作品库 v0](docs/ARTIFACT_LIBRARY.md)。收藏、标签和搜索将在完整 Artifact Manifest 之后实现。
338
+ 旧版作品删除或清空会永久删除实际媒体文件,需独立确认;相关旧任务记录保留,但媒体链接失效。“删除孤儿产物”只处理 legacy `outputs/`。Core 作品使用预览和可恢复回收区,引用保护会阻止单独删除;关联已结束任务需逐项明确选择,恢复不覆盖冲突。详见 [旧版作品库](docs/ARTIFACT_LIBRARY.md) 与 [Core 作品管理](docs/WORKBENCH_ARTIFACTS.md)。收藏、标签和搜索仍为后续功能。
297
339
 
298
340
  默认数据目录:
299
341
 
@@ -325,21 +367,23 @@ npx @mokuyoaxis/dsh-iris doctor --json
325
367
 
326
368
  已安装包也可以直接运行 `dsh-iris doctor`。退出码为 `0`(正常)、`1`(警告)和 `2`(硬错误)。Doctor 会执行一个随后立即删除的本地写入探针,并检查配置、任务、能力分配、临时文件和产物引用;输出不含完整 API Key。离线模式无法检查 DSH 工具/客户端是否已经装载,也不会用付费请求验证 Provider。
327
369
 
328
- **0.2.0** 另提供 `doctor --data-root <绝对路径> --json`:只读盘点指定 Core 数据根的 Task、Artifact、Index 和租约,不执行上述写入探针,也不自动修复。`providers list` 与 `capabilities list` 可用 `--provider-config <私有配置绝对路径>` 只读查看脱敏供应商摘要和按配置排序的候选链;它们不代表远端能力已实测。异常退出留下租约时,先用显式 Doctor 查看 owner,再按 [Headless CLI 的恢复步骤](docs/HEADLESS_CLI.md#异常退出后的写者租约)人工确认并运行 `runtime recover`,不要手动删除租约。安装 npm 0.2.0 后使用 `dsh-iris` 命令;临时运行可用 `npx --package @mokuyoaxis/dsh-iris@0.2.0 dsh-iris ...`。旧版 0.1.4 不包含这些 Core 命令。
370
+ **0.2.0** 另提供 `doctor --data-root <绝对路径> --json`:只读盘点指定 Core 数据根的 Task、Artifact、Index 和租约,不执行上述写入探针,也不自动修复。`providers list` 与 `capabilities list` 可用 `--provider-config <私有配置绝对路径>` 只读查看脱敏供应商摘要和按配置排序的候选链;它们不代表远端能力已实测。异常退出留下租约时,先用显式 Doctor 查看 owner,再按 [Headless CLI 的恢复步骤](docs/HEADLESS_CLI.md#异常退出后的写者租约)人工确认并运行 `runtime recover`,不要手动删除租约。安装 npm 0.2.1 后使用 `dsh-iris` 命令;临时运行可用 `npx --package @mokuyoaxis/dsh-iris@0.2.2 dsh-iris ...`。旧版 0.1.4 不包含这些 Core 命令。
329
371
 
330
372
  ## Host Doctor
331
373
 
332
- DSH 运行后,打开“设置 → Iris 工作台 → 宿主诊断”。卡片会自动检查当前 DSH 版本、Iris 服务端和客户端版本、14 个工具、两项随包 Skill、四组 Web 路由、四个 UI Slot,以及 Browser、附件、会话和宿主模型端口;点击“刷新”可重新读取,展开项可查看全部结果。需要原始 JSON 时,可在已经完成 DSH Web 认证的同一浏览器访问 `/iris/api/doctor`。
374
+ DSH 运行后,打开“设置 → Iris 工作台 → 宿主诊断”。卡片会自动检查当前 DSH 版本、Iris 服务端和客户端版本、工具注册(0.2.1为 15 个)、两项随包 Skill、四组 Web 路由、四个 UI Slot,以及 Browser、附件、会话和宿主模型端口;点击“刷新”可重新读取,展开项可查看全部结果。需要原始 JSON 时,可在已经完成 DSH Web 认证的同一浏览器访问 `/iris/api/doctor`。
333
375
 
334
376
  Host Doctor 不打开 Browser、不读取附件或会话、不调用模型,也不请求供应商。报告中的 `exitCode` 是诊断严重度,不是 HTTP 状态:`0` 全部健康,`1` 有可降级警告,`2` 有硬错误。未安装 HTML Browser 时出现一条 Browser 警告是预期降级;如果提示尚未收到客户端握手,刷新 DSH 页面后再点“刷新”。若显示 `not found`,通常是前端已更新而 DSH 后端仍运行旧插件代码,应重启 DSH 后再刷新页面。
335
377
 
336
- Host Doctor 显示通过,只代表“插件与宿主接口已正确装载”,不代表 API Key 或某个模型可调用。供应商侧应看四色能力健康,并在模型池中显式实测或完成一项真实任务。完整字段和安全边界见 [Host Doctor](docs/HOST_DOCTOR.md),两类检查的区别见 [Provider 与能力健康状态](docs/PROVIDER_HEALTH.md)。
378
+ Host Doctor 显示通过,只代表“插件与宿主接口已正确装载”,不代表 API Key 或某个模型可调用。供应商侧应看能力健康颜色与恢复条件,并在模型池中显式实测或完成一项真实任务。完整字段和安全边界见 [Host Doctor](docs/HOST_DOCTOR.md),两类检查的区别见 [Provider 与能力健康状态](docs/PROVIDER_HEALTH.md)。
337
379
 
338
380
  ## 可选依赖
339
381
 
340
- 视频抽帧和视频摘要依赖 PATH 中的 `ffmpeg` 与 `ffprobe`。缺少它们只会禁用这两项能力,不影响生成、看图、OCR 或语音工具。
382
+ 0.2.1 提供 [独立视觉 CLI](docs/VISION_CLI.md):`vision look / locate / ocr / summarize`。必须显式指定私有 Provider 配置;可指定 `--model-ref providerId::modelId` 严格选型、保存 JSON/文本或摘要拼图。默认只分析画面;文件输入不要求数据根,使用 `artifact_id` 或 `frame_artifact_ids` 时需显式数据根并只读 Core,主动音轨转写使用 Core writer。
383
+
384
+ 视频文件抽帧依赖 PATH 中的 `ffmpeg` 与 `ffprobe`。缺少它们无法从视频文件生成新帧;摘要可复用既有 Core 帧 ID,不需要这两个工具。生成、看图、OCR 或语音工具不受影响。
341
385
 
342
- HTML 截图依赖 DSH 提供 `dsh-builtin-browser`。截图页在离线沙箱中运行,不加载远程脚本、字体或图片;需要的资源应内联到 HTML。
386
+ DSH HTML 截图依赖宿主的 `dsh-builtin-browser`;独立 CLI 显式提供 Chromium 可执行文件,见 [HTML 截图](docs/CLI_MANAGEMENT.md#html-截图)。截图页在离线沙箱中运行,不加载远程脚本、字体或图片;需要的资源应内联到 HTML。
343
387
 
344
388
  ## 更新和卸载
345
389
 
@@ -364,8 +408,8 @@ dsh plugin --profile web remove @mokuyoaxis/dsh-iris
364
408
  - **对话框没有“🫧”入口**:确认 Iris 客户端已加载且当前存在会话;再到“设置 → Iris 工作台 → 对话框提示词优化”检查是否被单独关闭。
365
409
  - **提示词优化提示没有模型**:先在当前会话选择主模型,或在 JSON 中配置 `route.mode: "fixed"`。
366
410
  - **设置中没有 Iris 工作台**:确认插件已加入 Web profile,并在安装后重启 DSH;可用 `dsh plugin --profile web list` 和 `--dump-config` 检查。
367
- - **没有可用模型**:先确认供应商已启用且 Key 有效,再运行“发现模型”;不支持 `/models` 时手动添加。
368
- - **OpenAI 兼容图片请求走错协议**:确认该供应商的 `mediaProtocol` 是 `openai-images`。
411
+ - **没有可用模型**:先确认供应商已启用且 Key 有效,再运行“发现模型”;未标注模型需通过“设置功能”选择用途,不支持 `/models` 时手动添加并标注。
412
+ - **OpenAI 兼容图片请求走错协议**:核对模型的有效图片协议;`/images/generations` 使用 `openai-images`,网关聊天图片扩展使用 `openai-chat-images`,同步 `/responses` 生图使用 `openai-responses-images`。可在生图模型行或 CLI `models protocol` 设置模型级覆盖,不需要改变同账号其他模型的接口。
369
413
  - **反向代理访问返回 `untrusted host`**:把浏览器实际使用的域名或 `host:port` 加入 `IRIS_TRUSTED_HOSTS`,保留 Host,并确认代理层已经启用认证。
370
414
  - **看图可用但 Iris 模型池显示为空**:Agent 视觉工具可以回退到 DSH 全局视觉模型;需要在工作台操作时仍建议配置 Iris 的 `vision` 模型。
371
415
  - **视频摘要提示 ffmpeg 不可用**:安装系统级 `ffmpeg` 和 `ffprobe`,并确保 DSH 进程的 PATH 能找到它们。