@h-ai/cli 0.1.0-alpha.53 → 0.1.0-alpha.55

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (85) hide show
  1. package/README.md +18 -0
  2. package/dist/{chunk-U4PA632G.js → chunk-FVDXJYMO.js} +34 -67
  3. package/dist/chunk-FVDXJYMO.js.map +1 -0
  4. package/dist/cli-config-templates-WGN2I23J.js +5 -0
  5. package/dist/{cli-config-templates-GSXKLGU5.js.map → cli-config-templates-WGN2I23J.js.map} +1 -1
  6. package/dist/index.js +174 -105
  7. package/dist/index.js.map +1 -1
  8. package/dist/{src-QNEJJ3BV.js → src-6ZBWDBUB.js} +127 -87
  9. package/dist/{src-QNEJJ3BV.js.map → src-6ZBWDBUB.js.map} +1 -1
  10. package/package.json +13 -4
  11. package/templates/apps/api/apps/{{projectName}}-contract/package.json.hbs +1 -0
  12. package/templates/apps/api/apps/{{projectName}}-service/package.json.hbs +1 -0
  13. package/templates/apps/api/package.json.hbs +1 -0
  14. package/templates/apps/fullstack/apps/{{projectName}}-app/package.json.hbs +1 -0
  15. package/templates/apps/fullstack/apps/{{projectName}}-desktop/package.json.hbs +1 -0
  16. package/templates/apps/fullstack/apps/{{projectName}}-web/package.json.hbs +1 -0
  17. package/templates/apps/fullstack/package.json.hbs +1 -0
  18. package/templates/apps/fullstack/packages/{{projectName}}-contract/package.json.hbs +1 -0
  19. package/templates/apps/fullstack/packages/{{projectName}}-serv/package.json.hbs +1 -0
  20. package/templates/apps/fullstack/packages/{{projectName}}-shared/package.json.hbs +1 -0
  21. package/templates/base/eslint.config.js.hbs +1 -0
  22. package/templates/base/package.json.hbs +3 -1
  23. package/templates/skills/AGENTS.md +8 -22
  24. package/templates/skills/CLAUDE.md +3 -16
  25. package/templates/skills/bridges/admin/AGENTS.md +3 -16
  26. package/templates/skills/bridges/admin/CLAUDE.md +3 -11
  27. package/templates/skills/bridges/admin/copilot-instructions.md +2 -39
  28. package/templates/skills/bridges/api/AGENTS.md +5 -18
  29. package/templates/skills/bridges/api/CLAUDE.md +3 -11
  30. package/templates/skills/bridges/api/copilot-instructions.md +3 -38
  31. package/templates/skills/bridges/fullstack/AGENTS.md.hbs +24 -59
  32. package/templates/skills/bridges/fullstack/CLAUDE.md.hbs +1 -15
  33. package/templates/skills/bridges/fullstack/copilot-instructions.md.hbs +5 -45
  34. package/templates/skills/bridges/h5/AGENTS.md +4 -17
  35. package/templates/skills/bridges/h5/CLAUDE.md +3 -11
  36. package/templates/skills/bridges/h5/copilot-instructions.md +2 -37
  37. package/templates/skills/bridges/mobile-app/AGENTS.md +5 -18
  38. package/templates/skills/bridges/mobile-app/CLAUDE.md +3 -11
  39. package/templates/skills/bridges/mobile-app/copilot-instructions.md +2 -38
  40. package/templates/skills/bridges/website/AGENTS.md +4 -17
  41. package/templates/skills/bridges/website/CLAUDE.md +3 -11
  42. package/templates/skills/bridges/website/copilot-instructions.md +2 -37
  43. package/templates/skills/copilot-instructions.md +2 -36
  44. package/templates/skills/hai-ai/SKILL.md +35 -389
  45. package/templates/skills/hai-ai/guide.md +383 -0
  46. package/templates/skills/hai-ai/reference.md +6 -2
  47. package/templates/skills/hai-api-client/SKILL.md +6 -6
  48. package/templates/skills/hai-api-contract/SKILL.md +10 -25
  49. package/templates/skills/hai-app-create/SKILL.md +29 -388
  50. package/templates/skills/hai-app-create/reference.md +350 -0
  51. package/templates/skills/hai-app-review/SKILL.md +15 -23
  52. package/templates/skills/hai-app-tests/SKILL.md +29 -494
  53. package/templates/skills/hai-app-tests/reference.md +442 -0
  54. package/templates/skills/hai-audit/SKILL.md +6 -6
  55. package/templates/skills/hai-build/SKILL.md +19 -330
  56. package/templates/skills/hai-build/reference.md +326 -0
  57. package/templates/skills/hai-cache/SKILL.md +28 -31
  58. package/templates/skills/hai-capacitor/SKILL.md +19 -364
  59. package/templates/skills/hai-capacitor/reference.md +352 -0
  60. package/templates/skills/hai-ci/SKILL.md +17 -20
  61. package/templates/skills/hai-core/SKILL.md +25 -564
  62. package/templates/skills/hai-core/reference.md +533 -0
  63. package/templates/skills/hai-crypto/SKILL.md +8 -20
  64. package/templates/skills/hai-datapipe/SKILL.md +9 -23
  65. package/templates/skills/hai-deploy/SKILL.md +18 -24
  66. package/templates/skills/hai-framework-sync/SKILL.md +8 -20
  67. package/templates/skills/hai-iam/SKILL.md +27 -365
  68. package/templates/skills/hai-iam/reference.md +343 -0
  69. package/templates/skills/hai-kit/SKILL.md +6 -6
  70. package/templates/skills/hai-payment/SKILL.md +6 -26
  71. package/templates/skills/hai-pr-review/SKILL.md +6 -22
  72. package/templates/skills/hai-reach/SKILL.md +19 -317
  73. package/templates/skills/hai-reach/reference.md +303 -0
  74. package/templates/skills/hai-reldb/SKILL.md +19 -472
  75. package/templates/skills/hai-reldb/reference.md +452 -0
  76. package/templates/skills/hai-scheduler/SKILL.md +18 -6
  77. package/templates/skills/hai-serv/SKILL.md +27 -759
  78. package/templates/skills/hai-serv/reference.md +736 -0
  79. package/templates/skills/hai-storage/SKILL.md +7 -25
  80. package/templates/skills/hai-ui/SKILL.md +29 -621
  81. package/templates/skills/hai-ui/reference.md +598 -0
  82. package/templates/skills/hai-vecdb/SKILL.md +18 -303
  83. package/templates/skills/hai-vecdb/reference.md +291 -0
  84. package/dist/chunk-U4PA632G.js.map +0 -1
  85. package/dist/cli-config-templates-GSXKLGU5.js +0 -5
@@ -1,398 +1,44 @@
1
1
  ---
2
2
  name: hai-ai
3
- description: "Use when: using @h-ai/ai for LLM calls, tools, MCP, streaming, memory/context, RAG, image generation, text-to-image, GPT Image, Gemini Image, Qwen Image, Seedream, audio, A2A, or the AI client. 当需求涉及 AI 对话、工具、文生图、Audio、会话、知识库或 AI 客户端时使用。"
3
+ description: "接入 @h-ai/ai 的 LLM、工具/MCP、RAG、会话记忆、图像、语音及 A2A。"
4
4
  ---
5
5
 
6
- # hai-ai — @h-ai/ai 快速指南
7
-
8
- `@h-ai/ai` 统一提供 LLM、工具、MCP、Embedding、Memory、Retrieval/RAG、Knowledge、Context、File、Rerank、Image、Audio 与 A2A 能力。
9
-
10
- > 详细 API 表、错误码与长示例见同目录 `reference.md`。只有需要完整契约或边界用例时再读取,避免把长参考塞进上下文。
6
+ # hai-ai
11
7
 
12
8
  ## 能力契约
13
9
 
14
10
  | 项目 | 契约 |
15
11
  | --- | --- |
16
- | 能力 | LLM/流式生成、结构化 Tool、MCP、Embedding、Memory、RAG/Knowledge、Context、Image、Audio、A2A |
17
- | 适用场景 | 服务端 AI 对话、Agent 工具链、知识问答、长期记忆、语音交互和 Agent-to-Agent;浏览器通过 client/API 代理 |
18
- | 输入 | `AIConfigInput`、消息/文本/音频、Zod Tool schema、`objectId/sessionId/scope`、`AbortSignal` |
19
- | 输出 | 领域操作返回 `HaiResult<T>`;流式 API 返回 `AsyncIterable`;Tool 返回 `ToolMessage`;客户端传输可能抛异常 |
20
- | 限制 | 框架不替代业务授权、沙箱、人工确认和网络出口策略;临时 Store 不持久化;Prompt、检索内容和模型 Tool Call 均视为不可信输入 |
21
-
22
- ## 使用边界
23
-
24
- - `ai.tools`、`ai.stream` 是纯函数能力,无需 `ai.init()`。
25
- - `ai.llm`、`ai.embedding`、`ai.memory`、`ai.retrieval`、`ai.rag`、`ai.knowledge`、`ai.context`、`ai.image`、`ai.audio`、`ai.a2a` 需要先 `await ai.init(...)`。
26
- - 未初始化 reldb/vecdb 时,`ai.init()` 使用进程内临时 Store,适合 LLM-only 与本地原型;数据在 `ai.close()` 或进程退出后丢失。
27
- - reldb 与 vecdb 均已初始化时自动使用持久化 DB Provider;生产 Memory/Context/Persona/Knowledge 应使用该路径或自定义 `AIStoreProvider`。
28
- - 浏览器端不要直接调用 Node-only 能力;通过 `@h-ai/api-client` 或应用自定义 API/SSE endpoint 代理。
29
- - 公共 API 返回 `HaiResult<T>` 时按 `if (!result.success) return result` 处理;不要用 `try/catch` 包裹正常业务错误。
30
-
31
- ## 初始化与关闭
32
-
33
- ```ts
34
- import { core } from '@h-ai/core'
35
- import { ai } from '@h-ai/ai'
36
-
37
- const init = await ai.init(core.config.get('ai'))
38
- if (!init.success) return init
39
-
40
- // LLM-only:未初始化 DB 时使用进程内临时 Store
41
- // ... 使用 ai.llm
42
-
43
- await ai.close()
44
- ```
45
-
46
- 需要持久化时先初始化 DB:
47
-
48
- ```ts
49
- import { reldb } from '@h-ai/reldb'
50
- import { vecdb } from '@h-ai/vecdb'
51
-
52
- await reldb.init(core.config.get('db'))
53
- await vecdb.init(core.config.get('vecdb'))
54
- await ai.init(core.config.get('ai'))
55
- ```
56
-
57
- 自定义存储:
58
-
59
- ```ts
60
- await ai.init(core.config.get('ai'), { storeProvider: myProvider })
61
- await ai.close()
62
- ```
63
-
64
- ## 配置要点
65
-
66
- ```yaml
67
- llm:
68
- apiKey: ''
69
- baseUrl: https://api.openai.com/v1
70
- model: gpt-4o-mini
71
- api: chat # chat(默认)| responses | anthropic——底层协议,对使用方透明
72
- timeout: 60000
73
- tempModelCacheTtl: 600000 # 临时模型客户端缓存 TTL(毫秒,默认 10 分钟)
74
- models: # 可为单个模型指定协议(responses / anthropic)
75
- - { id: claude, model: claude-3-5-sonnet-latest, api: anthropic }
76
- scenarios:
77
- chat: fast
78
- reasoning: strong
79
- embedding: embed
80
-
81
- embedding:
82
- dimensions: 1536
83
- batchSize: 100
84
-
85
- knowledge:
86
- collection: hai_ai_knowledge
87
- dimension: 1536
88
- chunkOptions:
89
- mode: markdown
90
- maxSize: 1500
91
- overlap: 200
92
-
93
- # 可选:mem0ai/oss 引擎;无法映射持久化后端时默认 fail-fast
94
- memory:
95
- provider: mem0
96
- defaultTopK: 10
97
- # allowEphemeralFallback: true # 仅明确接受重启丢失数据时开启
98
- ```
99
-
100
- 约定环境变量优先于 YAML,例如 `HAI_AI_LLM_APIKEY`、
101
- `HAI_AI_LLM_BASEURL`、`HAI_AI_LLM_MODEL`。
102
-
103
- `ai.config` 是脱敏快照;`apiKey`、`privateKey`、URL 内嵌凭证会被隐藏。
104
-
105
- ## 常用 API
106
-
107
- | 场景 | 首选 API | 备注 |
108
- | --- | --- | --- |
109
- | 非流式对话 | `ai.llm.chat({ messages })` | OpenAI 兼容 Chat Completion |
110
- | 流式对话 | `ai.llm.chatStream({ messages })` | 返回 `AsyncIterable` |
111
- | 多协议 | 模型 `api: chat/responses/anthropic` | 底层走 Chat Completions / Responses / Anthropic,公共形状不变 |
112
- | 请求取消 | `ai.llm.chat({ messages, signal })` | 传 `AbortSignal`,`abort()` 立即停上游生成 |
113
- | 临时模型 | `ai.llm.chat({ messages, tempModel })` | 单次请求级临时端点,客户端按 TTL 缓存 |
114
- | 工具定义 | `ai.tools.define(...)` | Zod schema 转 JSON Schema;`handler(input, ctx)` 第二参为执行上下文 |
115
- | 工具注册 | `registry.register/replace` | `register` 默认拒绝同名并返回 HaiResult;只有 `replace` 可显式替换 |
116
- | 工具执行 | `registry.execute(tc, { signal, objectId, sessionId, deadline?, timeoutMs?, authorize? })` / `executeAll(...)` | Registry/单次授权必须同时通过;默认串行,支持取消/超时;只有确认无副作用时才 `parallel: true` |
117
- | MCP 服务 | `createMcpServer(...)` | 按需连接 HTTP/SSE/Stdio transport |
118
- | Embedding | `ai.embedding.embedText(text)` | 批量用 `embedBatch` |
119
- | 记忆 | `ai.memory.extract/recall/injectMemories` | `extract(..., { signal })` 可取消整条提取链;用 `objectId` 做主体隔离,`scope` 做业务作用域隔离;scope 隔离越细,`candidateMultiplier` 调大以防漏召回 |
120
- | 记忆作用域 | `ai.memory.scoped({ objectId, scope })` | **多租户推荐入口**:所有操作自动绑定 objectId/scope(含归属校验);`clear` 仅清作用域内 |
121
- | 记忆管理 | `ai.memory.admin.clearAll({ confirm: true })` | 唯一的全局清空入口(需显式确认);`ai.memory.clear()` 空过滤会被拒绝,防误清全局 |
122
- | 角色人格 | `ai.persona.save/get/compose` | 定义 AI 身份(systemPrompt + traits),`compose` 组合系统提示词;按 `objectId` 隔离多租户(不传默认 `system` 平台角色),`scope: { personaId }` 关联长期记忆 |
123
- | Retrieval/RAG | `ai.retrieval.retrieve` / `ai.rag.query` | Retrieval source 先注册或由配置预置 |
124
- | Knowledge | `ai.knowledge.setup/ingest/ask` | 入库前会调用 datapipe 清洗分块 |
125
- | Context | `ai.context.createManager` | 编排 LLM + Memory + RAG + 压缩;`manager.consolidate()` 把会话固化为长期记忆 |
126
- | Context 并发 | `createManager({ concurrency: 'reject' \| 'queue' })` | 默认单活动生成防消息乱序;活动生成期间新 chat 返回 `CONTEXT_BUSY`(reject)或排队(queue) |
127
- | Context 重置 | `await manager.reset({ preserveSystemPrompt?, cancelActiveTurn?, waitForMemoryTasks? })` | 异步:终止活动生成、清空消息/摘要/轮次,默认保留系统提示词 |
128
- | 语音识别 | `ai.audio.transcribe` / `transcribeStream` | 完整音频返回 `HaiResult`;持续音频输入用 `AudioInputStream` 流式返回临时文本 |
129
- | 语音合成 | `ai.audio.synthesize` / `synthesizeStream` | `text` 可为字符串或 `AsyncIterable<string>`(可接 LLM 文本流边生成边合成);完整结果可用 `serializePlayableAudio` 转为浏览器播放负载 |
130
- | 图片生成 | `ai.image.generate({ prompt, size?, model?, referenceImages? })` | 可选参考图使用字节 + MIME;Provider 协议和临时 URL 下载由模块内部处理 |
131
- | A2A | `ai.a2a.registerExecutor/handleRequest` | 延迟初始化 SDK handler |
132
-
133
- ## LLM + 工具调用
134
-
135
- ```ts
136
- import { z } from 'zod'
137
-
138
- const registry = ai.tools.createRegistry({
139
- authorize: ({ toolName, context }) => canExecuteTool(context.objectId, toolName),
140
- })
141
- const registered = registry.register(ai.tools.define({
142
- name: 'get_weather',
143
- description: '获取天气',
144
- parameters: z.object({ city: z.string() }),
145
- handler: async ({ city }) => ({ city, temperature: 20 }),
146
- }))
147
- if (!registered.success) return registered
148
-
149
- const messages: ChatMessage[] = [{ role: 'user', content: '北京天气?' }]
150
- const objectId = 'user-001'
151
- let result = await ai.llm.chat({ messages, tools: registry.getDefinitions() })
152
-
153
- while (result.success && result.data.choices[0]?.finish_reason === 'tool_calls') {
154
- const assistant = result.data.choices[0].message
155
- const toolCalls = assistant.tool_calls ?? []
156
- messages.push(assistant)
157
-
158
- const toolMessages = await registry.executeAll(toolCalls, { objectId })
159
- if (!toolMessages.success) return toolMessages
160
- messages.push(...toolMessages.data)
161
-
162
- result = await ai.llm.chat({ messages, tools: registry.getDefinitions() })
163
- }
164
- ```
165
-
166
- ## 流式处理
167
-
168
- ```ts
169
- const processor = ai.stream.createProcessor()
170
- for await (const chunk of ai.llm.chatStream({ messages })) {
171
- const delta = processor.process(chunk)
172
- if (delta?.content) process.stdout.write(delta.content)
173
- }
174
- const message = processor.toAssistantMessage()
175
- ```
176
-
177
- ## 临时模型(tempModel)
178
-
179
- 单次请求级别绕过配置注册模型,直接指定端点与凭据;适用于运行时动态切换模型、多租户各带凭据。
180
- `chat` / `chatStream` / `ask` / `askStream` 均支持。未指定字段回退全局 LLM 配置 / 环境变量;
181
- 请求显式 `max_tokens` / `temperature` 优先于 `tempModel.maxTokens` / `temperature`。
182
- 临时客户端按 `apiKey+baseUrl+timeout` 缓存,TTL 默认 10 分钟(`llm.tempModelCacheTtl` 毫秒,可配置),与常驻模型客户端隔离。
183
-
184
- ```ts
185
- const result = await ai.llm.chat({
186
- messages: [{ role: 'user', content: '你好' }],
187
- tempModel: {
188
- model: 'claude-3-5-sonnet',
189
- apiKey: 'sk-temp-xxx',
190
- baseUrl: 'https://temp.endpoint/v1',
191
- maxTokens: 2048, // 可选
192
- temperature: 0.3, // 可选
193
- timeout: 30000, // 可选
194
- },
195
- })
196
-
197
- // ask 便捷方法同样支持
198
- await ai.llm.ask('翻译这段话', { tempModel: { model: 'gpt-4o', apiKey: 'sk-xxx' } })
199
- ```
200
-
201
- ## MCP 服务器
202
-
203
- ```ts
204
- import { createMcpServer, StreamableHTTPServerTransport } from '@h-ai/ai'
205
- import { core } from '@h-ai/core'
206
-
207
- const server = createMcpServer({ name: 'my-server', version: '1.0.0' })
208
- server.registerTool('search', {
209
- description: '搜索',
210
- inputSchema: { query: z.string() },
211
- }, async ({ query }) => ({
212
- content: [{ type: 'text', text: `Results for ${query}` }],
213
- }))
214
-
215
- await server.connect(new StreamableHTTPServerTransport({ sessionIdGenerator: core.id.uuid }))
216
- ```
217
-
218
- ## 记忆、RAG 与知识库
219
-
220
- `memory.provider` 默认为 `native`(推荐):HAI 原生引擎,复用 vecdb/reldb/LLM/Embedding,`extract` 采用 **Mem0 式批量合并**(一次 LLM 调用对整批事实与相关既有记忆做 ADD/UPDATE/DELETE/NONE,支持 `category`)。`mem0` 则直接使用 `mem0ai/oss` 的 `Memory` 引擎:LLM/Embedder 从 `llm` 配置提取(OpenAI 兼容),向量库从底层 vecdb 后端提取(qdrant/pgvector 复用)。**mem0 无法映射 lancedb/chroma 等后端时默认 fail-fast**(初始化失败,避免重启后记忆静默丢失);只有显式 `memory.allowEphemeralFallback: true` 才退回 mem0 自带 in-memory 存储。两者对外 `ai.memory.*` API 完全一致。
221
-
222
- ```ts
223
- const enriched = await ai.memory.injectMemories(messages, { objectId: 'user-001', topK: 5 })
224
- if (!enriched.success) return enriched
225
-
226
- const compressed = await ai.compress.tryCompress(enriched.data, { strategy: 'hybrid', maxTokens: 4000 })
227
- if (!compressed.success) return compressed
228
-
229
- const answer = await ai.rag.query('核心架构是什么?', { sources: ['docs'], topK: 5 })
230
- ```
231
-
232
- `tryCompress` 的成功结果一定满足 `compressedTokens <= maxTokens`。如果永久 system 指令、最近消息或最新 user 输入自身已超过预算,会返回 `HaiAIError.CONTEXT_BUDGET_EXCEEDED`;调用方应停止本次模型请求或提高预算,不能继续发送原始超长消息。
233
-
234
- 知识库流程:
235
-
236
- ```ts
237
- const setup = await ai.knowledge.setup()
238
- if (!setup.success) return setup
239
-
240
- const ingest = await ai.knowledge.ingest({
241
- documentId: 'doc-001',
242
- content: markdownText,
243
- title: '产品手册',
244
- enableEntityExtraction: true,
245
- })
246
- if (!ingest.success) return ingest
247
-
248
- const answer = await ai.knowledge.ask('核心架构是什么?')
249
- ```
250
-
251
- ## Context 管理器
252
-
253
- ```ts
254
- const managerResult = ai.context.createManager({
255
- scope: { objectId: 'user-001', sessionId: 'sess-001' },
256
- systemPrompt: '你是一个友好的助手。',
257
- compress: { auto: true, strategy: 'hybrid', maxTokens: 8000 },
258
- memory: { enable: true, enableExtract: true },
259
- })
260
- if (!managerResult.success) return managerResult
261
-
262
- const reply = await managerResult.data.chat('你好')
263
- await managerResult.data.save()
264
- ```
265
-
266
- ### 真实对话状态(Conversation Commit Layer)
267
-
268
- `turnCommit: 'manual'` 时,`chat` / `chatStream` 不自动写入生成文本,只返回 `turnId`;由调用方提交**实际发生的内容**(TTS 播放、被打断等场景)。`chatStream` 在调用上游模型前就产出 `turn_started`(事件序列 `turn_started → delta* → done`,中途取消 `→ cancelled`),取消时保留 `turnId` 与已生成文本:
269
-
270
- ```ts
271
- const m = ai.context.createManager({ turnCommit: 'manual', scope }).data
272
- const controller = new AbortController()
273
- for await (const ev of m.chatStream('展开讲讲', { signal: controller.signal })) {
274
- if (ev.type === 'delta') feedTts(ev.text)
275
- else if (ev.type === 'done') await m.commitTurn(ev.turnId) // 完整提交
276
- else if (ev.type === 'cancelled') await m.interruptTurn(ev.turnId, { text: spokenSoFar }) // 只提交播放出去的部分
277
- }
278
- ```
279
-
280
- - 只有 `committed` 的内容进入上下文与记忆;`getTurns()` 可观测 `generated` / `committed` / `status`。
281
- - 主持人抢话时可在 `turn_started` / 迭代过程中随时 `interruptTurn`;轮次进入终态后即便上游流恰好正常结束,`chatStream` 也**不会再产出 `done`**,业务层不会误判为正常完成。
282
-
283
-
284
- ## 语音(Audio)
285
-
286
- `ai.audio` 提供 ASR/TTS,Provider(OpenAI / MiMo / Qwen / 豆包)作为内部实现,凭据未配置时回退平台环境变量。调用方只表达「音频还是文本、完整还是流式」,不感知 WebSocket / SSE / 厂商事件。LLM 与语音模型确认共用凭据时,可显式设置 `inheritLlmApiKey: true`;该选项默认关闭,避免跨供应商误用密钥。
287
-
288
- ```yaml
289
- # ai.init 配置片段
290
- audio:
291
- # 仅当语音服务与 LLM 确认共用同一密钥时启用
292
- inheritLlmApiKey: true
293
- models:
294
- - { id: asr, provider: qwen, model: qwen3-asr-flash-realtime, operations: [transcribe] }
295
- - { id: tts, provider: qwen, model: qwen3-tts-flash-realtime, operations: [synthesize] }
296
- transcribeModel: asr
297
- synthesizeModel: tts
298
- ```
299
-
300
- ```ts
301
- // 完整识别 / 合成(HaiResult)
302
- const t = await ai.audio.transcribe({ audio: { data: wavBytes, format: 'wav' }, language: 'zh' })
303
- if (!t.success) return t
304
- const s = await ai.audio.synthesize({ text: '欢迎', voice: 'Cherry', format: 'pcm16' })
305
-
306
- // 实时识别:持续音频输入 → 增量文本(chunk.final 标记语句最终态,可直接覆盖临时文本)
307
- for await (const chunk of ai.audio.transcribeStream({ audio: { chunks: micChunks, format: 'pcm16', sampleRate: 16000 } })) {
308
- updateTranscript(chunk.text, chunk.final)
309
- }
310
-
311
- // 分段合成:稳定 ID 关联文本与音频,支持 AbortSignal 打断
312
- const controller = new AbortController()
313
- for await (const event of ai.audio.synthesizeStream({ text: { id: 'seg-1', text: '欢迎。' }, voice: 'Cherry', signal: controller.signal })) {
314
- if (event.type === 'segment_started')
315
- prepareDecoder(event.format, event.sampleRate, event.channels) // 真实输出格式来自服务端解析后的 Provider 输出
316
- else if (event.type === 'audio')
317
- await player.write(event.data)
318
- }
319
- ```
320
-
321
- 需要通过 API 返回浏览器可播放的 Base64 音频时,调用 `serializePlayableAudio(result.data)`;该函数会将 `pcm16` 封装为 WAV,并透传 WAV/MP3,`opus` 不支持该转换。
322
-
323
- ```ts
324
- import { serializePlayableAudio } from '@h-ai/ai'
325
-
326
- const synthesized = await ai.audio.synthesize({ text: '欢迎参加访谈。' })
327
- if (!synthesized.success)
328
- return synthesized
329
-
330
- const playable = serializePlayableAudio(synthesized.data)
331
- if (!playable.success)
332
- return playable
333
- ```
334
-
335
- - 流式方法是 `AsyncIterable`,迭代期间的连接/协议/上游错误会终止迭代(抛出),不返回 `HaiResult`。
336
- - `segment_started` 携带服务端解析 Provider 后的真实输出参数(`format` / `sampleRate?` / `channels?`);播放器据此解码,不按请求参数猜测格式。
337
- - 平台不支持的输入方式(如 OpenAI/MiMo 的持续音频输入)会抛 `AUDIO_UNSUPPORTED_INPUT`,不伪装成实时。
338
- - 浏览器/移动端经 `@h-ai/serv` 统一语音 WebSocket 入口访问;客户端用已登录 HTTP 请求获取短期一次性 ticket,`@h-ai/ai/client` 通过 `audio.getTicket` 建连,不把 IAM access token 放入 URL。浏览器客户端区分正常结束、取消(`AUDIO_CANCELLED`)与 `end` 前异常断连(`AUDIO_CONNECTION_FAILED`);服务端 error 帧保留领域错误码,`synthesize` 不返回未完成的部分音频。
339
-
340
- ### 本地 CPU 模型服务
341
-
342
- hai-framework 源码仓库提供 `pnpm model <name> --device cpu` 与 `pnpm model:run <name>`,默认优先使用 Podman,可构建/启动 `faster-whisper-large-v3`、`indextts-2.5`、`qwen3-4b`。三套权重均优先从清单锁定的 ModelScope revision 下载并复用容器 volume,Hugging Face 只作回退。Whisper/IndexTTS 仍配置为 `audio.models[].baseUrl`,Qwen3-4B 仍配置为 OpenAI-compatible `llm.models[].baseUrl`;部署位置不进入 Provider 名称。离线部署使用准备权重后的 bundled 镜像。
343
-
344
- ## 文生图(Image)
345
-
346
- `ai.image` 只暴露稳定的提示词、模型别名、像素尺寸、可选参考图和图片字节;OpenAI、Google、Qwen、Seedream 与 Pollinations 的请求结构、鉴权、响应解析和临时 URL 下载均封装在内部 Provider。
347
-
348
- ```yaml
349
- image:
350
- models:
351
- - { id: free, provider: pollinations, model: zimage }
352
- - { id: openai, provider: openai, model: gpt-image-2 }
353
- - { id: google, provider: google, model: gemini-3.1-flash-image-preview }
354
- - { id: qwen, provider: qwen, model: qwen-image-2.0-pro }
355
- - { id: seedream, provider: seedream, model: doubao-seedream-5-0-260128 }
356
- generateModel: free
357
- ```
358
-
359
- LLM、Audio、Image 的可选密钥统一使用 `OptionalSecretSchema`:配置中的 YAML `null`、空字符串和纯空白字符串均表示未配置。语音密钥优先级为模型条目 → 启用继承后的 LLM 密钥 → 平台环境变量,业务启动代码不应再遍历配置修补 `apiKey`。
360
-
361
- ```ts
362
- const image = await ai.image.generate({
363
- prompt: '水墨风格的未来城市,清晨薄雾',
364
- size: { width: 1024, height: 1024 },
365
- referenceImages: [{ data: referenceBytes, mimeType: 'image/png' }],
366
- })
367
- if (!image.success) return image
368
- await saveImage(image.data.images[0].data, image.data.images[0].mimeType)
369
- ```
370
-
371
- - `Pollinations` 提供可免费起步的开发额度,但仍需 API key;不要把“免费额度”描述为匿名或无限调用。
372
- - 应用应通过 `core.init({ configDir: './config' })` 加载 `_core.yml` / `_ai.yml`,再以 `core.config.validate('ai', AIConfigSchema)` 校验并传给 `ai.init`;不要在启动代码中重复拼装模型、端点和超时,也不要传入 `logging` 覆盖 `_core.yml`。
373
- - Pollinations 的 HTTP 402 表示账户余额或该 API Key 的预算耗尽;401 是密钥无效,403 是权限或模型访问被拒。诊断日志记录厂商、模型、状态、上游错误码和请求 ID,不记录密钥、提示词或图片内容。
374
- - Qwen 等返回的临时图片 URL 会在 Provider 内立即下载,公共结果不泄漏易过期 URL。
375
- - 参考图统一使用 `{ data: Uint8Array, mimeType: 'image/...' }`;不要把厂商 URL、multipart 或 Base64 结构泄漏到业务层。
376
- - Provider 请求/响应格式变更时,先更新契约测试,再修改实现。
377
-
378
-
379
- ## SvelteKit API 端点模式
380
-
381
- ```ts
382
- export const POST = kit.handler(async ({ request }) => {
383
- const data = await kit.validate.body(request, ChatSchema)
384
- const result = await ai.llm.chat({ messages: data.messages })
385
- if (!result.success) return kit.response.error(result.error.code, result.error.message)
386
- return kit.response.ok(result.data)
387
- })
388
- ```
389
-
390
- ## 质量与安全检查
391
-
392
- - API Key 只从配置 / 环境变量读取,禁止写死。
393
- - 工具 handler 必须校验输入;用户可见错误走 i18n/错误码。
394
- - 模型输出、Prompt 和检索内容均不可信;不要把用户内容拼入不可覆盖的系统规则。Zod 只保证参数形状,高权限工具还必须在 handler 内校验身份、租户、资源归属和配额。
395
- - 只向模型注册允许自动执行的工具;写操作默认要求业务侧确认或幂等键,不能把“模型请求调用”当作授权。
396
- - 批量导入、批量 embedding 用批量 API,避免 await-in-loop。
397
- - 文件解析/OCR 失败按 `HaiAIError.FILE_*` 返回,不抛业务异常。
398
- - A2A 认证失败返回 `A2A_AUTH_FAILED`;`callRemoteAgent` 只依赖 `ai.init()`,无需注册本地 executor。远端 URL 仅接受 HTTP(S) 且不得内嵌凭据,应用仍须配置 origin 白名单与出口网络策略。不要记录 token、apiKey、私钥、完整 headers 或带 query 的 URL。
12
+ | 能力 | 接入 @h-ai/ai 的 LLM、工具/MCP、RAG、会话记忆、图像、语音及 A2A |
13
+ | 适用场景 | AI 应用服务端集成或浏览器代理接入 |
14
+ | 输入 | AIConfigInput、消息/音频/图片、scope、AbortSignal |
15
+ | 输出 | 领域操作为 HaiResult;流为 AsyncIterable,迭代可抛错 |
16
+ | 限制 | tools/stream 无需 init;其他领域先初始化。持久化需先初始化 reldb + vecdb 或传 storeProvider;临时 Store 关闭后丢失。工具调用仍需业务授权。 |
17
+
18
+ ## 使用路径
19
+
20
+ - 先选择完整结果还是流式 API;不要对 AsyncIterable 取 `.success`。流取消/错误须结束播放器和连接。
21
+ - Memory/Context 用 objectId/sessionId 隔离主体;手动 turnCommit 只提交实际播放/发生的文本。
22
+ - 语音客户端用一次性 ticket,不能把 IAM access token 放 URL;按 segment_started 的真实格式解码。
23
+ - 压缩超过硬预算须停止模型请求;不能失败后发送原始超长消息。
24
+
25
+ ## 按需参考
26
+
27
+ 详细配置、API 签名、错误码和范本在 [guide.md](guide.md)。按下列标题定位所需小节,不默认通读;用例中的业务变量需结合当前应用补齐。
28
+
29
+ - 使用边界
30
+ - 初始化与关闭
31
+ - 配置要点
32
+ - 常用 API
33
+ - LLM + 工具调用
34
+ - 流式处理
35
+ - 临时模型(tempModel)
36
+ - MCP 服务器
37
+ - 记忆、RAG 与知识库
38
+ - Context 管理器
39
+ - 语音(Audio)
40
+ - 文生图(Image)
41
+ - SvelteKit API 端点模式
42
+ - 质量与安全检查
43
+
44
+ 补充类型/错误码与范本见 [reference.md](reference.md),仅在上述用法不足时读取。