dsh-plugin-om 0.0.21 → 0.0.22
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +69 -159
- package/dist/client/OmCompactionCard.d.ts +5 -11
- package/dist/client/OmCompactionCard.d.ts.map +1 -1
- package/dist/client/definition.d.ts +17 -19
- package/dist/client/definition.d.ts.map +1 -1
- package/dist/client/format.d.ts +2 -2
- package/dist/client/format.d.ts.map +1 -1
- package/dist/client/index.d.ts +5 -11
- package/dist/client/index.d.ts.map +1 -1
- package/dist/client/locales.d.ts +2 -4
- package/dist/client/locales.d.ts.map +1 -1
- package/dist/client.js +17 -26
- package/dist/client.js.map +1 -1
- package/dist/compress.d.ts +15 -47
- package/dist/compress.d.ts.map +1 -1
- package/dist/config.d.ts +12 -21
- package/dist/config.d.ts.map +1 -1
- package/dist/constants.d.ts +10 -10
- package/dist/constants.d.ts.map +1 -1
- package/dist/embedding.d.ts +19 -36
- package/dist/embedding.d.ts.map +1 -1
- package/dist/index.d.ts +1 -22
- package/dist/index.d.ts.map +1 -1
- package/dist/index.mjs +436 -722
- package/dist/json-schema.d.ts +4 -7
- package/dist/json-schema.d.ts.map +1 -1
- package/dist/log-index.d.ts +19 -12
- package/dist/log-index.d.ts.map +1 -1
- package/dist/logger.d.ts +3 -3
- package/dist/logger.d.ts.map +1 -1
- package/dist/model-download.d.ts +7 -11
- package/dist/model-download.d.ts.map +1 -1
- package/dist/rate-limit.d.ts +9 -14
- package/dist/rate-limit.d.ts.map +1 -1
- package/dist/recall-output.d.ts +37 -0
- package/dist/recall-output.d.ts.map +1 -0
- package/dist/recall.d.ts +7 -17
- package/dist/recall.d.ts.map +1 -1
- package/dist/semantic-recall.d.ts +10 -19
- package/dist/semantic-recall.d.ts.map +1 -1
- package/dist/summarize.d.ts +29 -46
- package/dist/summarize.d.ts.map +1 -1
- package/dist/types.d.ts +22 -35
- package/dist/types.d.ts.map +1 -1
- package/dist/utils.d.ts +9 -8
- package/dist/utils.d.ts.map +1 -1
- package/package.json +1 -1
package/dist/index.mjs
CHANGED
|
@@ -9,35 +9,34 @@ var __commonJSMin = (cb, mod) => () => (mod || (cb((mod = { exports: {} }).expor
|
|
|
9
9
|
//#endregion
|
|
10
10
|
//#region src/constants.ts
|
|
11
11
|
/**
|
|
12
|
-
*
|
|
12
|
+
* 共享常量:插件级魔法字符串,集中定义避免散落各模块。
|
|
13
|
+
* 导出 PLUGIN_LABEL / HISTORY_TAG / HISTORY_TIP / COMPLETE_MESSAGE_DEFINITION /
|
|
14
|
+
* COMPACT_CHECKPOINT_PLUGIN / isPluginOwnedSource。
|
|
13
15
|
*/
|
|
14
|
-
/** 插件标识:压缩消息 source.plugin
|
|
16
|
+
/** 插件标识:压缩消息 source.plugin 取值与日志前缀。 */
|
|
15
17
|
const PLUGIN_LABEL = "dsh-plugin-om";
|
|
16
|
-
/** 压缩日志标签名:<history>...</history>
|
|
18
|
+
/** 压缩日志标签名:<history>...</history> 包裹观察/反思日志块。 */
|
|
17
19
|
const HISTORY_TAG = "history";
|
|
18
|
-
/**
|
|
20
|
+
/** 压缩日志块开标签的 tip 属性(对 AI 的提醒:本块是历史压缩产物,不要复述)。 */
|
|
19
21
|
const HISTORY_TIP = "当前块是历史消息的压缩产物,不要复述";
|
|
20
22
|
/**
|
|
21
|
-
* 「完整消息」定义(提示词 /
|
|
23
|
+
* 「完整消息」定义(提示词 / 工具描述 / 块顶注释共用)。
|
|
22
24
|
* 完整消息是摘要日志与 recall 共用的定位单位;首条 index 为 0,按会话顺序递增、全局稳定。
|
|
23
|
-
* 用户消息指 user_message 中 source.kind 为 user 的部分;其余部分(宿主注入的上下文等)
|
|
24
|
-
* 为系统消息,同样是一条完整消息。
|
|
25
25
|
*/
|
|
26
26
|
const COMPLETE_MESSAGE_DEFINITION = "`完整消息`被定义为`用户消息`,`系统消息`,`模型输出文本`和`具有result的toolcall`的集合。首条`完整消息`的index是0,后续的index递增。";
|
|
27
|
-
/** 判定 user/message 的 source
|
|
27
|
+
/** 判定 user/message 的 source 是否为本插件自产(压缩日志消息;含旧宿主 checkpoint 标记兼容)。这类消息不占完整消息 index。 */
|
|
28
28
|
function isPluginOwnedSource(source) {
|
|
29
29
|
if (source?.kind !== "plugin") return false;
|
|
30
30
|
return source.plugin === "dsh-plugin-om" || source.plugin === "compact";
|
|
31
31
|
}
|
|
32
32
|
//#endregion
|
|
33
33
|
//#region src/utils.ts
|
|
34
|
-
/**
|
|
34
|
+
/** 判断值是否为普通对象(非 null、非数组)。 */
|
|
35
35
|
function isRecord(value) {
|
|
36
36
|
return typeof value === "object" && value !== null && !Array.isArray(value);
|
|
37
37
|
}
|
|
38
|
-
/** 生成 uuid:优先 crypto.randomUUID
|
|
38
|
+
/** 生成 uuid:优先 crypto.randomUUID,回退为时间戳+随机串拼接。 */
|
|
39
39
|
function uuid() {
|
|
40
|
-
/** 全局 crypto 对象(提供 randomUUID 的现代环境才存在)。 */
|
|
41
40
|
const cryptoObj = globalThis.crypto;
|
|
42
41
|
if (cryptoObj && typeof cryptoObj.randomUUID === "function") return cryptoObj.randomUUID();
|
|
43
42
|
return `${Date.now().toString(36)}-${Math.random().toString(36).slice(2, 12)}`;
|
|
@@ -45,15 +44,13 @@ function uuid() {
|
|
|
45
44
|
/** 提取 content 数组中的纯文本块(type === 'text' 的 block.text 拼接)。 */
|
|
46
45
|
function blocksToText(blocks) {
|
|
47
46
|
if (!Array.isArray(blocks)) return "";
|
|
48
|
-
/** 拼接结果缓冲区。 */
|
|
49
47
|
const out = [];
|
|
50
48
|
for (const block of blocks) if (isRecord(block) && block.type === "text" && typeof block.text === "string") out.push(block.text);
|
|
51
49
|
return out.join("");
|
|
52
50
|
}
|
|
53
|
-
/** 消息内容的字符数:递归计入 text 块与 tool-result
|
|
51
|
+
/** 消息内容的字符数:递归计入 text 块与 tool-result 内嵌文本。 */
|
|
54
52
|
function textCharCount(message) {
|
|
55
53
|
if (!message || !Array.isArray(message.content)) return 0;
|
|
56
|
-
/** 累计字符数。 */
|
|
57
54
|
let total = 0;
|
|
58
55
|
for (const block of message.content) if (block.type === "text") total += block.text.length;
|
|
59
56
|
else if (block.type === "tool-result") total += blocksToText(block.content).length;
|
|
@@ -62,7 +59,6 @@ function textCharCount(message) {
|
|
|
62
59
|
/** 面向 recall 的完整消息呈现:text 原样;tool-call 展开(参数=代码);tool-result 取文本。 */
|
|
63
60
|
function renderMessageText(message) {
|
|
64
61
|
if (!message || !Array.isArray(message.content)) return "";
|
|
65
|
-
/** 各内容块呈现后的拼接缓冲区。 */
|
|
66
62
|
const parts = [];
|
|
67
63
|
for (const block of message.content) if (block.type === "text") parts.push(block.text);
|
|
68
64
|
else if (block.type === "tool-call") parts.push(`[tool-call ${block.name} id=${String(block.id)}]
|
|
@@ -70,7 +66,7 @@ ${safeJson(block.arguments)}`);
|
|
|
70
66
|
else if (block.type === "tool-result") parts.push(blocksToText(block.content));
|
|
71
67
|
return parts.join("\n");
|
|
72
68
|
}
|
|
73
|
-
/** 安全 JSON 序列化:序列化失败时退回 String
|
|
69
|
+
/** 安全 JSON 序列化:序列化失败时退回 String 呈现。 */
|
|
74
70
|
function safeJson(value) {
|
|
75
71
|
try {
|
|
76
72
|
return JSON.stringify(value, null, 2);
|
|
@@ -78,14 +74,13 @@ function safeJson(value) {
|
|
|
78
74
|
return String(value);
|
|
79
75
|
}
|
|
80
76
|
}
|
|
81
|
-
/** 主会话判定:subagent 会话 header.origin === 'subagent'
|
|
77
|
+
/** 主会话判定:subagent 会话 header.origin === 'subagent'。 */
|
|
82
78
|
function isMainSession(session) {
|
|
83
79
|
return session.header?.origin !== "subagent";
|
|
84
80
|
}
|
|
85
81
|
/** 解析会话路由目标(provider/model),未路由时返回 undefined。 */
|
|
86
82
|
function routedTarget(session) {
|
|
87
83
|
try {
|
|
88
|
-
/** 会话请求头中的路由配置。 */
|
|
89
84
|
const config = session.requestHeader()?.config;
|
|
90
85
|
if (config?.provider && config.model) return {
|
|
91
86
|
provider: config.provider,
|
|
@@ -96,39 +91,29 @@ function routedTarget(session) {
|
|
|
96
91
|
//#endregion
|
|
97
92
|
//#region src/log-index.ts
|
|
98
93
|
/**
|
|
99
|
-
*
|
|
100
|
-
*
|
|
94
|
+
* 会话日志索引:完整消息索引与渲染。
|
|
95
|
+
* 导出 indexCompleteMessages(完整消息四类折叠索引,recall 与摘要共用同一套编号)、
|
|
96
|
+
* indexMessages / surfaceIndexOf / messageIdOfEvent(消息级定位辅助)、
|
|
97
|
+
* collectImageRefs / renderCompleteMessageParts / renderCompleteMessage(完整消息渲染
|
|
98
|
+
* 与图片附件收集)。事件日志仅追加(被遮蔽的事件仍可读,recall 依赖此性质)。
|
|
101
99
|
*
|
|
102
|
-
*
|
|
103
|
-
*
|
|
104
|
-
*
|
|
105
|
-
* 占一条;压缩日志中以 <sys type="KIND" index="N"> 空块表示(内容不进入输入);
|
|
106
|
-
* - assistant:模型输出文本(assistant/message 中的文本块)占一条;
|
|
107
|
-
* - toolcall:单个工具调用及其结果占一条(同一条 AI 消息里的文本与工具调用拆开,
|
|
108
|
-
* tool/result 按 source.callId 匹配其 tool-call;未匹配的 result 独立成条,防御)。
|
|
109
|
-
* 本插件自产的压缩日志消息(source.kind === 'plugin' 且 plugin 为本插件标识)不占 index。
|
|
110
|
-
* index 从 0 起、按日志顺序递增、只追加不重排 → 会话内全局稳定,
|
|
111
|
-
* 压缩后旧摘要条目引用的 index 仍然有效。
|
|
100
|
+
* 完整消息分四类:user(用户消息)、sys(系统消息,压缩日志中以 <sys> 空块表示)、
|
|
101
|
+
* assistant(模型输出文本)、toolcall(单个工具调用及其结果,result 按 callId 匹配并入)。
|
|
102
|
+
* index 从 0 起、按日志顺序递增、只追加不重排(压缩后旧摘要条目引用的 index 仍然有效)。
|
|
112
103
|
*/
|
|
113
104
|
/**
|
|
114
105
|
* 完整消息索引:按日志顺序把消息事件折叠为完整消息序列(四类,见文件头)。
|
|
115
106
|
* 工具调用结果按 source.callId 匹配其 tool-call 并入该条;未匹配的 result 独立成条(防御)。
|
|
116
|
-
*
|
|
117
|
-
* tool-call;索引对未闭合调用不设特殊处理。
|
|
107
|
+
* 本插件自产消息不占位;压缩在 agent/pre-step 触发(call-result 完备),不存在未闭合调用。
|
|
118
108
|
*/
|
|
119
109
|
function indexCompleteMessages(session) {
|
|
120
|
-
/** 完整消息序列(index = 数组下标,0 起)。 */
|
|
121
110
|
const cms = [];
|
|
122
|
-
/** 等待结果的 toolcall 完整消息(callId → cm)。 */
|
|
123
111
|
const pending = /* @__PURE__ */ new Map();
|
|
124
|
-
/** 会话全部事件(仅追加)。 */
|
|
125
112
|
const events = session.events;
|
|
126
113
|
for (let seq = 0; seq < events.length; seq += 1) {
|
|
127
|
-
/** 当前待检查事件。 */
|
|
128
114
|
const event = events[seq];
|
|
129
115
|
if (!event) continue;
|
|
130
116
|
if (event.type === "user/message") {
|
|
131
|
-
/** 事件 source(区分用户消息与宿主注入/插件消息)。 */
|
|
132
117
|
const source = event.data.source;
|
|
133
118
|
if (isPluginOwnedSource(source)) continue;
|
|
134
119
|
if (source?.kind === "user") cms.push({
|
|
@@ -143,10 +128,8 @@ function indexCompleteMessages(session) {
|
|
|
143
128
|
...source?.kind === void 0 ? {} : { kind: source.kind }
|
|
144
129
|
});
|
|
145
130
|
} else if (event.type === "assistant/message") {
|
|
146
|
-
/** 助手消息(含文本与 tool-call 块)。 */
|
|
147
131
|
const message = event.data.message;
|
|
148
132
|
if (!message || !Array.isArray(message.content)) continue;
|
|
149
|
-
/** 是否存在文本块(有则先产出 assistant 条)。 */
|
|
150
133
|
let hasText = false;
|
|
151
134
|
for (const block of message.content) if (block.type === "text") {
|
|
152
135
|
hasText = true;
|
|
@@ -159,9 +142,7 @@ function indexCompleteMessages(session) {
|
|
|
159
142
|
});
|
|
160
143
|
for (const block of message.content) {
|
|
161
144
|
if (block.type !== "tool-call") continue;
|
|
162
|
-
/** 工具调用 id(匹配 result 用)。 */
|
|
163
145
|
const callId = String(block.id ?? "");
|
|
164
|
-
/** 本调用对应的完整消息(结果随后并入)。 */
|
|
165
146
|
const cm = {
|
|
166
147
|
index: cms.length,
|
|
167
148
|
type: "toolcall",
|
|
@@ -172,11 +153,8 @@ function indexCompleteMessages(session) {
|
|
|
172
153
|
if (callId !== "") pending.set(callId, cm);
|
|
173
154
|
}
|
|
174
155
|
} else if (event.type === "tool/result") {
|
|
175
|
-
/** 结果消息的 source(callId 关联调用)。 */
|
|
176
156
|
const source = event.data.message?.source;
|
|
177
|
-
/** 关联的调用 id。 */
|
|
178
157
|
const callId = String(source?.callId ?? "");
|
|
179
|
-
/** 匹配到的 toolcall 完整消息(无则独立成条)。 */
|
|
180
158
|
const cm = callId === "" ? void 0 : pending.get(callId);
|
|
181
159
|
if (cm) {
|
|
182
160
|
cm.seqs.push(seq);
|
|
@@ -192,42 +170,66 @@ function indexCompleteMessages(session) {
|
|
|
192
170
|
return cms;
|
|
193
171
|
}
|
|
194
172
|
/**
|
|
195
|
-
*
|
|
196
|
-
*
|
|
197
|
-
* - assistant:仅文本块;
|
|
198
|
-
* - toolcall:调用块(工具名 + 参数)+ 结果文本(pruner 裁剪超大结果)。
|
|
173
|
+
* 递归收集内容块中的图片附件元数据(recall 输出保留图片用):
|
|
174
|
+
* image 块按附件元数据收集(字段不全则忽略);tool-result 块递归收集其 content。
|
|
199
175
|
*/
|
|
200
|
-
function
|
|
176
|
+
function collectImageRefs(content, out) {
|
|
177
|
+
if (!Array.isArray(content)) return;
|
|
178
|
+
for (const block of content) {
|
|
179
|
+
if (!isRecord(block)) continue;
|
|
180
|
+
if (block.type === "image") {
|
|
181
|
+
const a = block.attachment;
|
|
182
|
+
if (isRecord(a) && typeof a.attachmentId === "string" && a.attachmentId !== "" && typeof a.mediaType === "string" && typeof a.bytes === "number" && Number.isFinite(a.bytes) && typeof a.width === "number" && Number.isFinite(a.width) && typeof a.height === "number" && Number.isFinite(a.height)) out.push({
|
|
183
|
+
attachmentId: a.attachmentId,
|
|
184
|
+
mediaType: a.mediaType,
|
|
185
|
+
bytes: a.bytes,
|
|
186
|
+
width: a.width,
|
|
187
|
+
height: a.height,
|
|
188
|
+
...typeof a.name === "string" && a.name !== "" ? { name: a.name } : {}
|
|
189
|
+
});
|
|
190
|
+
} else if (block.type === "tool-result") collectImageRefs(block.content, out);
|
|
191
|
+
}
|
|
192
|
+
}
|
|
193
|
+
/**
|
|
194
|
+
* 渲染一条完整消息为「文本 + 图片」(recall / recall-semantic 输出用):
|
|
195
|
+
* user/sys 取消息原文,assistant 取文本块,toolcall 为调用块 + 结果文本
|
|
196
|
+
* (pruner 裁剪超大结果);同时收集该条完整消息携带的图片附件(含 tool-result 嵌套,
|
|
197
|
+
* pruner 裁剪掉的图片不收集)。
|
|
198
|
+
*/
|
|
199
|
+
function renderCompleteMessageParts(session, cm, pruner) {
|
|
200
|
+
const images = [];
|
|
201
201
|
if (cm.type === "user" || cm.type === "sys") {
|
|
202
|
-
/** 用户/系统消息事件(seq 缺失则无法渲染)。 */
|
|
203
202
|
const seq = cm.seqs[0];
|
|
204
203
|
const event = seq === void 0 ? void 0 : session.events[seq];
|
|
205
|
-
/** 派生的消息对象。 */
|
|
206
204
|
const message = event ? session.deriveEventMessage(event) : null;
|
|
207
|
-
|
|
205
|
+
if (message && Array.isArray(message.content)) collectImageRefs(message.content, images);
|
|
206
|
+
return {
|
|
207
|
+
text: message ? renderMessageText(message) : "",
|
|
208
|
+
images
|
|
209
|
+
};
|
|
208
210
|
}
|
|
209
211
|
if (cm.type === "assistant") {
|
|
210
|
-
/** 助手消息事件(seq 缺失则无法渲染)。 */
|
|
211
212
|
const seq = cm.seqs[0];
|
|
212
213
|
const event = seq === void 0 ? void 0 : session.events[seq];
|
|
213
|
-
/** 派生的消息对象。 */
|
|
214
214
|
const message = event ? session.deriveEventMessage(event) : null;
|
|
215
|
-
if (!message || !Array.isArray(message.content)) return
|
|
216
|
-
|
|
215
|
+
if (!message || !Array.isArray(message.content)) return {
|
|
216
|
+
text: "",
|
|
217
|
+
images
|
|
218
|
+
};
|
|
219
|
+
collectImageRefs(message.content, images);
|
|
217
220
|
const texts = [];
|
|
218
221
|
for (const block of message.content) if (block.type === "text") texts.push(String(block.text));
|
|
219
|
-
return
|
|
222
|
+
return {
|
|
223
|
+
text: texts.join("\n"),
|
|
224
|
+
images
|
|
225
|
+
};
|
|
220
226
|
}
|
|
221
|
-
/** 渲染缓冲。 */
|
|
222
227
|
const parts = [];
|
|
223
|
-
/** 承载调用块的 assistant 事件(seq 缺失则跳过调用块)。 */
|
|
224
228
|
const callSeq = cm.seqs[0];
|
|
225
229
|
const callEvent = callSeq === void 0 ? void 0 : session.events[callSeq];
|
|
226
230
|
if (callEvent?.type === "assistant/message") {
|
|
227
|
-
/** 助手消息对象(取对应调用块)。 */
|
|
228
231
|
const message = session.deriveEventMessage(callEvent);
|
|
229
232
|
if (message && Array.isArray(message.content)) {
|
|
230
|
-
/** 匹配的 tool-call 块。 */
|
|
231
233
|
let call;
|
|
232
234
|
for (const block of message.content) if (block.type === "tool-call" && String(block.id ?? "") === (cm.callId ?? "")) {
|
|
233
235
|
call = block;
|
|
@@ -236,33 +238,35 @@ function renderCompleteMessage(session, cm, pruner) {
|
|
|
236
238
|
if (call) parts.push(`[tool-call ${String(call.name ?? "")} id=${String(call.id ?? "")}]\n${safeJson(call.arguments)}`);
|
|
237
239
|
}
|
|
238
240
|
}
|
|
239
|
-
/** 结果事件 seq(无则调用未闭合)。 */
|
|
240
241
|
const resultSeq = cm.seqs[1];
|
|
241
242
|
const resultEvent = resultSeq === void 0 ? void 0 : session.events[resultSeq];
|
|
242
243
|
if (resultEvent?.type === "tool/result") {
|
|
243
|
-
/** 结果消息对象(pruner 裁剪超大内容后渲染)。 */
|
|
244
244
|
let message = session.deriveEventMessage(resultEvent);
|
|
245
245
|
if (message && pruner?.pruneContent) {
|
|
246
|
-
/** 裁剪后的内容块。 */
|
|
247
246
|
const pruned = pruner.pruneContent(message.content);
|
|
248
247
|
if (pruned) message = {
|
|
249
248
|
...message,
|
|
250
249
|
content: pruned
|
|
251
250
|
};
|
|
252
251
|
}
|
|
253
|
-
|
|
252
|
+
if (message && Array.isArray(message.content)) collectImageRefs(message.content, images);
|
|
254
253
|
const text = message ? renderMessageText(message) : "";
|
|
255
254
|
if (text.trim() !== "") parts.push(`[result]\n${text}`);
|
|
256
255
|
}
|
|
257
|
-
return
|
|
256
|
+
return {
|
|
257
|
+
text: parts.join("\n"),
|
|
258
|
+
images
|
|
259
|
+
};
|
|
260
|
+
}
|
|
261
|
+
/** 渲染一条完整消息的文本(压缩输入与语义嵌入共用):renderCompleteMessageParts 的纯文本投影。 */
|
|
262
|
+
function renderCompleteMessage(session, cm, pruner) {
|
|
263
|
+
return renderCompleteMessageParts(session, cm, pruner).text;
|
|
258
264
|
}
|
|
259
265
|
//#endregion
|
|
260
266
|
//#region src/logger.ts
|
|
261
267
|
/**
|
|
262
|
-
*
|
|
263
|
-
*
|
|
264
|
-
* 开关配置键 debug:true 强制开启、false 强制关闭,缺省按 NODE_ENV !== 'production' 判定
|
|
265
|
-
* (默认值由 resolveConfig 解析,见 config.ts)。
|
|
268
|
+
* 插件日志门面:step 为步骤级(debug)日志,按配置开关过滤;info/warn 始终输出。
|
|
269
|
+
* 导出 PluginLogger / makeLogger。
|
|
266
270
|
*/
|
|
267
271
|
/** 构建插件日志门面:统一加 PLUGIN_LABEL 前缀,step 按 debug 开关过滤。 */
|
|
268
272
|
function makeLogger(ctx, debug) {
|
|
@@ -7410,19 +7414,15 @@ var import_lib = (/* @__PURE__ */ __commonJSMin(((exports) => {
|
|
|
7410
7414
|
exports.onWarningStopParsing = domParser.onWarningStopParsing;
|
|
7411
7415
|
})))();
|
|
7412
7416
|
/**
|
|
7413
|
-
* 全局限流门(插件进程级共享状态):任一摘要请求遇 429
|
|
7414
|
-
*
|
|
7415
|
-
*
|
|
7416
|
-
*
|
|
7417
|
-
*
|
|
7418
|
-
* 冷却期(循环等待直到通过或中止)。
|
|
7417
|
+
* 全局限流门(插件进程级共享状态):任一摘要请求遇 429 后进入冷却期,
|
|
7418
|
+
* 此后所有摘要请求发出前先等待到「最近一次 429 + rateLimitWaitMs」之后。
|
|
7419
|
+
* 等待期间 signal 中止则立即放弃;等待期间的新 429 顺延冷却期。
|
|
7420
|
+
* 导出 isRateLimitError / noteRateLimit / gateRateLimit / RATE_LIMIT_WAIT_MS_DEFAULT /
|
|
7421
|
+
* resetRateLimitGate。
|
|
7419
7422
|
*/
|
|
7420
7423
|
/** 最近一次 429 限流的时间戳(ms;null = 未遇过限流,门直接放行)。 */
|
|
7421
7424
|
let lastRateLimitAt = null;
|
|
7422
|
-
/**
|
|
7423
|
-
* 判定错误信息是否为 429 限流:匹配 429(独立数字)或 rate limit(空格/连字符/
|
|
7424
|
-
* 下划线分隔与 camelCase 均可),大小写不敏感。
|
|
7425
|
-
*/
|
|
7425
|
+
/** 判定错误信息是否为 429 限流(匹配 429 或 rate limit,大小写不敏感)。 */
|
|
7426
7426
|
function isRateLimitError(message) {
|
|
7427
7427
|
return /\b429\b|rate[\s_-]?limit/i.test(message);
|
|
7428
7428
|
}
|
|
@@ -7437,17 +7437,14 @@ function delay(ms, signal) {
|
|
|
7437
7437
|
resolve(false);
|
|
7438
7438
|
return;
|
|
7439
7439
|
}
|
|
7440
|
-
/** 定时器句柄(正常到点或中止清理用)。 */
|
|
7441
7440
|
const timer = setTimeout(() => {
|
|
7442
7441
|
cleanup();
|
|
7443
7442
|
resolve(true);
|
|
7444
7443
|
}, ms);
|
|
7445
|
-
/** 中止监听(到点立即返回 false)。 */
|
|
7446
7444
|
const onAbort = () => {
|
|
7447
7445
|
cleanup();
|
|
7448
7446
|
resolve(false);
|
|
7449
7447
|
};
|
|
7450
|
-
/** 清理定时器与中止监听。 */
|
|
7451
7448
|
const cleanup = () => {
|
|
7452
7449
|
clearTimeout(timer);
|
|
7453
7450
|
signal?.removeEventListener("abort", onAbort);
|
|
@@ -7456,14 +7453,12 @@ function delay(ms, signal) {
|
|
|
7456
7453
|
});
|
|
7457
7454
|
}
|
|
7458
7455
|
/**
|
|
7459
|
-
* 限流等待门:处于 429
|
|
7460
|
-
*
|
|
7461
|
-
* 立即放行。waitMs ≤ 0 视为不限流。
|
|
7456
|
+
* 限流等待门:处于 429 冷却期时等待到期限再放行(返回 true);
|
|
7457
|
+
* 等待期间 signal 中止返回 false。未遇过限流或冷却期已过立即放行。waitMs ≤ 0 视为不限流。
|
|
7462
7458
|
*/
|
|
7463
7459
|
async function gateRateLimit(waitMs, signal) {
|
|
7464
7460
|
if (waitMs <= 0) return true;
|
|
7465
7461
|
while (lastRateLimitAt !== null) {
|
|
7466
|
-
/** 距冷却期结束的剩余等待(≤ 0 表示已过冷却期)。 */
|
|
7467
7462
|
const remaining = lastRateLimitAt + waitMs - Date.now();
|
|
7468
7463
|
if (remaining <= 0) return true;
|
|
7469
7464
|
if (!await delay(remaining, signal)) return false;
|
|
@@ -7474,13 +7469,11 @@ async function gateRateLimit(waitMs, signal) {
|
|
|
7474
7469
|
//#region src/summarize.ts
|
|
7475
7470
|
/**
|
|
7476
7471
|
* 共享压缩提示词(观察/反思同一套):定义 history 块(模型消息 + index 的表达形式)、
|
|
7477
|
-
*
|
|
7478
|
-
* index
|
|
7479
|
-
* mode 控制【摘要粒度】:无参为通用提示词(反思调用);'summary' 要求简单摘要(较早分块);
|
|
7480
|
-
* 'detailed' 要求越往后越细(最后一块保留细节)。观察分块时除最后一块外均用 'summary'。
|
|
7472
|
+
* 完整消息定义、压缩要求(完整保留用户/系统消息、reasoning 仅参考、关联 assistant
|
|
7473
|
+
* 合并为模块、index 连续)、输出格式与数据源说明。
|
|
7481
7474
|
*/
|
|
7482
|
-
function buildHistoryPrompt(
|
|
7483
|
-
|
|
7475
|
+
function buildHistoryPrompt() {
|
|
7476
|
+
return [
|
|
7484
7477
|
"把下方的 <history> 消息记录压缩为一份更紧凑的 <history> 压缩日志。不用工具、不展示思考、不输出多余文字。",
|
|
7485
7478
|
"",
|
|
7486
7479
|
"【history 块定义】",
|
|
@@ -7516,37 +7509,23 @@ function buildHistoryPrompt(mode) {
|
|
|
7516
7509
|
`</${HISTORY_TAG}>`,
|
|
7517
7510
|
"",
|
|
7518
7511
|
"【数据源】下方的 <history> 消息记录是本次要压缩的全部消息;压缩结果作为一个新的 <history> 块输出。"
|
|
7519
|
-
];
|
|
7520
|
-
if (mode !== void 0) {
|
|
7521
|
-
const granularity = mode === "summary" ? "【摘要粒度】本条为较早的消息,做简单摘要即可:概括要点,不必展开细节;但用户消息仍逐条保留原文,不概括、不省略。" : "【摘要粒度】本条为最近的消息,越往后越细:靠近末尾的完整消息保留更多细节(关键文件、改动与结论),前面的可适当从简;但用户消息始终逐条保留原文,不概括、不省略。";
|
|
7522
|
-
const marker = "【输出格式】只输出一个 <history> 包裹的合法 XML 日志块";
|
|
7523
|
-
const markerIndex = lines.findIndex((line) => line.includes(marker));
|
|
7524
|
-
if (markerIndex !== -1) lines.splice(markerIndex, 0, granularity);
|
|
7525
|
-
}
|
|
7526
|
-
return lines.join("\n");
|
|
7512
|
+
].join("\n");
|
|
7527
7513
|
}
|
|
7528
|
-
/** 渲染用户消息条目(DOM
|
|
7514
|
+
/** 渲染用户消息条目(DOM 元素):文本块原样;图片/文件等非文本块以注释补充。 */
|
|
7529
7515
|
function renderUserEntry(doc, session, cm) {
|
|
7530
|
-
/** 用户消息事件(seq 缺失则无法渲染)。 */
|
|
7531
7516
|
const seq = cm.seqs[0];
|
|
7532
7517
|
const event = seq === void 0 ? void 0 : session.events[seq];
|
|
7533
|
-
/** 派生的消息对象。 */
|
|
7534
7518
|
const message = event ? session.deriveEventMessage(event) : null;
|
|
7535
7519
|
if (!message || !Array.isArray(message.content)) return null;
|
|
7536
|
-
/** user_message 元素(文本 + 注释)。 */
|
|
7537
7520
|
const el = doc.createElement("user_message");
|
|
7538
7521
|
el.setAttribute("index", String(cm.index));
|
|
7539
|
-
/** 是否存在可输出内容(文本或注释)。 */
|
|
7540
7522
|
let hasContent = false;
|
|
7541
7523
|
for (const block of message.content) if (block.type === "text") {
|
|
7542
7524
|
el.appendChild(doc.createTextNode(String(block.text)));
|
|
7543
7525
|
hasContent = true;
|
|
7544
7526
|
} else if (block.type === "image") {
|
|
7545
|
-
/** 图片附件元数据(名称 / 媒体类型 / 尺寸 / 字节数)。 */
|
|
7546
7527
|
const ref = block.attachment;
|
|
7547
|
-
/** 显示名(有则附上)。 */
|
|
7548
7528
|
const name = ref?.name ? `:${ref.name}` : "";
|
|
7549
|
-
/** 元数据串。 */
|
|
7550
7529
|
const meta = ref ? `(${String(ref.mediaType ?? "")} ${String(ref.width ?? "")}×${String(ref.height ?? "")},${String(ref.bytes ?? "")} bytes)` : "";
|
|
7551
7530
|
el.appendChild(doc.createComment(` 图片附件${name}${meta} `));
|
|
7552
7531
|
hasContent = true;
|
|
@@ -7558,40 +7537,29 @@ function renderUserEntry(doc, session, cm) {
|
|
|
7558
7537
|
return el;
|
|
7559
7538
|
}
|
|
7560
7539
|
/**
|
|
7561
|
-
*
|
|
7562
|
-
*
|
|
7563
|
-
*
|
|
7564
|
-
*
|
|
7565
|
-
* - assistant / toolcall → <assistant index="N">(模型输出文本 / toolcall&result 原样)。
|
|
7566
|
-
* 文本经 XML 序列化自动转义(用户输入 / 文本 / reasoning 中的特殊字符不破坏 XML 合法性)。
|
|
7567
|
-
* 仅渲染 seqs 全部落在给定集合内的完整消息(本插件自产消息天然不占位)。
|
|
7540
|
+
* 渲染完整消息记录(观察输入):输出一个合法的 <history> 块——
|
|
7541
|
+
* user → <user_message>(文本原样、图片注释)、sys → <sys> 空块、assistant 的
|
|
7542
|
+
* reasoning → <reasoning>(参考条目)、assistant/toolcall → <assistant>(原样文本)。
|
|
7543
|
+
* 文本经 XML 序列化自动转义;仅渲染 seqs 全部落在给定集合内的完整消息。
|
|
7568
7544
|
*/
|
|
7569
7545
|
function renderMessages(session, seqs) {
|
|
7570
|
-
/** 遮蔽 seq 集合。 */
|
|
7571
7546
|
const shadowed = new Set(seqs);
|
|
7572
|
-
/** 各 assistant 消息的 reasoning 文本(seq → 文本列表,按日志顺序)。 */
|
|
7573
7547
|
const reasoningBySeq = /* @__PURE__ */ new Map();
|
|
7574
7548
|
for (const seq of seqs) {
|
|
7575
|
-
/** 当前 assistant 消息(非消息事件跳过)。 */
|
|
7576
7549
|
const event = session.events[seq];
|
|
7577
7550
|
if (event?.type !== "assistant/message") continue;
|
|
7578
7551
|
const message = event.data.message;
|
|
7579
7552
|
if (!message || !Array.isArray(message.content)) continue;
|
|
7580
|
-
/** 该消息的 reasoning 块文本。 */
|
|
7581
7553
|
const reasonings = [];
|
|
7582
7554
|
for (const block of message.content) if (block.type === "reasoning" && typeof block.text === "string") reasonings.push(block.text);
|
|
7583
7555
|
if (reasonings.length > 0) reasoningBySeq.set(seq, reasonings);
|
|
7584
7556
|
}
|
|
7585
|
-
/** 已输出 reasoning 的 assistant 消息 seq(每条消息的 reasoning 只输出一次)。 */
|
|
7586
7557
|
const emittedReasoning = /* @__PURE__ */ new Set();
|
|
7587
|
-
/** DOM 文档(构建条目元素)。 */
|
|
7588
7558
|
const doc = new import_lib.DOMParser().parseFromString(`<${HISTORY_TAG} />`, "text/xml");
|
|
7589
|
-
/** 顶层条目元素(按日志顺序)。 */
|
|
7590
7559
|
const entries = [];
|
|
7591
7560
|
for (const cm of indexCompleteMessages(session)) {
|
|
7592
7561
|
if (!cm.seqs.every((seq) => shadowed.has(seq))) continue;
|
|
7593
7562
|
if (cm.type === "sys") {
|
|
7594
|
-
/** sys 元素(type=source.kind,index=完整消息序号)。 */
|
|
7595
7563
|
const sysEl = doc.createElement("sys");
|
|
7596
7564
|
sysEl.setAttribute("type", cm.kind ?? "");
|
|
7597
7565
|
sysEl.setAttribute("index", String(cm.index));
|
|
@@ -7600,45 +7568,35 @@ function renderMessages(session, seqs) {
|
|
|
7600
7568
|
continue;
|
|
7601
7569
|
}
|
|
7602
7570
|
if (cm.type === "user") {
|
|
7603
|
-
/** 用户消息条目(无文本且无注释则跳过)。 */
|
|
7604
7571
|
const rendered = renderUserEntry(doc, session, cm);
|
|
7605
7572
|
if (rendered === null) continue;
|
|
7606
7573
|
entries.push(rendered);
|
|
7607
7574
|
} else {
|
|
7608
|
-
/** 承载该条完整消息的 assistant seq(缺失则无 reasoning 可输出)。 */
|
|
7609
7575
|
const callSeq = cm.seqs[0];
|
|
7610
|
-
/** 该消息的 reasoning(无则跳过)。 */
|
|
7611
7576
|
const reasonings = callSeq === void 0 ? void 0 : reasoningBySeq.get(callSeq);
|
|
7612
7577
|
if (callSeq !== void 0 && reasonings !== void 0 && !emittedReasoning.has(callSeq)) {
|
|
7613
7578
|
emittedReasoning.add(callSeq);
|
|
7614
7579
|
for (const text of reasonings) {
|
|
7615
|
-
/** reasoning 元素(文本自动转义)。 */
|
|
7616
7580
|
const re = doc.createElement("reasoning");
|
|
7617
7581
|
re.appendChild(doc.createTextNode(text));
|
|
7618
7582
|
entries.push(re);
|
|
7619
7583
|
}
|
|
7620
7584
|
}
|
|
7621
|
-
/** 该条完整消息的文本(assistant=文本;toolcall=调用参数+结果,原样)。 */
|
|
7622
7585
|
const text = renderCompleteMessage(session, cm);
|
|
7623
7586
|
if (text.trim() === "") continue;
|
|
7624
|
-
/** assistant 元素(文本自动转义)。 */
|
|
7625
7587
|
const el = doc.createElement("assistant");
|
|
7626
7588
|
el.setAttribute("index", String(cm.index));
|
|
7627
7589
|
el.appendChild(doc.createTextNode(text));
|
|
7628
7590
|
entries.push(el);
|
|
7629
7591
|
}
|
|
7630
7592
|
}
|
|
7631
|
-
/** XML 序列化器(文本/注释自动转义)。 */
|
|
7632
7593
|
const serializer = new import_lib.XMLSerializer();
|
|
7633
7594
|
return `<${HISTORY_TAG}>\n${entries.map((el) => serializer.serializeToString(el)).join("\n")}\n</${HISTORY_TAG}>`;
|
|
7634
7595
|
}
|
|
7635
|
-
/** 流收集器:提取文本输出 + usage + finish(不依赖宿主 BlockAssembler
|
|
7596
|
+
/** 流收集器:提取文本输出 + usage + finish(不依赖宿主 BlockAssembler)。 */
|
|
7636
7597
|
var StreamCollector = class {
|
|
7637
|
-
/** 文本输出缓冲(text-delta 拼接;reasoning 不计入)。 */
|
|
7638
7598
|
textBuf = "";
|
|
7639
|
-
/** usage chunk(无则 undefined)。 */
|
|
7640
7599
|
_usage;
|
|
7641
|
-
/** finish chunk(流结束仍无则视为 stop)。 */
|
|
7642
7600
|
_finish;
|
|
7643
7601
|
/** 喂入一个流 chunk(仅消费文本/usage/finish,其余忽略)。 */
|
|
7644
7602
|
push(chunk) {
|
|
@@ -7665,7 +7623,7 @@ var StreamCollector = class {
|
|
|
7665
7623
|
return this._finish ?? { kind: "stop" };
|
|
7666
7624
|
}
|
|
7667
7625
|
};
|
|
7668
|
-
/** 构造插件自产 user
|
|
7626
|
+
/** 构造插件自产 user 消息(摘要调用的输入消息;id 为品牌类型 MessageId)。 */
|
|
7669
7627
|
function makePluginUserMessage(text) {
|
|
7670
7628
|
return {
|
|
7671
7629
|
id: uuid(),
|
|
@@ -7681,8 +7639,8 @@ function makePluginUserMessage(text) {
|
|
|
7681
7639
|
};
|
|
7682
7640
|
}
|
|
7683
7641
|
/**
|
|
7684
|
-
*
|
|
7685
|
-
*
|
|
7642
|
+
* 构建摘要请求选项:指令作为 system,渲染输入作为唯一的 user 消息,
|
|
7643
|
+
* 不沿用主会话请求前缀(前缀复用需模型自行计数,导致索引异常)。
|
|
7686
7644
|
*/
|
|
7687
7645
|
function buildSummaryOptions(session, instruction, contextText, maxTokens, target, signal) {
|
|
7688
7646
|
return {
|
|
@@ -7700,7 +7658,6 @@ function buildSummaryOptions(session, instruction, contextText, maxTokens, targe
|
|
|
7700
7658
|
const HISTORY_FORMAT_NOTE = `<!-- 完整消息:${COMPLETE_MESSAGE_DEFINITION} <TAG index="N">表示单条完整消息,<TAG start="A" end="B"> 表示连续模块,start/end 是首尾完整消息的 index;<sys type="KIND" index="N"> 表示被压缩的系统消息,块中为空 -->`;
|
|
7701
7659
|
/** 读取元素整数属性(非负整数;缺失 / 非数字返回 undefined)。 */
|
|
7702
7660
|
function intAttr(el, name) {
|
|
7703
|
-
/** 属性原始值(缺失为 null)。 */
|
|
7704
7661
|
const raw = el.getAttribute(name);
|
|
7705
7662
|
if (raw === null || raw === "") return void 0;
|
|
7706
7663
|
if (!/^\d+$/.test(raw)) return void 0;
|
|
@@ -7708,43 +7665,31 @@ function intAttr(el, name) {
|
|
|
7708
7665
|
}
|
|
7709
7666
|
/**
|
|
7710
7667
|
* 用 XML 解析器解析一个 <history> 块(结构合法性校验):
|
|
7711
|
-
*
|
|
7712
|
-
*
|
|
7713
|
-
* - 顶层只允许 user_message / assistant / sys 条目元素(其余元素类型视为不合法);
|
|
7714
|
-
* - 出现 <reasoning> 元素时标记 hasReasoning(产物不允许)。
|
|
7715
|
-
* 条目按文档顺序提取(index / start / end 属性缺失或不合法 → 不合法)。
|
|
7668
|
+
* 非法 XML / 根非 <history> / 顶层出现未定义元素 / 条目属性缺失或非法 → null;
|
|
7669
|
+
* 出现 <reasoning> 元素时标记 hasReasoning(产物不允许)。
|
|
7716
7670
|
*/
|
|
7717
7671
|
function parseHistoryBlock(xml) {
|
|
7718
|
-
/** DOM 文档(解析失败抛错)。 */
|
|
7719
7672
|
let doc;
|
|
7720
7673
|
try {
|
|
7721
7674
|
doc = new import_lib.DOMParser().parseFromString(xml, "text/xml");
|
|
7722
7675
|
} catch {
|
|
7723
7676
|
return null;
|
|
7724
7677
|
}
|
|
7725
|
-
/** 根节点(必须为 <history>)。 */
|
|
7726
7678
|
const root = doc.documentElement;
|
|
7727
7679
|
if (!root || root.nodeName !== "history") return null;
|
|
7728
|
-
/** 条目缓冲区。 */
|
|
7729
7680
|
const entries = [];
|
|
7730
|
-
/** 是否含 reasoning 元素。 */
|
|
7731
7681
|
let hasReasoning = false;
|
|
7732
|
-
/** 根的子节点。 */
|
|
7733
7682
|
const children = root.childNodes;
|
|
7734
7683
|
for (let i = 0; i < children.length; i += 1) {
|
|
7735
|
-
/** 当前子节点(跳过文本与注释)。 */
|
|
7736
7684
|
const node = children[i];
|
|
7737
7685
|
if (node?.nodeType !== 1) continue;
|
|
7738
|
-
/** 子元素(节点类型收窄)。 */
|
|
7739
7686
|
const el = node;
|
|
7740
|
-
/** 元素标签名。 */
|
|
7741
7687
|
const tag = el.nodeName;
|
|
7742
7688
|
if (tag === "reasoning") {
|
|
7743
7689
|
hasReasoning = true;
|
|
7744
7690
|
continue;
|
|
7745
7691
|
}
|
|
7746
7692
|
if (tag === "user_message") {
|
|
7747
|
-
/** index 属性(缺失/非法 → 不合法)。 */
|
|
7748
7693
|
const index = intAttr(el, "index");
|
|
7749
7694
|
if (index === void 0) return null;
|
|
7750
7695
|
entries.push({
|
|
@@ -7752,7 +7697,6 @@ function parseHistoryBlock(xml) {
|
|
|
7752
7697
|
index
|
|
7753
7698
|
});
|
|
7754
7699
|
} else if (tag === "sys") {
|
|
7755
|
-
/** index 属性(缺失/非法 → 不合法)。 */
|
|
7756
7700
|
const index = intAttr(el, "index");
|
|
7757
7701
|
if (index === void 0) return null;
|
|
7758
7702
|
entries.push({
|
|
@@ -7760,7 +7704,6 @@ function parseHistoryBlock(xml) {
|
|
|
7760
7704
|
index
|
|
7761
7705
|
});
|
|
7762
7706
|
} else if (tag === "assistant") {
|
|
7763
|
-
/** 单条 index 或模块 start..end(二选一)。 */
|
|
7764
7707
|
const index = intAttr(el, "index");
|
|
7765
7708
|
if (index !== void 0) entries.push({
|
|
7766
7709
|
kind: "assistant",
|
|
@@ -7785,13 +7728,11 @@ function parseHistoryBlock(xml) {
|
|
|
7785
7728
|
}
|
|
7786
7729
|
/**
|
|
7787
7730
|
* 解析文本中全部 <history> 块内的条目(反思输入为多个块拼接:逐块解析提取)。
|
|
7788
|
-
*
|
|
7731
|
+
* 非法块跳过;仅提取不校验顺序(连续性由 historyContinuity 校验)。
|
|
7789
7732
|
*/
|
|
7790
7733
|
function parseHistoryEntries(text) {
|
|
7791
|
-
/** 条目缓冲区。 */
|
|
7792
7734
|
const out = [];
|
|
7793
7735
|
for (const m of text.matchAll(/<history[\s\S]*?<\/history>/g)) {
|
|
7794
|
-
/** 单块解析结果(非法块跳过)。 */
|
|
7795
7736
|
const parsed = parseHistoryBlock(m[0]);
|
|
7796
7737
|
if (parsed === null) continue;
|
|
7797
7738
|
out.push(...parsed.entries);
|
|
@@ -7799,16 +7740,13 @@ function parseHistoryEntries(text) {
|
|
|
7799
7740
|
return out;
|
|
7800
7741
|
}
|
|
7801
7742
|
/**
|
|
7802
|
-
* 校验条目 index/start/end
|
|
7803
|
-
*
|
|
7804
|
-
* 空条目 / 非法范围(start > end) / 跳号、重叠或乱序 → 返回 null。
|
|
7743
|
+
* 校验条目 index/start/end 连续性:每条给出覆盖区间,按出现顺序相邻条目必须首尾相接,
|
|
7744
|
+
* 返回整体覆盖区间;空条目 / 非法范围 / 跳号、重叠或乱序 → 返回 null。
|
|
7805
7745
|
*/
|
|
7806
7746
|
function historyContinuity(entries) {
|
|
7807
7747
|
if (entries.length === 0) return null;
|
|
7808
|
-
/** 各条目覆盖区间(保持块内出现顺序)。 */
|
|
7809
7748
|
const ranges = [];
|
|
7810
7749
|
for (const e of entries) {
|
|
7811
|
-
/** 模块(start/end)或单条(index 为自身)。 */
|
|
7812
7750
|
const lo = e.kind === "assistant" && e.start !== void 0 ? e.start : e.index ?? 0;
|
|
7813
7751
|
const hi = e.kind === "assistant" && e.end !== void 0 ? e.end : e.index ?? 0;
|
|
7814
7752
|
if (lo > hi) return null;
|
|
@@ -7818,13 +7756,11 @@ function historyContinuity(entries) {
|
|
|
7818
7756
|
});
|
|
7819
7757
|
}
|
|
7820
7758
|
for (let i = 1; i < ranges.length; i += 1) {
|
|
7821
|
-
/** 相邻两条(防御性判空)。 */
|
|
7822
7759
|
const prev = ranges[i - 1];
|
|
7823
7760
|
const curr = ranges[i];
|
|
7824
7761
|
if (prev === void 0 || curr === void 0) return null;
|
|
7825
7762
|
if (curr.lo !== prev.hi + 1) return null;
|
|
7826
7763
|
}
|
|
7827
|
-
/** 首尾条目(防御性判空)。 */
|
|
7828
7764
|
const first = ranges[0];
|
|
7829
7765
|
const last = ranges[ranges.length - 1];
|
|
7830
7766
|
if (first === void 0 || last === void 0) return null;
|
|
@@ -7833,68 +7769,123 @@ function historyContinuity(entries) {
|
|
|
7833
7769
|
end: last.hi
|
|
7834
7770
|
};
|
|
7835
7771
|
}
|
|
7772
|
+
/** <history> 开标签(允许携带属性):模糊定位输出中日志块起点。 */
|
|
7773
|
+
const HISTORY_OPEN_TAG_RE = /<history(\s[^>]*)?>/;
|
|
7774
|
+
/** history 块内条目标签的 token 正则(开 / 闭 / 自闭合):模糊提取按标签逐个扫描配对。 */
|
|
7775
|
+
const HISTORY_ENTRY_TOKEN_RE = /<(\/)?(user_message|sys|assistant|reasoning)\b([^>]*?)(\/)?>/g;
|
|
7776
|
+
/** 解析标签属性串为键值对(支持双引号 / 单引号 / 无引号取值;非法片段忽略)。 */
|
|
7777
|
+
function parseTagAttrs(raw) {
|
|
7778
|
+
const attrs = {};
|
|
7779
|
+
for (const m of raw.matchAll(/([^\s=/]+)\s*=\s*("([^"]*)"|'([^']*)'|([^\s"'>]+))/g)) {
|
|
7780
|
+
const key = m[1] ?? "";
|
|
7781
|
+
const value = m[3] ?? m[4] ?? m[5] ?? "";
|
|
7782
|
+
if (key !== "") attrs[key] = value;
|
|
7783
|
+
}
|
|
7784
|
+
return attrs;
|
|
7785
|
+
}
|
|
7786
|
+
/**
|
|
7787
|
+
* 解码 XML 预定义实体(& 最后解码,避免 &lt; 之类被二次解码)。
|
|
7788
|
+
* 模糊提取的条目文本解码后经 XML 序列化重新转义,已有转义形式不发生二次转义。
|
|
7789
|
+
*/
|
|
7790
|
+
function decodeXmlEntities(text) {
|
|
7791
|
+
return text.replace(/</g, "<").replace(/>/g, ">").replace(/"/g, "\"").replace(/'/g, "'").replace(/&/g, "&");
|
|
7792
|
+
}
|
|
7793
|
+
/**
|
|
7794
|
+
* 模糊重建 <history> 块(xmldom 原生无模糊匹配,按条目标签做字符串级扫描配对):
|
|
7795
|
+
* 依次提取 user_message / sys / assistant / reasoning 条目——开闭标签就近配对、
|
|
7796
|
+
* 自闭合直接成条、未闭合条目以文本末尾收口;未知元素与其间杂文忽略;条目文本
|
|
7797
|
+
* 解码后重新序列化为合法 XML。扫描不到任何条目返回 null。
|
|
7798
|
+
*/
|
|
7799
|
+
function rebuildHistoryBlock(inner) {
|
|
7800
|
+
const entries = [];
|
|
7801
|
+
const stack = [];
|
|
7802
|
+
for (const m of inner.matchAll(HISTORY_ENTRY_TOKEN_RE)) {
|
|
7803
|
+
const tag = m[2] ?? "";
|
|
7804
|
+
if (m[1] === "/") for (let i = stack.length - 1; i >= 0; i -= 1) {
|
|
7805
|
+
const open = stack[i];
|
|
7806
|
+
if (open?.tag === tag) {
|
|
7807
|
+
entries.push({
|
|
7808
|
+
tag,
|
|
7809
|
+
attrs: open.attrs,
|
|
7810
|
+
content: inner.slice(open.contentFrom, m.index)
|
|
7811
|
+
});
|
|
7812
|
+
stack.splice(i, 1);
|
|
7813
|
+
break;
|
|
7814
|
+
}
|
|
7815
|
+
}
|
|
7816
|
+
else if (m[4] === "/") entries.push({
|
|
7817
|
+
tag,
|
|
7818
|
+
attrs: parseTagAttrs(m[3] ?? ""),
|
|
7819
|
+
content: ""
|
|
7820
|
+
});
|
|
7821
|
+
else stack.push({
|
|
7822
|
+
tag,
|
|
7823
|
+
attrs: parseTagAttrs(m[3] ?? ""),
|
|
7824
|
+
contentFrom: m.index + m[0].length
|
|
7825
|
+
});
|
|
7826
|
+
}
|
|
7827
|
+
for (const open of stack) entries.push({
|
|
7828
|
+
tag: open.tag,
|
|
7829
|
+
attrs: open.attrs,
|
|
7830
|
+
content: inner.slice(open.contentFrom)
|
|
7831
|
+
});
|
|
7832
|
+
if (entries.length === 0) return null;
|
|
7833
|
+
const doc = new import_lib.DOMParser().parseFromString(`<${HISTORY_TAG} />`, "text/xml");
|
|
7834
|
+
const root = doc.documentElement;
|
|
7835
|
+
if (!root) return null;
|
|
7836
|
+
for (const e of entries) {
|
|
7837
|
+
const el = doc.createElement(e.tag);
|
|
7838
|
+
for (const [key, value] of Object.entries(e.attrs)) el.setAttribute(key, decodeXmlEntities(value));
|
|
7839
|
+
el.appendChild(doc.createTextNode(decodeXmlEntities(e.content)));
|
|
7840
|
+
root.appendChild(el);
|
|
7841
|
+
}
|
|
7842
|
+
return new import_lib.XMLSerializer().serializeToString(root);
|
|
7843
|
+
}
|
|
7836
7844
|
/**
|
|
7837
7845
|
* 从 AI 摘要输出中提取合法日志(不信任 AI 的总结结果):
|
|
7838
|
-
*
|
|
7839
|
-
*
|
|
7840
|
-
*
|
|
7841
|
-
*
|
|
7842
|
-
*
|
|
7843
|
-
* - index/start/end 连续性校验(historyContinuity + 与 expected 覆盖区间一致);
|
|
7844
|
-
* - 产出后把首个开标签改写为带 tip 属性的版本(对 AI 的提醒),并在其后插入
|
|
7845
|
-
* 格式说明注释(HISTORY_FORMAT_NOTE,块顶)。
|
|
7846
|
+
* 取首个 <history> 开标签(允许带属性)到最后一个 </history> 切为候选块,
|
|
7847
|
+
* 找不到或内容过短返回 null;候选块经 XML 结构校验,整块非法时按条目模糊
|
|
7848
|
+
* 提取重建为合法块(不要求模型输出整体合法 XML);随后统一校验:无 reasoning、
|
|
7849
|
+
* index 连续且与 expected 覆盖区间一致;通过后统一改写为带 tip 属性的开标签
|
|
7850
|
+
* 并在块顶插入格式说明注释。
|
|
7846
7851
|
*/
|
|
7847
7852
|
function extractSummaryLog(raw, expected) {
|
|
7848
|
-
/** 开标签(模型输出格式)。 */
|
|
7849
|
-
const openTag = `<${HISTORY_TAG}>`;
|
|
7850
|
-
/** 闭标签。 */
|
|
7851
7853
|
const closeTag = `</${HISTORY_TAG}>`;
|
|
7852
|
-
|
|
7853
|
-
const
|
|
7854
|
-
/** 首个开标签位置(无则 -1)。 */
|
|
7855
|
-
const open = raw.indexOf(openTag);
|
|
7856
|
-
/** 最后一个闭标签位置(无则 -1)。 */
|
|
7854
|
+
const openMatch = HISTORY_OPEN_TAG_RE.exec(raw);
|
|
7855
|
+
const open = openMatch?.index ?? -1;
|
|
7857
7856
|
const close = raw.lastIndexOf(closeTag);
|
|
7858
|
-
if (
|
|
7859
|
-
|
|
7860
|
-
|
|
7857
|
+
if (openMatch === null || close === -1 || close < open) return null;
|
|
7858
|
+
const inner = raw.slice(open + openMatch[0].length, close);
|
|
7859
|
+
if (inner.trim().length < 10) return null;
|
|
7861
7860
|
const block = raw.slice(open, close + closeTag.length);
|
|
7862
|
-
|
|
7863
|
-
|
|
7861
|
+
const candidate = parseHistoryBlock(block) === null ? rebuildHistoryBlock(inner) : block;
|
|
7862
|
+
if (candidate === null) return null;
|
|
7863
|
+
const parsed = parseHistoryBlock(candidate);
|
|
7864
7864
|
if (parsed === null) return null;
|
|
7865
7865
|
if (parsed.hasReasoning) return null;
|
|
7866
|
-
/** 条目覆盖区间。 */
|
|
7867
7866
|
const span = historyContinuity(parsed.entries);
|
|
7868
7867
|
if (span === null) return null;
|
|
7869
7868
|
if (expected?.start !== void 0 && span.start !== expected.start) return null;
|
|
7870
7869
|
if (expected?.end !== void 0 && span.end !== expected.end) return null;
|
|
7871
|
-
|
|
7872
|
-
return
|
|
7870
|
+
const candidateInner = candidate.slice(candidate.indexOf(">") + 1, candidate.length - closeTag.length).trim();
|
|
7871
|
+
return `<${HISTORY_TAG} tip="${HISTORY_TIP}">\n${HISTORY_FORMAT_NOTE}\n${candidateInner}\n</${HISTORY_TAG}>`;
|
|
7873
7872
|
}
|
|
7874
7873
|
/**
|
|
7875
7874
|
* 直连 LLM 执行一次摘要(观察或反思),返回文本与可选 token usage。
|
|
7876
|
-
* 失败(抛异常 / 空输出 / 非 stop 结束 /
|
|
7877
|
-
* options.maxAttempts
|
|
7878
|
-
*
|
|
7879
|
-
* 每次请求发出前先过全局限流等待门(gateRateLimit):任一请求遇 429 后,后续所有
|
|
7880
|
-
* 摘要请求(含并行中的其他调用方)在「最近一次 429 + options.rateLimitWaitMs」之前
|
|
7881
|
-
* 不会发出(缺省 RATE_LIMIT_WAIT_MS_DEFAULT)。
|
|
7875
|
+
* 失败(抛异常 / 空输出 / 非 stop 结束 / 校验不通过)均记录日志并重试,最多尝试
|
|
7876
|
+
* options.maxAttempts 次;全部失败返回 null(不产生任何日志变更)。每次请求发出前
|
|
7877
|
+
* 先过全局限流等待门。
|
|
7882
7878
|
*/
|
|
7883
7879
|
async function runSummarySubagent(ctx, agent, instruction, contextText, maxTokens, target, debug, signal, options) {
|
|
7884
|
-
/** 当前会话。 */
|
|
7885
7880
|
const session = agent.session;
|
|
7886
|
-
/** 插件日志门面(失败日志始终输出)。 */
|
|
7887
7881
|
const logger = makeLogger(ctx, debug);
|
|
7888
|
-
/** 总尝试次数(首次 + 重试;缺省兜底)。 */
|
|
7889
7882
|
const maxAttempts = options?.maxAttempts ?? 11;
|
|
7890
|
-
/** 最后一次失败的原因(error=调用异常 / finish=未完成原因;最终失败日志使用)。 */
|
|
7891
7883
|
let lastFailure = {};
|
|
7892
7884
|
for (let attempt = 1; attempt <= maxAttempts; attempt += 1) {
|
|
7893
7885
|
if (signal?.aborted) {
|
|
7894
7886
|
logger.warn(`摘要调用中止(第 ${attempt}/${maxAttempts} 次尝试前 signal 已中止),放弃本次摘要`);
|
|
7895
7887
|
return null;
|
|
7896
7888
|
}
|
|
7897
|
-
/** 限流冷却时长(ms;调用方未传时用默认值)。 */
|
|
7898
7889
|
const rateLimitWaitMs = options?.rateLimitWaitMs ?? 6e4;
|
|
7899
7890
|
if (!await gateRateLimit(rateLimitWaitMs, signal)) {
|
|
7900
7891
|
logger.warn(`摘要调用中止(第 ${attempt}/${maxAttempts} 次尝试前限流等待被 signal 中止),放弃本次摘要`);
|
|
@@ -7902,23 +7893,17 @@ async function runSummarySubagent(ctx, agent, instruction, contextText, maxToken
|
|
|
7902
7893
|
}
|
|
7903
7894
|
logger.step(`摘要调用开始(第 ${attempt}/${maxAttempts} 次,provider ${target.provider},model ${target.model},maxTokens ${maxTokens})`);
|
|
7904
7895
|
try {
|
|
7905
|
-
/** 摘要请求选项(new 方式组装)。 */
|
|
7906
7896
|
const requestOptions = buildSummaryOptions(session, instruction, contextText, maxTokens, target, signal);
|
|
7907
|
-
/** 流收集器(文本/usage/finish)。 */
|
|
7908
7897
|
const collector = new StreamCollector();
|
|
7909
7898
|
for await (const chunk of ctx.llm.stream(requestOptions)) collector.push(chunk);
|
|
7910
|
-
/** 提取合法日志(首个 <history> 到最后一个 </history>,无 reasoning、index 连续;不信任 AI 输出)。 */
|
|
7911
7899
|
const text = extractSummaryLog(collector.text, options?.expected);
|
|
7912
|
-
/** 终止原因(仅 stop 视为完成)。 */
|
|
7913
7900
|
const finish = collector.finish;
|
|
7914
7901
|
if (finish.kind !== "stop" || text === null) {
|
|
7915
|
-
/** 未完成原因(空输出 / 非法日志 / 校验不通过 / 非 stop 终止原因)。 */
|
|
7916
7902
|
const reason = finish.kind === "stop" ? collector.text.trim() === "" ? "无输出" : "缺少合法 <history> 块(含 reasoning 或 index 不连续)" : String(finish.kind);
|
|
7917
7903
|
lastFailure = { finish: reason };
|
|
7918
7904
|
logger.warn(`摘要未完成(第 ${attempt}/${maxAttempts} 次,${reason})` + (attempt < maxAttempts ? ",将重试" : ",重试耗尽,忽略本次摘要"));
|
|
7919
7905
|
continue;
|
|
7920
7906
|
}
|
|
7921
|
-
/** 摘要请求的 token usage(归入主会话记录;无则省略)。 */
|
|
7922
7907
|
const usage = collector.usage;
|
|
7923
7908
|
logger.step(`摘要调用成功(第 ${attempt}/${maxAttempts} 次,输出 ${text.length} 字符` + (usage === void 0 ? "" : `,input ${String(usage.inputTokens ?? "?")} / output ${String(usage.outputTokens ?? "?")} tokens`) + ")");
|
|
7924
7909
|
return {
|
|
@@ -7927,7 +7912,6 @@ async function runSummarySubagent(ctx, agent, instruction, contextText, maxToken
|
|
|
7927
7912
|
...usage === void 0 ? {} : { usage }
|
|
7928
7913
|
};
|
|
7929
7914
|
} catch (error) {
|
|
7930
|
-
/** 错误信息(统一为字符串)。 */
|
|
7931
7915
|
const message = error instanceof Error ? error.message : String(error);
|
|
7932
7916
|
if (isRateLimitError(message)) {
|
|
7933
7917
|
noteRateLimit();
|
|
@@ -7937,180 +7921,58 @@ async function runSummarySubagent(ctx, agent, instruction, contextText, maxToken
|
|
|
7937
7921
|
logger.warn(`摘要调用失败(第 ${attempt}/${maxAttempts} 次,${message})` + (attempt < maxAttempts ? ",将重试" : ",重试耗尽,忽略本次摘要"));
|
|
7938
7922
|
}
|
|
7939
7923
|
}
|
|
7940
|
-
/** 全部尝试失败:记录最终失败日志(含最后原因,便于诊断)。 */
|
|
7941
7924
|
logger.warn(`摘要调用最终失败(已尝试 ${maxAttempts} 次` + (lastFailure.error !== void 0 ? `,最后错误:${lastFailure.error}` : "") + (lastFailure.finish !== void 0 ? `,最后结果:${lastFailure.finish}` : "") + "),忽略本次摘要");
|
|
7942
7925
|
return null;
|
|
7943
7926
|
}
|
|
7944
7927
|
//#endregion
|
|
7945
7928
|
//#region src/compress.ts
|
|
7946
7929
|
/**
|
|
7947
|
-
*
|
|
7948
|
-
*
|
|
7949
|
-
*
|
|
7950
|
-
* 压缩为观察日志,作为独立的新 <history> 块,只精确替换被压缩的新消息区间(旧块原地
|
|
7951
|
-
* 保留,多块并存按序排列;不再把旧+新合并进一条消息);
|
|
7952
|
-
* - 反思:全部 <history> 块 tokens 合计 ≥ reflectThresholdTokens(默认 30000)→
|
|
7953
|
-
* 同上摘要调用精简合并(输入为多个块拼接,共用同一套提示词),把整个块区段合并为一条。
|
|
7954
|
-
* 两级检查在 pre-step 阻塞串行执行(先反思后观察),避免压缩失败或重复压缩。
|
|
7955
|
-
* 自动压缩由配置键 omEnabled 开关(false 时关闭;recall 工具不受影响)。
|
|
7956
|
-
*
|
|
7957
|
-
* 压缩边界(historySection):消息列表中最后一个合法的 <history> 块(source 为插件)
|
|
7958
|
-
* 之后的消息视为未压缩;其前(含自身)视为已压缩,不重复压缩、不计入观察阈值。
|
|
7930
|
+
* 两级自动压缩(观察/反思)与 compaction 生命周期提交。
|
|
7931
|
+
* 导出 estimateTextTokens / isPairBalancedAfter / computeCompressRange / historySection /
|
|
7932
|
+
* reflectPass / observePass / maybeCompress。
|
|
7959
7933
|
*
|
|
7960
|
-
*
|
|
7961
|
-
*
|
|
7962
|
-
*
|
|
7963
|
-
*
|
|
7964
|
-
*
|
|
7965
|
-
*
|
|
7966
|
-
*
|
|
7967
|
-
*
|
|
7968
|
-
* 观察区间:pre-step 触发时日志 call-result 完备,区间不再受 turn/end 封顶——压缩边界 →
|
|
7969
|
-
* 表层长度-1-tailCount(尾部保留 config.tailMessageCount 条不压缩),当前 turn 中已
|
|
7970
|
-
* 完备的消息同样可压缩;区间终点回退到 tool-call/result 配对平衡点(不切段)。
|
|
7971
|
-
* 摘要输出的 <history> 块经连续性校验(无 reasoning、index/start/end 连续且覆盖预期
|
|
7972
|
-
* 区间),失败按 config.compressRetryCount 重试。仅主会话生效。
|
|
7934
|
+
* - 反思:全部 <history> 块 token 合计 ≥ reflectThresholdTokens 时,摘要合并为一条
|
|
7935
|
+
* - 观察:净压力(上下文压力 − 已压缩块 token 合计)≥ observeThresholdTokens 时,
|
|
7936
|
+
* 摘要未压缩消息为新 <history> 块并精确替换被压缩区间(旧块保留)
|
|
7937
|
+
* - 两级在 pre-step 阻塞串行执行(先反思后观察);仅主会话生效;omEnabled=false 关闭
|
|
7938
|
+
* - 压缩边界:最后一个合法 <history> 块之后的消息视为未压缩,其前不重复压缩
|
|
7939
|
+
* - 提交走宿主 compaction/* 生命周期事件(start 带 phase → summary → 替换消息 → end),
|
|
7940
|
+
* 失败补 end(error);替换消息 source 标记插件标识供 UI 认领
|
|
7973
7941
|
*/
|
|
7974
7942
|
/** 历史文本 token 估算:4 字符 ≈ 1 token(与宿主 dsh-token-meter 启发式一致)。 */
|
|
7975
7943
|
function estimateTextTokens(text) {
|
|
7976
7944
|
return Math.ceil(text.length / 4);
|
|
7977
7945
|
}
|
|
7978
7946
|
/**
|
|
7979
|
-
* 有界并发池:最多 limit 个任务同时运行(limit 非法时按 1 处理),任务按 index 顺序
|
|
7980
|
-
* 取用,结果数组与 items 按 index 对齐(任务自身以返回值表达失败,不在此抛出)。
|
|
7981
|
-
* items 为空返回空数组。
|
|
7982
|
-
*/
|
|
7983
|
-
async function runWithConcurrency(items, limit, task) {
|
|
7984
|
-
/** 结果数组(按 index 对齐)。 */
|
|
7985
|
-
const results = new Array(items.length);
|
|
7986
|
-
/** 下一个待处理任务的下标(worker 间共享取号)。 */
|
|
7987
|
-
let next = 0;
|
|
7988
|
-
/** worker 数量(clamp 到 [1, items.length])。 */
|
|
7989
|
-
const workerCount = Math.max(1, Math.min(Math.floor(limit), items.length));
|
|
7990
|
-
/** 各 worker:循环取号执行任务直到取尽。 */
|
|
7991
|
-
const workers = Array.from({ length: workerCount }, async () => {
|
|
7992
|
-
while (next < items.length) {
|
|
7993
|
-
/** 本 worker 领取的任务下标。 */
|
|
7994
|
-
const index = next;
|
|
7995
|
-
next += 1;
|
|
7996
|
-
results[index] = await task(items[index], index);
|
|
7997
|
-
}
|
|
7998
|
-
});
|
|
7999
|
-
await Promise.all(workers);
|
|
8000
|
-
return results;
|
|
8001
|
-
}
|
|
8002
|
-
/**
|
|
8003
|
-
* 按 token 边界把完整消息序列分块(观察并行压缩用):完整消息不跨块——
|
|
8004
|
-
* 一条完整消息(含其 thinking/text/toolcall&result 全部 seqs)必然整体落在同一块,
|
|
8005
|
-
* 单条超界的消息独立成块。空输入返回空数组。
|
|
8006
|
-
*/
|
|
8007
|
-
function chunkCompleteMessages(session, cms, tokenBoundary, estimateMessage) {
|
|
8008
|
-
if (cms.length === 0) return [];
|
|
8009
|
-
/** 分块结果。 */
|
|
8010
|
-
const chunks = [];
|
|
8011
|
-
/** 当前块。 */
|
|
8012
|
-
let current = [];
|
|
8013
|
-
/** 当前块累计 token(按各完整消息 seqs 的派生消息估算合计)。 */
|
|
8014
|
-
let currentTokens = 0;
|
|
8015
|
-
for (const cm of cms) {
|
|
8016
|
-
/** 当前完整消息的 token 估算(其全部表层 seqs 的派生消息估算之和)。 */
|
|
8017
|
-
let cmTokens = 0;
|
|
8018
|
-
for (const seq of cm.seqs) {
|
|
8019
|
-
/** 表层事件(seq 缺失跳过)。 */
|
|
8020
|
-
const event = session.events[seq];
|
|
8021
|
-
/** 派生消息(用于 token 估算)。 */
|
|
8022
|
-
const message = event ? session.deriveEventMessage(event) : null;
|
|
8023
|
-
if (message) cmTokens += estimateMessage(message);
|
|
8024
|
-
}
|
|
8025
|
-
if (current.length > 0 && currentTokens + cmTokens > tokenBoundary) {
|
|
8026
|
-
chunks.push(current);
|
|
8027
|
-
current = [];
|
|
8028
|
-
currentTokens = 0;
|
|
8029
|
-
}
|
|
8030
|
-
current.push(cm);
|
|
8031
|
-
currentTokens += cmTokens;
|
|
8032
|
-
}
|
|
8033
|
-
if (current.length > 0) chunks.push(current);
|
|
8034
|
-
return chunks;
|
|
8035
|
-
}
|
|
8036
|
-
/**
|
|
8037
|
-
* 合并分块摘要为单个 <history> 块:剥离各块的 <history> 开/闭标签(保留块内全部内容),
|
|
8038
|
-
* 以统一的开标签(带 tip 属性)与闭标签包裹拼接。块内内容原样保留(含格式说明注释)。
|
|
8039
|
-
*/
|
|
8040
|
-
function mergeChunkReports(parts) {
|
|
8041
|
-
/** 各块内层内容(剥离外壳失败时原样保留该块文本)。 */
|
|
8042
|
-
const inners = [];
|
|
8043
|
-
for (const part of parts) {
|
|
8044
|
-
/** 首个 <history 开标签位置。 */
|
|
8045
|
-
const open = part.indexOf(`<${HISTORY_TAG}`);
|
|
8046
|
-
/** 开标签右括号位置。 */
|
|
8047
|
-
const gt = open === -1 ? -1 : part.indexOf(">", open);
|
|
8048
|
-
/** 最后一个 </history> 闭标签位置。 */
|
|
8049
|
-
const close = part.lastIndexOf(`</${HISTORY_TAG}>`);
|
|
8050
|
-
if (open === -1 || gt === -1 || close === -1 || close <= gt) {
|
|
8051
|
-
inners.push(part);
|
|
8052
|
-
continue;
|
|
8053
|
-
}
|
|
8054
|
-
inners.push(part.slice(gt + 1, close));
|
|
8055
|
-
}
|
|
8056
|
-
return `<${HISTORY_TAG} tip="${HISTORY_TIP}">\n${inners.join("\n").trim()}\n</${HISTORY_TAG}>`;
|
|
8057
|
-
}
|
|
8058
|
-
/** 合并多块摘要的 token usage(同名数字字段求和;全部为空返回 undefined)。 */
|
|
8059
|
-
function mergeUsage(usages) {
|
|
8060
|
-
if (usages.length === 0) return void 0;
|
|
8061
|
-
/** 合并结果(必填字段从 0 起累加)。 */
|
|
8062
|
-
const out = {
|
|
8063
|
-
inputTokens: 0,
|
|
8064
|
-
outputTokens: 0
|
|
8065
|
-
};
|
|
8066
|
-
for (const u of usages) {
|
|
8067
|
-
out.inputTokens += u.inputTokens;
|
|
8068
|
-
out.outputTokens += u.outputTokens;
|
|
8069
|
-
if (u.cacheReadTokens !== void 0) out.cacheReadTokens = (out.cacheReadTokens ?? 0) + u.cacheReadTokens;
|
|
8070
|
-
if (u.cacheWriteTokens !== void 0) out.cacheWriteTokens = (out.cacheWriteTokens ?? 0) + u.cacheWriteTokens;
|
|
8071
|
-
if (u.reasoningTokens !== void 0) out.reasoningTokens = (out.reasoningTokens ?? 0) + u.reasoningTokens;
|
|
8072
|
-
}
|
|
8073
|
-
return out;
|
|
8074
|
-
}
|
|
8075
|
-
/**
|
|
8076
7947
|
* 反思输入块引用的最大完整消息 index(解析全部条目取最大 end;无条目返回 -1)。
|
|
8077
7948
|
* 反思输出必须覆盖输入引用的完整 index 区间(0..max),连续性校验据此约束。
|
|
8078
7949
|
*/
|
|
8079
7950
|
function reflectExpectedEnd(contextText) {
|
|
8080
|
-
/** 最大 end(无条目保持 -1)。 */
|
|
8081
7951
|
let max = -1;
|
|
8082
7952
|
for (const e of parseHistoryEntries(contextText)) {
|
|
8083
|
-
/** 当前条目上界(模块 end 或单条 index)。 */
|
|
8084
7953
|
const hi = e.kind === "assistant" && e.end !== void 0 ? e.end : e.index ?? 0;
|
|
8085
7954
|
if (hi > max) max = hi;
|
|
8086
7955
|
}
|
|
8087
7956
|
return max;
|
|
8088
7957
|
}
|
|
8089
7958
|
/**
|
|
8090
|
-
*
|
|
8091
|
-
*
|
|
8092
|
-
*
|
|
8093
|
-
* 仅当消息文本含 <history> 开标签(含带 tip 属性版本)时视为压缩日志,返回整段文本;
|
|
8094
|
-
* 其余消息返回 undefined(旧格式 <om-history> 块按「不兼容,干净切换」视为普通消息)。
|
|
7959
|
+
* 判定消息是否为本插件的压缩日志消息并提取日志文本(按 source 标记判断,兼容旧宿主
|
|
7960
|
+
* checkpoint 标记 'compact')。仅当消息文本含 <history> 开标签时视为压缩日志,返回整段
|
|
7961
|
+
* 文本;其余返回 undefined。
|
|
8095
7962
|
*/
|
|
8096
7963
|
function historyTextOf(event) {
|
|
8097
7964
|
if (event?.type !== "user/message") return void 0;
|
|
8098
|
-
/** 消息 source(本插件自产消息的标记;含兼容旧宿主 checkpoint 标记)。 */
|
|
8099
7965
|
const source = event.data.source;
|
|
8100
7966
|
if (!isPluginOwnedSource(source)) return void 0;
|
|
8101
|
-
/** 消息纯文本。 */
|
|
8102
7967
|
const text = blocksToText(event.data.content);
|
|
8103
|
-
/** 首个 <history 出现位置(无则非压缩日志)。 */
|
|
8104
7968
|
const idx = text.indexOf(`<${HISTORY_TAG}`);
|
|
8105
7969
|
if (idx === -1) return void 0;
|
|
8106
|
-
/** 开标签校验:<history> 或 <history tip=…>(排除 </history> 等)。 */
|
|
8107
7970
|
const rest = text.slice(idx + 7 + 1);
|
|
8108
7971
|
if (!rest.startsWith(">") && !rest.startsWith(" tip=")) return void 0;
|
|
8109
7972
|
return text;
|
|
8110
7973
|
}
|
|
8111
7974
|
/** 提取 <history> 块内文(去掉开/闭标签与首尾空白;非块文本原样返回)。 */
|
|
8112
7975
|
function historyInnerText(text) {
|
|
8113
|
-
/** 闭标签。 */
|
|
8114
7976
|
const closeTag = `</${HISTORY_TAG}>`;
|
|
8115
7977
|
const close = text.lastIndexOf(closeTag);
|
|
8116
7978
|
if (close === -1) return text;
|
|
@@ -8121,44 +7983,12 @@ function historyInnerText(text) {
|
|
|
8121
7983
|
return text.slice(gt + 1, close).trim();
|
|
8122
7984
|
}
|
|
8123
7985
|
/**
|
|
8124
|
-
*
|
|
8125
|
-
*
|
|
8126
|
-
* 系统消息(user/message 中非 kind:user 的部分,如宿主注入的上下文)不计入阈值。
|
|
8127
|
-
*/
|
|
8128
|
-
function measureUncompressedTokens(session, meter) {
|
|
8129
|
-
/** 压缩边界(最后一个 history 块的 seq;无则 undefined)。 */
|
|
8130
|
-
const { boundarySeq } = historySection(session);
|
|
8131
|
-
/** token 合计。 */
|
|
8132
|
-
let total = 0;
|
|
8133
|
-
/** 是否已越过压缩边界(开始计入)。 */
|
|
8134
|
-
let measuring = boundarySeq === void 0;
|
|
8135
|
-
for (const seq of session.surface.nodes) {
|
|
8136
|
-
if (!measuring) {
|
|
8137
|
-
if (seq === boundarySeq) measuring = true;
|
|
8138
|
-
continue;
|
|
8139
|
-
}
|
|
8140
|
-
/** 事件对应的消息(用于 token 估算)。 */
|
|
8141
|
-
const event = session.events[seq];
|
|
8142
|
-
const message = event ? session.deriveEventMessage(event) : null;
|
|
8143
|
-
if (!message) continue;
|
|
8144
|
-
if (event?.type === "user/message") {
|
|
8145
|
-
if (event.data.source?.kind !== "user") continue;
|
|
8146
|
-
}
|
|
8147
|
-
total += meter.estimateMessage(message);
|
|
8148
|
-
}
|
|
8149
|
-
return total;
|
|
8150
|
-
}
|
|
8151
|
-
/**
|
|
8152
|
-
* 判定表层节点 seq 之后的切点是否 tool-call/result 配对平衡(与宿主
|
|
8153
|
-
* dsh-compaction 的 toolPairingBalancedAfter 同语义):按表层顺序折叠未闭合的
|
|
8154
|
-
* 工具调用数,处理到 seq 后计数为 0 即平衡。pre-step 时日志 call-result 完备,
|
|
8155
|
-
* 该检查作为区间边界的安全网(防止把助手 tool-call 与其结果切到两侧)。
|
|
7986
|
+
* 判定表层节点 seq 之后的切点是否 tool-call/result 配对平衡:按表层顺序折叠未闭合的
|
|
7987
|
+
* 工具调用数,处理到 seq 后计数为 0 即平衡(防止把 tool-call 与其结果切到两侧)。
|
|
8156
7988
|
*/
|
|
8157
7989
|
function isPairBalancedAfter(session, seq) {
|
|
8158
|
-
/** 未闭合工具调用计数。 */
|
|
8159
7990
|
let inProgress = 0;
|
|
8160
7991
|
for (const node of session.surface.nodes) {
|
|
8161
|
-
/** 当前表层事件。 */
|
|
8162
7992
|
const event = session.events[node];
|
|
8163
7993
|
if (event?.type === "assistant/message") inProgress += event.data.message.content.filter((block) => block.type === "tool-call").length;
|
|
8164
7994
|
else if (event?.type === "tool/result") inProgress -= 1;
|
|
@@ -8167,35 +7997,25 @@ function isPairBalancedAfter(session, seq) {
|
|
|
8167
7997
|
return false;
|
|
8168
7998
|
}
|
|
8169
7999
|
/**
|
|
8170
|
-
*
|
|
8171
|
-
*
|
|
8172
|
-
*
|
|
8000
|
+
* 观察压缩区间:压缩边界后的首个表层节点 → 表层长度-1-tailCount(尾部保留 tailCount
|
|
8001
|
+
* 条不压缩);区间终点回退到 tool-call/result 配对平衡点(不切段)。无可行区间返回
|
|
8002
|
+
* undefined。返回区间起止表层 seq 与被遮蔽 seq 列表。
|
|
8173
8003
|
*/
|
|
8174
8004
|
function computeCompressRange(session, tailCount) {
|
|
8175
|
-
/** 当前表层节点(按日志顺序)。 */
|
|
8176
8005
|
const surface = [...session.surface.nodes];
|
|
8177
8006
|
if (surface.length === 0) return void 0;
|
|
8178
|
-
/** 压缩边界(最后一个 <history> 块;其前含自身已压缩,起点在其后)。 */
|
|
8179
8007
|
const { boundarySeq } = historySection(session);
|
|
8180
|
-
/** 区间起点表层下标:无压缩日志时为 0;否则为压缩边界(最后一个 history 块)在表层
|
|
8181
|
-
* (消息日志顺序)中的后继第一条消息。注意不能按 seq 比较取「边界之后」——替换块是
|
|
8182
|
-
* 追加到日志末尾的,其 seq 大于被遮蔽的消息;表层顺序才是消息的逻辑日志顺序。 */
|
|
8183
8008
|
const startIdx = boundarySeq === void 0 ? 0 : surface.indexOf(boundarySeq) + 1;
|
|
8184
8009
|
if (startIdx >= surface.length) return void 0;
|
|
8185
|
-
/** 区间末表层节点下标(尾部保留 tailCount 条不压缩)。 */
|
|
8186
8010
|
let endIdx = surface.length - 1 - tailCount;
|
|
8187
8011
|
if (endIdx < startIdx) return void 0;
|
|
8188
|
-
/** 区间终点回退到配对平衡点(不切断 tool-call/result 配对)。 */
|
|
8189
8012
|
while (endIdx >= startIdx) {
|
|
8190
|
-
/** 当前候选终点节点(表层节点序列稠密,防御性判空)。 */
|
|
8191
8013
|
const node = surface[endIdx];
|
|
8192
8014
|
if (node === void 0 || isPairBalancedAfter(session, node)) break;
|
|
8193
8015
|
endIdx -= 1;
|
|
8194
8016
|
}
|
|
8195
8017
|
if (endIdx < startIdx) return void 0;
|
|
8196
|
-
/** 区间起点(压缩边界后的首个节点)。 */
|
|
8197
8018
|
const start = surface[startIdx];
|
|
8198
|
-
/** 区间终点(表层节点 seq)。 */
|
|
8199
8019
|
const end = surface[endIdx];
|
|
8200
8020
|
if (start === void 0 || end === void 0) return void 0;
|
|
8201
8021
|
return {
|
|
@@ -8206,17 +8026,14 @@ function computeCompressRange(session, tailCount) {
|
|
|
8206
8026
|
}
|
|
8207
8027
|
/**
|
|
8208
8028
|
* 压缩边界(historySection):扫描表层全部节点,收集所有合法 <history> 压缩日志块
|
|
8209
|
-
* (内文 + seq,按表层顺序),并以最后一个块的 seq
|
|
8210
|
-
*
|
|
8211
|
-
*
|
|
8029
|
+
* (内文 + seq,按表层顺序),并以最后一个块的 seq 作为压缩边界——边界之后的消息视为
|
|
8030
|
+
* 未压缩,其前(含边界自身)视为已压缩。无压缩日志时 blocks 为空、boundarySeq 为
|
|
8031
|
+
* undefined。
|
|
8212
8032
|
*/
|
|
8213
8033
|
function historySection(session) {
|
|
8214
|
-
/** 收集结果(按表层顺序)。 */
|
|
8215
8034
|
const blocks = [];
|
|
8216
|
-
/** 最后一个压缩日志块的 seq(无则 undefined)。 */
|
|
8217
8035
|
let boundarySeq;
|
|
8218
8036
|
for (const seq of session.surface.nodes) {
|
|
8219
|
-
/** <history> 内文(非压缩日志消息时为 undefined)。 */
|
|
8220
8037
|
const text = historyTextOf(session.events[seq]);
|
|
8221
8038
|
if (text === void 0) continue;
|
|
8222
8039
|
blocks.push({
|
|
@@ -8230,9 +8047,8 @@ function historySection(session) {
|
|
|
8230
8047
|
boundarySeq
|
|
8231
8048
|
};
|
|
8232
8049
|
}
|
|
8233
|
-
/** 当前打开中的 turn 号(最近 turn/start 且未被 turn/end 关闭);无则 null
|
|
8050
|
+
/** 当前打开中的 turn 号(最近 turn/start 且未被 turn/end 关闭);无则 null。 */
|
|
8234
8051
|
function openTurnOf(session) {
|
|
8235
|
-
/** 折叠结果(turn/start 打开、turn/end 关闭)。 */
|
|
8236
8052
|
let turn = null;
|
|
8237
8053
|
for (const event of session.events) if (event.type === "turn/start") turn = event.data.turn;
|
|
8238
8054
|
else if (event.type === "turn/end") turn = null;
|
|
@@ -8242,9 +8058,8 @@ function openTurnOf(session) {
|
|
|
8242
8058
|
function newCompactionId() {
|
|
8243
8059
|
return uuid();
|
|
8244
8060
|
}
|
|
8245
|
-
/** 追加 compaction/start(log-only
|
|
8061
|
+
/** 追加 compaction/start(log-only;载荷带 phase 区分观察/反思),返回事件 seq。 */
|
|
8246
8062
|
function appendCompactionStart(session, lifecycle, phase) {
|
|
8247
|
-
/** start 事件载荷(宿主类型 + 插件扩展 phase;宿主 append 不做 schema 剥离,扩展字段原样持久化)。 */
|
|
8248
8063
|
const payload = {
|
|
8249
8064
|
compactionId: lifecycle.compactionId,
|
|
8250
8065
|
turn: lifecycle.turn,
|
|
@@ -8257,7 +8072,6 @@ function appendCompactionStart(session, lifecycle, phase) {
|
|
|
8257
8072
|
* summary 为完整合并后的 <history> 内文;usage 由摘要调用提取(无则省略)。
|
|
8258
8073
|
*/
|
|
8259
8074
|
function appendCompactionSummary(session, data) {
|
|
8260
|
-
/** summary 事件载荷(宿主类型 + 插件扩展 shadowedCharCount/attemptCount;宿主 append 不做 schema 剥离,扩展字段原样持久化)。 */
|
|
8261
8075
|
const payload = {
|
|
8262
8076
|
compactionId: data.lifecycle.compactionId,
|
|
8263
8077
|
summary: [{
|
|
@@ -8284,10 +8098,8 @@ function appendCompactionEnd(session, lifecycle, error) {
|
|
|
8284
8098
|
...error === void 0 ? {} : { error }
|
|
8285
8099
|
}).seq;
|
|
8286
8100
|
}
|
|
8287
|
-
/** 追加 <history> 压缩日志消息(surfaceOp 替换遮蔽区间,source 标记插件自产 + compactionId
|
|
8101
|
+
/** 追加 <history> 压缩日志消息(surfaceOp 替换遮蔽区间,source 标记插件自产 + compactionId)。 */
|
|
8288
8102
|
function appendHistoryMessage(session, content, sourceEventSeqs, surfaceOp, compactionId) {
|
|
8289
|
-
/** 压缩替换消息(内容即 <history> 标签块,不再附加前缀句;对 AI 的提醒在块开标签 tip 属性上;
|
|
8290
|
-
* source 标记插件标识(plugin: 'dsh-plugin-om')+ compactionId 供 UI 关联)。 */
|
|
8291
8103
|
const message = {
|
|
8292
8104
|
id: uuid(),
|
|
8293
8105
|
role: "user",
|
|
@@ -8307,49 +8119,36 @@ function appendHistoryMessage(session, content, sourceEventSeqs, surfaceOp, comp
|
|
|
8307
8119
|
});
|
|
8308
8120
|
}
|
|
8309
8121
|
/**
|
|
8310
|
-
* 反思:全部 <history> 块
|
|
8311
|
-
*
|
|
8312
|
-
* 更紧凑的摘要。失败不产生部分替换。
|
|
8122
|
+
* 反思:全部 <history> 块 token 合计 ≥ reflectThresholdTokens 时,摘要调用把整个块
|
|
8123
|
+
* 区段合并替换为一条更紧凑的摘要。失败不产生部分替换。
|
|
8313
8124
|
*/
|
|
8314
8125
|
async function reflectPass(ctx, agent, config, target, signal) {
|
|
8315
|
-
/** 当前会话。 */
|
|
8316
8126
|
const session = agent.session;
|
|
8317
|
-
/** 插件日志门面。 */
|
|
8318
8127
|
const logger = makeLogger(ctx, config.debug);
|
|
8319
8128
|
logger.step(`反思检查(反思阈值 ${config.reflectThresholdTokens} tokens)`);
|
|
8320
|
-
/** 全部 <history> 压缩日志块(按表层顺序;无则跳过)。 */
|
|
8321
8129
|
const { blocks } = historySection(session);
|
|
8322
8130
|
if (blocks.length === 0) {
|
|
8323
8131
|
logger.step("反思:无 <history> 压缩日志,跳过");
|
|
8324
8132
|
return;
|
|
8325
8133
|
}
|
|
8326
|
-
/** 反思阈值(配置的绝对 token 数)。 */
|
|
8327
8134
|
const threshold = config.reflectThresholdTokens;
|
|
8328
|
-
/** 全部块 token 估算合计(摘要总长)。 */
|
|
8329
8135
|
const tokens = blocks.reduce((total, block) => total + estimateTextTokens(block.text), 0);
|
|
8330
|
-
/** 被压缩块区段的字符数合计(压缩前内文长度;UI 标题统计用,与观察路径一致只计内容不计标签)。 */
|
|
8331
8136
|
const shadowedCharCount = blocks.reduce((total, block) => total + historyInnerText(block.text).length, 0);
|
|
8332
8137
|
if (tokens < threshold) {
|
|
8333
8138
|
logger.step(`反思:摘要 ${tokens} tokens < 阈值 ${threshold},跳过`);
|
|
8334
8139
|
return;
|
|
8335
8140
|
}
|
|
8336
8141
|
logger.step(`反思:摘要 ${tokens} tokens ≥ 阈值 ${threshold},触发精简合并(${blocks.length} 个块)`);
|
|
8337
|
-
/** 块区段首尾(historySection 只收集表层节点,天然在表层)。 */
|
|
8338
8142
|
const first = blocks[0];
|
|
8339
8143
|
const last = blocks[blocks.length - 1];
|
|
8340
8144
|
if (first === void 0 || last === void 0) {
|
|
8341
8145
|
logger.step("反思:块区段缺失,跳过");
|
|
8342
8146
|
return;
|
|
8343
8147
|
}
|
|
8344
|
-
/** 被替换块区段的 seq 列表。 */
|
|
8345
8148
|
const blockSeqs = blocks.map((block) => block.seq);
|
|
8346
|
-
/** 共享提示词(观察/反思同一套)。 */
|
|
8347
8149
|
const instruction = buildHistoryPrompt();
|
|
8348
|
-
/** 渲染输入(全部 <history> 块拼接)。 */
|
|
8349
8150
|
const contextText = blocks.map((block) => block.text).join("\n");
|
|
8350
|
-
/** 反思输出应覆盖输入块引用的全部 index(解析输入条目取最大 end;无条目则只校验起点)。 */
|
|
8351
8151
|
const expectedEnd = reflectExpectedEnd(contextText);
|
|
8352
|
-
/** 本次压缩生命周期(compactionId + 当前轮次;start 在摘要调用前开启,UI 压缩中提示)。 */
|
|
8353
8152
|
const lifecycle = {
|
|
8354
8153
|
compactionId: newCompactionId(),
|
|
8355
8154
|
turn: openTurnOf(session)
|
|
@@ -8358,12 +8157,10 @@ async function reflectPass(ctx, agent, config, target, signal) {
|
|
|
8358
8157
|
logger.step("反思:追加 compaction/start(摘要调用前开启压缩中提示)");
|
|
8359
8158
|
appendCompactionStart(session, lifecycle, "reflect");
|
|
8360
8159
|
} catch (error) {
|
|
8361
|
-
/** 启动失败信息(统一字符串)。 */
|
|
8362
8160
|
const message = error instanceof Error ? error.message : String(error);
|
|
8363
8161
|
logger.warn(`反思压缩启动失败: ${message}`);
|
|
8364
8162
|
return;
|
|
8365
8163
|
}
|
|
8366
|
-
/** 反思摘要结果(null 表示失败/跳过)。 */
|
|
8367
8164
|
const summaryResult = await runSummarySubagent(ctx, agent, instruction, contextText, config.compressMaxTokens, target, config.debug, signal, {
|
|
8368
8165
|
maxAttempts: config.compressRetryCount + 1,
|
|
8369
8166
|
expected: expectedEnd < 0 ? { start: 0 } : {
|
|
@@ -8379,11 +8176,9 @@ async function reflectPass(ctx, agent, config, target, signal) {
|
|
|
8379
8176
|
} catch {}
|
|
8380
8177
|
return;
|
|
8381
8178
|
}
|
|
8382
|
-
/** 反思摘要文本。 */
|
|
8383
8179
|
const report = summaryResult.text;
|
|
8384
8180
|
try {
|
|
8385
8181
|
logger.step("反思提交:追加 compaction/summary(影子价格认领)");
|
|
8386
|
-
/** compaction/summary 事件 seq(承担影子价格认领,紧随其后的替换消息消费)。 */
|
|
8387
8182
|
const summarySeq = appendCompactionSummary(session, {
|
|
8388
8183
|
lifecycle,
|
|
8389
8184
|
summary: report,
|
|
@@ -8410,7 +8205,6 @@ async function reflectPass(ctx, agent, config, target, signal) {
|
|
|
8410
8205
|
appendCompactionEnd(session, lifecycle);
|
|
8411
8206
|
logger.info(`反思完成(摘要 ${tokens} tokens ≥ 阈值 ${threshold},合并 ${blocks.length} 个块为一条)`);
|
|
8412
8207
|
} catch (error) {
|
|
8413
|
-
/** 提交失败信息(统一字符串)。 */
|
|
8414
8208
|
const message = error instanceof Error ? error.message : String(error);
|
|
8415
8209
|
logger.warn(`反思提交失败: ${message}`);
|
|
8416
8210
|
try {
|
|
@@ -8419,57 +8213,47 @@ async function reflectPass(ctx, agent, config, target, signal) {
|
|
|
8419
8213
|
}
|
|
8420
8214
|
}
|
|
8421
8215
|
/**
|
|
8422
|
-
*
|
|
8423
|
-
*
|
|
8216
|
+
* 观察:净压力 tokens(上下文压力 − 已压缩 <history> 块 token 合计)≥
|
|
8217
|
+
* observeThresholdTokens 时,摘要调用把未压缩消息压缩为观察日志,追加到旧摘要并
|
|
8218
|
+
* 替换被压缩消息区间。失败不产生部分替换。
|
|
8424
8219
|
*/
|
|
8425
8220
|
async function observePass(ctx, agent, config, tailCount, target, signal) {
|
|
8426
|
-
/** 当前会话。 */
|
|
8427
8221
|
const session = agent.session;
|
|
8428
|
-
/** 插件日志门面。 */
|
|
8429
8222
|
const logger = makeLogger(ctx, config.debug);
|
|
8430
8223
|
logger.step(`观察检查(观察阈值 ${config.observeThresholdTokens} tokens,尾部保留 ${tailCount} 条)`);
|
|
8431
|
-
/** 观察阈值(配置的绝对 token 数)。 */
|
|
8432
8224
|
const threshold = config.observeThresholdTokens;
|
|
8433
|
-
|
|
8434
|
-
const
|
|
8435
|
-
|
|
8436
|
-
|
|
8225
|
+
const pressureTokens = ctx.tokenMeter.measure(session).totalTokens;
|
|
8226
|
+
const { blocks } = historySection(session);
|
|
8227
|
+
const historyTokens = blocks.reduce((total, block) => total + estimateTextTokens(block.text), 0);
|
|
8228
|
+
const netTokens = pressureTokens - historyTokens;
|
|
8229
|
+
if (netTokens < threshold) {
|
|
8230
|
+
logger.step(`观察:净压力 ${netTokens} tokens(上下文压力 ${pressureTokens} − 已压缩块 ${historyTokens})< 阈值 ${threshold},跳过`);
|
|
8437
8231
|
return;
|
|
8438
8232
|
}
|
|
8439
|
-
logger.step(
|
|
8440
|
-
/** 观察压缩区间(压缩边界之后;尾部保留 tailCount 条不压缩;无可行区间则跳过)。 */
|
|
8233
|
+
logger.step(`观察:净压力 ${netTokens} tokens(上下文压力 ${pressureTokens} − 已压缩块 ${historyTokens})≥ 阈值 ${threshold},触发压缩`);
|
|
8441
8234
|
const range = computeCompressRange(session, tailCount);
|
|
8442
8235
|
if (!range) {
|
|
8443
8236
|
logger.step("观察:无可行压缩区间(边界后消息过短或配对无法平衡),跳过");
|
|
8444
8237
|
return;
|
|
8445
8238
|
}
|
|
8446
8239
|
logger.step(`观察:压缩区间 [${range.start}..${range.end}],遮蔽 ${range.shadowedSeqs.length} 个表层节点`);
|
|
8447
|
-
/** 旧压缩日志块(保留不替换、不进新消息遮蔽)。 */
|
|
8448
|
-
const { blocks } = historySection(session);
|
|
8449
|
-
/** 实际被替换的新消息表层节点(压缩边界之后;旧块不进入遮蔽、不被重写)。 */
|
|
8450
8240
|
const replaceSeqs = range.shadowedSeqs;
|
|
8451
|
-
/** 替换区间起点(首个新消息节点;区间内全部为块时无新消息可压缩)。 */
|
|
8452
8241
|
const replaceStart = replaceSeqs[0];
|
|
8453
8242
|
if (replaceStart === void 0) {
|
|
8454
8243
|
logger.step("观察:区间内无新消息(全部为压缩日志块),跳过");
|
|
8455
8244
|
return;
|
|
8456
8245
|
}
|
|
8457
|
-
/** 被替换 seq 集合(计算新消息 index 覆盖区间)。 */
|
|
8458
8246
|
const shadowedSet = new Set(replaceSeqs);
|
|
8459
|
-
/** 压缩区间内的完整消息(连续性校验的预期覆盖区间)。 */
|
|
8460
8247
|
const inRangeCms = indexCompleteMessages(session).filter((cm) => cm.seqs.every((seq) => shadowedSet.has(seq)));
|
|
8461
8248
|
if (inRangeCms.length === 0) {
|
|
8462
8249
|
logger.step("观察:区间内无完整消息,跳过");
|
|
8463
8250
|
return;
|
|
8464
8251
|
}
|
|
8465
|
-
/** 新消息起始/结束完整消息 index(模型输入携带绝对 index,校验按此区间约束)。 */
|
|
8466
8252
|
const startIndex = inRangeCms[0]?.index ?? 0;
|
|
8467
8253
|
const endIndex = inRangeCms[inRangeCms.length - 1]?.index ?? startIndex;
|
|
8468
8254
|
logger.step(`观察:保留旧块 ${blocks.length} 条,替换新消息 [${replaceSeqs[0]}..${range.end}](${replaceSeqs.length} 条),尾部保留 ${tailCount} 条(不压缩、不进日志),新消息 index ${startIndex}..${endIndex}`);
|
|
8469
|
-
|
|
8470
|
-
const
|
|
8471
|
-
logger.step(`观察:${inRangeCms.length} 条完整消息按 ${config.observeChunkTokens} tokens 边界分为 ${chunks.length} 块(最多 ${config.observeChunkParallelism} 块并行,每块摘要 maxTokens ${config.observeChunkMaxTokens},除最后一块外要求简单摘要)`);
|
|
8472
|
-
/** 本次压缩生命周期(compactionId + 当前轮次;start 在摘要调用前开启,UI 压缩中提示)。 */
|
|
8255
|
+
const instruction = buildHistoryPrompt();
|
|
8256
|
+
const contextText = renderMessages(session, replaceSeqs);
|
|
8473
8257
|
const lifecycle = {
|
|
8474
8258
|
compactionId: newCompactionId(),
|
|
8475
8259
|
turn: openTurnOf(session)
|
|
@@ -8478,63 +8262,40 @@ async function observePass(ctx, agent, config, tailCount, target, signal) {
|
|
|
8478
8262
|
logger.step("观察:追加 compaction/start(摘要调用前开启压缩中提示)");
|
|
8479
8263
|
appendCompactionStart(session, lifecycle, "observe");
|
|
8480
8264
|
} catch (error) {
|
|
8481
|
-
/** 启动失败信息(统一字符串)。 */
|
|
8482
8265
|
const message = error instanceof Error ? error.message : String(error);
|
|
8483
8266
|
logger.warn(`观察压缩启动失败: ${message}`);
|
|
8484
8267
|
return;
|
|
8485
8268
|
}
|
|
8486
|
-
|
|
8487
|
-
|
|
8488
|
-
|
|
8489
|
-
|
|
8490
|
-
|
|
8491
|
-
|
|
8492
|
-
|
|
8493
|
-
const start = chunk[0]?.index ?? 0;
|
|
8494
|
-
const end = chunk[chunk.length - 1]?.index ?? start;
|
|
8495
|
-
return runSummarySubagent(ctx, agent, instruction, contextText, config.observeChunkMaxTokens, target, config.debug, signal, {
|
|
8496
|
-
maxAttempts: config.compressRetryCount + 1,
|
|
8497
|
-
expected: {
|
|
8498
|
-
start,
|
|
8499
|
-
end
|
|
8500
|
-
},
|
|
8501
|
-
rateLimitWaitMs: config.rateLimitWaitMs
|
|
8502
|
-
});
|
|
8269
|
+
const summaryResult = await runSummarySubagent(ctx, agent, instruction, contextText, config.compressMaxTokens, target, config.debug, signal, {
|
|
8270
|
+
maxAttempts: config.compressRetryCount + 1,
|
|
8271
|
+
expected: {
|
|
8272
|
+
start: startIndex,
|
|
8273
|
+
end: endIndex
|
|
8274
|
+
},
|
|
8275
|
+
rateLimitWaitMs: config.rateLimitWaitMs
|
|
8503
8276
|
});
|
|
8504
|
-
if (
|
|
8505
|
-
logger.step("
|
|
8277
|
+
if (summaryResult === null || summaryResult.text.trim().length === 0) {
|
|
8278
|
+
logger.step("观察:摘要调用失败/无输出,追加 compaction/end(error)");
|
|
8506
8279
|
try {
|
|
8507
8280
|
appendCompactionEnd(session, lifecycle, "摘要调用失败/无输出");
|
|
8508
8281
|
} catch {}
|
|
8509
8282
|
return;
|
|
8510
8283
|
}
|
|
8511
|
-
|
|
8512
|
-
const
|
|
8513
|
-
|
|
8514
|
-
const report = mergeChunkReports(okResults.map((r) => r.text));
|
|
8515
|
-
/** 重试次数合计(各块重试次数之和;每块重试次数 = 该块成功尝试次数 - 1)。 */
|
|
8516
|
-
const attemptCount = okResults.reduce((sum, r) => sum + (r.attemptCount - 1), 0);
|
|
8517
|
-
/** token usage 合计(各块求和;全部缺省为 undefined)。 */
|
|
8518
|
-
const usage = mergeUsage(okResults.map((r) => r.usage).filter((u) => u !== void 0));
|
|
8519
|
-
/** 被替换表层节点的 token 估算合计(仅新消息区间)。 */
|
|
8284
|
+
const report = summaryResult.text;
|
|
8285
|
+
const attemptCount = summaryResult.attemptCount - 1;
|
|
8286
|
+
const usage = summaryResult.usage;
|
|
8520
8287
|
const shadowedTokenCount = replaceSeqs.reduce((total, seq) => {
|
|
8521
|
-
/** 当前表层事件。 */
|
|
8522
8288
|
const event = session.events[seq];
|
|
8523
|
-
/** 事件对应的消息(用于 token 估算)。 */
|
|
8524
8289
|
const message = event ? session.deriveEventMessage(event) : null;
|
|
8525
8290
|
return total + (message ? ctx.tokenMeter.estimateMessage(message) : 0);
|
|
8526
8291
|
}, 0);
|
|
8527
|
-
/** 被替换消息的字符数合计(压缩前文本长度;UI 标题统计用,递归计入 tool-result 内嵌文本)。 */
|
|
8528
8292
|
const shadowedCharCount = replaceSeqs.reduce((total, seq) => {
|
|
8529
|
-
/** 当前表层事件。 */
|
|
8530
8293
|
const event = session.events[seq];
|
|
8531
|
-
/** 事件对应的消息(取文本块字符数)。 */
|
|
8532
8294
|
const message = event ? session.deriveEventMessage(event) : null;
|
|
8533
8295
|
return total + (message ? textCharCount(message) : 0);
|
|
8534
8296
|
}, 0);
|
|
8535
8297
|
try {
|
|
8536
8298
|
logger.step("观察提交:追加 compaction/summary(影子价格认领)");
|
|
8537
|
-
/** compaction/summary 事件 seq(承担影子价格认领,紧随其后的替换消息消费)。 */
|
|
8538
8299
|
const summarySeq = appendCompactionSummary(session, {
|
|
8539
8300
|
lifecycle,
|
|
8540
8301
|
summary: report,
|
|
@@ -8547,7 +8308,7 @@ async function observePass(ctx, agent, config, tailCount, target, signal) {
|
|
|
8547
8308
|
shadowedCharCount,
|
|
8548
8309
|
provider: target.provider,
|
|
8549
8310
|
model: target.model,
|
|
8550
|
-
maxTokens: config.
|
|
8311
|
+
maxTokens: config.compressMaxTokens,
|
|
8551
8312
|
attemptCount,
|
|
8552
8313
|
...usage === void 0 ? {} : { usage }
|
|
8553
8314
|
});
|
|
@@ -8559,9 +8320,8 @@ async function observePass(ctx, agent, config, tailCount, target, signal) {
|
|
|
8559
8320
|
}, lifecycle.compactionId);
|
|
8560
8321
|
logger.step("观察提交:追加 compaction/end");
|
|
8561
8322
|
appendCompactionEnd(session, lifecycle);
|
|
8562
|
-
logger.info(
|
|
8323
|
+
logger.info(`观察压缩完成(净压力 ${netTokens} tokens(上下文压力 ${pressureTokens} − 已压缩块 ${historyTokens})≥ 阈值 ${threshold},替换 ${replaceSeqs.length} 个表层节点,约 ${shadowedTokenCount} tokens)`);
|
|
8563
8324
|
} catch (error) {
|
|
8564
|
-
/** 提交失败信息(统一字符串)。 */
|
|
8565
8325
|
const message = error instanceof Error ? error.message : String(error);
|
|
8566
8326
|
logger.warn(`观察压缩提交失败: ${message}`);
|
|
8567
8327
|
try {
|
|
@@ -8569,28 +8329,20 @@ async function observePass(ctx, agent, config, tailCount, target, signal) {
|
|
|
8569
8329
|
} catch {}
|
|
8570
8330
|
}
|
|
8571
8331
|
}
|
|
8572
|
-
/**
|
|
8573
|
-
* 压力检查 + 两级压缩:先反思(压缩过往摘要,有必要才做),后观察(压缩新消息,
|
|
8574
|
-
* 有必要才做)。在 pre-step 阻塞串行执行(避免压缩失败或重复压缩)。仅主会话生效。
|
|
8575
|
-
*/
|
|
8332
|
+
/** 压力检查 + 两级压缩入口:先反思后观察,pre-step 阻塞串行执行;仅主会话生效。 */
|
|
8576
8333
|
async function maybeCompress(ctx, agent, config, signal) {
|
|
8577
|
-
/** 当前会话。 */
|
|
8578
8334
|
const session = agent.session;
|
|
8579
|
-
/** 插件日志门面。 */
|
|
8580
8335
|
const logger = makeLogger(ctx, config.debug);
|
|
8581
|
-
/** omEnabled=false:关闭自动压缩(观察/反思均不触发,recall 工具不受影响)。 */
|
|
8582
8336
|
if (!config.omEnabled) {
|
|
8583
8337
|
logger.step("omEnabled=false,跳过压缩");
|
|
8584
8338
|
return;
|
|
8585
8339
|
}
|
|
8586
|
-
/** 会话路由目标(未路由无法查询容量)。 */
|
|
8587
8340
|
const target = routedTarget(session);
|
|
8588
8341
|
if (target === void 0) {
|
|
8589
8342
|
logger.step("会话未路由(无 provider/model),跳过压缩");
|
|
8590
8343
|
return;
|
|
8591
8344
|
}
|
|
8592
8345
|
logger.step(`会话路由:provider ${target.provider},model ${target.model}`);
|
|
8593
|
-
/** 尾部保留条数(config.tailMessageCount,缺省 10)。 */
|
|
8594
8346
|
const tailCount = config.tailMessageCount;
|
|
8595
8347
|
logger.step("反思 pass 开始");
|
|
8596
8348
|
await reflectPass(ctx, agent, config, target, signal);
|
|
@@ -8601,26 +8353,19 @@ async function maybeCompress(ctx, agent, config, signal) {
|
|
|
8601
8353
|
//#endregion
|
|
8602
8354
|
//#region src/model-download.ts
|
|
8603
8355
|
/**
|
|
8604
|
-
*
|
|
8605
|
-
*
|
|
8606
|
-
*
|
|
8607
|
-
*
|
|
8608
|
-
*
|
|
8609
|
-
*
|
|
8610
|
-
*
|
|
8611
|
-
* - 直连 huggingface.co 受限时设置环境变量 HF_ENDPOINT=https://hf-mirror.com 走镜像。
|
|
8612
|
-
* - 原子落盘:先写 .tmp 再改名,避免半截文件被当成完整模型加载。
|
|
8613
|
-
* - 日志:下载开始/结束(含跳过)经 log 回调输出(默认 console.log);失败时
|
|
8614
|
-
* 错误消息附带 HF_ENDPOINT=https://hf-mirror.com 镜像建议。
|
|
8615
|
-
*
|
|
8616
|
-
* 运行时编排见 embedding.ts 的 ensureModelReady(下载单飞、未就绪不阻塞);
|
|
8617
|
-
* 本模块只提供纯下载原语(供 src 与 scripts/download-model.mjs CLI 复用)。
|
|
8356
|
+
* 嵌入模型下载原语:recall-semantic 运行时按需下载与开发手动预下载(scripts/
|
|
8357
|
+
* download-model.mjs)共用。导出 EMBEDDING_MODEL_ID / ONNX_REL / MODEL_SMALL_FILES /
|
|
8358
|
+
* modelSourceUrl / modelTargetPath / needsDownload / downloadModel 及 DownloadResult /
|
|
8359
|
+
* ModelFetch 类型。
|
|
8360
|
+
* 模型为量化 ONNX(~113MB,不进 git,仅小文件随仓库/包分发);下载目标
|
|
8361
|
+
* <modelDir>/onnx/model_quantized.onnx;直连受限时设置 HF_ENDPOINT 走镜像;
|
|
8362
|
+
* 原子落盘(先写 .tmp 再改名)。运行时编排见 embedding.ts 的 ensureModelReady。
|
|
8618
8363
|
*/
|
|
8619
8364
|
/** 模型标识(models/ 下目录名 = 模型 id;transformers.js 加载时的模型名)。 */
|
|
8620
8365
|
const EMBEDDING_MODEL_ID = "paraphrase-multilingual-MiniLM-L12-v2";
|
|
8621
|
-
/**
|
|
8366
|
+
/** 量化 ONNX 文件的相对路径(相对模型目录)。 */
|
|
8622
8367
|
const ONNX_REL = "onnx/model_quantized.onnx";
|
|
8623
|
-
/** 随 npm 包分发的小模型文件(相对模型目录;onnx
|
|
8368
|
+
/** 随 npm 包分发的小模型文件(相对模型目录;onnx 二进制不随包分发)。 */
|
|
8624
8369
|
const MODEL_SMALL_FILES = [
|
|
8625
8370
|
"config.json",
|
|
8626
8371
|
"special_tokens_map.json",
|
|
@@ -8629,19 +8374,16 @@ const MODEL_SMALL_FILES = [
|
|
|
8629
8374
|
];
|
|
8630
8375
|
/**
|
|
8631
8376
|
* HuggingFace 原始文件 URL(resolve 会 302 到 CDN,fetch 自动跟随重定向)。
|
|
8632
|
-
* base
|
|
8377
|
+
* base 可用环境变量 HF_ENDPOINT 覆盖(直连受限时改用镜像,如 https://hf-mirror.com)。
|
|
8633
8378
|
*/
|
|
8634
8379
|
function modelSourceUrl(id = EMBEDDING_MODEL_ID, rel = ONNX_REL, base = process.env.HF_ENDPOINT || "https://huggingface.co") {
|
|
8635
8380
|
return `${base}/Xenova/${id}/resolve/main/${rel}`;
|
|
8636
8381
|
}
|
|
8637
|
-
/** 本地目标文件绝对路径(<modelDir>/<rel
|
|
8382
|
+
/** 本地目标文件绝对路径(<modelDir>/<rel>)。 */
|
|
8638
8383
|
function modelTargetPath(modelDir, rel = ONNX_REL) {
|
|
8639
8384
|
return path.join(modelDir, rel);
|
|
8640
8385
|
}
|
|
8641
|
-
/**
|
|
8642
|
-
* 是否需要下载(纯函数,供测试)。
|
|
8643
|
-
* force 强制下载;否则目标已存在即跳过。
|
|
8644
|
-
*/
|
|
8386
|
+
/** 是否需要下载:force 强制;否则目标已存在即跳过。 */
|
|
8645
8387
|
function needsDownload(target, { force = false } = {}) {
|
|
8646
8388
|
if (force) return true;
|
|
8647
8389
|
try {
|
|
@@ -8653,8 +8395,7 @@ function needsDownload(target, { force = false } = {}) {
|
|
|
8653
8395
|
}
|
|
8654
8396
|
/**
|
|
8655
8397
|
* 下载模型到 <modelDir>/onnx/model_quantized.onnx。
|
|
8656
|
-
* 开始/结束(含跳过)经 log
|
|
8657
|
-
* 并在错误消息中附带镜像建议(直连受限时设置 HF_ENDPOINT=https://hf-mirror.com)。
|
|
8398
|
+
* 开始/结束(含跳过)经 log 回调输出;失败时清理临时文件并在错误消息中附带镜像建议。
|
|
8658
8399
|
* 可注入 fetchImpl / log(供测试)。
|
|
8659
8400
|
*/
|
|
8660
8401
|
async function downloadModel(modelDir, { force = false, fetchImpl = fetch, log = console.log } = {}) {
|
|
@@ -8692,44 +8433,34 @@ async function downloadModel(modelDir, { force = false, fetchImpl = fetch, log =
|
|
|
8692
8433
|
//#endregion
|
|
8693
8434
|
//#region src/embedding.ts
|
|
8694
8435
|
/**
|
|
8695
|
-
* 本地语义嵌入(recall-semantic
|
|
8696
|
-
*
|
|
8697
|
-
*
|
|
8698
|
-
*
|
|
8699
|
-
*
|
|
8700
|
-
*
|
|
8701
|
-
*
|
|
8702
|
-
*
|
|
8703
|
-
*
|
|
8704
|
-
* 插件启动不阻塞;加载结果单例缓存(resetEmbedder 供测试重置)。
|
|
8705
|
-
* - 批处理:一次推理多条文本(mean pooling + L2 归一化),输出每条的向量。
|
|
8706
|
-
* - 相似度:cosineSimilarity 纯函数(归一化向量点积即余弦)。
|
|
8707
|
-
*
|
|
8708
|
-
* 依赖说明:@huggingface/transformers 为运行时依赖(v4,dtype q8 加载
|
|
8709
|
-
* model_quantized.onnx),node 侧使用 onnxruntime-node 原生绑定。
|
|
8436
|
+
* 本地语义嵌入(recall-semantic 的向量引擎):Xenova/paraphrase-multilingual-MiniLM-L12-v2
|
|
8437
|
+
* 量化 ONNX,懒加载 + 批量推理 + cosine 相似度,模型缺失时按需后台下载。
|
|
8438
|
+
* 导出 BUNDLED_MODEL_DIR / EMBEDDING_MODEL_ID / resolveDshHome / sharedModelDir /
|
|
8439
|
+
* ensureModelSmallFiles / getEmbedder / resetEmbedder / ensureModelReady /
|
|
8440
|
+
* resetModelDownloads / cosineSimilarity 及 EmbedFn / ModelStatus 类型。
|
|
8441
|
+
* 模型目录默认为跨版本共享目录($DSH_HOME/plugin-data/dsh-plugin-om/models/<id>):
|
|
8442
|
+
* 随包小文件缺失时从打包目录复制补齐(离线可用),onnx 二进制按需下载
|
|
8443
|
+
* (见 model-download.ts)。@huggingface/transformers 为运行时依赖(dtype q8 加载
|
|
8444
|
+
* model_quantized.onnx,node 侧使用 onnxruntime-node 原生绑定)。
|
|
8710
8445
|
*/
|
|
8711
8446
|
/** 当前模块所在路径(dist/ 或 src/,models 在其上一级)。 */
|
|
8712
8447
|
const here = path.dirname(fileURLToPath(import.meta.url));
|
|
8713
8448
|
/** 打包模型目录:<包根>/models/<model-id>/。 */
|
|
8714
8449
|
const BUNDLED_MODEL_DIR = path.join(here, "..", "models", EMBEDDING_MODEL_ID);
|
|
8715
|
-
/** DSH 用户数据根目录:$DSH_HOME 优先(空白视为未设置),缺省 ~/.dsh
|
|
8450
|
+
/** DSH 用户数据根目录:$DSH_HOME 优先(空白视为未设置),缺省 ~/.dsh。 */
|
|
8716
8451
|
function resolveDshHome() {
|
|
8717
8452
|
const fromEnv = process.env.DSH_HOME;
|
|
8718
8453
|
if (fromEnv !== void 0 && fromEnv.trim().length > 0) return path.resolve(fromEnv);
|
|
8719
8454
|
return path.join(homedir(), ".dsh");
|
|
8720
8455
|
}
|
|
8721
|
-
/**
|
|
8722
|
-
* 跨插件版本共享的默认模型目录:$DSH_HOME/plugin-data/dsh-plugin-om/models/<模型id>。
|
|
8723
|
-
* 不随插件包(版本)变化,升级/重装插件后仍复用同一份已下载模型(onnx 不重复下载)。
|
|
8724
|
-
*/
|
|
8456
|
+
/** 跨插件版本共享的默认模型目录:$DSH_HOME/plugin-data/dsh-plugin-om/models/<模型id>。 */
|
|
8725
8457
|
function sharedModelDir() {
|
|
8726
8458
|
return path.join(resolveDshHome(), "plugin-data", "dsh-plugin-om", "models", EMBEDDING_MODEL_ID);
|
|
8727
8459
|
}
|
|
8728
8460
|
/**
|
|
8729
|
-
* 补齐模型目录的随包小文件(config/tokenizer 等):modelDir
|
|
8730
|
-
*
|
|
8731
|
-
*
|
|
8732
|
-
* 幂等、无网络。onnx 二进制不在此列(按需下载,见 model-download.ts)。
|
|
8461
|
+
* 补齐模型目录的随包小文件(config/tokenizer 等):modelDir 与打包目录不同时,
|
|
8462
|
+
* 把打包目录中缺失的小文件复制过去(已存在不覆盖;打包目录缺失则跳过)。
|
|
8463
|
+
* 幂等、无网络;onnx 二进制不在此列。
|
|
8733
8464
|
*/
|
|
8734
8465
|
function ensureModelSmallFiles(modelDir, bundledDir = BUNDLED_MODEL_DIR) {
|
|
8735
8466
|
if (path.resolve(modelDir) === path.resolve(bundledDir)) return;
|
|
@@ -8746,7 +8477,7 @@ const BATCH_SIZE = 32;
|
|
|
8746
8477
|
/** 懒加载中的 pipeline 单例(null = 尚未加载/已重置)。 */
|
|
8747
8478
|
let pipelinePromise = null;
|
|
8748
8479
|
/**
|
|
8749
|
-
* 获取(或加载)嵌入函数。首次调用动态 import transformers
|
|
8480
|
+
* 获取(或加载)嵌入函数。首次调用动态 import transformers 并加载本地模型,
|
|
8750
8481
|
* 之后复用同一 pipeline。失败时抛出可读错误(调用方自行降级)。
|
|
8751
8482
|
*/
|
|
8752
8483
|
function getEmbedder(modelDir = BUNDLED_MODEL_DIR) {
|
|
@@ -8766,7 +8497,6 @@ function getEmbedder(modelDir = BUNDLED_MODEL_DIR) {
|
|
|
8766
8497
|
pooling: "mean",
|
|
8767
8498
|
normalize: true
|
|
8768
8499
|
});
|
|
8769
|
-
/** 结果张量:dims = [batch, hidden],data 为扁平数组。 */
|
|
8770
8500
|
const dims = result.dims;
|
|
8771
8501
|
const hidden = dims.length > 1 ? dims[1] : 0;
|
|
8772
8502
|
const data = result.data;
|
|
@@ -8784,12 +8514,8 @@ function getEmbedder(modelDir = BUNDLED_MODEL_DIR) {
|
|
|
8784
8514
|
const inflightDownloads = /* @__PURE__ */ new Map();
|
|
8785
8515
|
/**
|
|
8786
8516
|
* 确保模型就绪(运行时按需下载编排)。
|
|
8787
|
-
*
|
|
8788
|
-
*
|
|
8789
|
-
* warn 记录日志并结束本次尝试,下次调用会重新触发下载(自动重试)。
|
|
8790
|
-
* - warn 可选:下载失败时的日志回调(默认静默;apply 注入 ctx.logger.warn)。
|
|
8791
|
-
* - log 可选:下载开始/结束日志回调(默认静默;apply 注入 console.log + ctx.logger.info 双通道)。
|
|
8792
|
-
* - fetchImpl 可注入(测试传替身,默认全局 fetch)。
|
|
8517
|
+
* 本地 onnx 已存在 → 'ready';缺失 → 启动后台下载(不阻塞、单飞,失败经 warn 记录,
|
|
8518
|
+
* 下次调用自动重试)并返回 'downloading'。warn/log/fetchImpl 可注入(测试传替身)。
|
|
8793
8519
|
*/
|
|
8794
8520
|
function ensureModelReady(modelDir = BUNDLED_MODEL_DIR, warn = () => {}, fetchImpl, log = () => {}) {
|
|
8795
8521
|
ensureModelSmallFiles(modelDir);
|
|
@@ -8807,18 +8533,12 @@ function ensureModelReady(modelDir = BUNDLED_MODEL_DIR, warn = () => {}, fetchIm
|
|
|
8807
8533
|
}
|
|
8808
8534
|
return Promise.resolve("downloading");
|
|
8809
8535
|
}
|
|
8810
|
-
/**
|
|
8811
|
-
* 两个向量的余弦相似度(向量已 L2 归一化时点积即余弦;这里兜底再归一化)。
|
|
8812
|
-
* 任一向量为零向量返回 0。
|
|
8813
|
-
*/
|
|
8536
|
+
/** 两个向量的余弦相似度(向量已 L2 归一化时点积即余弦;这里兜底再归一化)。零向量返回 0。 */
|
|
8814
8537
|
function cosineSimilarity(a, b) {
|
|
8815
8538
|
const len = Math.min(a.length, b.length);
|
|
8816
8539
|
if (len === 0) return 0;
|
|
8817
|
-
/** 点积累加。 */
|
|
8818
8540
|
let dot = 0;
|
|
8819
|
-
/** a 的模平方。 */
|
|
8820
8541
|
let normA = 0;
|
|
8821
|
-
/** b 的模平方。 */
|
|
8822
8542
|
let normB = 0;
|
|
8823
8543
|
for (let i = 0; i < len; i += 1) {
|
|
8824
8544
|
const x = a[i];
|
|
@@ -8833,39 +8553,34 @@ function cosineSimilarity(a, b) {
|
|
|
8833
8553
|
//#endregion
|
|
8834
8554
|
//#region src/config.ts
|
|
8835
8555
|
/**
|
|
8836
|
-
*
|
|
8837
|
-
*
|
|
8556
|
+
* 插件配置:默认值与合并。
|
|
8557
|
+
* 导出 PluginConfig / DEFAULT_CONFIG / resolveConfig;宽松校验——未知键忽略、
|
|
8558
|
+
* 非法值回退默认值,配置错误不影响插件加载。
|
|
8838
8559
|
*/
|
|
8839
8560
|
/** 默认配置(冻结对象,resolveConfig 合并的基底;debug 缺省值在解析时按 NODE_ENV 判定)。 */
|
|
8840
8561
|
const DEFAULT_CONFIG = Object.freeze({
|
|
8841
|
-
observeThresholdTokens:
|
|
8842
|
-
reflectThresholdTokens:
|
|
8843
|
-
compressMaxTokens:
|
|
8844
|
-
observeChunkTokens: 3e4,
|
|
8845
|
-
observeChunkMaxTokens: 5e3,
|
|
8846
|
-
observeChunkParallelism: 2,
|
|
8562
|
+
observeThresholdTokens: 35e3,
|
|
8563
|
+
reflectThresholdTokens: 4e4,
|
|
8564
|
+
compressMaxTokens: 5e3,
|
|
8847
8565
|
rateLimitWaitMs: 6e4,
|
|
8848
|
-
tailMessageCount:
|
|
8849
|
-
compressRetryCount:
|
|
8566
|
+
tailMessageCount: 5,
|
|
8567
|
+
compressRetryCount: 5,
|
|
8850
8568
|
omEnabled: true,
|
|
8851
8569
|
debug: false,
|
|
8852
8570
|
recallEnabled: true,
|
|
8853
8571
|
semanticRecallEnabled: true,
|
|
8854
8572
|
modelDir: sharedModelDir()
|
|
8855
8573
|
});
|
|
8856
|
-
/** 数值键校验参数表:键名 + [
|
|
8574
|
+
/** 数值键校验参数表:键名 + [是否必须为整数]。 */
|
|
8857
8575
|
const NUMBER_KEYS = [
|
|
8858
8576
|
["observeThresholdTokens", true],
|
|
8859
8577
|
["reflectThresholdTokens", true],
|
|
8860
8578
|
["compressMaxTokens", true],
|
|
8861
|
-
["observeChunkTokens", true],
|
|
8862
|
-
["observeChunkMaxTokens", true],
|
|
8863
|
-
["observeChunkParallelism", true],
|
|
8864
8579
|
["rateLimitWaitMs", true],
|
|
8865
8580
|
["tailMessageCount", true],
|
|
8866
8581
|
["compressRetryCount", true]
|
|
8867
8582
|
];
|
|
8868
|
-
/** 归一化原始配置输入:缺省 / null /
|
|
8583
|
+
/** 归一化原始配置输入:缺省 / null / 空串 / 非对象视为空对象。 */
|
|
8869
8584
|
function normalizeConfigInput(raw) {
|
|
8870
8585
|
if (raw === void 0 || raw === null) return {};
|
|
8871
8586
|
if (typeof raw === "string" && raw.trim() === "") return {};
|
|
@@ -8879,17 +8594,11 @@ function resolveBoolean(raw, defaultValue) {
|
|
|
8879
8594
|
if (typeof raw === "boolean") return raw;
|
|
8880
8595
|
return defaultValue;
|
|
8881
8596
|
}
|
|
8882
|
-
/**
|
|
8883
|
-
* 解析合并配置:未知键忽略、不合法值回退默认值,返回冻结的完整配置。
|
|
8884
|
-
* 允许所有配置留空——缺省 / null / 空串的键回退默认值,未给出的键亦取默认值。
|
|
8885
|
-
*/
|
|
8597
|
+
/** 解析合并配置:未知键忽略、不合法值回退默认值,返回冻结的完整配置。 */
|
|
8886
8598
|
function resolveConfig(raw) {
|
|
8887
|
-
/** 原始输入(留空 / 不合法视为空对象)。 */
|
|
8888
8599
|
const input = normalizeConfigInput(raw);
|
|
8889
|
-
/** 合并结果(以默认值为基底)。 */
|
|
8890
8600
|
const config = { ...DEFAULT_CONFIG };
|
|
8891
8601
|
for (const [key, integer] of NUMBER_KEYS) {
|
|
8892
|
-
/** 该键的原始值(留空 / 不合法则跳过,保持默认值)。 */
|
|
8893
8602
|
const value = input[key];
|
|
8894
8603
|
if (value === void 0 || value === null) continue;
|
|
8895
8604
|
if (typeof value === "string" && value.trim() === "") continue;
|
|
@@ -8897,15 +8606,10 @@ function resolveConfig(raw) {
|
|
|
8897
8606
|
if (integer && !Number.isInteger(value)) continue;
|
|
8898
8607
|
config[key] = value;
|
|
8899
8608
|
}
|
|
8900
|
-
/** OM 自动压缩开关(缺省启用;false 关闭自动压缩,recall 工具不受影响)。 */
|
|
8901
8609
|
config.omEnabled = resolveBoolean(input.omEnabled, true);
|
|
8902
|
-
/** 步骤级日志开关(缺省按 NODE_ENV !== 'production' 判定)。 */
|
|
8903
8610
|
config.debug = resolveBoolean(input.debug, process.env.NODE_ENV !== "production");
|
|
8904
|
-
/** recall 工具开关(缺省启用)。 */
|
|
8905
8611
|
config.recallEnabled = resolveBoolean(input.recallEnabled, true);
|
|
8906
|
-
/** recall-semantic 工具开关(缺省启用)。 */
|
|
8907
8612
|
config.semanticRecallEnabled = resolveBoolean(input.semanticRecallEnabled, true);
|
|
8908
|
-
/** modelDir 原始值(留空 / 非空串以外回退默认;非空串必须为字符串)。 */
|
|
8909
8613
|
const modelDir = input.modelDir;
|
|
8910
8614
|
if (typeof modelDir === "string" && modelDir.trim() !== "") config.modelDir = modelDir;
|
|
8911
8615
|
return Object.freeze(config);
|
|
@@ -8913,48 +8617,115 @@ function resolveConfig(raw) {
|
|
|
8913
8617
|
//#endregion
|
|
8914
8618
|
//#region src/json-schema.ts
|
|
8915
8619
|
/**
|
|
8916
|
-
* zod schema → 工具 wire 参数 JSON Schema
|
|
8917
|
-
*
|
|
8918
|
-
*
|
|
8919
|
-
* 为根级带 type:'object' 的标准 JSON Schema;工具的参数定义统一由 zod 的 toJSONSchema
|
|
8920
|
-
* 生成,避免手写属性 map 与执行期解析 schema 双份定义漂移。剥除 $schema 元键与
|
|
8921
|
-
* additionalProperties:未知键不在 wire 层拒绝,执行期仍由 zod 解析剥离。
|
|
8620
|
+
* zod schema → 工具 wire 参数 JSON Schema 的转换工具。导出 parametersFromZod。
|
|
8621
|
+
* 工具参数定义统一由 zod 的 toJSONSchema 生成(.describe() 描述透传),剥除
|
|
8622
|
+
* $schema 元键与 additionalProperties(未知键在执行期由 zod 解析剥离)。
|
|
8922
8623
|
*/
|
|
8923
|
-
/** 由 zod schema 生成 wire 参数 JSON Schema(根 type:'object',含 properties/required
|
|
8624
|
+
/** 由 zod schema 生成 wire 参数 JSON Schema(根 type:'object',含 properties/required)。 */
|
|
8924
8625
|
function parametersFromZod(schema) {
|
|
8925
8626
|
const { $schema: _schema, additionalProperties: _additional, ...rest } = toJSONSchema(schema);
|
|
8926
8627
|
return rest;
|
|
8927
8628
|
}
|
|
8928
8629
|
//#endregion
|
|
8630
|
+
//#region src/recall-output.ts
|
|
8631
|
+
/** 纯文本结果(无图片)的便捷构造。 */
|
|
8632
|
+
function textOnly(text) {
|
|
8633
|
+
return {
|
|
8634
|
+
text,
|
|
8635
|
+
images: []
|
|
8636
|
+
};
|
|
8637
|
+
}
|
|
8638
|
+
/** 一张图片的文本标注行:[图片附件:name(mediaType W×H,N bytes)]。 */
|
|
8639
|
+
function imageNote(ref) {
|
|
8640
|
+
return `[图片附件${ref.name ? `:${ref.name}` : ""}(${ref.mediaType} ${ref.width}×${ref.height},${ref.bytes} bytes)]`;
|
|
8641
|
+
}
|
|
8642
|
+
/** 输出值 wire schema:宿主按此校验 execute 返回值。 */
|
|
8643
|
+
const RECALL_OUTPUT_SCHEMA = {
|
|
8644
|
+
type: "object",
|
|
8645
|
+
additionalProperties: false,
|
|
8646
|
+
properties: {
|
|
8647
|
+
text: {
|
|
8648
|
+
type: "string",
|
|
8649
|
+
description: "完整消息内容的文本部分(带图位置以 [图片附件:…] 标注行提示)。"
|
|
8650
|
+
},
|
|
8651
|
+
images: {
|
|
8652
|
+
type: "array",
|
|
8653
|
+
description: "文本中引用的图片附件元数据(按出现顺序;渲染为随文本之后的 image 内容块,宿主按 attachmentId 解析字节)。",
|
|
8654
|
+
items: {
|
|
8655
|
+
type: "object",
|
|
8656
|
+
additionalProperties: false,
|
|
8657
|
+
properties: {
|
|
8658
|
+
attachmentId: {
|
|
8659
|
+
type: "string",
|
|
8660
|
+
description: "附件服务的持久图片 id。"
|
|
8661
|
+
},
|
|
8662
|
+
mediaType: {
|
|
8663
|
+
type: "string",
|
|
8664
|
+
description: "图片媒体类型(如 image/png)。"
|
|
8665
|
+
},
|
|
8666
|
+
bytes: {
|
|
8667
|
+
type: "integer",
|
|
8668
|
+
description: "字节数。"
|
|
8669
|
+
},
|
|
8670
|
+
width: {
|
|
8671
|
+
type: "integer",
|
|
8672
|
+
description: "固有显示宽度(px)。"
|
|
8673
|
+
},
|
|
8674
|
+
height: {
|
|
8675
|
+
type: "integer",
|
|
8676
|
+
description: "固有显示高度(px)。"
|
|
8677
|
+
},
|
|
8678
|
+
name: {
|
|
8679
|
+
type: "string",
|
|
8680
|
+
description: "原始文件名(可选)。"
|
|
8681
|
+
}
|
|
8682
|
+
},
|
|
8683
|
+
required: [
|
|
8684
|
+
"attachmentId",
|
|
8685
|
+
"mediaType",
|
|
8686
|
+
"bytes",
|
|
8687
|
+
"width",
|
|
8688
|
+
"height"
|
|
8689
|
+
]
|
|
8690
|
+
}
|
|
8691
|
+
}
|
|
8692
|
+
},
|
|
8693
|
+
required: ["text", "images"]
|
|
8694
|
+
};
|
|
8695
|
+
/** 把输出值投影为模型内容:text 块在前,images 逐个投影为 image 块。 */
|
|
8696
|
+
function renderRecallOutput(value) {
|
|
8697
|
+
const blocks = [{
|
|
8698
|
+
type: "text",
|
|
8699
|
+
text: value.text
|
|
8700
|
+
}];
|
|
8701
|
+
for (const ref of value.images) {
|
|
8702
|
+
const block = {
|
|
8703
|
+
type: "image",
|
|
8704
|
+
attachment: ref
|
|
8705
|
+
};
|
|
8706
|
+
blocks.push(block);
|
|
8707
|
+
}
|
|
8708
|
+
return blocks;
|
|
8709
|
+
}
|
|
8710
|
+
//#endregion
|
|
8929
8711
|
//#region src/recall.ts
|
|
8930
8712
|
/**
|
|
8931
|
-
* recall
|
|
8932
|
-
*
|
|
8933
|
-
*
|
|
8934
|
-
*
|
|
8935
|
-
* recall 自身不设输出上限:超大的工具结果由 tool-result-pruner 裁剪(pruneContent),
|
|
8936
|
-
* 输出 token 由 pruner 配置控制。
|
|
8937
|
-
*
|
|
8938
|
-
* 参数由 zod schema(recallArgsSchema)统一描述:wire 参数 JSON Schema(根 type:'object',
|
|
8939
|
-
* 各字段描述来自 .describe())直接发给模型,execute 入口再做运行时校验(start 必填;
|
|
8940
|
-
* end/offset 至少提供一个;非法参数抛出可读错误)。
|
|
8713
|
+
* recall 工具:按完整消息 index 区间回看原始会话(含被压缩内容)。
|
|
8714
|
+
* 导出 recallArgsSchema / RecallArgs / parseRecallArgs / buildRecallTool。
|
|
8715
|
+
* 输出值为 { text, images }(契约见 recall-output.ts);recall 自身不设输出上限,
|
|
8716
|
+
* 超大工具结果由 tool-result-pruner 裁剪。
|
|
8941
8717
|
*/
|
|
8942
8718
|
/**
|
|
8943
|
-
* recall 工具参数 schema:start
|
|
8944
|
-
*
|
|
8945
|
-
* 各字段描述经 .describe() 透传到 wire JSON Schema(生成见 json-schema.ts)。
|
|
8719
|
+
* recall 工具参数 schema:start 必填;end 与 offset 至少提供一个(同时给出时 end 优先)。
|
|
8720
|
+
* 各字段描述经 .describe() 透传到 wire JSON Schema。
|
|
8946
8721
|
*/
|
|
8947
8722
|
const recallArgsSchema = z.object({
|
|
8948
8723
|
start: z.number().describe("完整消息序号(index),作为基准边界,和 end 或 offset 配合,指定区间;end 与 offset 至少提供一个(同时给出时 end 优先)。"),
|
|
8949
8724
|
end: z.number().optional().describe("与 offset 互斥,指定区间的另一个边界。"),
|
|
8950
8725
|
offset: z.number().optional().describe("与 end 互斥。相对 start 的步数:正数向后、负数向前。")
|
|
8951
8726
|
}).refine((args) => args.end !== void 0 || args.offset !== void 0, { message: "end 与 offset 至少提供一个" });
|
|
8952
|
-
/**
|
|
8953
|
-
* 解析并校验 recall 调用参数:校验失败时抛出首个校验问题的可读消息
|
|
8954
|
-
* (普通 Error 而非 ZodError,兼容 SDK 展示)。
|
|
8955
|
-
*/
|
|
8727
|
+
/** 解析并校验 recall 调用参数:失败时抛出首个校验问题的可读消息(普通 Error,兼容 SDK 展示)。 */
|
|
8956
8728
|
function parseRecallArgs(raw) {
|
|
8957
|
-
/** safeParse 结果(成功时 data 为 RecallArgs,失败时 error 携带问题列表)。 */
|
|
8958
8729
|
const result = recallArgsSchema.safeParse(raw);
|
|
8959
8730
|
if (!result.success) throw new Error(result.error.issues.map((issue) => `${issue.path.join(".") || "args"}: ${issue.message}`).join("; "));
|
|
8960
8731
|
return result.data;
|
|
@@ -8966,83 +8737,70 @@ function parseRecallArgs(raw) {
|
|
|
8966
8737
|
function buildRecallTool(getPruner) {
|
|
8967
8738
|
return {
|
|
8968
8739
|
name: "recall",
|
|
8969
|
-
description: `${COMPLETE_MESSAGE_DEFINITION}此工具可以精确查询完整消息。用index
|
|
8740
|
+
description: `${COMPLETE_MESSAGE_DEFINITION}此工具可以精确查询完整消息。用index指定一个区间,返回区间内所有完整消息的内容;完整消息携带的图片附件随结果保留(文本段以 [图片附件:…] 标注,随后附 image 内容块)。`,
|
|
8970
8741
|
parameters: parametersFromZod(recallArgsSchema),
|
|
8971
8742
|
output: {
|
|
8972
|
-
schema:
|
|
8973
|
-
render: (_args, value) =>
|
|
8974
|
-
type: "text",
|
|
8975
|
-
text: String(value)
|
|
8976
|
-
}]
|
|
8743
|
+
schema: RECALL_OUTPUT_SCHEMA,
|
|
8744
|
+
render: (_args, value) => renderRecallOutput(value)
|
|
8977
8745
|
},
|
|
8978
8746
|
async execute(args, exec) {
|
|
8979
|
-
/** 解析并校验后的调用参数(不满足 schema 时抛出可读错误)。 */
|
|
8980
8747
|
const { start, end, offset } = parseRecallArgs(args);
|
|
8981
|
-
/** 当前会话(缺失则无法回看)。 */
|
|
8982
8748
|
const session = exec.agent?.session;
|
|
8983
|
-
if (!session) return "会话异常";
|
|
8984
|
-
if (!isMainSession(session)) return "recall 仅主会话可用";
|
|
8985
|
-
/** 完整消息索引(index = 数组下标,0 起)。 */
|
|
8749
|
+
if (!session) return textOnly("会话异常");
|
|
8750
|
+
if (!isMainSession(session)) return textOnly("recall 仅主会话可用");
|
|
8986
8751
|
const cms = indexCompleteMessages(session);
|
|
8987
|
-
/** 起始下标(非整数 floor;越界返回提示)。 */
|
|
8988
8752
|
const startIndex = Number.isFinite(start) ? Math.floor(start) : 0;
|
|
8989
|
-
if (startIndex < 0 || startIndex >= cms.length) return `start ${start} 越界(完整消息共 ${cms.length} 条,index 范围 0..${cms.length - 1}
|
|
8990
|
-
/** 终点下标(end 优先,否则 startIndex + offset)。 */
|
|
8753
|
+
if (startIndex < 0 || startIndex >= cms.length) return textOnly(`start ${start} 越界(完整消息共 ${cms.length} 条,index 范围 0..${cms.length - 1})`);
|
|
8991
8754
|
let endIndex;
|
|
8992
8755
|
if (end !== void 0) {
|
|
8993
|
-
/** end 取整(非整数 floor)。 */
|
|
8994
8756
|
const e = Number.isFinite(end) ? Math.floor(end) : 0;
|
|
8995
|
-
if (e < 0 || e >= cms.length) return `end ${end} 越界(完整消息共 ${cms.length} 条,index 范围 0..${cms.length - 1}
|
|
8757
|
+
if (e < 0 || e >= cms.length) return textOnly(`end ${end} 越界(完整消息共 ${cms.length} 条,index 范围 0..${cms.length - 1})`);
|
|
8996
8758
|
endIndex = e;
|
|
8997
8759
|
} else {
|
|
8998
|
-
/** offset 数值(refine 保证此分支 offset 已提供,schema 保证为 number)。 */
|
|
8999
8760
|
const raw = offset ?? 0;
|
|
9000
8761
|
endIndex = startIndex + (Number.isFinite(raw) ? Math.floor(raw) : 0);
|
|
9001
8762
|
}
|
|
9002
|
-
/** 区间下界(钳制到 [0, len-1])。 */
|
|
9003
8763
|
const lo = Math.max(0, Math.min(startIndex, endIndex));
|
|
9004
|
-
/** 区间上界(钳制到 [0, len-1])。 */
|
|
9005
8764
|
const hi = Math.min(cms.length - 1, Math.max(startIndex, endIndex));
|
|
9006
|
-
/** tool-result-pruner(可选,裁剪超大工具结果)。 */
|
|
9007
8765
|
const pruner = getPruner?.();
|
|
9008
|
-
/** 渲染结果缓冲(每条完整消息一段,标 index + 类型)。 */
|
|
9009
8766
|
const parts = [];
|
|
8767
|
+
const images = [];
|
|
9010
8768
|
for (let i = lo; i <= hi; i += 1) {
|
|
9011
|
-
/** 当前完整消息。 */
|
|
9012
8769
|
const cm = cms[i];
|
|
9013
8770
|
if (!cm) continue;
|
|
9014
|
-
/** 该条完整消息的呈现文本(pruner 裁剪超大结果;单条失败不影响整体)。 */
|
|
9015
8771
|
let text = "";
|
|
8772
|
+
let cmImages = [];
|
|
9016
8773
|
try {
|
|
9017
|
-
|
|
8774
|
+
const rendered = renderCompleteMessageParts(session, cm, pruner);
|
|
8775
|
+
text = rendered.text;
|
|
8776
|
+
cmImages = rendered.images;
|
|
9018
8777
|
} catch {}
|
|
9019
|
-
/** 类型标注(toolcall 附调用 id,便于模型关联)。 */
|
|
9020
8778
|
const callAttr = cm.type === "toolcall" && cm.callId ? ` callId=${cm.callId}` : "";
|
|
9021
|
-
|
|
8779
|
+
let body = text;
|
|
8780
|
+
if (cmImages.length > 0) {
|
|
8781
|
+
body += (body === "" ? "" : "\n") + cmImages.map(imageNote).join("\n");
|
|
8782
|
+
images.push(...cmImages);
|
|
8783
|
+
}
|
|
8784
|
+
parts.push(`-- [index ${cm.index}] ${cm.type}${callAttr} --\n${body}`);
|
|
9022
8785
|
}
|
|
9023
|
-
if (parts.length === 0) return "指定区间没有完整消息";
|
|
9024
|
-
return
|
|
8786
|
+
if (parts.length === 0) return textOnly("指定区间没有完整消息");
|
|
8787
|
+
return {
|
|
8788
|
+
text: parts.join("\n\n"),
|
|
8789
|
+
images
|
|
8790
|
+
};
|
|
9025
8791
|
}
|
|
9026
8792
|
};
|
|
9027
8793
|
}
|
|
9028
8794
|
//#endregion
|
|
9029
8795
|
//#region src/semantic-recall.ts
|
|
9030
8796
|
/**
|
|
9031
|
-
* recall-semantic 工具:按自然语言 query
|
|
9032
|
-
*
|
|
9033
|
-
*
|
|
9034
|
-
*
|
|
9035
|
-
*
|
|
9036
|
-
*
|
|
9037
|
-
*
|
|
9038
|
-
* wire 参数 JSON Schema 由本 schema 经 toJSONSchema 生成(各字段描述来自 .describe(),
|
|
9039
|
-
* 见 json-schema.ts)。
|
|
9040
|
-
* - 区间缺省(start 未提供)→ 检索全部消息;区间不合法(start/end 越界等)→
|
|
9041
|
-
* 不报错,回退全量检索并在输出中明确告知(模型可见)。
|
|
9042
|
-
* - 向量:本地 ONNX embedding(embedding.ts,懒加载 + 批量);相似度 = cosine。
|
|
9043
|
-
* - 输出:命中消息的 index/类型(toolcall 附调用 id)+ 完整渲染文本 + 匹配说明(相似度、
|
|
9044
|
-
* 命中的关键词);超大结果由 tool-result-pruner 裁剪(同 recall)。
|
|
9045
|
-
* - 仅主会话可用(subagent 拒绝,与 recall 一致)。
|
|
8797
|
+
* recall-semantic 工具:按自然语言 query 对会话全部完整消息(含被压缩/遮蔽的)做
|
|
8798
|
+
* 语义检索,返回最匹配的完整消息与匹配说明。
|
|
8799
|
+
* 导出 semanticRecallArgsSchema / SemanticRecallArgs / parseSemanticRecallArgs /
|
|
8800
|
+
* resolveSemanticRange / tokenize / matchExplanation / buildSemanticRecallTool。
|
|
8801
|
+
* 向量为本地 ONNX 嵌入(cosine 相似度);只匹配文本,纯图片消息不进候选池;
|
|
8802
|
+
* 区间缺省检索全部、区间不合法回退全量并在输出中告知;输出契约同 recall
|
|
8803
|
+
* ({ text, images },超大结果由 tool-result-pruner 裁剪);仅主会话可用。
|
|
9046
8804
|
*/
|
|
9047
8805
|
/** recall-semantic 工具参数 schema:query 必填;top_k 默认 3(1-10);区间参数均可选。 */
|
|
9048
8806
|
const semanticRecallArgsSchema = z.object({
|
|
@@ -9054,16 +8812,14 @@ const semanticRecallArgsSchema = z.object({
|
|
|
9054
8812
|
}).refine((args) => args.query.trim().length > 0, { message: "query 不能为空" });
|
|
9055
8813
|
/** 解析并校验参数:失败时抛出可读错误(普通 Error 而非 ZodError)。 */
|
|
9056
8814
|
function parseSemanticRecallArgs(raw) {
|
|
9057
|
-
/** safeParse 结果。 */
|
|
9058
8815
|
const result = semanticRecallArgsSchema.safeParse(raw);
|
|
9059
8816
|
if (!result.success) throw new Error(result.error.issues.map((issue) => `${issue.path.join(".") || "args"}:${issue.message}`).join("; "));
|
|
9060
8817
|
return result.data;
|
|
9061
8818
|
}
|
|
9062
8819
|
/**
|
|
9063
8820
|
* 解析检索区间(完整消息 index,含端点)。
|
|
9064
|
-
*
|
|
9065
|
-
*
|
|
9066
|
-
* start/end 越界或区间为空 → fallback=true(全量 + 提示)。
|
|
8821
|
+
* start 未提供 → 全量(fallback=false);start/end 越界或区间为空 → fallback=true
|
|
8822
|
+
* (回退全量并在输出中告知)。
|
|
9067
8823
|
*/
|
|
9068
8824
|
function resolveSemanticRange(total, args) {
|
|
9069
8825
|
if (total <= 0) return {
|
|
@@ -9076,17 +8832,14 @@ function resolveSemanticRange(total, args) {
|
|
|
9076
8832
|
hi: total - 1,
|
|
9077
8833
|
fallback: false
|
|
9078
8834
|
};
|
|
9079
|
-
/** start 取整(非有限数按 -1 处理,走越界回退)。 */
|
|
9080
8835
|
const start = Number.isFinite(args.start) ? Math.floor(args.start) : -1;
|
|
9081
8836
|
if (start < 0 || start >= total) return {
|
|
9082
8837
|
lo: 0,
|
|
9083
8838
|
hi: total - 1,
|
|
9084
8839
|
fallback: true
|
|
9085
8840
|
};
|
|
9086
|
-
/** 终点 index(end 优先;否则 start + offset 取整)。 */
|
|
9087
8841
|
let end;
|
|
9088
8842
|
if (args.end !== void 0) {
|
|
9089
|
-
/** end 取整(非有限数按 -1 处理,走越界回退)。 */
|
|
9090
8843
|
const found = Number.isFinite(args.end) ? Math.floor(args.end) : -1;
|
|
9091
8844
|
if (found < 0 || found >= total) return {
|
|
9092
8845
|
lo: 0,
|
|
@@ -9096,9 +8849,7 @@ function resolveSemanticRange(total, args) {
|
|
|
9096
8849
|
end = found;
|
|
9097
8850
|
} else if (args.offset !== void 0) end = start + (Number.isFinite(args.offset) ? Math.floor(args.offset) : 0);
|
|
9098
8851
|
else end = start;
|
|
9099
|
-
/** 区间下界(钳制)。 */
|
|
9100
8852
|
const lo = Math.max(0, Math.min(start, end));
|
|
9101
|
-
/** 区间上界(钳制)。 */
|
|
9102
8853
|
const hi = Math.min(total - 1, Math.max(start, end));
|
|
9103
8854
|
if (lo > hi) return {
|
|
9104
8855
|
lo: 0,
|
|
@@ -9113,70 +8864,53 @@ function resolveSemanticRange(total, args) {
|
|
|
9113
8864
|
}
|
|
9114
8865
|
/** 简易分词:按非字母数字切分为小写词元(匹配要点用,非检索核心)。 */
|
|
9115
8866
|
function tokenize(text) {
|
|
9116
|
-
/** 词元集合。 */
|
|
9117
8867
|
const tokens = /* @__PURE__ */ new Set();
|
|
9118
8868
|
for (const part of text.toLowerCase().split(/[^\p{L}\p{N}]+/u)) if (part.length > 0) tokens.add(part);
|
|
9119
8869
|
return tokens;
|
|
9120
8870
|
}
|
|
9121
8871
|
/** 命中消息的匹配说明行:相似度 + 与 query 共有的关键词(最多 8 个)。 */
|
|
9122
8872
|
function matchExplanation(query, text, score) {
|
|
9123
|
-
/** query 词元。 */
|
|
9124
8873
|
const qTokens = tokenize(query);
|
|
9125
|
-
/** 命中消息文本词元。 */
|
|
9126
8874
|
const mTokens = tokenize(text);
|
|
9127
|
-
/** 共有词元(交集,按 query 词序)。 */
|
|
9128
8875
|
const shared = [];
|
|
9129
8876
|
for (const token of qTokens) {
|
|
9130
8877
|
if (mTokens.has(token)) shared.push(token);
|
|
9131
8878
|
if (shared.length >= 8) break;
|
|
9132
8879
|
}
|
|
9133
|
-
/** 关键词部分(无共有词则省略)。 */
|
|
9134
8880
|
const keywords = shared.length > 0 ? `,命中关键词: ${shared.join(" ")}` : "";
|
|
9135
8881
|
return `相似度 ${score.toFixed(3)}${keywords}`;
|
|
9136
8882
|
}
|
|
9137
|
-
/**
|
|
8883
|
+
/** 模型未就绪时返回给模型的文案(下载完成后直接再次调用即可)。 */
|
|
9138
8884
|
const SEMANTIC_MODEL_NOT_READY_MESSAGE = "语义检索暂不可用,本地向量模型尚未就绪。";
|
|
9139
8885
|
/** 构建 recall-semantic 工具定义(embedder/modelStatus 可注入,测试传替身;缺省用本地模型)。 */
|
|
9140
8886
|
function buildSemanticRecallTool(options) {
|
|
9141
|
-
/** pruner 获取器(可选,裁剪超大工具结果)。 */
|
|
9142
8887
|
const getPruner = options?.getPruner ?? (() => void 0);
|
|
9143
|
-
/** 嵌入函数(注入替身或懒加载本地模型)。 */
|
|
9144
8888
|
const embed = options?.embedder ?? ((texts) => getEmbedder().then((fn) => fn(texts)));
|
|
9145
8889
|
return {
|
|
9146
8890
|
name: "recall-semantic",
|
|
9147
|
-
description: `${COMPLETE_MESSAGE_DEFINITION}
|
|
8891
|
+
description: `${COMPLETE_MESSAGE_DEFINITION}此工具可以按自然语言含义,检索最符合的完整消息。默认在全消息范围搜索,可以指定区间。注意:语义检索只匹配文本,图片内容不参与匹配(纯图片消息无法命中,也不能按图片内容检索);命中的完整消息携带的图片附件随结果保留(文本段以 [图片附件:…] 标注,随后附 image 内容块),与 recall 相同。`,
|
|
9148
8892
|
parameters: parametersFromZod(semanticRecallArgsSchema),
|
|
9149
8893
|
output: {
|
|
9150
|
-
schema:
|
|
9151
|
-
render: (_args, value) =>
|
|
9152
|
-
type: "text",
|
|
9153
|
-
text: String(value)
|
|
9154
|
-
}]
|
|
8894
|
+
schema: RECALL_OUTPUT_SCHEMA,
|
|
8895
|
+
render: (_args, value) => renderRecallOutput(value)
|
|
9155
8896
|
},
|
|
9156
8897
|
async execute(args, exec) {
|
|
9157
|
-
/** 解析并校验后的调用参数。 */
|
|
9158
8898
|
const { query, top_k, start, end, offset } = parseSemanticRecallArgs(args);
|
|
9159
|
-
/** 当前会话。 */
|
|
9160
8899
|
const session = exec.agent?.session;
|
|
9161
|
-
if (!session) return "会话异常";
|
|
9162
|
-
if (!isMainSession(session)) return "recall-semantic 仅主会话可用";
|
|
9163
|
-
if ((await options?.modelStatus?.() ?? "ready") !== "ready") return SEMANTIC_MODEL_NOT_READY_MESSAGE;
|
|
9164
|
-
/** 完整消息索引(全部事件,含被压缩/遮蔽)。 */
|
|
8900
|
+
if (!session) return textOnly("会话异常");
|
|
8901
|
+
if (!isMainSession(session)) return textOnly("recall-semantic 仅主会话可用");
|
|
8902
|
+
if ((await options?.modelStatus?.() ?? "ready") !== "ready") return textOnly(SEMANTIC_MODEL_NOT_READY_MESSAGE);
|
|
9165
8903
|
const cms = indexCompleteMessages(session);
|
|
9166
|
-
if (cms.length === 0) return "会话中没有可检索的消息";
|
|
9167
|
-
/** 检索区间(完整消息 index;区间不合法时回退全量并标记)。 */
|
|
8904
|
+
if (cms.length === 0) return textOnly("会话中没有可检索的消息");
|
|
9168
8905
|
const range = resolveSemanticRange(cms.length, {
|
|
9169
8906
|
start,
|
|
9170
8907
|
end,
|
|
9171
8908
|
offset
|
|
9172
8909
|
});
|
|
9173
|
-
/** 候选完整消息渲染文本(区间内;跳过渲染失败/空文本)。 */
|
|
9174
8910
|
const candidates = [];
|
|
9175
8911
|
for (let i = range.lo; i <= range.hi; i += 1) {
|
|
9176
|
-
/** 当前完整消息。 */
|
|
9177
8912
|
const cm = cms[i];
|
|
9178
8913
|
if (!cm) continue;
|
|
9179
|
-
/** 渲染文本(嵌入用完整文本,输出时再裁剪)。 */
|
|
9180
8914
|
let text = "";
|
|
9181
8915
|
try {
|
|
9182
8916
|
text = renderCompleteMessage(session, cm);
|
|
@@ -9186,67 +8920,54 @@ function buildSemanticRecallTool(options) {
|
|
|
9186
8920
|
text
|
|
9187
8921
|
});
|
|
9188
8922
|
}
|
|
9189
|
-
if (candidates.length === 0) return "指定范围内没有可检索的消息";
|
|
9190
|
-
/** 查询向量(单条)。 */
|
|
8923
|
+
if (candidates.length === 0) return textOnly("指定范围内没有可检索的消息");
|
|
9191
8924
|
const [queryVec] = await embed([query]);
|
|
9192
|
-
if (!queryVec) return "语义检索失败:无法生成查询向量";
|
|
9193
|
-
/** 候选文本批量嵌入。 */
|
|
8925
|
+
if (!queryVec) return textOnly("语义检索失败:无法生成查询向量");
|
|
9194
8926
|
const vectors = await embed(candidates.map((c) => c.text));
|
|
9195
|
-
/** 打分结果(相似度 + 候选)。 */
|
|
9196
8927
|
const scored = candidates.map((c, i) => ({
|
|
9197
8928
|
cm: c.cm,
|
|
9198
8929
|
text: c.text,
|
|
9199
8930
|
score: cosineSimilarity(queryVec, vectors[i] ?? /* @__PURE__ */ new Float32Array(0))
|
|
9200
8931
|
}));
|
|
9201
8932
|
scored.sort((a, b) => b.score - a.score);
|
|
9202
|
-
/** 返回条数(top_k 默认 3)。 */
|
|
9203
8933
|
const limit = top_k ?? 3;
|
|
9204
8934
|
const hits = scored.slice(0, limit);
|
|
9205
|
-
/** 结果缓冲。 */
|
|
9206
8935
|
const parts = [];
|
|
9207
|
-
|
|
8936
|
+
const images = [];
|
|
9208
8937
|
const rangeNote = range.fallback ? "指定区间不合法(start/end 越界等),已回退检索全部消息" : start === void 0 ? `检索全部消息(${candidates.length} 条可嵌入)` : `检索区间 [${range.lo}..${range.hi}](${candidates.length} 条可嵌入)`;
|
|
9209
8938
|
parts.push(`查询: ${query}`);
|
|
9210
8939
|
parts.push(rangeNote);
|
|
9211
8940
|
parts.push(`匹配 TOP-${hits.length}(共 ${scored.length} 条候选):`);
|
|
9212
8941
|
for (let i = 0; i < hits.length; i += 1) {
|
|
9213
|
-
/** 当前命中。 */
|
|
9214
8942
|
const hit = hits[i];
|
|
9215
8943
|
if (!hit) continue;
|
|
9216
|
-
/** 类型标注(toolcall 附调用 id,与 recall 输出一致)。 */
|
|
9217
8944
|
const callAttr = hit.cm.type === "toolcall" && hit.cm.callId ? ` callId=${hit.cm.callId}` : "";
|
|
9218
|
-
/** 输出文本(pruner 裁剪超大内容;裁剪失败保留嵌入用文本)。 */
|
|
9219
8945
|
let text = hit.text;
|
|
8946
|
+
let hitImages = [];
|
|
9220
8947
|
try {
|
|
9221
|
-
/** tool-result-pruner(可选)。 */
|
|
9222
8948
|
const pruner = getPruner();
|
|
9223
|
-
|
|
8949
|
+
const rendered = renderCompleteMessageParts(session, hit.cm, pruner);
|
|
8950
|
+
text = rendered.text;
|
|
8951
|
+
hitImages = rendered.images;
|
|
9224
8952
|
} catch {}
|
|
9225
8953
|
parts.push(`-- [${i + 1}] index ${hit.cm.index} ${hit.cm.type}${callAttr} — ${matchExplanation(query, hit.text, hit.score)} --`);
|
|
9226
|
-
parts.push(text);
|
|
8954
|
+
parts.push(hitImages.length > 0 ? [text, ...hitImages.map(imageNote)].join("\n") : text);
|
|
8955
|
+
images.push(...hitImages);
|
|
9227
8956
|
}
|
|
9228
|
-
return
|
|
8957
|
+
return {
|
|
8958
|
+
text: parts.join("\n\n"),
|
|
8959
|
+
images
|
|
8960
|
+
};
|
|
9229
8961
|
}
|
|
9230
8962
|
};
|
|
9231
8963
|
}
|
|
9232
8964
|
//#endregion
|
|
9233
8965
|
//#region src/index.ts
|
|
9234
8966
|
/**
|
|
9235
|
-
* dsh-plugin-om
|
|
9236
|
-
*
|
|
9237
|
-
*
|
|
9238
|
-
*
|
|
9239
|
-
* - recall.ts recall({ start, end?, offset? }) 工具:按完整消息 index 回看原始会话
|
|
9240
|
-
* - semantic-recall.ts recall-semantic({ query, top_k?, start?, end?, offset? }) 工具:
|
|
9241
|
-
* 按语义在全部完整消息(含被压缩/遮蔽)中检索,返回最匹配的完整消息与匹配说明
|
|
9242
|
-
* (本地 ONNX embedding,模型随插件打包,懒加载)
|
|
9243
|
-
* - compress.ts 自动压缩(OM 观察/反思两级阈值):pre-step 阻塞串行执行——
|
|
9244
|
-
* 反思(<history> 块 tokens 合计 ≥ reflectThresholdTokens 时摘要调用精简合并)、
|
|
9245
|
-
* 观察(未压缩消息 tokens ≥ observeThresholdTokens 时摘要调用压缩为观察日志并追加)
|
|
9246
|
-
*
|
|
9247
|
-
* 约束:不引入自定义会话事件类型——压缩复用宿主已知的 compaction/* 生命周期事件
|
|
9248
|
-
* (start/summary/end)与 checkpoint 标记,结果写入消息记录与轨迹。
|
|
9249
|
-
* 仅主会话生效(subagent 不压缩、recall 拒绝)。
|
|
8967
|
+
* dsh-plugin-om 入口(tsdown 打包入口):导出 name / inject / apply。
|
|
8968
|
+
* apply 注册 recall / recall-semantic 工具,并接线 agent/pre-step 自动压缩
|
|
8969
|
+
* (先反思后观察,仅主会话生效)。压缩与检索的实现见 compress.ts / recall.ts /
|
|
8970
|
+
* semantic-recall.ts。
|
|
9250
8971
|
*/
|
|
9251
8972
|
/** 插件名(Loader 识别入口的稳定标识)。 */
|
|
9252
8973
|
const name = "dsh-plugin-om";
|
|
@@ -9257,21 +8978,14 @@ const inject = [
|
|
|
9257
8978
|
"tokenMeter",
|
|
9258
8979
|
"sessions"
|
|
9259
8980
|
];
|
|
9260
|
-
/**
|
|
9261
|
-
* 插件激活入口:注册 recall / recall-semantic 工具(由配置键 recallEnabled /
|
|
9262
|
-
* semanticRecallEnabled 控制),并在 agent/pre-step 阻塞触发两级自动压缩
|
|
9263
|
-
* (先反思后观察)。仅主会话生效。
|
|
9264
|
-
*/
|
|
8981
|
+
/** 插件激活入口:解析配置、注册工具、接线 pre-step 自动压缩。 */
|
|
9265
8982
|
function apply(ctx, config) {
|
|
9266
|
-
/** 解析后的插件配置(默认值合并 + 校验)。 */
|
|
9267
8983
|
const resolved = resolveConfig(config);
|
|
9268
|
-
/** 插件日志门面(step=debug 按配置 debug 开关输出;info/warn 始终输出)。 */
|
|
9269
8984
|
const logger = makeLogger(ctx, resolved.debug);
|
|
9270
8985
|
logger.step(`apply 启动:observeThresholdTokens=${String(resolved.observeThresholdTokens)} reflectThresholdTokens=${String(resolved.reflectThresholdTokens)} compressMaxTokens=${String(resolved.compressMaxTokens)} tailMessageCount=${String(resolved.tailMessageCount)} omEnabled=${String(resolved.omEnabled)} debug=${String(resolved.debug)}`);
|
|
9271
8986
|
if (resolved.recallEnabled) ctx.tools.register(buildRecallTool(() => ctx.get("toolResultPruner")));
|
|
9272
8987
|
if (resolved.semanticRecallEnabled) {
|
|
9273
8988
|
const warnModel = (message) => ctx.logger.warn(`dsh-plugin-om: ${message}`);
|
|
9274
|
-
/** 下载开始/结束日志:console + 插件日志双通道(失败经 warnModel 输出)。 */
|
|
9275
8989
|
const logModel = (message) => {
|
|
9276
8990
|
console.log(message);
|
|
9277
8991
|
logger.info(message);
|