@modusensus/dsh-mneme 0.9.0 → 0.9.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +78 -16
- package/bin/cli.mjs +8 -2
- package/docs/CONFIGURATION.md +25 -0
- package/docs/SEMANTIC.md +3 -3
- package/lib/api-standalone.js +78 -12
- package/lib/api.js +282 -57
- package/lib/candidates.js +454 -454
- package/lib/client.js +598 -248
- package/lib/config.js +33 -2
- package/lib/embedding.js +116 -15
- package/lib/index.js +32 -0
- package/lib/inject.js +34 -3
- package/lib/lang.js +124 -0
- package/lib/pipeline-activities.js +178 -0
- package/lib/pipeline-attribution.js +165 -0
- package/lib/pipeline-command.js +279 -0
- package/lib/pipeline-confirm.js +142 -0
- package/lib/pipeline-exec.js +174 -0
- package/lib/pipeline-nudge.js +1281 -0
- package/lib/pipeline-observations.js +181 -0
- package/lib/pipeline-observe.js +133 -0
- package/lib/pipeline-runner.js +346 -0
- package/lib/pipeline-runs.js +442 -0
- package/lib/pipeline.js +128 -7
- package/lib/semantic.js +66 -10
- package/lib/settings.js +132 -1
- package/lib/store.js +77 -3
- package/lib/summarize.js +2 -3
- package/package.json +3 -3
- package/scripts/changelog-prep.mjs +62 -7
- package/scripts/check-sync.js +8 -6
- package/scripts/release-docs.mjs +204 -0
- package/scripts/release-notes.mjs +162 -0
- package/src/api-standalone.js +78 -12
- package/src/api.js +282 -57
- package/src/candidates.js +454 -454
- package/src/config.js +33 -2
- package/src/embedding.js +116 -15
- package/src/index.js +32 -0
- package/src/inject.js +34 -3
- package/src/lang.js +124 -0
- package/src/pipeline-activities.js +178 -0
- package/src/pipeline-attribution.js +165 -0
- package/src/pipeline-command.js +279 -0
- package/src/pipeline-confirm.js +142 -0
- package/src/pipeline-exec.js +174 -0
- package/src/pipeline-nudge.js +1281 -0
- package/src/pipeline-observations.js +181 -0
- package/src/pipeline-observe.js +133 -0
- package/src/pipeline-runner.js +346 -0
- package/src/pipeline-runs.js +442 -0
- package/src/pipeline.js +128 -7
- package/src/semantic.js +66 -10
- package/src/settings.js +132 -1
- package/src/store.js +77 -3
- package/src/summarize.js +2 -3
- package/test/api-hardening.test.js +173 -0
- package/test/api.test.js +98 -1
- package/test/changelog-prep.test.js +74 -8
- package/test/cli-enums.test.js +37 -0
- package/test/client.test.js +152 -3
- package/test/docs-config-keys.test.js +65 -0
- package/test/helpers/write-admission-samples.js +6 -2
- package/test/lib-smoke.test.js +20 -0
- package/test/persona-api.test.js +172 -0
- package/test/persona-flag.test.js +36 -0
- package/test/persona-inject.test.js +145 -0
- package/test/persona-settings.test.js +145 -0
- package/test/pipeline-activities.test.js +155 -0
- package/test/pipeline-attribution.test.js +175 -0
- package/test/pipeline-command.test.js +243 -0
- package/test/pipeline-confirm.test.js +148 -0
- package/test/pipeline-exec.test.js +172 -0
- package/test/pipeline-nudge.test.js +1036 -0
- package/test/pipeline-observations.test.js +157 -0
- package/test/pipeline-observe.test.js +127 -0
- package/test/pipeline-r1r2.test.js +149 -0
- package/test/pipeline-runner.test.js +442 -0
- package/test/pipeline-runs.test.js +767 -0
- package/test/pipeline.test.js +137 -6
- package/test/reindex-backfill.test.js +83 -4
- package/test/release-docs.test.js +130 -0
- package/test/release-notes.test.js +240 -0
- package/test/release-workflow.test.js +16 -0
- package/test/route-policy.test.js +113 -0
- package/test/security-doc.test.js +139 -0
- package/test/sensitive-scan.test.js +44 -0
- package/test/workflow-guards.test.js +156 -0
|
@@ -0,0 +1,204 @@
|
|
|
1
|
+
// 发布准备里「往两份 README 的版本表插占位行 + 回填路线图状态 + 核对 SECURITY.md 支持版本表」
|
|
2
|
+
// 的单一实现。
|
|
3
|
+
//
|
|
4
|
+
// 为什么抽成模块而不是留在入口里:入口 scripts/release-prep.mjs 在仓库根、import 即执行,
|
|
5
|
+
// 测不了。而这一步恰好静默失效过——根 README 的路线图表版本列写的是两段式 `**v0.9**`,
|
|
6
|
+
// 而匹配规则只认三段式 `**v0.9.0**`,于是脚本对根 README 一个字节也没改,打印的却是
|
|
7
|
+
// 「无版本表格行,跳过」:读起来像「这里不需要做」,实际是「这里没做」。v0.9.0 那次发布
|
|
8
|
+
// 准备(a9f8e35)只有 5 个文件变动、根 README 的路线图与 News 一字未动,佐证这不是新问题。
|
|
9
|
+
//
|
|
10
|
+
// 与 scripts/changelog-prep.mjs、scripts/test-count-sync.mjs 同一个理由:规则收在共用模块里
|
|
11
|
+
// 才测得到,也才不会两处各写一份。
|
|
12
|
+
import { detectEol } from "./changelog-prep.mjs";
|
|
13
|
+
|
|
14
|
+
// 版本号写在表格第一格才算「版本行」。三段式与两段式分开认:根 README 的路线图按 minor 排
|
|
15
|
+
// (v0.9),子 README 的版本历史按 patch 排(v0.9.0),两者不能互相匹配——否则给根 README
|
|
16
|
+
// 插一行 `**v0.9.1**` 会凭空造出一个不存在的 minor 条目。
|
|
17
|
+
const THREE = /^\|\s*\*\*v(\d+\.\d+\.\d+)\*\*/;
|
|
18
|
+
const TWO = /^\|\s*\*\*v(\d+\.\d+)\*\*/;
|
|
19
|
+
|
|
20
|
+
const cellCount = (line) => line.split("|").filter((c) => c.trim()).length;
|
|
21
|
+
const hasCJK = (s) => /[\u4e00-\u9fff]/.test(s);
|
|
22
|
+
|
|
23
|
+
/** semver 比较,长度不同时缺位按 0 处理(两段式路由图对上三段式目标版本时要用)。 */
|
|
24
|
+
function cmpVersion(a, b) {
|
|
25
|
+
const pa = a.split(".").map(Number);
|
|
26
|
+
const pb = b.split(".").map(Number);
|
|
27
|
+
for (let i = 0; i < Math.max(pa.length, pb.length); i += 1) {
|
|
28
|
+
const x = pa[i] || 0;
|
|
29
|
+
const y = pb[i] || 0;
|
|
30
|
+
if (x !== y) return x < y ? -1 : 1;
|
|
31
|
+
}
|
|
32
|
+
return 0;
|
|
33
|
+
}
|
|
34
|
+
|
|
35
|
+
/**
|
|
36
|
+
* 扫描文本里所有版本行,按写法分三段式 / 两段式,并按**表格块**分组。
|
|
37
|
+
*
|
|
38
|
+
* 为什么要分组:根 README 的中英路线图是两张独立的表,版本行一模一样。旧实现把所有版本行
|
|
39
|
+
* 合并成一个数组,「表里是否已有目标版本」于是变成全文件判断——给中文表插了行之后,英文表
|
|
40
|
+
* 就被判成「已存在」,永远补不上。分组之后每张表各自判断、各自插入。
|
|
41
|
+
*
|
|
42
|
+
* 分组规则:连续的版本行算一块,中间隔着表头/分隔行这类表格行也仍算同一块;遇到空行或正文
|
|
43
|
+
* 才收块。导出是为了让测试能拿真实 README 断言「这些表仍被认得出」——正则一旦被改窄,
|
|
44
|
+
* 用户看到的会是「无版本表格行,跳过」,而不是测试变红。
|
|
45
|
+
*/
|
|
46
|
+
export function scanReleaseRows(text) {
|
|
47
|
+
const three = [];
|
|
48
|
+
const two = [];
|
|
49
|
+
const blocks = [];
|
|
50
|
+
let current = null;
|
|
51
|
+
text.split(/\r?\n/).forEach((line, index) => {
|
|
52
|
+
const m3 = THREE.exec(line);
|
|
53
|
+
const m2 = m3 ? null : TWO.exec(line);
|
|
54
|
+
if (m3 || m2) {
|
|
55
|
+
const kind = m3 ? "three" : "two";
|
|
56
|
+
const row = { index, ver: (m3 || m2)[1], kind };
|
|
57
|
+
(kind === "three" ? three : two).push(row);
|
|
58
|
+
if (current && current.next === index) current.rows.push(row);
|
|
59
|
+
else {
|
|
60
|
+
current = { rows: [row], next: index + 1 };
|
|
61
|
+
blocks.push(current);
|
|
62
|
+
}
|
|
63
|
+
current.next = index + 1;
|
|
64
|
+
return;
|
|
65
|
+
}
|
|
66
|
+
if (current && /^\s*\|/.test(line)) current.next = index + 1;
|
|
67
|
+
else current = null;
|
|
68
|
+
});
|
|
69
|
+
return { three, two, blocks };
|
|
70
|
+
}
|
|
71
|
+
|
|
72
|
+
/** 按锚点行的列数与语言生成占位行。列数是「这张表有几列」的唯一判据:2 列=版本历史,3 列=路线图。 */
|
|
73
|
+
function rowFor(anchorLine, version, date) {
|
|
74
|
+
const n = cellCount(anchorLine);
|
|
75
|
+
if (n <= 2) return date ? `| **v${version}**(${date}) | (待填) |` : `| **v${version}** | (待填) |`;
|
|
76
|
+
if (n === 3) {
|
|
77
|
+
return hasCJK(anchorLine)
|
|
78
|
+
? `| **v${version}** | (待填) | 🚧 准备中 |`
|
|
79
|
+
: `| **v${version}** | TBD | 🚧 In prep |`;
|
|
80
|
+
}
|
|
81
|
+
return `| **v${version}** | 🚧 准备中 | (待填) | (待填) |`;
|
|
82
|
+
}
|
|
83
|
+
|
|
84
|
+
/**
|
|
85
|
+
* 给一份 README 插版本占位行,并把当前 minor 那行路线图的状态回填成已发布。
|
|
86
|
+
*
|
|
87
|
+
* 按**表块**而不是整份文件处理:根 README 的中英路线图是两张独立的表,版本行一模一样。合并成
|
|
88
|
+
* 一个数组判断「表里是否已有目标版本」,会让先插的中文表把英文表判成「已存在」。
|
|
89
|
+
*
|
|
90
|
+
* 返回 { text, actions },而不是布尔:「没插」有三种原因(已存在 / 没有版本表 / 表里已有更高
|
|
91
|
+
* 版本),入口需要能如实说明是哪一种——旧实现在这里统一打印「跳过」,把「没做」说成了「不需要做」。
|
|
92
|
+
*
|
|
93
|
+
* @param {string} text README 全文
|
|
94
|
+
* @param {string} version 目标版本,如 "0.9.1"
|
|
95
|
+
* @param {string} date 如 "2026-10-18"
|
|
96
|
+
*/
|
|
97
|
+
export function syncReadmeTables(text, version, date) {
|
|
98
|
+
const [major, minor] = version.split(".");
|
|
99
|
+
const minorKey = `${major}.${minor}`;
|
|
100
|
+
const eol = detectEol(text);
|
|
101
|
+
const lines = text.split(/\r?\n/);
|
|
102
|
+
const { blocks, two } = scanReleaseRows(text);
|
|
103
|
+
|
|
104
|
+
const insertAfter = new Map();
|
|
105
|
+
const replaceAt = new Map();
|
|
106
|
+
const actions = [];
|
|
107
|
+
|
|
108
|
+
// 1) 逐张表块插占位行。**必须按块**:根 README 的中英路线图是两张独立的表、版本行一模一样,
|
|
109
|
+
// 旧实现把全文件所有版本行当一个数组,「表里已有目标版本」于是退化成全文件判断——先插的
|
|
110
|
+
// 中文表会让英文表被判成「已存在」,那张就永远补不上。
|
|
111
|
+
// 锚点取块内「低于目标的最新版本行」,不插表尾:这类表常在末尾写一条 v0.8.x 这样的概括行。
|
|
112
|
+
for (const block of blocks) {
|
|
113
|
+
const isHistory = block.rows[0].kind === "three";
|
|
114
|
+
const target = isHistory ? version : minorKey;
|
|
115
|
+
if (block.rows.some((r) => r.ver === target)) continue;
|
|
116
|
+
const lower = block.rows.filter((r) => cmpVersion(r.ver, target) < 0);
|
|
117
|
+
if (!lower.length) continue;
|
|
118
|
+
const anchor = lower.reduce((a, b) => (cmpVersion(b.ver, a.ver) > 0 ? b : a));
|
|
119
|
+
const anchorLine = lines[anchor.index];
|
|
120
|
+
let row = rowFor(anchorLine, target, date);
|
|
121
|
+
// 路线图的状态格直接写已发布,而不是「🚧 准备中」:这一行随 PR 一起进 main,合并之后紧接着
|
|
122
|
+
// 就是打 tag,所以它就是这次要发出去的那一版。若写成「🚧」,它不会自己变——下次跑发版准备
|
|
123
|
+
// 时回填的是那一版的补丁号(0.10.0 已发布,路线图却写 v0.10.1),把首个发布版本记错。
|
|
124
|
+
// 与下面第 2 步「不改写已发布行」不冲突:那条规则防的是抹掉「这个 minor 首个发布的是谁」。
|
|
125
|
+
if (!isHistory && cellCount(anchorLine) === 3) {
|
|
126
|
+
const released = hasCJK(anchorLine) ? `✅ 已发布(v${version})` : `✅ Released (v${version})`;
|
|
127
|
+
const cells = row.split("|");
|
|
128
|
+
cells[cells.length - 2] = ` ${released} `;
|
|
129
|
+
row = cells.join("|");
|
|
130
|
+
}
|
|
131
|
+
insertAfter.set(anchor.index, row);
|
|
132
|
+
actions.push({ kind: "insert", table: isHistory ? "版本历史" : "路线图", after: `v${anchor.ver}` });
|
|
133
|
+
}
|
|
134
|
+
|
|
135
|
+
// 2) 回填当前 minor 那行仍是「🚧 准备中」的状态格——上一次发版留下的占位,发版准备这一刻
|
|
136
|
+
// 它就该变成已发布(版本号已定,是事实)。主题文字(第二格)始终不碰,那是人写的。
|
|
137
|
+
//
|
|
138
|
+
// 刻意不把「✅ 已发布(v0.9.0)」改写成「(v0.9.1)」:本脚本跑在打 tag 之前,改了就等于
|
|
139
|
+
// 在 PR 里提前宣布一个还没发出去的版本;PR 若被放弃,那行立刻变成谎话。补丁号只由人在
|
|
140
|
+
// 真正发出去之后按需要更新(与 v0.8 那行「至 v0.8.16」同一口径)。
|
|
141
|
+
for (const row of two) {
|
|
142
|
+
if (row.ver !== minorKey) continue;
|
|
143
|
+
const line = lines[row.index];
|
|
144
|
+
if (cellCount(line) < 3) continue;
|
|
145
|
+
const cells = line.split("|");
|
|
146
|
+
const old = cells[3].trim();
|
|
147
|
+
if (!/🚧/.test(old)) continue;
|
|
148
|
+
const next = hasCJK(line) ? `✅ 已发布(v${version})` : `✅ Released (v${version})`;
|
|
149
|
+
cells[3] = ` ${next} `;
|
|
150
|
+
replaceAt.set(row.index, cells.join("|"));
|
|
151
|
+
actions.push({ kind: "rollup", table: "路线图", from: old, to: next });
|
|
152
|
+
}
|
|
153
|
+
|
|
154
|
+
if (!actions.length) return { text, actions };
|
|
155
|
+
const out = [];
|
|
156
|
+
lines.forEach((line, index) => {
|
|
157
|
+
out.push(replaceAt.has(index) ? replaceAt.get(index) : line);
|
|
158
|
+
if (insertAfter.has(index)) out.push(insertAfter.get(index));
|
|
159
|
+
});
|
|
160
|
+
return { text: out.join(eol), actions };
|
|
161
|
+
}
|
|
162
|
+
|
|
163
|
+
/** 取某一节(到下一个同级 ## 标题为止)。用节而不是全文 grep:历史审计节里也有版本号。 */
|
|
164
|
+
export function sectionOf(text, heading) {
|
|
165
|
+
const start = text.indexOf(heading);
|
|
166
|
+
if (start < 0) return null;
|
|
167
|
+
const rest = text.slice(start + heading.length);
|
|
168
|
+
const end = rest.search(/\r?\n## /);
|
|
169
|
+
return end >= 0 ? rest.slice(0, end) : rest;
|
|
170
|
+
}
|
|
171
|
+
|
|
172
|
+
/**
|
|
173
|
+
* 核对 SECURITY.md 的支持版本表首行是否等于 package.json 的 major.minor。
|
|
174
|
+
*
|
|
175
|
+
* 只核对、不改写。跨 minor 发版时整张表要向下挪一格(0.10.x 活跃 / 0.9.x 尽力维护 /
|
|
176
|
+
* < 0.9.0 不支持),连停止维护那段措辞一起挪——这是维护策略的判断,机器替人写很容易
|
|
177
|
+
* 写出「0.9.x 已停止支持」这类真事故。所以入口硬失败、把话说明白,由人改。
|
|
178
|
+
*
|
|
179
|
+
* 为什么必须在这里拦:dsh-mneme/test/security-doc.test.js 也锁同一件事,但那条锁在
|
|
180
|
+
* 「PR 提交之后」才跑。脚本先拦,坏 PR 根本不会开出来。
|
|
181
|
+
*/
|
|
182
|
+
export function checkSupportTable(text, version) {
|
|
183
|
+
const [major, minor] = version.split(".");
|
|
184
|
+
const expected = `${major}.${minor}.x`;
|
|
185
|
+
const problems = [];
|
|
186
|
+
for (const [heading, label] of [
|
|
187
|
+
["## Supported Versions", "英文"],
|
|
188
|
+
["## 支持版本", "中文"],
|
|
189
|
+
]) {
|
|
190
|
+
const body = sectionOf(text, heading);
|
|
191
|
+
if (body === null) {
|
|
192
|
+
problems.push(`${label}表:找不到「${heading}」一节`);
|
|
193
|
+
continue;
|
|
194
|
+
}
|
|
195
|
+
const rows = body.split(/\r?\n/).filter((l) => /^\|\s*[\d<]/.test(l));
|
|
196
|
+
if (!rows.length) {
|
|
197
|
+
problems.push(`${label}表:没解析出任何版本行(表格形状变了?)`);
|
|
198
|
+
continue;
|
|
199
|
+
}
|
|
200
|
+
const found = rows[0].split("|")[1].trim();
|
|
201
|
+
if (found !== expected) problems.push(`${label}表首行写的是 ${found},应为 ${expected}`);
|
|
202
|
+
}
|
|
203
|
+
return { ok: problems.length === 0, expected, problems };
|
|
204
|
+
}
|
|
@@ -0,0 +1,162 @@
|
|
|
1
|
+
// 从 CHANGELOG 小节渲染 GitHub Release 正文的单一实现。
|
|
2
|
+
//
|
|
3
|
+
// 为什么抽成模块:这段逻辑原先嵌在 .github/workflows/release.yml 的 node -e 内联脚本里,
|
|
4
|
+
// 要改排版就得改工作流本体,也没法写测试——而 Release 正文恰恰是最需要反复试排版的东西。
|
|
5
|
+
// 抽出来之后同样的输入产出同样的正文,本地能预览、CI 能锁形状。
|
|
6
|
+
//
|
|
7
|
+
// 排版目标:Release 页的默认视图要能一眼扫完,但完整正文不能丢——它同时是「这个版本到底
|
|
8
|
+
// 改了什么」的唯一对外说明。做法是标题 + 一句导语默认可见,剩余正文折进 details,想细看的
|
|
9
|
+
// 人点开,不想看的人不被淹。
|
|
10
|
+
//
|
|
11
|
+
// CHANGELOG 本体一个字不动:那是仓库内的完整记录(含决策理由与审计线索),压缩它等于销毁
|
|
12
|
+
// 证据;分层只发生在对外渲染这一步。
|
|
13
|
+
import { readFileSync, writeFileSync, mkdirSync } from "node:fs";
|
|
14
|
+
import { fileURLToPath } from "node:url";
|
|
15
|
+
|
|
16
|
+
// 句末标点以中文全角为主。刻意不认半角句号:v0.9.0 这类版本号里的点是同一个字符,
|
|
17
|
+
// 认了会把导语切在版本号中间。
|
|
18
|
+
const END = /[。!?]/;
|
|
19
|
+
// 导语超长时的退让点,从强到弱。半角分号/逗号兜住中英混排的条目。
|
|
20
|
+
const SOFT = [";", ",", ";", ","];
|
|
21
|
+
|
|
22
|
+
/** 取出某个版本的 CHANGELOG 小节正文(不含 ## [V] 标题行本身);找不到返回 null。 */
|
|
23
|
+
export function findSection(text, version) {
|
|
24
|
+
const re = new RegExp("^## \\[" + version.replace(/\./g, "\\.") + "\\][^\\n]*\\n", "m");
|
|
25
|
+
const start = text.search(re);
|
|
26
|
+
if (start === -1) return null;
|
|
27
|
+
const rest = text.slice(start + text.slice(start).indexOf("\n") + 1);
|
|
28
|
+
const next = rest.search(/^## \[/m);
|
|
29
|
+
return (next === -1 ? rest : rest.slice(0, next)).trim();
|
|
30
|
+
}
|
|
31
|
+
|
|
32
|
+
/** 拆 - **标题**:正文;不是这个形状返回 null,调用方按普通行原样保留。 */
|
|
33
|
+
export function parseBullet(line) {
|
|
34
|
+
const m = line.match(/^- \*\*(.+?)\*\*(?:[::]\s*)?([\s\S]*)$/);
|
|
35
|
+
if (!m) return null;
|
|
36
|
+
return { title: m[1].trim(), body: (m[2] || "").trim() };
|
|
37
|
+
}
|
|
38
|
+
|
|
39
|
+
/**
|
|
40
|
+
* 括号深度:全角(或半角( 进一层,)或) 出一层。导语绝不在未闭合的括号里断开——
|
|
41
|
+
* 「…(明文回吐 Bearer,」这种收尾等于把一句话切在从句中间,读者要回头找主语。
|
|
42
|
+
*/
|
|
43
|
+
function depthAt(s, end) {
|
|
44
|
+
let d = 0;
|
|
45
|
+
for (let i = 0; i < end; i += 1) {
|
|
46
|
+
const c = s[i];
|
|
47
|
+
if (c === "\uFF08" || c === "(") d += 1;
|
|
48
|
+
else if (c === "\uFF09" || c === ")") d = Math.max(0, d - 1);
|
|
49
|
+
}
|
|
50
|
+
return d;
|
|
51
|
+
}
|
|
52
|
+
|
|
53
|
+
/** 导语最短长度:低于它说明这句太短、离开上下文就没信息(实测有一条首句只有 8 字)。 */
|
|
54
|
+
const MIN_LEDE = 24;
|
|
55
|
+
|
|
56
|
+
/**
|
|
57
|
+
* 取导语,返回 {lede, consumed}。
|
|
58
|
+
*
|
|
59
|
+
* consumed 是导语在正文里吃掉的字符数:折叠块放 body.slice(consumed),因此导语与细节不
|
|
60
|
+
* 重复——不记录它的话,用户点开折叠会看到同一句话出现两次。
|
|
61
|
+
*
|
|
62
|
+
* 优先级:① cap 内第一个长度达标(>= MIN_LEDE)的句末标点,整句收尾最干净;
|
|
63
|
+
* ② cap 内最后一个括号平衡的软标点(分号/逗号/顿号),用省略号收尾、并连标点一起吃进
|
|
64
|
+
* consumed(否则折叠块以「,」开头);③ cap 内没有平衡软标点时,延到 cap 之后最近的平衡
|
|
65
|
+
* 软标点,容许有限超长;④ 兜底硬截断。
|
|
66
|
+
*
|
|
67
|
+
* 两条规则都是被真实语料逼出来的:v0.9.0 的「GET /external-api(明文回吐 Bearer,」是在
|
|
68
|
+
* 未闭合的括号里切断的(故有 depthAt);同批有条首句「两处水源在说谎。」短到无法独立表意
|
|
69
|
+
* (故有 MIN_LEDE)。
|
|
70
|
+
*/
|
|
71
|
+
export function lede(body, cap = 150) {
|
|
72
|
+
if (!body) return { lede: "", consumed: 0 };
|
|
73
|
+
// 正文本身不比 cap 长:整段就是导语。这一条必须排在软断点搜索**之前**——否则短正文里
|
|
74
|
+
// 只要有个逗号就会被加上省略号,凭空说「后面还有」;逗号恰是最后一个字符时更荒唐:
|
|
75
|
+
// 省略号后面什么也没有,折叠块是空的。原先这条守在函数末尾,靠句末标点分支侥幸躲过多数
|
|
76
|
+
// 情况,只有「短且没有句末标点」的正文才会踩到。
|
|
77
|
+
if (body.length <= cap) return { lede: body, consumed: body.length };
|
|
78
|
+
for (let i = 0; i < body.length && i < cap; i += 1) {
|
|
79
|
+
if (END.test(body[i]) && i + 1 >= MIN_LEDE) return { lede: body.slice(0, i + 1), consumed: i + 1 };
|
|
80
|
+
}
|
|
81
|
+
|
|
82
|
+
let before = -1;
|
|
83
|
+
for (const mark of SOFT) {
|
|
84
|
+
let at = body.slice(0, cap).lastIndexOf(mark);
|
|
85
|
+
while (at !== -1 && depthAt(body, at) !== 0) at = body.slice(0, at).lastIndexOf(mark);
|
|
86
|
+
if (at > before) before = at;
|
|
87
|
+
}
|
|
88
|
+
if (before >= MIN_LEDE) return { lede: body.slice(0, before) + "\u2026", consumed: before + 1 };
|
|
89
|
+
|
|
90
|
+
const limit = Math.floor(cap * 1.6);
|
|
91
|
+
for (let i = cap; i < Math.min(body.length, limit); i += 1) {
|
|
92
|
+
if (SOFT.includes(body[i]) && depthAt(body, i) === 0) {
|
|
93
|
+
return { lede: body.slice(0, i) + "\u2026", consumed: i + 1 };
|
|
94
|
+
}
|
|
95
|
+
}
|
|
96
|
+
|
|
97
|
+
return { lede: body.slice(0, cap) + "\u2026", consumed: cap };
|
|
98
|
+
}
|
|
99
|
+
|
|
100
|
+
/**
|
|
101
|
+
* 渲染 Release 正文:输入 findSection 的结果(小节正文),输出可直接写进
|
|
102
|
+
* gh release --notes-file 的 Markdown。
|
|
103
|
+
*
|
|
104
|
+
* 折叠块的缩进按 GitHub 列表项的规则写成两个空格;少缩进一级会被渲染成独立段落,
|
|
105
|
+
* 整条子弹的视觉归属就断了。列表项内 details 与正文之间必须有空行,否则内部 Markdown 不解析。
|
|
106
|
+
*/
|
|
107
|
+
/**
|
|
108
|
+
* 把一个小节切成「块」:一个块 = 一条子弹 + 它下面所有缩进续行(含缩进的子列表)。
|
|
109
|
+
*
|
|
110
|
+
* 为什么必须先切块再渲染:CHANGELOG 里有 179 行缩进续行(0.8.6 / 0.8.7 / 0.8.12 等老版本集中
|
|
111
|
+
* 出现,另有 59 行 ` - ` 子列表)。逐行 trim 的写法会把续行当成独立段落甩到条目的
|
|
112
|
+
* `<details>` 外面——读者看到的是「条目正文只有一句,剩下的莫名其妙散在下面」,而且缩进没了、
|
|
113
|
+
* 子列表变成平铺段落。渲染的单位是**条目**,不是行。
|
|
114
|
+
*/
|
|
115
|
+
export function splitBlocks(sectionText) {
|
|
116
|
+
const blocks = [];
|
|
117
|
+
for (const raw of sectionText.split(/\r?\n/)) {
|
|
118
|
+
if (!raw.trim()) continue;
|
|
119
|
+
// 缩进行且当前有可挂靠的块 → 续行;否则(块首行之外的单行文本)另起一块。
|
|
120
|
+
if (/^[ \t]+\S/.test(raw) && blocks.length) {
|
|
121
|
+
blocks[blocks.length - 1].lines.push(raw.replace(/\s+$/, ""));
|
|
122
|
+
continue;
|
|
123
|
+
}
|
|
124
|
+
blocks.push({ lines: [raw.trim()] });
|
|
125
|
+
}
|
|
126
|
+
return blocks;
|
|
127
|
+
}
|
|
128
|
+
|
|
129
|
+
export function renderNotes(sectionText, opts = {}) {
|
|
130
|
+
const cap = opts.cap || 150;
|
|
131
|
+
const out = [];
|
|
132
|
+
for (const block of splitBlocks(sectionText)) {
|
|
133
|
+
const line = block.lines[0];
|
|
134
|
+
if (/^## /.test(line)) { out.push("", line, ""); continue; }
|
|
135
|
+
const b = parseBullet(line);
|
|
136
|
+
if (!b) { out.push(line); continue; }
|
|
137
|
+
// 导语**只从条目首行取**:可见行必须是单行,混进换行就等于把续行又推回 details 外面。
|
|
138
|
+
// 首行剩下的部分 + 全部续行(各自保留缩进,子列表才不会塌成段落)一起进折叠块。
|
|
139
|
+
const { lede: l, consumed } = lede(b.body, cap);
|
|
140
|
+
out.push("- **" + b.title + "**" + (l ? " — " + l : ""));
|
|
141
|
+
const rest = [b.body.slice(consumed).trim(), ...block.lines.slice(1).map((c) => c.replace(/\s+$/, ""))]
|
|
142
|
+
.filter(Boolean)
|
|
143
|
+
.join("\n");
|
|
144
|
+
if (rest) out.push(" <details><summary>细节</summary>", "", " " + rest.replace(/\n/g, "\n "), "", " </details>");
|
|
145
|
+
}
|
|
146
|
+
return out.join("\n").replace(/\n{3,}/g, "\n\n").trim() + "\n";
|
|
147
|
+
}
|
|
148
|
+
|
|
149
|
+
/** release.yml 的调用方式:node dsh-mneme/scripts/release-notes.mjs <version>(cwd 为仓库根)。 */
|
|
150
|
+
function main() {
|
|
151
|
+
const v = (process.argv[2] || "").replace(/^v/, "");
|
|
152
|
+
if (!/^\d+\.\d+\.\d+$/.test(v)) { console.error("usage: release-notes.mjs <version>"); process.exit(1); }
|
|
153
|
+
const md = readFileSync("dsh-mneme/CHANGELOG.md", "utf8");
|
|
154
|
+
const sec = findSection(md, v);
|
|
155
|
+
if (!sec) { console.error("changelog section not found: " + v); process.exit(1); }
|
|
156
|
+
const body = renderNotes(sec);
|
|
157
|
+
mkdirSync("notes", { recursive: true });
|
|
158
|
+
writeFileSync("notes/body.md", body);
|
|
159
|
+
console.log("--- extracted notes ---\n" + body.slice(0, 400));
|
|
160
|
+
}
|
|
161
|
+
|
|
162
|
+
if (process.argv[1] && fileURLToPath(import.meta.url) === process.argv[1]) main();
|
package/src/api-standalone.js
CHANGED
|
@@ -23,6 +23,12 @@ import { parseReclaimJson, readReclaimFields, reclaimReply, RECLAIM_UNAVAILABLE
|
|
|
23
23
|
const DEFAULT_PORT = 8790;
|
|
24
24
|
const DEFAULT_HOST = "127.0.0.1";
|
|
25
25
|
const MAX_PORT_ATTEMPTS = 20;
|
|
26
|
+
// 请求体与分页上界(防御,不是功能):与宿主内 api.js 的 MAX_REQUEST_BODY_BYTES /
|
|
27
|
+
// MAX_PAGE_LIMIT / MAX_SEARCH_TOP_K 同值同义——两张数据面的口径必须一致,否则
|
|
28
|
+
// 「从哪张脸进来」会决定一次请求能吃掉多少内存。
|
|
29
|
+
const MAX_REQUEST_BODY_BYTES = 4 * 1024 * 1024;
|
|
30
|
+
const MAX_PAGE_LIMIT = 1000;
|
|
31
|
+
const MAX_SEARCH_TOP_K = 200;
|
|
26
32
|
|
|
27
33
|
/**
|
|
28
34
|
* Listen with automatic EADDRINUSE recovery. Tries the configured port, then
|
|
@@ -86,13 +92,35 @@ function isAuthorized(req, apiToken) {
|
|
|
86
92
|
return timingSafeEqual(Buffer.from(token), Buffer.from(apiToken));
|
|
87
93
|
}
|
|
88
94
|
|
|
89
|
-
/**
|
|
90
|
-
|
|
95
|
+
/**
|
|
96
|
+
* Collect the request body as text, or null when it exceeds the cap.
|
|
97
|
+
*
|
|
98
|
+
* 超限时**必须回 null 而不是空串**:空串经 parseBody 变成 {},而 /profile、
|
|
99
|
+
* /rules、/persona 的 PUT 会把「字段缺失」当成「用户要清空」——一个 5 MiB 的
|
|
100
|
+
* 请求就能把画像/规则/人格静默清掉。返回 null 让调用点在碰任何 store 之前
|
|
101
|
+
* 直接 413(2026-10 评审指出的数据损坏路径)。
|
|
102
|
+
* 连接不 destroy:调用方要能收到明确的 413,而不是被掐断。
|
|
103
|
+
*/
|
|
104
|
+
function readBody(req, res) {
|
|
91
105
|
return new Promise((resolve) => {
|
|
92
106
|
let body = "";
|
|
93
|
-
|
|
94
|
-
|
|
95
|
-
req.on("
|
|
107
|
+
let bytes = 0;
|
|
108
|
+
let overflow = false;
|
|
109
|
+
req.on("data", (chunk) => {
|
|
110
|
+
if (overflow) return;
|
|
111
|
+
bytes += chunk.length;
|
|
112
|
+
if (bytes > MAX_REQUEST_BODY_BYTES) {
|
|
113
|
+
overflow = true;
|
|
114
|
+
body = "";
|
|
115
|
+
sendJson(res, 413, { error: "payload-too-large", limit: MAX_REQUEST_BODY_BYTES });
|
|
116
|
+
return;
|
|
117
|
+
}
|
|
118
|
+
body += chunk;
|
|
119
|
+
});
|
|
120
|
+
req.on("end", () => resolve(overflow ? null : body));
|
|
121
|
+
// 超限后再来 transport error 也必须保留超限状态:否则调用点会拿着空串
|
|
122
|
+
// 继续往 store 写(PUT /persona 把 "" 解析成 {},覆盖既有设置)。
|
|
123
|
+
req.on("error", () => resolve(overflow ? null : ""));
|
|
96
124
|
});
|
|
97
125
|
}
|
|
98
126
|
|
|
@@ -323,6 +351,38 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
323
351
|
return;
|
|
324
352
|
}
|
|
325
353
|
|
|
354
|
+
// --- GET /persona: agent persona(人格定义页,beta;v1.2 多卡形) --------
|
|
355
|
+
if (req.method === "GET" && pathname === "/persona") {
|
|
356
|
+
sendJson(res, 200, { persona: settings?.getPersona?.() ?? { default: {}, byAgent: {} } });
|
|
357
|
+
return;
|
|
358
|
+
}
|
|
359
|
+
|
|
360
|
+
// --- PUT /persona: write default (single-object form) or full multi-card
|
|
361
|
+
// 形状判定在 setPersona 内(settings.js 双形兼容:单对象=合并 default、
|
|
362
|
+
// 多卡=全量替换);坏 JSON 回 400(与 /memories 写路径同口径)。
|
|
363
|
+
if (req.method === "PUT" && pathname === "/persona") {
|
|
364
|
+
void readBody(req, res).then((text) => {
|
|
365
|
+
if (text === null) return;
|
|
366
|
+
let body;
|
|
367
|
+
try {
|
|
368
|
+
body = JSON.parse(text || "{}");
|
|
369
|
+
} catch {
|
|
370
|
+
sendJson(res, 400, { error: "invalid-json" });
|
|
371
|
+
return;
|
|
372
|
+
}
|
|
373
|
+
const persona = body && typeof body === "object" && !Array.isArray(body) && body.persona && typeof body.persona === "object"
|
|
374
|
+
? body.persona
|
|
375
|
+
: body;
|
|
376
|
+
try {
|
|
377
|
+
settings?.setPersona?.(persona && typeof persona === "object" ? persona : {});
|
|
378
|
+
sendJson(res, 200, { persona: settings?.getPersona?.() ?? { default: {}, byAgent: {} } });
|
|
379
|
+
} catch {
|
|
380
|
+
sendJson(res, 500, { error: "internal" });
|
|
381
|
+
}
|
|
382
|
+
});
|
|
383
|
+
return;
|
|
384
|
+
}
|
|
385
|
+
|
|
326
386
|
// --- GET /rules: agent behavior rules -----------------------------------
|
|
327
387
|
if (req.method === "GET" && pathname === "/rules") {
|
|
328
388
|
sendJson(res, 200, { rules: settings?.getRules?.() ?? [] });
|
|
@@ -333,7 +393,8 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
333
393
|
// internal /api/dsh-mneme/list) ------------------------------------
|
|
334
394
|
if (req.method === "GET" && pathname === "/memories") {
|
|
335
395
|
const type = url.searchParams.get("type") ?? undefined;
|
|
336
|
-
|
|
396
|
+
// 上界是防御:limit 直接进 SQL LIMIT(见 MAX_PAGE_LIMIT 注释)。
|
|
397
|
+
const limit = Math.min(Number(url.searchParams.get("limit") ?? 50), MAX_PAGE_LIMIT);
|
|
337
398
|
const offset = Number(url.searchParams.get("offset") ?? 0);
|
|
338
399
|
const order = url.searchParams.get("order") ?? undefined;
|
|
339
400
|
const minRaw = url.searchParams.get("minImportance");
|
|
@@ -384,7 +445,8 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
384
445
|
// 整个异步回调套 try/catch:service 抛错不能变成未处理拒绝(Node 默认
|
|
385
446
|
// 策略下会终止宿主进程)或悬着不回的请求(外层同步 try 捕不到这里)。
|
|
386
447
|
if (req.method === "PUT") {
|
|
387
|
-
void readBody(req).then(async (text) => {
|
|
448
|
+
void readBody(req, res).then(async (text) => {
|
|
449
|
+
if (text === null) return;
|
|
388
450
|
try {
|
|
389
451
|
await handlePutBody(res, service, logger, id, text);
|
|
390
452
|
} catch (error) {
|
|
@@ -400,7 +462,8 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
400
462
|
|
|
401
463
|
// --- POST /memories: save with title-dedupe (safer than raw save) ------
|
|
402
464
|
if (req.method === "POST" && pathname === "/memories") {
|
|
403
|
-
void readBody(req).then((text) => {
|
|
465
|
+
void readBody(req, res).then((text) => {
|
|
466
|
+
if (text === null) return;
|
|
404
467
|
let body;
|
|
405
468
|
try {
|
|
406
469
|
body = JSON.parse(text || "{}");
|
|
@@ -488,7 +551,8 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
488
551
|
// /api/dsh-mneme/maintenance/reclaim 共用 src/reclaim-http.js,两张皮只有鉴权
|
|
489
552
|
// 与路径不同。这条曾经是整段复制的,于是面板侧修好之后这边还停在旧形态(#411)。
|
|
490
553
|
if (req.method === "POST" && pathname === "/maintenance/reclaim") {
|
|
491
|
-
void readBody(req).then((text) => {
|
|
554
|
+
void readBody(req, res).then((text) => {
|
|
555
|
+
if (text === null) return;
|
|
492
556
|
const parsed = parseReclaimJson(text);
|
|
493
557
|
if (!parsed.ok) {
|
|
494
558
|
sendJson(res, 400, { error: parsed.error });
|
|
@@ -521,7 +585,8 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
521
585
|
// 显式收 dir(插件没有工作区根目录概念,不猜路径);确定性解析零 LLM;
|
|
522
586
|
// 幂等骑 saveWithDedupe 的 (type, title, scope) 去重 + _overwrite 刷新。
|
|
523
587
|
if (req.method === "POST" && pathname === "/bootstrap") {
|
|
524
|
-
void readBody(req).then((text) => {
|
|
588
|
+
void readBody(req, res).then((text) => {
|
|
589
|
+
if (text === null) return;
|
|
525
590
|
let body;
|
|
526
591
|
try {
|
|
527
592
|
body = JSON.parse(text || "{}");
|
|
@@ -554,7 +619,8 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
554
619
|
// --- GET /search: unified recall pipeline (keyword + vector + BM25) ----
|
|
555
620
|
if (req.method === "GET" && pathname === "/search") {
|
|
556
621
|
const q = url.searchParams.get("q") ?? "";
|
|
557
|
-
|
|
622
|
+
// 上界是防御:topK 直接进召回(见 MAX_SEARCH_TOP_K 注释)。
|
|
623
|
+
const limit = Math.min(Number(url.searchParams.get("topK") ?? url.searchParams.get("limit") ?? 20), MAX_SEARCH_TOP_K);
|
|
558
624
|
const mode = url.searchParams.get("mode") ?? "auto";
|
|
559
625
|
const rerank = url.searchParams.get("rerank") !== "false";
|
|
560
626
|
const occurredFrom = url.searchParams.get("occurred_from") ?? null;
|
|
@@ -599,7 +665,7 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
|
|
|
599
665
|
if (req.method === "GET" && pathname === "/context") {
|
|
600
666
|
const q = (url.searchParams.get("q") ?? "").trim();
|
|
601
667
|
const maxItemsRaw = Number(url.searchParams.get("topK") ?? url.searchParams.get("limit") ?? 5);
|
|
602
|
-
const maxItems = Number.isInteger(maxItemsRaw) && maxItemsRaw > 0 ? maxItemsRaw : 5;
|
|
668
|
+
const maxItems = Number.isInteger(maxItemsRaw) && maxItemsRaw > 0 ? Math.min(maxItemsRaw, MAX_SEARCH_TOP_K) : 5;
|
|
603
669
|
// threshold 是 importance 阈值(injectCandidates 语义),与 /search 的
|
|
604
670
|
// 相似度 threshold 同名不同义——文档已点名,勿混。
|
|
605
671
|
const thresholdRaw = Number(url.searchParams.get("threshold") ?? 3);
|