dsh-armory 1.9.4 → 2.0.0

package/lib/tool-ledger.js

@@ -212,6 +212,16 @@ export async function scanSessionLedger({ days, mcpServerNames, schemas, disable
 	let totalErrors = 0;
 	let orphanResults = 0;
 	let failedFrames = 0;
+	// §5.4 逐日趋势：扫描时顺手按天分桶，不额外遍历日志。
+	// 桶只存「窗口内的相对天序号」（0 = 最早一天，windowDays-1 = 今天），
+	// 由界面负责渲染；返回绝对日期反而让前端多一次时区换算的机会出错。
+	const dayBuckets = new Array(windowDays).fill(0);
+	const dayIndex = (time) => {
+		if (typeof time !== "number") return null;
+		const offset = now - time;
+		const idx = windowDays - 1 - Math.floor(offset / 86_400_000);
+		return idx >= 0 && idx < windowDays ? idx : null;
+	};
 	const failures = (reason) => {
 		failedFiles += 1;
 		if (failedFileSamples.length < 20) failedFileSamples.push(reason);
@@ -301,6 +311,8 @@ export async function scanSessionLedger({ days, mcpServerNames, schemas, disable
 						record.calls += 1;
 						totalCalls += 1;
 						dirHadCall = true;
+						const bucket = dayIndex(time);
+						if (bucket !== null) dayBuckets[bucket] += 1;
 						if (callId) record.seenCallIds.add(callId);
 						if (time !== null) {
 							if (record.firstUsedMs === null || time < record.firstUsedMs) record.firstUsedMs = time;
@@ -414,6 +426,10 @@ export async function scanSessionLedger({ days, mcpServerNames, schemas, disable
 		// 界面在 zstd 降级时会提示「升级到 22.15 以上」，得能说出用户当前跑的是什么版本，
 		// 否则那句提示等于没说。取宿主进程自己的版本（不是 package.json 的 engines 声明）。
 		nodeVersion: process.versions.node,
+		// OPT-19：解压文本缓存的占用快照（见 textCacheStats）。128 MB 常驻占用此前对用户
+		// 完全不可见——报告带上它，面板才有数据展示「缓存占了多少、离上界还有多远」，并
+		// 在接近上界时引导用户手动回收（清空动作由 index.js 的 toolTailor 方法承接）。
+		textCache: textCacheStats(),
 		totalCalls,
 		totalResults,
 		totalErrors,
@@ -424,6 +440,109 @@ export async function scanSessionLedger({ days, mcpServerNames, schemas, disable
 		deadMcpCount: deadMcpTools.length,
 		taxTotalTokens,
 		deadMcpTaxTokens,
+		// §5.4 趋势数据：逐日调用量（下标 0 = 窗口最早一天）。
+		// 界面只在「确实有调用」时画 sparkline，全 0 从这里就能看出来，不必前端猜。
+		dailyCalls: dayBuckets,
 		tools,
 	};
 }
+
+// OPT-19：解压文本缓存（OPT-03）的**可观测性**与**手动回收**。128 MB 上界在长时间运行的
+// 宿主里是笔实实在在的常驻占用，但本模块此前只导出 scanSessionLedger，条数/字节数/新鲜度全
+// 关在模块私有作用域里：用户既看不到占用，也没有任何回收手段，出问题只能重启宿主。下面两个
+// 导出只读写模块私有状态——不读盘、不解压、不新增 RPC 契约（接线到宿主由 index.js 另行负责）。
+
+/** utilization 的量化倍数：10^4，即保留 4 位小数（0.0001 精度），避免浮点长尾进入面板文案。 */
+const UTILIZATION_SCALE = 10_000;
+
+/**
+ * 从缓存条目的戳（`size:mtimeMs`）里取出**毫秒时间戳**。
+ *
+ * 戳是复合串：它同时编码落盘体积与 mtime，用来判「内容是否变化」（见 readLogTextCached）。
+ * 但对外契约要的是 number ——「这条缓存有多久没动」是个时间点，复合串既不是数字、也不能
+ * 直接按字典序比较大小（`"9:..."` > `"10:..."`），所以这里只取后段的 mtimeMs。解析不出来
+ * （历史遗留条目或将来改了格式）时返回 null，由调用方跳过该条，绝不让 NaN 污染最值聚合。
+ * @param {{ stamp?: unknown }} entry - 缓存条目。
+ * @returns {number|null} 毫秒时间戳，无法解析时为 null。
+ */
+function stampTimeMs(entry) {
+	if (typeof entry?.stamp !== "string") return null;
+	const sep = entry.stamp.lastIndexOf(":");
+	if (sep === -1) return null;
+	const ms = Number(entry.stamp.slice(sep + 1));
+	return Number.isFinite(ms) ? ms : null;
+}
+
+/**
+ * 解压文本缓存的只读快照。**纯数据、无副作用**：不读盘、不解压、不改变 LRU 顺序，可以在
+ * 面板渲染时顺手取一次而不用担心干扰扫描。
+ *
+ * `utilization` 取「字节占用率」与「条数占用率」的**较大者**：rememberCacheEntry 的收缩条件
+ * 是 `size > maxEntries || bytes > maxBytes`，任一维度逼近上界都会触发淘汰；只看字节会漏掉
+ * 「32 条小文件把条数打满、字节却很低」这种同样会开始丢缓存的情况。
+ * @returns {{
+ *   entries: number,
+ *   bytes: number,
+ *   maxEntries: number,
+ *   maxBytes: number,
+ *   utilization: number,
+ *   oldestStamp: number|null,
+ *   newestStamp: number|null
+ * }} 缓存占用快照；空缓存时 entries/bytes/utilization 全为 0，两个戳为 null。
+ */
+export function textCacheStats() {
+	let oldestStamp = null;
+	let newestStamp = null;
+	for (const entry of textCache.values()) {
+		const stamp = stampTimeMs(entry);
+		if (stamp === null) continue;
+		if (oldestStamp === null || stamp < oldestStamp) oldestStamp = stamp;
+		if (newestStamp === null || stamp > newestStamp) newestStamp = stamp;
+	}
+	const entries = textCache.size;
+	const bytes = Number.isFinite(textCacheBytes) ? textCacheBytes : 0;
+	// 必须 clamp：淘汰是「先写入、再按预算收缩」，单条最大可到 128 MB，写后到收缩之间瞬时
+	// 会越过上界（raw 可能 > 1）；下界 0 则是防计数漂移（理论上不该为负，但负数利用率上屏
+	// 毫无意义）。四舍五入放在 clamp 之后，保证结果恒在 [0, 1] 且只保留 4 位小数。
+	const raw = Math.max(bytes / TEXT_CACHE_MAX_BYTES, entries / TEXT_CACHE_MAX_ENTRIES);
+	const utilization = Math.round(Math.min(Math.max(raw, 0), 1) * UTILIZATION_SCALE) / UTILIZATION_SCALE;
+	return {
+		entries,
+		bytes,
+		maxEntries: TEXT_CACHE_MAX_ENTRIES,
+		maxBytes: TEXT_CACHE_MAX_BYTES,
+		utilization,
+		oldestStamp,
+		newestStamp,
+	};
+}
+
+/**
+ * 清空解压文本缓存并复位计数，返回被清掉的内容概要（供面板说「已释放 x MB」）。
+ *
+ * 实现顺序是有意为之——**先取 size 快照 → 再 clear → 最后把计数显式归零**：
+ *   1. 不能先 `textCache.clear()` 再取 size / 遍历求和：那时 Map 已空，clearedEntries 与
+ *      clearedBytes 会恒为 0，面板就永远只能说「已释放 0 MB」；
+ *   2. 也不能指望 `dropCacheEntry` 顺手收拾计数——它按 logPath 逐条 `-=`，必须先于 clear
+ *      调用才有意义；clear 之后它拿不到任何条目，等于什么也没做（这正是最容易被写反的地方）；
+ *   3. 计数变量 `textCacheBytes` 是**独立**于 Map 的，`Map.clear()` 不会动它。漏掉归零就会
+ *      留下一笔幽灵占用：此后 rememberCacheEntry 的预算循环会立刻判定超限并把刚写进去的条目
+ *      淘汰掉（表现为缓存「莫名其妙永不命中」）。所以这里无条件赋 0，而不是 `-= clearedBytes`。
+ *
+ * 安全性：清空后下一次 scanSessionLedger 走的是 readLogTextCached 的未命中分支（读盘 →
+ * 解压 → 回填），完全不依赖缓存状态，只是「重新解压一遍」，不会抛错。风险点其实在反方向：
+ * 清空后若 `textCacheBytes` 没归零（留着正数），后续每一次 rememberCacheEntry 都会在预算
+ * 循环里把刚写进来的条立刻丢掉，看上去就像「缓存失效了」；归零才不会把缓存卡死。
+ * 幂等：空缓存上再调一次，返回 clearedEntries 与 clearedBytes 均为 0。
+ * @returns {{ clearedEntries: number, clearedBytes: number, entries: number, bytes: number }}
+ *   被清掉的条数/字节数；entries 与 bytes 恒为 0，表示清空后的状态。
+ */
+export function clearTextCache() {
+	const clearedEntries = textCache.size;
+	// 负值只可能来自计数漂移；对面板而言「-0.0 MB」没有任何意义，按 0 呈现。清空后的状态
+	// 则无条件归零，漂移不会被带进下一轮的预算判断。
+	const clearedBytes = Number.isFinite(textCacheBytes) ? Math.max(textCacheBytes, 0) : 0;
+	textCache.clear();
+	textCacheBytes = 0;
+	return { clearedEntries, clearedBytes, entries: 0, bytes: 0 };
+}

package/lib/typert.js

@@ -85,6 +85,8 @@ export const TYPERT = {
     // WorkBuddy 市场直连（连接器 MCP + SkillHub 技能）。payload 全部 $any：数据形状由
     // lib/wb-market.js 校验，契约层与 builtins/importJson 同一宽容度。
     mv('wbConnectorCatalog', [], 'WbCatalogResult'),
+    // 顶栏「市场」chip 常驻计数：只读磁盘缓存，零网络；无缓存返回 { total: null }。
+    mv('wbConnectorCachedCount', [], 'WbCachedCountResult'),
     mv('wbConnectorPreview', [payloadParam], 'WbPreviewResult'),
     mv('wbConnectorInstall', [payloadParam], 'NoteResult'),
     mv('wbSkillCatalog', [payloadParam], 'WbSkillListResult'),
@@ -92,6 +94,22 @@ export const TYPERT = {
     mv('wbSkillInstall', [payloadParam], 'NoteResult'),
     mv('wbSkillUninstall', [payloadParam], 'NoteResult'),
     mv('wbSkillInstalled', [], 'WbInstalledResult'),
+    // T03/R4：多市场注册表（读 / 增改）。payload $any，形状由 lib/wb-registry.js 校验。
+    mv('wbMarketRegistry', [], 'WbMarketRegistryResult'),
+    mv('wbMarketRegistryUpsert', [payloadParam], 'WbMarketRegistryResult'),
+    // T03/R5：codebuddy 插件市场（列表 / 详情）。payload $any，形状由 lib/wb-plugin-market.js 校验。
+    mv('wbPluginCatalog', [], 'WbPluginCatalogResult'),
+    mv('wbPluginDetail', [payloadParam], 'WbPluginDetailResult'),
+    // T04/R8：安装状态登记与查询（宿主侧落盘，客户端「已安装」筛选的数据源）。
+    mv('wbInstallState', [], 'InstallStateResult'),
+    mv('wbInstallStateRecord', [payloadParam], 'NoteResult'),
+    mv('wbInstallStateForget', [payloadParam], 'NoteResult'),
+    // T05/R9：插件市场更新探测（只做条件请求，不落新包）。
+    mv('wbPluginUpdateCheck', [], 'WbUpdateHintResult'),
+    // T06/Awesome：DSH 社区插件市场（awesome-dsh-plugins，数据层 lib/wb-awesome-market.js）。
+    mv('wbAwesomeCatalog', [payloadParam], 'AwesomeCatalogResult'),
+    mv('wbAwesomeDetail', [payloadParam], 'AwesomeDetailResult'),
+    mv('wbAwesomeUpdateCheck', [], 'WbUpdateHintResult'),
     // WorkBuddy 专家直连（召唤预设 + 捆绑技能）。payload 全部 $any：数据形状由
     // lib/expert-market.js 校验，与 wb* 系列同一宽容度。
     mv('wbExpertCatalog', [], 'WbExpertCatalogResult'),
@@ -106,6 +124,14 @@ export const TYPERT = {
     mv('expertAttach', [payloadParam], 'NoteResult'),
     mv('expertDetach', [payloadParam], 'NoteResult'),
     mv('expertActive', [], 'ExpertActiveResult'),
+    // R8：连接器 MCP 的浏览器授权（RFC 9728/8414/7591/7636）。副作用是起本地回调
+    // 监听 + 拉系统浏览器，所以 begin/poll 都是独立 RPC，面板按需轮询。
+    mv('wbOAuthBegin', [payloadParam], 'NoteResult'),
+    mv('wbOAuthPoll', [payloadParam], 'NoteResult'),
+    mv('wbOAuthCancel', [payloadParam], 'NoteResult'),
+    mv('wbOAuthToken', [payloadParam], 'NoteResult'),
+    mv('wbOAuthOverview', [payloadParam], 'NoteResult'),
+    mv('wbOAuthOpen', [payloadParam], 'NoteResult'),
   ],
   model: { services: [], events: [], objects: [] },
 }

package/lib/wb-auth-rules.js

@@ -0,0 +1,128 @@
+// auth_injection_rules 解析 + mcpServers token 占位符工具（R1 / R7 的纯函数部分）。
+//
+// 设计边界（X9）：WB 的 auth_injection_rules 是 WB 账号体系的**代注入**机制，DSH 不做
+// 注入——本模块只解析、只关联、只展示（R1）；R7 的令牌引导安装用的是**用户自填 token**
+// 对 `${...}` 占位符的显式替换，与 WB 代注入是两回事。
+//
+// 纯函数库：零 IO、零网络、零 Remote/UI 依赖。所有函数对畸形输入一律防御性返回
+// 空集合/原样副本，绝不抛错——上游 JSON 是远端 zip 里的内容，任何形状都可能出现。
+//
+// 实测参考结构（仅防御解析参考，不硬编码依赖）：
+//   规则 = { id, when:{active_in:[]}, applies_to_connectors:[], requires_connected_connectors:[],
+//            timing:"request", inject:[{from_connector, token_type, header, value_template}] }
+
+/**
+ * 解析 connectors.json 顶层的 auth_injection_rules 数组。
+ * 非数组 / 字段缺失 / 元素不是对象 → 返回 []（绝不抛错）。
+ * 元素原样保留（下游只读 id / applies_to_connectors / inject 等字段做展示）。
+ */
+export function parseInjectionRules(indexJson) {
+  const rules = indexJson?.auth_injection_rules;
+  if (!Array.isArray(rules)) return [];
+  return rules.filter((rule) => rule && typeof rule === "object" && !Array.isArray(rule));
+}
+
+/**
+ * 按 connectorId 命中规则：applies_to_connectors 数组包含该 id 即命中。
+ * 返回命中规则数组（空输入 / 非数组 applies_to_connectors 一律不命中）。
+ */
+export function rulesFor(rules, connectorId) {
+  if (!Array.isArray(rules)) return [];
+  const id = String(connectorId ?? "").trim();
+  if (!id) return [];
+  return rules.filter((rule) => {
+    const applies = rule?.applies_to_connectors;
+    return Array.isArray(applies) && applies.map((entry) => String(entry ?? "").trim()).includes(id);
+  });
+}
+
+/** 一个待填 token 槽位：占位符在哪个 server 的哪个容器字段里。 */
+// 形状：{ server, container: "env"|"header", key, template, placeholder, value }
+
+const PLACEHOLDER_PATTERN = /\$\{([^}]+)\}/g;
+// 非全局版：.test() 不会推进 lastIndex（全局正则连续 test 会漏判残留占位符）。
+const HAS_PLACEHOLDER = /\$\{[^}]+\}/;
+
+/**
+ * 扫描 mcpServers 的 env 与 headers 值里的 `${...}` 模板占位符。
+ * 返回槽位清单：[{ server, container: "env"|"header", key, template, placeholder, value }]
+ *   - container   字段容器：env → env 对象；header → headers 对象（对外统一命名）
+ *   - template    原始模板串（如 "Bearer ${token}"）
+ *   - placeholder 第一个占位符（如 "token"）；模板无占位符的条目不进清单
+ *   - value       原值（供 applyTokens 做精确字符串替换与回显）
+ * mcpServers / env / headers 畸形（null、数组、值非字符串）一律跳过，不抛错。
+ */
+export function scanTokenSlots(mcpServers) {
+  if (!mcpServers || typeof mcpServers !== "object" || Array.isArray(mcpServers)) return [];
+  const slots = [];
+  for (const [server, rawServer] of Object.entries(mcpServers)) {
+    // transport 可能嵌套（wb-market.serverInstallability 的 nested 形态）：env/headers
+    // 在 server 本体或 server.transport 上都认。
+    const nested = rawServer && typeof rawServer === "object" && typeof rawServer.transport === "object" && rawServer.transport !== null
+      ? rawServer.transport
+      : (typeof rawServer === "object" && rawServer !== null ? rawServer : null);
+    if (!nested) continue;
+    const bags = [["env", nested.env], ["header", nested.headers]];
+    for (const [container, bag] of bags) {
+      if (!bag || typeof bag !== "object" || Array.isArray(bag)) continue;
+      for (const [key, value] of Object.entries(bag)) {
+        if (typeof value !== "string") continue;
+        const matches = [...value.matchAll(PLACEHOLDER_PATTERN)];
+        if (!matches.length) continue;
+        slots.push({
+          server,
+          container,
+          key,
+          template: value,
+          placeholder: matches[0][1].trim(),
+          value,
+        });
+      }
+    }
+  }
+  return slots;
+}
+
+/**
+ * 按槽位把占位符替换为用户 token，产出「可安全写盘」的 mcpServers 副本。
+ *   - tokens: Record<placeholder, value>，键为占位符名（如 { access_token: "xxx" }）。
+ *   - 未提供 token 的槽位**保留原样**并在 missingSlots 里标记（供 UI 提示缺槽）。
+ * 返回 { mcpServers, missingSlots }：
+ *   mcpServers    深拷贝后的替换结果（原对象永不改动）
+ *   missingSlots  [{ server, container, key, placeholder, template }] 未填槽位清单
+ * 输入畸形时返回 { mcpServers: {}, missingSlots: [] }；对每个槽位同时应用模板内**所有**
+ * 占位符（"Bearer ${a}/${b}" 两处都能换），全替换后仍含 `${` 的值按未填槽位上报。
+ */
+export function applyTokens(mcpServers, tokens) {
+  const source = mcpServers && typeof mcpServers === "object" && !Array.isArray(mcpServers) ? mcpServers : {};
+  const tokenMap = tokens && typeof tokens === "object" && !Array.isArray(tokens) ? tokens : {};
+  const missingSlots = [];
+  const result = structuredClone(source);
+  const slots = scanTokenSlots(result);
+  for (const slot of slots) {
+    const target = slot.container === "header"
+      ? result[slot.server]?.transport?.headers ?? result[slot.server]?.headers
+      : result[slot.server]?.transport?.env ?? result[slot.server]?.env;
+    if (!target || typeof target !== "object") continue;
+    let filled = String(target[slot.key]);
+    for (const match of filled.matchAll(PLACEHOLDER_PATTERN)) {
+      const token = tokenMap[match[1].trim()];
+      if (typeof token === "string" && token.length) {
+        filled = filled.split(match[0]).join(token);
+      }
+    }
+    if (HAS_PLACEHOLDER.test(filled)) {
+      // 仍有残留占位符 → 该槽位缺 token：保留原样并上报。
+      missingSlots.push({
+        server: slot.server,
+        container: slot.container,
+        key: slot.key,
+        placeholder: slot.placeholder,
+        template: slot.template,
+      });
+    } else {
+      target[slot.key] = filled;
+    }
+  }
+  return { mcpServers: result, missingSlots };
+}