dsh-knit 0.23.1 → 0.25.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +136 -0
- package/README.en.md +36 -7
- package/README.md +35 -9
- package/SECURITY.md +10 -2
- package/package.json +3 -3
- package/src/client/client.js +1441 -29
- package/src/host/attachments.js +245 -0
- package/src/host/changes.js +208 -0
- package/src/host/git.js +377 -0
- package/src/host/index.js +358 -5
- package/test/attachments.test.mjs +285 -0
- package/test/client.test.mjs +1345 -11
- package/test/git-changes.test.mjs +1238 -0
- package/test/harness.mjs +12 -0
- package/test/host-http.test.mjs +4 -58
- package/test/http-harness.mjs +79 -0
- package/test/index-incremental.test.mjs +13 -2
package/src/host/index.js
CHANGED
|
@@ -13,6 +13,7 @@
|
|
|
13
13
|
*
|
|
14
14
|
* 零模型、零网络出口:只读本地文件与会话日志。
|
|
15
15
|
*/
|
|
16
|
+
import { createHash } from 'node:crypto'
|
|
16
17
|
import { readFile, readdir, stat } from 'node:fs/promises'
|
|
17
18
|
import { createReadStream, realpathSync, statSync } from 'node:fs'
|
|
18
19
|
import { dirname, join, relative, resolve, sep } from 'node:path'
|
|
@@ -26,6 +27,11 @@ import { buildLinkGraph, extractRefsWithLines, linksOf } from './links.js'
|
|
|
26
27
|
// v0.21:关系事实表(谁提到谁)。**同步、零 I/O** —— 只吃记录上现成的 `refs` / `head`。
|
|
27
28
|
// v0.22 修法 ①:`importsOf` 同样提前到读盘时执行,结果进索引的 `refs.imports`。
|
|
28
29
|
import { buildRelationFacts, importsOf } from './relations.js'
|
|
30
|
+
// v0.25:对话里「工具产出」的图(在媒体档里显示)。它**是唯一读工作区之外**的地方,
|
|
31
|
+
// 所以边界全在那个模块里写死:只认 sha256、只认本会话出现过的 id、只读那一个对象文件。
|
|
32
|
+
import {
|
|
33
|
+
createAttachmentStore, isAttachmentId, objectPath, attachmentsRoot, dropSaved, MAX_ATTACHMENT_BYTES,
|
|
34
|
+
} from './attachments.js'
|
|
29
35
|
// v0.21:上下文控制层(固定 / 排除)。**纯逻辑 + 可选持久化**:本文件负责把
|
|
30
36
|
// `ctx.storage`(拿得到才有)递给它,它自己不 import 任何官方包。
|
|
31
37
|
import {
|
|
@@ -41,11 +47,16 @@ import { sharedIndexStore, headHashOf, refsShapeOk } from './index-store.js'
|
|
|
41
47
|
import {
|
|
42
48
|
createSemanticEngine, sharedSemanticStore, normalizeProviderConfig,
|
|
43
49
|
} from './semantic.js'
|
|
50
|
+
// v0.25:Git 变更关联检索。**只读、有界、默认关闭** —— `git.js` 只跑一条
|
|
51
|
+
// `git status --porcelain=v1 -z`(argv 是数组,绝不走 shell;写动词一个都没有),
|
|
52
|
+
// `changes.js` 把变更文件当种子去**已有的**关系事实表里取边,不发明关系。
|
|
53
|
+
import { createGitReader, MAX_REPORTED_FILES } from './git.js'
|
|
54
|
+
import { splitSeeds, ghostCandidates, projectChangeRelated, MAX_CHANGE_RELATED } from './changes.js'
|
|
44
55
|
// v0.14:上下文装配。同样由这里注入依赖(`list` / `read`),保持纯函数可单测。
|
|
45
56
|
// ⚠️ 这里**只 import `buildContext`**:Context Pack 的文本渲染只在 `tool.js` 的
|
|
46
57
|
// `renderToolText()` 里发生(模型看到的是那段文本,不是结构化 JSON)。曾经多导出一个
|
|
47
58
|
// `renderContextText` 却没人调用 —— 那是个会与 `tool.js` 漂移的第二渲染器,已删。
|
|
48
|
-
import { buildContext } from './context.js'
|
|
59
|
+
import { buildContext, sourceTypeOf } from './context.js'
|
|
49
60
|
// v0.20:内容片段层(Deep Context Retrieval)。**纯函数、不读盘**,
|
|
50
61
|
// 目录遍历与缓存全在本文件 —— 它只回答「这篇正文里哪几段相关」。
|
|
51
62
|
import { passageMatchesFor, passageTfOf, PASSAGE_WINDOW } from './passage.js'
|
|
@@ -1578,6 +1589,13 @@ let controlRegistry = createControlRegistry(null)
|
|
|
1578
1589
|
*/
|
|
1579
1590
|
let semanticEngine = createSemanticEngine({ store: null })
|
|
1580
1591
|
|
|
1592
|
+
/**
|
|
1593
|
+
* v0.25 · 进程内的 Git 读取器。**只有 `changes=1` 那一轮才会真的去跑 git** ——
|
|
1594
|
+
* 默认关闭意味着默认这条路上一个进程都不 spawn(用户需求 §三.3 的「不悄悄改变基础检索行为」)。
|
|
1595
|
+
* 缓存(8 秒)与「不是仓库」的负缓存都在它内部,见 `git.js`。
|
|
1596
|
+
*/
|
|
1597
|
+
const gitReader = createGitReader()
|
|
1598
|
+
|
|
1581
1599
|
/**
|
|
1582
1600
|
* v0.23 Phase A:跑一轮**有界**语义候选。
|
|
1583
1601
|
*
|
|
@@ -1837,7 +1855,7 @@ export async function scan(root, limit, options = {}) {
|
|
|
1837
1855
|
ordered = pool.map((doc) => ({ ...doc, score: null }))
|
|
1838
1856
|
}
|
|
1839
1857
|
|
|
1840
|
-
|
|
1858
|
+
const out = {
|
|
1841
1859
|
ok: true,
|
|
1842
1860
|
root,
|
|
1843
1861
|
// v0.19 修订:`root` 是会话自己那条路径(可能含符号链接,用于显示);
|
|
@@ -1865,6 +1883,11 @@ export async function scan(root, limit, options = {}) {
|
|
|
1865
1883
|
// 全量列表(未按 limit 切片)。**内部输入**:v0.17 的 lifecycle 需要「被读过但
|
|
1866
1884
|
// 不一定落在当前页」的文档的当前 mtime。由 `publicScanPayload()` 剥掉。
|
|
1867
1885
|
allDocs: ordered,
|
|
1886
|
+
// v0.25:**文档 + 代码**那一份语料(与类型档无关)。Git 变更关联要在「文档 ↔ 代码」
|
|
1887
|
+
// 之间找证据(`documents` / `imports` / `tests` 三类都跨档),而面板的档位把语料切开了;
|
|
1888
|
+
// 所以这里多带一份**不分档**的候选集给它。它只是一组引用(记录本身已在 `allDocs` 里),
|
|
1889
|
+
// 由 `publicScanPayload()` 剥掉,不下发。
|
|
1890
|
+
contextCorpus: collected.docs.concat(collected.code),
|
|
1868
1891
|
// v0.19 扫描计数(需求 §50 要报的那几个数:见到的 / 准入的 / 被排除的 / 生成噪声)
|
|
1869
1892
|
// 加上 `corpusSize`(本档语料的实际大小,即 `allDocs.length`)。
|
|
1870
1893
|
// **内部输入**,由 `publicScanPayload()` 剥掉 —— HTTP 响应形状一个键都不加。
|
|
@@ -1874,6 +1897,59 @@ export async function scan(root, limit, options = {}) {
|
|
|
1874
1897
|
semantic,
|
|
1875
1898
|
},
|
|
1876
1899
|
}
|
|
1900
|
+
// v0.25:记一份给独立接口复用(见 `corpusForChanges`)。**只写不读**,扫描语义不变。
|
|
1901
|
+
scanMemoState = { root, at: Date.now(), payload: out }
|
|
1902
|
+
return out
|
|
1903
|
+
}
|
|
1904
|
+
|
|
1905
|
+
/**
|
|
1906
|
+
* **最近一次扫描**的备忘(v0.25)。
|
|
1907
|
+
*
|
|
1908
|
+
* 存在的唯一理由是:Git 变更关联现在走**独立接口** `/knit/api/changes`,而它需要与
|
|
1909
|
+
* `/api/recent` **同一份**工作区语料。如果它自己再 `scan()` 一次,一轮轮询就会
|
|
1910
|
+
* **走两遍目录树**——那正是「不得因为两个请求重复扫描整个工作区」要禁掉的事。
|
|
1911
|
+
*
|
|
1912
|
+
* ⚠️ 这份备忘**只被独立接口读**,`scan()` 自己从不读它 ⇒ 扫描的语义一个字节没变
|
|
1913
|
+
* (同一进程里连续两次 `scan()` 依旧各自真扫,增量索引那套测试的前提因此不被动摇)。
|
|
1914
|
+
* TTL 与 `git.js` 的 `GIT_CACHE_TTL_MS`(8 s)**同窗**:一个快照窗口 = 一次扫描 + 一次 git。
|
|
1915
|
+
*/
|
|
1916
|
+
const SCAN_MEMO_TTL_MS = 8000
|
|
1917
|
+
let scanMemoState = null
|
|
1918
|
+
|
|
1919
|
+
/** 仅供测试:读当前备忘(`null` = 没有可复用的扫描)。 */
|
|
1920
|
+
export function scanMemo() {
|
|
1921
|
+
if (!scanMemoState) return null
|
|
1922
|
+
if (Date.now() - scanMemoState.at > SCAN_MEMO_TTL_MS) return null
|
|
1923
|
+
return { root: scanMemoState.root, at: scanMemoState.at }
|
|
1924
|
+
}
|
|
1925
|
+
|
|
1926
|
+
/** 仅供测试:清掉备忘,好把「复用」与「真扫」两条路分开断言。 */
|
|
1927
|
+
export function resetScanMemo() {
|
|
1928
|
+
scanMemoState = null
|
|
1929
|
+
}
|
|
1930
|
+
|
|
1931
|
+
/**
|
|
1932
|
+
* 仅供测试:清掉 **git 状态缓存**。
|
|
1933
|
+
*
|
|
1934
|
+
* 与 `resetScanMemo()` 配对使用:只证明「缓存热的时候看不见变化」是不够的 ——
|
|
1935
|
+
* 还要证明「缓存冷了变化就出现」。两条合起来才说明那个「看不见」是缓存造成的,
|
|
1936
|
+
* 而不是接口本来就对文件增删无感。
|
|
1937
|
+
*/
|
|
1938
|
+
export function resetGitReaderCache() {
|
|
1939
|
+
gitReader.reset()
|
|
1940
|
+
}
|
|
1941
|
+
|
|
1942
|
+
/**
|
|
1943
|
+
* 独立接口要的那份语料:**优先复用最近一次扫描**,没有(或过期)才真扫一遍。
|
|
1944
|
+
*
|
|
1945
|
+
* @param {string} root - 工作区根
|
|
1946
|
+
* @param {object} fallback - 真扫时用的参数(与 `/api/recent` 同一组:同参数才能命中同一份语料)
|
|
1947
|
+
* @returns {Promise<object>} `scan()` 的完整载荷
|
|
1948
|
+
*/
|
|
1949
|
+
export async function corpusForChanges(root, fallback) {
|
|
1950
|
+
const memo = scanMemoState
|
|
1951
|
+
if (memo && memo.root === root && Date.now() - memo.at <= SCAN_MEMO_TTL_MS) return memo.payload
|
|
1952
|
+
return scan(root, fallback.limit, fallback.options)
|
|
1877
1953
|
}
|
|
1878
1954
|
|
|
1879
1955
|
/**
|
|
@@ -1889,10 +1965,11 @@ export async function scan(root, limit, options = {}) {
|
|
|
1889
1965
|
*/
|
|
1890
1966
|
export function publicScanPayload(payload) {
|
|
1891
1967
|
if (!payload || typeof payload !== 'object') return payload
|
|
1892
|
-
const { ranked, task, allDocs, stats, ...rest } = payload
|
|
1968
|
+
const { ranked, task, allDocs, contextCorpus, stats, ...rest } = payload
|
|
1893
1969
|
void ranked
|
|
1894
1970
|
void task
|
|
1895
1971
|
void allDocs
|
|
1972
|
+
void contextCorpus
|
|
1896
1973
|
void stats
|
|
1897
1974
|
return rest
|
|
1898
1975
|
}
|
|
@@ -1986,7 +2063,122 @@ export async function buildContextFor(root, options = {}) {
|
|
|
1986
2063
|
// 「固定上下文」区(`pack.pinned`,来源 `manual`)—— 三层的连续编号规则因此一个字不动。
|
|
1987
2064
|
// 条目只从这一包现成的行里取,零新 I/O;固定了一篇但这一批里没有它,**不硬凑**。
|
|
1988
2065
|
// 显式传入的 `control` 优先(测试用),否则问进程内的控制状态 —— 与 `scan()` 同一条口径。
|
|
1989
|
-
|
|
2066
|
+
const withPin = applyPinOverride(pack, options.control || controlRegistry.controlOf(root))
|
|
2067
|
+
// ⚠️ v0.25(第二轮修订):**变更关联不在这里**。它不再往 Context Pack 里挂任何东西 ——
|
|
2068
|
+
// 「三层 + 固定区」就是这个函数的全部产出,与 v0.24 逐字相同(有测试守着)。
|
|
2069
|
+
// 变更关联走**独立的 `/knit/api/changes` 接口**(`changesPayload()`),
|
|
2070
|
+
// 因为它是「另一个问题的答案」,不是这一份包的第四条目录。
|
|
2071
|
+
return withPin
|
|
2072
|
+
}
|
|
2073
|
+
|
|
2074
|
+
/**
|
|
2075
|
+
* v0.25 · **Git 变更关联**:独立接口 `/knit/api/changes` 的载荷构造函数。
|
|
2076
|
+
*
|
|
2077
|
+
* 它**不碰** Context Pack:不改三层、不改固定区、不改编号、不改排序 —— 那份包由
|
|
2078
|
+
* `buildContextFor()` 原样产出,两条路径唯一的交汇点是「同一个工作区扫描结果」与
|
|
2079
|
+
* 「同一张关系事实表」。
|
|
2080
|
+
*
|
|
2081
|
+
* **数据结构是专用的**(不是 Context Pack 条目,也不复用 `provenance` / `reason` 那套词汇):
|
|
2082
|
+
*
|
|
2083
|
+
* ```
|
|
2084
|
+
* { ok, root, hostRoot, mode: 'changes',
|
|
2085
|
+
* git: { available, reason, filesTotal, truncated, files: [{rel, kinds[], origRel?}] },
|
|
2086
|
+
* links: [ { target, // 关联目标(工作区相对路径)
|
|
2087
|
+
* kind, source, // 目标自身的分类(宿主给,客户端不看扩展名)
|
|
2088
|
+
* title, summary, mtimeMs,
|
|
2089
|
+
* evidence: [ { origin, // **变更起点**:牵出这条关联的那个被改过的文件
|
|
2090
|
+
* type, // 关系类型:references | imports | tests | documents
|
|
2091
|
+
* dir, // 方向(见下):相对**目标**而言
|
|
2092
|
+
* line } ], // **真实存在时**才给行号;`tests` 是文件名约定 ⇒ null
|
|
2093
|
+
* evidenceTotal, types } ],
|
|
2094
|
+
* linksTotal, unresolved: [rel], outOfScope: [rel] }
|
|
2095
|
+
* ```
|
|
2096
|
+
*
|
|
2097
|
+
* ⚠️ `dir` 是必需的第五个字段,不是冗余:没有它,「`src/foo.ts` 与 `docs/guide.md` 之间的
|
|
2098
|
+
* `documents` 边」读起来会分不清**谁提到谁**(`dir='in'` = 起点指向目标;`dir='out'` = 目标
|
|
2099
|
+
* 指向起点)。它与 v0.21 行级证据里的 `dir` 逐字同源,所以客户端**不需要第二条渲染路径**。
|
|
2100
|
+
*
|
|
2101
|
+
* @param {string} root - 工作区根
|
|
2102
|
+
* @param {{corpus: Array<object>, changeSet?: object, gitReader?: object}} input
|
|
2103
|
+
* `corpus` = `scan()` 给的**不分档**候选集(文档 + 代码);`changeSet` 只在测试里注入
|
|
2104
|
+
* @returns {Promise<object>} 这个接口的完整载荷(**任何情况下都不抛**)
|
|
2105
|
+
*/
|
|
2106
|
+
export async function changesPayload(root, input = {}) {
|
|
2107
|
+
const corpus = Array.isArray(input.corpus) ? input.corpus : []
|
|
2108
|
+
const reader = input.gitReader && typeof input.gitReader.read === 'function' ? input.gitReader : gitReader
|
|
2109
|
+
const changeSet = input.changeSet && typeof input.changeSet === 'object'
|
|
2110
|
+
? input.changeSet
|
|
2111
|
+
: await reader.read(root)
|
|
2112
|
+
const git = {
|
|
2113
|
+
available: changeSet.available === true,
|
|
2114
|
+
reason: changeSet.reason || null,
|
|
2115
|
+
// 面板要说的第一句话是「你改了几个文件」。给出的是**解析后**的条数(截断时另标 truncated)。
|
|
2116
|
+
filesTotal: Number(changeSet.filesTotal) || 0,
|
|
2117
|
+
truncated: changeSet.truncated === true,
|
|
2118
|
+
files: (Array.isArray(changeSet.files) ? changeSet.files : []).slice(0, MAX_REPORTED_FILES)
|
|
2119
|
+
.map((f) => ({ rel: f.rel, kinds: Array.isArray(f.kinds) ? f.kinds : [], ...(f.origRel ? { origRel: f.origRel } : {}) })),
|
|
2120
|
+
}
|
|
2121
|
+
// ⚠️ 载荷里**不带 `root` / `hostRoot`**:它们是绝对文件系统路径,而客户端只用工作区相对
|
|
2122
|
+
// 路径就能定位每一篇(`target` / `origin` 都是 rel)。面板要从别处拿根路径就去问
|
|
2123
|
+
// `/api/recent`(它本来就有)—— 关联接口不重复暴露一遍绝对路径。
|
|
2124
|
+
const shell = { ok: true, mode: 'changes', git, links: [], linksTotal: 0, unresolved: [], outOfScope: [] }
|
|
2125
|
+
if (!git.available) return shell
|
|
2126
|
+
|
|
2127
|
+
const corpusRels = new Set(corpus.map((d) => String(d.rel)))
|
|
2128
|
+
const docOf = new Map(corpus.map((d) => [String(d.rel), d]))
|
|
2129
|
+
const { seeds, gone, outside, seedRels } = splitSeeds(changeSet, corpusRels)
|
|
2130
|
+
// ⚠️ 种子要**带上 `gone`**:删掉的测试文件照样牵着它的被测文件(那正是要答的问题),
|
|
2131
|
+
// 只是它自己不能当结果(`corpusRels` 里没有它)。
|
|
2132
|
+
if (seedRels.length === 0) return { ...shell, outOfScope: outside }
|
|
2133
|
+
|
|
2134
|
+
// 变更文件**自己不当结果**(这一区回答的是「还该看什么」)。
|
|
2135
|
+
// ⚠️ 与上一版的差别:这里**不再**排除「已经在三层里的条目」—— 那需要先有一份包才知道,
|
|
2136
|
+
// 而独立接口不该为了一个减法去装配一份三层。两边都出现不是重复:一个是「这一轮该先看什么」,
|
|
2137
|
+
// 一个是「我改的东西牵着谁」。客户端按 rel 去重(它手上两份都有)。
|
|
2138
|
+
const exclude = new Set(seeds)
|
|
2139
|
+
|
|
2140
|
+
// 已删除 / 重命名前的路径当种子时要有「空壳」候选,否则别人指向它的边解析不出来。
|
|
2141
|
+
// ⚠️ 没有 gone 时**不拼**这个数组 —— 那样候选集与装配层那一份逐字相同,
|
|
2142
|
+
// `relations.js` 的缓存(按候选集签名)能直接命中,省掉一次 10 ms 级的重算。
|
|
2143
|
+
const candidates = gone.length > 0 ? [...corpus, ...ghostCandidates(gone)] : corpus
|
|
2144
|
+
const facts = buildRelationFacts(candidates, { root })
|
|
2145
|
+
const projected = projectChangeRelated({
|
|
2146
|
+
seeds: seedRels, incident: facts.incident, itemRels: corpusRels, exclude, limit: MAX_CHANGE_RELATED,
|
|
2147
|
+
})
|
|
2148
|
+
const links = projected.related.map((row) => {
|
|
2149
|
+
const doc = docOf.get(row.rel)
|
|
2150
|
+
if (!doc) return null
|
|
2151
|
+
// 每条证据一行:起点 / 类型 / 方向 / 行号(`line` 没有就是 `null`,不省略 —— 专用结构里
|
|
2152
|
+
// 「这里没有行号」本身是信息,而 `tests` 那一类就是没有)。
|
|
2153
|
+
const evidence = row.evidence.map((e) => ({
|
|
2154
|
+
origin: e.other,
|
|
2155
|
+
type: e.type,
|
|
2156
|
+
dir: e.dir,
|
|
2157
|
+
line: Number.isInteger(e.line) ? e.line : null,
|
|
2158
|
+
}))
|
|
2159
|
+
return {
|
|
2160
|
+
target: row.rel,
|
|
2161
|
+
kind: doc.kind || KIND_DOCUMENT,
|
|
2162
|
+
source: sourceTypeOf(row.rel),
|
|
2163
|
+
title: doc.title || row.rel,
|
|
2164
|
+
summary: doc.summary == null ? '' : String(doc.summary),
|
|
2165
|
+
mtimeMs: Number.isFinite(doc.mtimeMs) ? doc.mtimeMs : 0,
|
|
2166
|
+
evidence,
|
|
2167
|
+
evidenceTotal: row.evidenceTotal,
|
|
2168
|
+
types: row.types,
|
|
2169
|
+
}
|
|
2170
|
+
}).filter(Boolean)
|
|
2171
|
+
return {
|
|
2172
|
+
...shell,
|
|
2173
|
+
links,
|
|
2174
|
+
linksTotal: projected.relatedTotal,
|
|
2175
|
+
// ⚠️ 两个计数**不许重复算同一篇**(写完当场被测试抓到过一次):
|
|
2176
|
+
// · `unresolved` 只说「在语料里、但一条证据都没有」的那些(= 查过了,没有);
|
|
2177
|
+
// · 语料之外的(删除的、重命名前的、这一档不认的后缀)只进 `outOfScope`(= 根本没得查)。
|
|
2178
|
+
// 它们仍然**当种子**用(`seedRels` 带着它们),只是不该被说成「查了没查到」。
|
|
2179
|
+
unresolved: projected.unresolved.filter((rel) => corpusRels.has(rel)),
|
|
2180
|
+
outOfScope: outside,
|
|
2181
|
+
}
|
|
1990
2182
|
}
|
|
1991
2183
|
|
|
1992
2184
|
/**
|
|
@@ -2444,6 +2636,74 @@ function sendMedia(req, res, info) {
|
|
|
2444
2636
|
/** 进程内唯一的 feedback store(按会话分片,会话数与篇数都有硬上限)。 */
|
|
2445
2637
|
const feedbackStore = createStore()
|
|
2446
2638
|
|
|
2639
|
+
/**
|
|
2640
|
+
* 本会话「工具产出的图」的登记簿(v0.25)。
|
|
2641
|
+
*
|
|
2642
|
+
* 内存里、有界、进程重启即失 —— 与 feedback 那一套同样只做**事实登记**,不落盘、不发请求。
|
|
2643
|
+
*/
|
|
2644
|
+
const attachmentStore = createAttachmentStore()
|
|
2645
|
+
|
|
2646
|
+
/**
|
|
2647
|
+
* 已经回填过附件的会话(每个会话只回填一次)。
|
|
2648
|
+
*
|
|
2649
|
+
* ⚠️ **这是本文件第 3 处调用 `session.snapshotEvents()`**(前两处:`rankByRelevance` 当检索输入、
|
|
2650
|
+
* v0.17 的 `backfillFeedback`)。那个 API 已被 DSH 标 deprecated(「new production calls are prohibited」),
|
|
2651
|
+
* 所以这里刻意照抄 v0.17 那条例外的三条边界:**一个会话只做一次、同步零 I/O、只读内存**,
|
|
2652
|
+
* 失败一律吞掉(回填坏了不许带影响面板)。
|
|
2653
|
+
*
|
|
2654
|
+
* 为什么非要有它:只靠订阅的话,**插件启动之前**生成的图一条都收不到 —— 用户看到的是一个
|
|
2655
|
+
* 永远空着的列表(`重启 DSH 前的历史全部消失`),那等于没做。
|
|
2656
|
+
*/
|
|
2657
|
+
const attachmentBackfilled = new Set()
|
|
2658
|
+
|
|
2659
|
+
/**
|
|
2660
|
+
* 一次性回填某会话已有的附件(幂等、有界、失败静默)。
|
|
2661
|
+
* @param {object|undefined} session - 宿主会话
|
|
2662
|
+
* @param {string} sessionId - 会话 id
|
|
2663
|
+
* @returns {void}
|
|
2664
|
+
*/
|
|
2665
|
+
function backfillAttachments(session, sessionId) {
|
|
2666
|
+
if (!sessionId || attachmentBackfilled.has(sessionId)) return
|
|
2667
|
+
// ⚠️ 只有「请求里的 id」与「真的解析出这个会话」一致时才回填。
|
|
2668
|
+
// 否则一个伪造的 sessionId 只要解析到**任意**会话,就能把那个会话的图登记到伪造 id 名下 ——
|
|
2669
|
+
// 那等于绕过「读字节必须在本会话出现过」这条闸门。
|
|
2670
|
+
if (!session || session.id !== sessionId) return
|
|
2671
|
+
attachmentBackfilled.add(sessionId)
|
|
2672
|
+
try {
|
|
2673
|
+
if (typeof session.snapshotEvents !== 'function') return
|
|
2674
|
+
const events = session.snapshotEvents() || []
|
|
2675
|
+
for (const event of events) attachmentStore.note(sessionId, event)
|
|
2676
|
+
} catch { /* 回填失败 = 少几张历史图,绝不影响面板 */ }
|
|
2677
|
+
}
|
|
2678
|
+
|
|
2679
|
+
/** 测试用:清空附件登记簿与回填记账。 */
|
|
2680
|
+
export function resetAttachments() {
|
|
2681
|
+
attachmentStore.reset()
|
|
2682
|
+
attachmentBackfilled.clear()
|
|
2683
|
+
}
|
|
2684
|
+
|
|
2685
|
+
/**
|
|
2686
|
+
* 工作区内某个文件的 sha256(十六进制)。**越界一律不读**。
|
|
2687
|
+
* @param {string} root - 工作区根
|
|
2688
|
+
* @param {string} rel - 相对路径
|
|
2689
|
+
* @returns {Promise<string>} 十六进制(读不到回空串)
|
|
2690
|
+
*/
|
|
2691
|
+
async function sha256OfRel(root, rel) {
|
|
2692
|
+
try {
|
|
2693
|
+
const base = resolve(root)
|
|
2694
|
+
const abs = resolve(base, rel)
|
|
2695
|
+
if (abs !== base && !abs.startsWith(base + sep)) return ''
|
|
2696
|
+
const st = await stat(abs)
|
|
2697
|
+
if (!st.isFile() || !(st.size > 0) || st.size > MAX_IMAGE_BYTES) return ''
|
|
2698
|
+
const hash = createHash('sha256')
|
|
2699
|
+
const stream = createReadStream(abs)
|
|
2700
|
+
for await (const chunk of stream) hash.update(chunk)
|
|
2701
|
+
return hash.digest('hex')
|
|
2702
|
+
} catch {
|
|
2703
|
+
return ''
|
|
2704
|
+
}
|
|
2705
|
+
}
|
|
2706
|
+
|
|
2447
2707
|
/**
|
|
2448
2708
|
* 宿主会话注册表(`webCtx.sessions`)的引用,只给**工具**那条路用。
|
|
2449
2709
|
*
|
|
@@ -2506,6 +2766,9 @@ function onSessionEvent(session, event) {
|
|
|
2506
2766
|
try {
|
|
2507
2767
|
const sessionId = session && typeof session.id === 'string' ? session.id : ''
|
|
2508
2768
|
if (!sessionId || !event) return
|
|
2769
|
+
// v0.25:附件收集**不看审计闸门** —— 媒体档要显示工具产出的图,与「使用反馈」
|
|
2770
|
+
// 是两件事。记一条的成本是一次 `event.type` 判断(不是带图的事件立刻返回)。
|
|
2771
|
+
attachmentStore.note(sessionId, event)
|
|
2509
2772
|
if (!isAudited(feedbackStore, sessionId)) return
|
|
2510
2773
|
const root = rootOfSession(session)
|
|
2511
2774
|
// v0.17:成功读被确认的那一刻取一次版本标记。取样只发生在**新事件**上,
|
|
@@ -2816,6 +3079,9 @@ export function apply(ctx) {
|
|
|
2816
3079
|
const body = publicScanPayload(payload)
|
|
2817
3080
|
// v0.14:相关模式下顺带给出任务上下文分层。
|
|
2818
3081
|
// ⚠️ 带上 `context` 是**可选**的(老客户端忽略它),而 `docs` 一字未动。
|
|
3082
|
+
// ⚠️ v0.25(第二轮修订):**这里不再有任何 Git 变更关联**。`/api/recent` 的响应
|
|
3083
|
+
// 与 v0.24 逐字相同(`changes` 那个键根本不存在)—— 变更关联走独立的
|
|
3084
|
+
// `/knit/api/changes`。这条纪律有测试守着:常规检索请求里不许出现变更字段。
|
|
2819
3085
|
body.context = await contextPayload(root, payload, sort, kind)
|
|
2820
3086
|
// v0.21:面板要显示「固定了什么 / 排除了什么」(含恢复按钮),而这两份
|
|
2821
3087
|
// 是**用户动作的原始记录**,不是 Context Pack 的投影 —— 固定项本身在
|
|
@@ -2872,6 +3138,40 @@ export function apply(ctx) {
|
|
|
2872
3138
|
return
|
|
2873
3139
|
}
|
|
2874
3140
|
|
|
3141
|
+
if (url.pathname === `${ROUTE_PREFIX}/api/changes`) {
|
|
3142
|
+
/* v0.25 · **Git 变更关联**:独立接口。
|
|
3143
|
+
⚠️ 与 `/api/recent` 分开不是洁癖,是契约纪律:
|
|
3144
|
+
· `/api/recent` 的响应形状**一个键都不加**(与 v0.24 逐字相同)——
|
|
3145
|
+
它同时喂着「只要列表」的调用方,不该因为少数人打开的功能变重;
|
|
3146
|
+
· 这个接口有**自己的数据结构**(起点 / 目标 / 类型 / 行号),不借 Context Pack
|
|
3147
|
+
条目的词汇(`provenance` / `reason` / `relations`)—— 那套词汇属于三层,
|
|
3148
|
+
硬套过来就得扩工具 schema 的枚举,而工具契约不动。
|
|
3149
|
+
成本:**一次 git + 一次扫描**,而且两者都与 `/api/recent` **共用**——
|
|
3150
|
+
`corpusForChanges()` 复用最近一次扫描(8 s 同窗),`gitReader` 自己缓存 + 并发去重。
|
|
3151
|
+
关掉时客户端根本不请求这条路由 ⇒ 一个 git 进程都不 spawn。 */
|
|
3152
|
+
const limit = Math.min(Math.max(Number(url.searchParams.get('limit')) || 40, 1), 100)
|
|
3153
|
+
const sort = url.searchParams.get('sort') === 'time' ? 'time' : 'relevance'
|
|
3154
|
+
// ⚠️ **没有 `kind` 参数**(v0.25 收尾时删掉)。理由是可核验的:变更关联固定用
|
|
3155
|
+
// 「文档 + 代码」那一份**不分档**语料(`collectDocs()` 的结果与档位无关,
|
|
3156
|
+
// 档位只影响 `docs` 那一栏的输出),所以 `kind` 在这里**没有任何语义** ——
|
|
3157
|
+
// 留一个「看着像能过滤、实际什么都不做」的参数比没有它更糟。
|
|
3158
|
+
if (sort !== 'relevance') {
|
|
3159
|
+
// 时间序没有 Context Pack,也就没有「该一起看什么」这回事。如实说,不给空壳。
|
|
3160
|
+
sendJson(res, 200, {
|
|
3161
|
+
ok: true, mode: 'changes', sort,
|
|
3162
|
+
git: { available: false, reason: 'not-relevance-order', filesTotal: 0, truncated: false, files: [] },
|
|
3163
|
+
links: [], linksTotal: 0, unresolved: [], outOfScope: [],
|
|
3164
|
+
})
|
|
3165
|
+
return
|
|
3166
|
+
}
|
|
3167
|
+
const payload = await corpusForChanges(root, {
|
|
3168
|
+
limit,
|
|
3169
|
+
options: { session: sessionOf(webCtx, sessionId), sessionId, sort, kind: 'context' },
|
|
3170
|
+
})
|
|
3171
|
+
sendJson(res, 200, await changesPayload(root, { corpus: payload.contextCorpus }))
|
|
3172
|
+
return
|
|
3173
|
+
}
|
|
3174
|
+
|
|
2875
3175
|
if (url.pathname === `${ROUTE_PREFIX}/api/context`) {
|
|
2876
3176
|
// v0.14:独立的上下文接口。与 `/api/recent` 分开是为了**不让只想拿列表的
|
|
2877
3177
|
// 调用方被迫付引用图的钱** —— 面板走 recent 里的 `context` 字段,
|
|
@@ -2946,6 +3246,59 @@ export function apply(ctx) {
|
|
|
2946
3246
|
return
|
|
2947
3247
|
}
|
|
2948
3248
|
|
|
3249
|
+
if (url.pathname === `${ROUTE_PREFIX}/api/attachments`) {
|
|
3250
|
+
/* v0.25:本会话「工具产出」的图(媒体档里显示)。
|
|
3251
|
+
列表**全部来自会话事件**(零 I/O);这里只多做一件事:把「工作区里已经有同内容
|
|
3252
|
+
文件」的条目去掉 —— 先按 `bytes` 筛候选,只给大小相同的候选算 sha256。 */
|
|
3253
|
+
const sessionId = url.searchParams.get('sessionId') || ''
|
|
3254
|
+
backfillAttachments(sessionOf(webCtx, sessionId), sessionId)
|
|
3255
|
+
const items = sessionId ? attachmentStore.list(sessionId) : []
|
|
3256
|
+
if (!items.length) {
|
|
3257
|
+
sendJson(res, 200, { ok: true, items: [] })
|
|
3258
|
+
return
|
|
3259
|
+
}
|
|
3260
|
+
/* ⚠️ 候选必须用**媒体档**扫一遍(`kind: 'media'`):
|
|
3261
|
+
· `contextCorpus` 是「文档 + 代码」,**媒体从不在里面**(媒体不参与 Context Pack);
|
|
3262
|
+
· `allDocs` 是**按档位切开**的 —— `kind: 'context'` 下连一张图都没有(实测)。
|
|
3263
|
+
这次扫描只取 `{rel, bytes}` 两个字段,随后交给 `dropSaved` 按大小筛、只给
|
|
3264
|
+
大小相同的候选算 sha256。扫描结果进备忘也没问题:`contextCorpus` 与档位无关
|
|
3265
|
+
(`collectDocs()` 不分档),所以 `/api/changes` 读到的那份**一字不差**。 */
|
|
3266
|
+
const mediaPayload = await scan(root, 40, {
|
|
3267
|
+
session: sessionOf(webCtx, sessionId), sessionId, sort: 'relevance', kind: 'media',
|
|
3268
|
+
})
|
|
3269
|
+
const scanDocs = (mediaPayload && mediaPayload.allDocs) || []
|
|
3270
|
+
const candidates = scanDocs
|
|
3271
|
+
.filter((doc) => doc && (doc.kind === KIND_IMAGE || doc.kind === KIND_VIDEO))
|
|
3272
|
+
.map((doc) => ({ rel: doc.rel, bytes: Number.isFinite(doc.size) ? doc.size : -1 }))
|
|
3273
|
+
const kept = await dropSaved(items, { candidates, sha256Of: (rel) => sha256OfRel(root, rel) })
|
|
3274
|
+
sendJson(res, 200, { ok: true, items: kept })
|
|
3275
|
+
return
|
|
3276
|
+
}
|
|
3277
|
+
|
|
3278
|
+
if (url.pathname === `${ROUTE_PREFIX}/api/attachment`) {
|
|
3279
|
+
/* v0.25:按 **sha256** 读一个附件对象的字节 —— **本插件唯一越出工作区的读**。
|
|
3280
|
+
三条边界缺一不可:
|
|
3281
|
+
① 只收 `sha256:<64 hex>`,**不接受任何路径**(路径由哈希算出来,给不出穿越);
|
|
3282
|
+
② 这个 id 必须在**本会话**的 `tool/result` 里出现过(跨会话 / 没出现过一律 404);
|
|
3283
|
+
③ 只回图片 / 视频,走既有的 `sendMedia`(nosniff + sandbox CSP)。 */
|
|
3284
|
+
const sessionId = url.searchParams.get('sessionId') || ''
|
|
3285
|
+
const id = url.searchParams.get('id') || ''
|
|
3286
|
+
backfillAttachments(sessionOf(webCtx, sessionId), sessionId)
|
|
3287
|
+
const meta = sessionId && isAttachmentId(id) ? attachmentStore.get(sessionId, id) : undefined
|
|
3288
|
+
if (!meta) {
|
|
3289
|
+
sendJson(res, 404, { ok: false, code: ERROR_CODES.notFound })
|
|
3290
|
+
return
|
|
3291
|
+
}
|
|
3292
|
+
const abs = objectPath(attachmentsRoot(), id)
|
|
3293
|
+
const info = abs ? await stat(abs).catch(() => null) : null
|
|
3294
|
+
if (!info || !info.isFile() || !(info.size > 0) || info.size > MAX_ATTACHMENT_BYTES) {
|
|
3295
|
+
sendJson(res, 404, { ok: false, code: ERROR_CODES.notFound })
|
|
3296
|
+
return
|
|
3297
|
+
}
|
|
3298
|
+
sendMedia(req, res, { abs, type: meta.mediaType, size: info.size })
|
|
3299
|
+
return
|
|
3300
|
+
}
|
|
3301
|
+
|
|
2949
3302
|
sendJson(res, 404, { ok: false, code: ERROR_CODES.notFoundRoute })
|
|
2950
3303
|
} catch (error) {
|
|
2951
3304
|
sendJson(res, 500, { ok: false, code: ERROR_CODES.internal, detail: String((error && error.message) || error) })
|
|
@@ -2954,7 +3307,7 @@ export function apply(ctx) {
|
|
|
2954
3307
|
|
|
2955
3308
|
webCtx.effect(() => {
|
|
2956
3309
|
const unregister = webCtx.webServer.register({ kind: 'prefix', path: ROUTE_PREFIX, handler })
|
|
2957
|
-
console.log(`[${name}] route ready: ${ROUTE_PREFIX}/api/recent, ${ROUTE_PREFIX}/api/doc, ${ROUTE_PREFIX}/api/raw, ${ROUTE_PREFIX}/api/links, ${ROUTE_PREFIX}/api/context, ${ROUTE_PREFIX}/api/control (POST)`)
|
|
3310
|
+
console.log(`[${name}] route ready: ${ROUTE_PREFIX}/api/recent, ${ROUTE_PREFIX}/api/doc, ${ROUTE_PREFIX}/api/raw, ${ROUTE_PREFIX}/api/links, ${ROUTE_PREFIX}/api/context, ${ROUTE_PREFIX}/api/changes, ${ROUTE_PREFIX}/api/attachments, ${ROUTE_PREFIX}/api/attachment, ${ROUTE_PREFIX}/api/control (POST)`)
|
|
2958
3311
|
return () => unregister()
|
|
2959
3312
|
}, 'dsh-knit: host route')
|
|
2960
3313
|
})
|