dsh-wiki-notes 1.4.1 → 1.4.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +49 -4
- package/docs/README.md +1 -1
- package/docs/superpowers/plans/2026-11-05-wiki-call-audit.md +553 -0
- package/docs/superpowers/specs/2026-11-05-wiki-call-audit-design.md +164 -0
- package/docs//345/245/221/347/272/246-stage0/samples/_verify_probe.json +1 -1
- package/docs//345/245/221/347/272/246-stage0/samples/{context.cq-shenlun.json → context.sample-cache.json} +80 -80
- package/docs//345/245/221/347/272/246-stage0/samples/verify.fabricated-quote.json +3 -3
- package/docs//345/245/221/347/272/246-stage0/samples/verify.scope-mismatch.json +3 -3
- package/docs//345/245/221/347/272/246-stage0/samples/verify.wrong-five.json +9 -9
- package/docs//345/245/221/347/272/246-stage0//351/230/266/346/256/2650-/345/256/241/350/256/241/344/270/216/345/245/221/347/272/246.md +10 -10
- package/docs//345/245/221/347/272/246-stage0//351/230/266/346/256/2651-/346/225/260/345/200/274/345/210/244/346/215/256/344/270/216/345/274/225/346/223/216/347/212/266/346/200/201.md +9 -9
- package/docs//345/245/221/347/272/246-stage0//351/230/266/346/256/2652-/345/277/253/347/205/247/344/270/216TTL.md +3 -3
- package/docs//345/245/221/347/272/246-stage0//351/230/266/346/256/2653-/346/224/257/346/214/201/345/216/237/345/233/240.md +3 -3
- package/docs//345/245/221/347/272/246-stage0//351/230/266/346/256/2654-/346/217/222/344/273/266/346/216/245/345/205/245.md +5 -2
- package/docs//345/245/221/347/272/246-stage0//351/230/266/346/256/2655-/350/247/202/345/257/237/351/227/255/347/216/257/344/270/216/345/256/236/346/210/230/351/252/214/346/224/266.md +30 -10
- package/lib/calls.js +250 -0
- package/lib/client.js +350 -11
- package/lib/config.js +33 -0
- package/lib/index.js +156 -7
- package/package.json +6 -4
|
@@ -12,25 +12,25 @@
|
|
|
12
12
|
"type": "unsupported_numeric_claim",
|
|
13
13
|
"rule": "numeric.claim_not_supported",
|
|
14
14
|
"status": "contradicted",
|
|
15
|
-
"claim": "
|
|
16
|
-
"reason": "
|
|
17
|
-
"page": "综合-syntheses
|
|
15
|
+
"claim": "五个分片",
|
|
16
|
+
"reason": "同指标同范围(星港·区域口径)证据是 4 分片,答复写的是 五个分片",
|
|
17
|
+
"page": "综合-syntheses/缓存策略.md"
|
|
18
18
|
},
|
|
19
19
|
{
|
|
20
20
|
"type": "unsupported_numeric_claim",
|
|
21
21
|
"rule": "numeric.claim_not_supported",
|
|
22
22
|
"status": "contradicted",
|
|
23
|
-
"claim": "180
|
|
24
|
-
"reason": "
|
|
25
|
-
"page": "综合-syntheses
|
|
23
|
+
"claim": "180 秒",
|
|
24
|
+
"reason": "同指标同范围(星港·区域口径)证据是 150 秒,答复写的是 180 秒",
|
|
25
|
+
"page": "综合-syntheses/缓存策略.md"
|
|
26
26
|
},
|
|
27
27
|
{
|
|
28
28
|
"type": "unsupported_numeric_claim",
|
|
29
29
|
"rule": "numeric.claim_unverifiable",
|
|
30
30
|
"status": "unverifiable",
|
|
31
|
-
"claim": "30
|
|
32
|
-
"reason": "
|
|
33
|
-
"page": "综合-syntheses
|
|
31
|
+
"claim": "30%",
|
|
32
|
+
"reason": "证据与主张的适用范围有一侧未标注,不能视为匹配(证据:统一·统一口径)(答复未标复核)",
|
|
33
|
+
"page": "综合-syntheses/缓存策略.md"
|
|
34
34
|
}
|
|
35
35
|
],
|
|
36
36
|
"checked_rules": 10,
|
|
@@ -77,9 +77,9 @@ context_builder.build(query, engines, limit)
|
|
|
77
77
|
`table_evidence.*`、`missing.not_disclosed`、`recorded_unresolved.flag_missing`),属**上下文自身**健康度,
|
|
78
78
|
不进 verify 的 violations,建议作为 `context.answer.self_check` 暴露。
|
|
79
79
|
|
|
80
|
-
## 3.
|
|
80
|
+
## 3. 实测发现(当年用实跑题包测出来的,不是推理;仓库里的题包现已换成虚构语料)
|
|
81
81
|
|
|
82
|
-
|
|
82
|
+
题包:`星港 缓存策略 分几个片`,`--engine both --limit 8`。
|
|
83
83
|
|
|
84
84
|
```
|
|
85
85
|
候选页 9|候选行 24|可读 9|证据 5 条|必要槽位 1(numeric)已填 1
|
|
@@ -105,8 +105,8 @@ conflict_status=none_detected contract_violations=[](上下文自检通过)
|
|
|
105
105
|
|
|
106
106
|
| 答案 | 结果 | 说明 |
|
|
107
107
|
|---|---|---|
|
|
108
|
-
|
|
|
109
|
-
| 「…4
|
|
108
|
+
| 「星港缓存策略一共分五个分片,180 秒,冷数据 30%。」 | `violations_found`,仅 `weak_evidence.review_flag_missing` | **只抓到没标"需复核",没抓到"五个分片"与证据 4 分片矛盾** |
|
|
109
|
+
| 「…4 分片、150 秒…属台账记录…需复核。」 | `ok` | 正确 |
|
|
110
110
|
| 含伪造引文的那句 | 抓到 `provenance.fabricated_quote` | 引文核验可用 |
|
|
111
111
|
|
|
112
112
|
原因:`numeric` 槽被填了(`filled` 里有),`missing` 为空,于是
|
|
@@ -130,14 +130,14 @@ LLM 看不出"为什么是 partial"。
|
|
|
130
130
|
|
|
131
131
|
### F5 子查询漂移(记录,不在本次修)
|
|
132
132
|
|
|
133
|
-
`query_planner` 把
|
|
133
|
+
`query_planner` 把 `星港 缓存策略 分几个片` 拆成 `Q1 = "星港 缓存策略 分"`,尾部"几个片"丢失。
|
|
134
134
|
不致命(Q0 原句仍在),但会让 numeric 槽的关键词单元变弱。属阶段 4 评测项。
|
|
135
135
|
|
|
136
|
-
### F6 numeric
|
|
136
|
+
### F6 numeric 槽抽到「统一口径」行(记录)
|
|
137
137
|
|
|
138
|
-
证据 E001/E005 抽的是
|
|
139
|
-
数字密集所以被 numeric
|
|
140
|
-
E002 抽对了(`4
|
|
138
|
+
证据 E001/E005 抽的是 `缓存策略.md` 与 `缓存策略·资料摘要.md` 里「180 秒 5 分片」那两行——
|
|
139
|
+
数字密集所以被 numeric 槽选中,与问题真正要的「星港 4 分片」是**两种口径**。
|
|
140
|
+
E002 抽对了(`4 分片 / 150 秒 / 100% 覆盖率`)。说明抽取层还缺"口径限定词"过滤(统一口径/区域口径/星港)。
|
|
141
141
|
这条属阶段 4,但**正好说明 verify 的数值判据不能只看数字相等,还要看口径标签**。
|
|
142
142
|
|
|
143
143
|
## 4. 错误码 / 超时 / 版本
|
|
@@ -198,7 +198,7 @@ E002 抽对了(`4 题 / 150 分钟 / 100 分`)。说明抽取层还缺"口
|
|
|
198
198
|
|
|
199
199
|
- [x] 契约每个字段都能指到现有来源(本文件 §2)
|
|
200
200
|
- [x] 契约字段不需要重写判据即可产出(除 §F2 明确列为新增)
|
|
201
|
-
- [x]
|
|
201
|
+
- [x] 虚构样例(星港缓存语料):`samples/context.sample-cache.json`(虚构语料,结构与判定结论保留)
|
|
202
202
|
- [x] verify 样例三份(`samples/verify.*.json`)+ 探针原始结果 `samples/_verify_probe.json`
|
|
203
203
|
- [x] 错误码、超时、版本四件套定稿(§4)
|
|
204
204
|
- [ ] **待你拍板**:`unsupported_numeric_claim` 的判定边界(只比数字?还是数字+口径标签一起比)
|
|
@@ -19,7 +19,7 @@
|
|
|
19
19
|
|
|
20
20
|
### 2.1 五维
|
|
21
21
|
|
|
22
|
-
`_scope_of(text)` 从文字里抽三组适用范围:`region`(地域)、`
|
|
22
|
+
`_scope_of(text)` 从文字里抽三组适用范围:`region`(地域)、`variant`(口径类型)、`period`(年份)。数值侧另两维由 `_METRIC_PATTERNS` 承担:数值/单位(`normalize()` 统一时长到分钟)与指标(`duration`/`count`/`score`/`words`)。
|
|
23
23
|
|
|
24
24
|
### 2.2 `compare_scope` 的三条语义
|
|
25
25
|
|
|
@@ -29,12 +29,12 @@
|
|
|
29
29
|
|
|
30
30
|
### 2.3 补一条拍板没写、但实测必须有的规则:`scope_gaps`
|
|
31
31
|
|
|
32
|
-
主张说「2023
|
|
32
|
+
主张说「2023 年配 6 个分片」,证据只写「星港 4 分片」,`compare_scope` 会给 `match`(年份一侧缺)。若照此比较就会得出 `contradicted`——把「证据没说」当成「证据反对」。
|
|
33
33
|
|
|
34
34
|
所以加 `scope_gaps(claim_scope, ev_scope)`:主张限定了、证据没写的维度。命中时不进 `matched`,进 `partial`,最终判 `unverifiable`:
|
|
35
35
|
|
|
36
36
|
```
|
|
37
|
-
|
|
37
|
+
证据与主张的适用范围有一侧未标注,不能视为匹配(证据:星港·区域口径)
|
|
38
38
|
```
|
|
39
39
|
|
|
40
40
|
这正是拍板里「未标注 ≠ 适用于所有情况」的直接落地。
|
|
@@ -50,13 +50,13 @@
|
|
|
50
50
|
只剩 unknown → unverifiable
|
|
51
51
|
```
|
|
52
52
|
|
|
53
|
-
`scope_mismatch` 与 `contradicted`
|
|
53
|
+
`scope_mismatch` 与 `contradicted` 分开输出,回答里永不出现「星港一定不是 5 分片」这种话。
|
|
54
54
|
|
|
55
55
|
### 2.5 证据侧的范围归属(踩过的真 bug)
|
|
56
56
|
|
|
57
57
|
`build_evidence_pool()` 里,一条证据的范围**以数字所在那句话为准**;那句话自己没标范围时,才退回页面标题。
|
|
58
58
|
|
|
59
|
-
|
|
59
|
+
原因:「星港缓存配置基线」页里有一句「统一口径缓存策略 5 分片、180 秒」,若按标题取范围,这句就变成星港口径,直接把统一口径证据洗成星港证据——正是拍板要防的错配。
|
|
60
60
|
|
|
61
61
|
### 2.6 违规与提示分开
|
|
62
62
|
|
|
@@ -74,8 +74,8 @@
|
|
|
74
74
|
|
|
75
75
|
```json
|
|
76
76
|
{"type": "unsupported_numeric_claim", "rule": "numeric.claim_not_supported",
|
|
77
|
-
"status": "contradicted", "claim": "
|
|
78
|
-
"reason": "
|
|
77
|
+
"status": "contradicted", "claim": "五个分片",
|
|
78
|
+
"reason": "同指标同范围(星港·区域口径)证据是 4 分片,答复写的是 五个分片"}
|
|
79
79
|
```
|
|
80
80
|
|
|
81
81
|
`violation.type` 枚举现为 11 项;`verify.notices` 与 `violations` 分开,避免把「说不清」当「说错了」。
|
|
@@ -93,11 +93,11 @@
|
|
|
93
93
|
| `e2e_check.py` | 8 题漂移 0 |
|
|
94
94
|
| `protect.py` | 35 条漂移 0 |
|
|
95
95
|
|
|
96
|
-
拍板八条验收的对应关系:同范围同值→supported(用例 1/4)、同范围不同值→contradicted(2
|
|
96
|
+
拍板八条验收的对应关系:同范围同值→supported(用例 1/4)、同范围不同值→contradicted(2)、统一口径证据支撑星港→scope_mismatch(3)、星港证据支撑星港→supported(4)、证据缺地域→unverifiable(5/5b)、指标不同→不得 supported(6)、单位换算(7,3 分钟 vs 180 秒)、多年份分别判断(8/8b)。
|
|
97
97
|
|
|
98
98
|
## 6 已知局限(不要当成已解决)
|
|
99
99
|
|
|
100
|
-
1.
|
|
100
|
+
1. **口径别名覆盖不全**:`星港缓存策略` 这种写法只抽到地域,抽不到 `区域口径`。后果是统一口径证据里的「统一口径 30%」与「星港冷数据 30%」只能判 `unverifiable`(保守,不放行),而不是更准确的 `scope_mismatch`。
|
|
101
101
|
2. **中文数字支持到千位**,且只认「一二三四五六七八九十百零两」;「二十余」「十几」这类模糊量词抽不出,属未覆盖。
|
|
102
102
|
3. **不做跨句推理**:只比较单个分句里的数值主张,句中指代(「这一说法」「上述数字」)不追踪。
|
|
103
103
|
4. **`unverifiable` 会升 violation**:答复没写复核措辞时,不确定的数字主张也算违规。这是刻意选择——把不确定当定论说出来,就该被标;如果将来觉得太严,改 `REVIEW_WORDS` 触发条件即可。
|
|
@@ -28,8 +28,8 @@
|
|
|
28
28
|
```json
|
|
29
29
|
{"snapshot_version":"1","contract_version":"1.0","context_id":"ctx_…",
|
|
30
30
|
"created_at":"…","expires_at":"…","ttl_seconds":1800,
|
|
31
|
-
"query":"
|
|
32
|
-
"payload_sha256":"…","pages":{"概念-concepts
|
|
31
|
+
"query":"星港 缓存策略 分几个片","root":"<你的库根目录>\\知识层-wiki",
|
|
32
|
+
"payload_sha256":"…","pages":{"概念-concepts/星港缓存配置基线.md":"a1b2…"},
|
|
33
33
|
"payload":{ /* 完整 context,原样 */ }}
|
|
34
34
|
```
|
|
35
35
|
|
|
@@ -81,4 +81,4 @@
|
|
|
81
81
|
|
|
82
82
|
## 9 下一步(按用户定的顺序)
|
|
83
83
|
|
|
84
|
-
F3 support_reason →
|
|
84
|
+
F3 support_reason → 口径别名 → F5 子查询漂移。本轮未动其中任何一项。
|
|
@@ -21,7 +21,7 @@
|
|
|
21
21
|
"primary": "partial_slot_coverage", // 主原因码(解释 support_status 本身)
|
|
22
22
|
"primary_label": "部分槽位有证据、部分缺失",
|
|
23
23
|
"reasons": [ // 全部原因,按严重度排序,不因 primary 而丢弃
|
|
24
|
-
{"code": "partial_slot_coverage", "label": "…", "detail": "缺失 1
|
|
24
|
+
{"code": "partial_slot_coverage", "label": "…", "detail": "缺失 1 个槽位:分片数", "slots": ["numeric"]},
|
|
25
25
|
{"code": "engine_degraded", "label": "…", "detail": "wiki_recall error(…);search.py 仍返回了结果",
|
|
26
26
|
"engines": ["wiki_recall"]}
|
|
27
27
|
]
|
|
@@ -73,7 +73,7 @@ conflicting_evidence 0 → no_candidates 1 → no_usable_evidence 2 → recorded
|
|
|
73
73
|
- 接入点 `context_builder.py`:`ctx_out` 组装完、`answer_policy` 之前调用;**解释失败不拖垮检索**,
|
|
74
74
|
异常时落 `{"primary":"unknown","reasons":[{"code":"unknown","detail":str(exc)}]}`。
|
|
75
75
|
- 契约:`$defs.support_reason` / `$defs.support_reason_item`(code 用 enum 锁死),
|
|
76
|
-
`context.properties.support_reason` 为**可选**——老调用方不传不报错。样例 `samples/context.
|
|
76
|
+
`context.properties.support_reason` 为**可选**——老调用方不传不报错。样例 `samples/context.sample-cache.json` 已带实现值。
|
|
77
77
|
|
|
78
78
|
## 6. 验收(`_tools/eval/eval_support_reason.py`,34/34)
|
|
79
79
|
|
|
@@ -95,4 +95,4 @@ conflicting_evidence 0 → no_candidates 1 → no_usable_evidence 2 → recorded
|
|
|
95
95
|
|
|
96
96
|
## 8. 本轮没碰
|
|
97
97
|
|
|
98
|
-
F5
|
|
98
|
+
F5 子查询漂移、口径别名扩展、`page_changed` 是否降级、自动知识维护、SHA-256 措辞(「完整性校验失败」而非「人为修改」,仍待改)。
|
|
@@ -111,7 +111,7 @@ stdout 解析取**最后一行能 parse 的 JSON**,容忍 Python 偶尔往 std
|
|
|
111
111
|
| `eval_snapshot` | 12/12 |
|
|
112
112
|
| `eval_conflicts` / `eval_dedup` | 8 / 8 |
|
|
113
113
|
| `eval_method` / `eval_blocks` | 7/7、9/9 |
|
|
114
|
-
| `e2e_check --check` | 8 题漂移 0
|
|
114
|
+
| `e2e_check --check` | 8 题漂移 0(星港缓存策略页入库后重录 1 条基线,非回归) |
|
|
115
115
|
| `protect.py` | 35 条漂移 0 |
|
|
116
116
|
|
|
117
117
|
**插件侧**:`tests/gateway.mjs` 22/22;原有 17 个测试全绿(smoke/help/topics/lintdiff/lint/params/fields/robust/api/explain/cli/contract/draft/watch/client/status),旧测试只把 mock 改成按名取 `wiki_recall`(注册方式改成按名取后,旧 mock 的「取第一个工具」假设过期了)。
|
|
@@ -138,6 +138,9 @@ stdout 解析取**最后一行能 parse 的 JSON**,容忍 Python 偶尔往 std
|
|
|
138
138
|
|
|
139
139
|
## 下一步(阶段 3 原计划)
|
|
140
140
|
|
|
141
|
-
-
|
|
141
|
+
- ~~`wiki_observe` 自动记录(现在 `observe_id` 恒为 null,观察链路还没接上)。~~
|
|
142
|
+
**已接通(1.4.2)**:插件侧记下 `context_id ↔ observe_id` 这一对,wiki_verify 转发时带上,
|
|
143
|
+
观察日志里 verify 记录的 `parent_observe_id` 能指回它的 context。
|
|
144
|
+
插件侧补了显式 `observe_id` 参数兜底;Python 侧契约与实现未动。
|
|
142
145
|
- 降级策略细化:单引擎 error 时是否给模型一条「本次只有一路召回」的显式提示。
|
|
143
146
|
- 第 1 条局限的收口:页面读取单一权威实现。
|
|
@@ -1,7 +1,7 @@
|
|
|
1
1
|
# 阶段 5:读取一致性、观察闭环与实战验收
|
|
2
2
|
|
|
3
|
-
>
|
|
4
|
-
>
|
|
3
|
+
> 本轮只做三件事:量一次「两套读取到底差在哪」、把观察闭环接上、拿五类问题压一遍(当年的实跑用例;仓库里的题目现已换成虚构语料)。
|
|
4
|
+
> 判据与检索打分一行没动(除抽取补齐的两处:TTL 对象词、表格行借用页面标题)。
|
|
5
5
|
|
|
6
6
|
## 一、页面读取一致性(`eval_read_parity.py`)
|
|
7
7
|
|
|
@@ -26,7 +26,7 @@
|
|
|
26
26
|
### 三条真实差异
|
|
27
27
|
|
|
28
28
|
1. **frontmatter 列表未解析**:Python 只做 `k, v = line.split(":", 1)`,把
|
|
29
|
-
`别名: [
|
|
29
|
+
`别名: [星港区域口径缓存策略, 星港区域口径缓存策略]` 读成字符串 `"[星港区域口径缓存策略, 星港区域口径缓存策略]"`;
|
|
30
30
|
JS 的 `asList()` 正常解析成数组。今天这不影响证据(证据只从正文抽),
|
|
31
31
|
但别名匹配、标签过滤这类能力在 Python 侧等于没有。
|
|
32
32
|
2. **sections 语义不同**:JS 只按 `## `(level 2)切;Python 认 2–4 级,
|
|
@@ -72,22 +72,39 @@ wiki_context ──► context_id(快照)+ observe_id(观察记录)
|
|
|
72
72
|
|
|
73
73
|
验收 `eval_observe_loop.py`:**21/21**(含跨进程查得到、追得回、计数准、不含引文、写不进也不影响主链路、两次调用不串用)。
|
|
74
74
|
|
|
75
|
+
### 插件侧接线(1.4.2 补)
|
|
76
|
+
|
|
77
|
+
上面这条闭环图在 **Python 侧**是通的,但插件侧原本断了一截:`wiki_context` 把 `observe_id` 放在返回体里,
|
|
78
|
+
插件既不在渲染里露出来,也不在 `wiki_verify` 请求里转发——契约里 verify 的返回体不带 `observe_id`,
|
|
79
|
+
Python 也不从快照回查(只认请求里带过去的那一个)。结果就是:走插件时,每条 verify 记录的
|
|
80
|
+
`parent_observe_id` 恒为 null,闭环在最后一跳断开。
|
|
81
|
+
|
|
82
|
+
1.4.2 的补法(Python 侧契约与实现未动):
|
|
83
|
+
|
|
84
|
+
- 插件在 apply() 内记 `context_id ↔ observe_id` 的短期对照表(最多 64 条,换库时清空)。
|
|
85
|
+
- `wiki_verify` 转发时带上这一对的 `observe_id`;另开一个可选 `observe_id` 参数,显式传入时以传入的为准。
|
|
86
|
+
- `renderContext` 把 `observe_id` 一并输出,模型想显式传参时手里有。
|
|
87
|
+
- 回归门禁在 `tests/gateway.mjs`:断言 verify 记录的 `parent_observe_id` 指回 context 的 `observe_id`。
|
|
88
|
+
|
|
89
|
+
**注意**:这条修的是日志溯源,不是统计口径——`observe.stats()` 的「修正序列」本来��按 `context_id` 归组算的,
|
|
90
|
+
`parent_observe_id` 从头到尾没有任何统计代码消费它。
|
|
91
|
+
|
|
75
92
|
## 三、五类问题实战验收(`eval_acceptance.py`)
|
|
76
93
|
|
|
77
94
|
链路与 MCP 工具同一条(`wiki_bridge.py`)。完整报告:`_tools/eval/ACCEPTANCE-2026-11-05.md`。
|
|
78
95
|
|
|
79
96
|
| # | 类型 | 问题 | support | verify 命中 | 结论 |
|
|
80
97
|
|---|---|---|---|---|---|
|
|
81
|
-
| A | 直接事实 |
|
|
82
|
-
| B | 证据不足 |
|
|
83
|
-
| C | 范围混淆 |
|
|
84
|
-
| D | 多证据冲突 |
|
|
85
|
-
| E | 错误答案 |
|
|
98
|
+
| A | 直接事实 | 星港缓存策略分几个片 | partial(条件性证据) | `review_flag_missing` | ✅ 放行,只要求标复核 |
|
|
99
|
+
| B | 证据不足 | 星港事业单位综合知识分几个片 | **insufficient** | `answered_unfilled_slot`、`gap_not_disclosed` | ✅ 承认缺口,编的数字被拦 |
|
|
100
|
+
| C | 范围混淆 | 星港缓存策略分几个片(答统一口径) | partial | 3 × `unsupported_numeric_claim`(均 contradicted) | ✅ 三个数字全被抓 |
|
|
101
|
+
| D | 多证据冲突 | 星港缓存策略冷数据 TTL 多少秒(答 800 秒) | partial | `unsupported_numeric_claim`(contradicted) | ✅ 与库内 1000–1200 秒冲突被指出 |
|
|
102
|
+
| E | 错误答案 | 星港缓存策略分五个分片 | partial | `unsupported_numeric_claim`(contradicted) | ✅ 数字错、单位对、范围对,仍被抓 |
|
|
86
103
|
|
|
87
104
|
**5/5 符合预期。** 首轮暴露的两个真问题(A 误拦、D 漏报)已修,修法记在这份文档末尾(判据放宽、主张范围继承、区间比较、表格证据补齐),细节见各阶段的验收记录。
|
|
88
105
|
|
|
89
106
|
1. `unverifiable` 不再升 violation,只进 `notices`——「说不清」不等于「说错了」。
|
|
90
|
-
2.
|
|
107
|
+
2. 主张范围继承整段回答——中文答句句首声明「星港……」,后面分句省略主语。
|
|
91
108
|
3. 支持区间写法(`1000–1200 字`),单值对区间比相交。
|
|
92
109
|
4. 证据抽取补两处:`字数` 对象词 + 表格行允许借用页面标题满足地域约束(行内已有别的地域则不借)。
|
|
93
110
|
|
|
@@ -104,6 +121,9 @@ wiki_context ──► context_id(快照)+ observe_id(观察记录)
|
|
|
104
121
|
1. **读取仍是两套实现**——差在结构解读层,见第一节;统一方向待拍板。
|
|
105
122
|
2. **`unverifiable` 只在 `notices` 里**:模型若只看 `violations`,会漏掉「这个数字我核实不了」。需要模型侧读 notices。
|
|
106
123
|
3. **区间只支持「A–B 单位」**:`一千到一千二百字` 这类中文区间仍抽不出。
|
|
107
|
-
4. **`numeric_claim`
|
|
124
|
+
4. **`numeric_claim` 不做跨句推理**:主张散落在两句里(「冷数据 40%。」「TTL 1000–1200 秒。」)时,靠整段口径继承兜底,不做句间绑定。
|
|
108
125
|
5. **观察日志无轮转**:只追加,不清理;`legacy` 计数会随时间变大,需要时手工归档。
|
|
109
126
|
6. **快照不自动清理**,也没有滑动续期。
|
|
127
|
+
7. **插件侧的 `observe_id` 对照表只在内存里**:插件重启后,之前的 `context_id` 查不到对应的 `observe_id`,
|
|
128
|
+
这时 verify 仍能跑(核验靠快照,不靠这张表),但那条 verify 记录的 `parent_observe_id` 会是空的。
|
|
129
|
+
跨进程、跨重启追不回——这是设计取舍:把编号写进快照要多动 Python 侧契约。
|
package/lib/calls.js
ADDED
|
@@ -0,0 +1,250 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* calls.js —— 调用审计的账本。
|
|
3
|
+
*
|
|
4
|
+
* 为什么单独一个文件:这是插件里唯一会「每调用一次就写一行」的东西。
|
|
5
|
+
* 放进 index.js 会把宿主那半撑得更长,而它需要守的纪律(字段白名单、
|
|
6
|
+
* 坏行跳过、写失败不抛)跟检索逻辑一点关系都没有。
|
|
7
|
+
*
|
|
8
|
+
* 三条铁律:
|
|
9
|
+
* 1. 只记白名单里的 8 个字段 —— 页面路径、正文、答案一律不进账本。
|
|
10
|
+
* 2. 记账是旁路 —— 写文件失败只 warn,绝不改变工具返回值。
|
|
11
|
+
* 3. 读的时候只认尾部 —— 账本会长到几千行,没人需要为了看一眼今天的调用
|
|
12
|
+
* 把整个文件解析一遍。
|
|
13
|
+
*/
|
|
14
|
+
|
|
15
|
+
import { appendFileSync, closeSync, existsSync, fstatSync, openSync, readFileSync, readSync, statSync, writeFileSync } from 'node:fs'
|
|
16
|
+
|
|
17
|
+
/** 账本只认这 8 个字段。顺序就是表头顺序。 */
|
|
18
|
+
export const CALL_FIELDS = ['ts', 'source', 'tool', 'mode', 'query', 'hits', 'ms', 'ok']
|
|
19
|
+
|
|
20
|
+
/** query 截断长度。一条记录撑到几十 KB 只会有害。 */
|
|
21
|
+
export const QUERY_MAX = 120
|
|
22
|
+
/** 内存里留最近多少条 —— 文件读不出来时的兜底。 */
|
|
23
|
+
export const BUFFER_MAX = 500
|
|
24
|
+
/** 超过这么多行就轮转。 */
|
|
25
|
+
export const MAX_LINES = 5000
|
|
26
|
+
/** 轮转后留最后这么多行。 */
|
|
27
|
+
export const KEEP_LINES = 2500
|
|
28
|
+
/** 读取时只从文件尾部读这么多字节。 */
|
|
29
|
+
export const TAIL_BYTES = 262144
|
|
30
|
+
const DEFAULT_LIMIT = 200
|
|
31
|
+
const LIMIT_MAX = 500
|
|
32
|
+
/** totals 最多扫这么多行 —— 再老的不值得为「今日」统计去解析。 */
|
|
33
|
+
const TOTALS_MAX = 2000
|
|
34
|
+
|
|
35
|
+
function pad(value) {
|
|
36
|
+
return String(value).padStart(2, '0')
|
|
37
|
+
}
|
|
38
|
+
|
|
39
|
+
/** 本地时间戳,和「今日」用的是同一套时区。 */
|
|
40
|
+
function stampNow(date = new Date()) {
|
|
41
|
+
return `${date.getFullYear()}-${pad(date.getMonth() + 1)}-${pad(date.getDate())}`
|
|
42
|
+
+ `T${pad(date.getHours())}:${pad(date.getMinutes())}:${pad(date.getSeconds())}`
|
|
43
|
+
}
|
|
44
|
+
|
|
45
|
+
function localDayOf(ts) {
|
|
46
|
+
return typeof ts === 'string' ? ts.slice(0, 10) : ''
|
|
47
|
+
}
|
|
48
|
+
|
|
49
|
+
function clipQuery(value) {
|
|
50
|
+
if (typeof value !== 'string') return ''
|
|
51
|
+
return value.length > QUERY_MAX ? value.slice(0, QUERY_MAX) + '…' : value
|
|
52
|
+
}
|
|
53
|
+
|
|
54
|
+
/**
|
|
55
|
+
* 只留白名单字段。输入不是对象就返回 null —— 调用方据此决定「这条不记」,
|
|
56
|
+
* 而不是记一条全是 undefined 的空壳。
|
|
57
|
+
*/
|
|
58
|
+
export function normalizeEntry(raw) {
|
|
59
|
+
if (raw === null || typeof raw !== 'object' || Array.isArray(raw)) return null
|
|
60
|
+
// null 与 0 是两件事:`Number(null)` 是 0,直接转会把「不产生命中的工具」
|
|
61
|
+
// 混进命中率的分母里,命中率被系统性地压低。
|
|
62
|
+
const hits = raw.hits === null || raw.hits === undefined ? Number.NaN : Number(raw.hits)
|
|
63
|
+
const ms = raw.ms === null || raw.ms === undefined ? Number.NaN : Number(raw.ms)
|
|
64
|
+
return {
|
|
65
|
+
ts: typeof raw.ts === 'string' && raw.ts !== '' ? raw.ts : stampNow(),
|
|
66
|
+
source: raw.source === 'panel' ? 'panel' : 'model',
|
|
67
|
+
tool: typeof raw.tool === 'string' ? raw.tool : '',
|
|
68
|
+
mode: typeof raw.mode === 'string' ? raw.mode : '',
|
|
69
|
+
query: clipQuery(raw.query),
|
|
70
|
+
hits: Number.isFinite(hits) ? Math.max(0, Math.trunc(hits)) : null,
|
|
71
|
+
ms: Number.isFinite(ms) ? Math.max(0, Math.trunc(ms)) : null,
|
|
72
|
+
ok: raw.ok !== false,
|
|
73
|
+
}
|
|
74
|
+
}
|
|
75
|
+
|
|
76
|
+
/** 读文件尾部;文件不存在或读不了就返回空串,由调用方退回内存缓冲。 */
|
|
77
|
+
function readTail(file, bytes = TAIL_BYTES) {
|
|
78
|
+
let size = 0
|
|
79
|
+
try {
|
|
80
|
+
size = statSync(file).size
|
|
81
|
+
} catch {
|
|
82
|
+
return ''
|
|
83
|
+
}
|
|
84
|
+
if (size === 0) return ''
|
|
85
|
+
if (size <= bytes) {
|
|
86
|
+
try {
|
|
87
|
+
return readFileSync(file, 'utf8')
|
|
88
|
+
} catch {
|
|
89
|
+
return ''
|
|
90
|
+
}
|
|
91
|
+
}
|
|
92
|
+
let fd = null
|
|
93
|
+
try {
|
|
94
|
+
fd = openSync(file, 'r')
|
|
95
|
+
const length = Math.min(bytes, fstatSync(fd).size)
|
|
96
|
+
const buffer = Buffer.alloc(length)
|
|
97
|
+
readSync(fd, buffer, 0, length, size - length)
|
|
98
|
+
return buffer.toString('utf8')
|
|
99
|
+
} catch {
|
|
100
|
+
return ''
|
|
101
|
+
} finally {
|
|
102
|
+
if (fd !== null) {
|
|
103
|
+
try {
|
|
104
|
+
closeSync(fd)
|
|
105
|
+
} catch {
|
|
106
|
+
/* 关不掉也只是句柄,不影响读到的内容 */
|
|
107
|
+
}
|
|
108
|
+
}
|
|
109
|
+
}
|
|
110
|
+
}
|
|
111
|
+
|
|
112
|
+
function parseLines(text) {
|
|
113
|
+
const rows = []
|
|
114
|
+
for (const line of text.split('\n')) {
|
|
115
|
+
const trimmed = line.trim()
|
|
116
|
+
if (trimmed === '') continue
|
|
117
|
+
try {
|
|
118
|
+
rows.push(JSON.parse(trimmed))
|
|
119
|
+
} catch {
|
|
120
|
+
// 进程写到一半被杀会留下半行。跳过它,不要因此让整页白掉。
|
|
121
|
+
}
|
|
122
|
+
}
|
|
123
|
+
return rows
|
|
124
|
+
}
|
|
125
|
+
|
|
126
|
+
function countLines(file) {
|
|
127
|
+
try {
|
|
128
|
+
return parseLines(readFileSync(file, 'utf8')).length
|
|
129
|
+
} catch {
|
|
130
|
+
return 0
|
|
131
|
+
}
|
|
132
|
+
}
|
|
133
|
+
|
|
134
|
+
/**
|
|
135
|
+
* 建一个账本。同一个文件可以有多个实例(宿主一个、测试一个),
|
|
136
|
+
* 它们各记各的内存缓冲,文件是共享的。
|
|
137
|
+
*/
|
|
138
|
+
export function createCallLog({ file, enabled = true, maxLines = MAX_LINES, keepLines = KEEP_LINES } = {}) {
|
|
139
|
+
const buffer = []
|
|
140
|
+
let on = enabled !== false
|
|
141
|
+
let lineCount = null
|
|
142
|
+
let warned = false
|
|
143
|
+
|
|
144
|
+
function warnOnce(error) {
|
|
145
|
+
if (warned) return
|
|
146
|
+
warned = true
|
|
147
|
+
console.warn('[wiki-notes] 调用记录写不进文件,只保留在内存里:', error?.message ?? error)
|
|
148
|
+
}
|
|
149
|
+
|
|
150
|
+
function rotateIfNeeded() {
|
|
151
|
+
if (lineCount === null) lineCount = countLines(file)
|
|
152
|
+
if (lineCount <= maxLines) return
|
|
153
|
+
let kept = []
|
|
154
|
+
try {
|
|
155
|
+
kept = parseLines(readFileSync(file, 'utf8')).slice(-keepLines)
|
|
156
|
+
} catch {
|
|
157
|
+
kept = []
|
|
158
|
+
}
|
|
159
|
+
try {
|
|
160
|
+
writeFileSync(file, kept.map((row) => JSON.stringify(row) + '\n').join(''))
|
|
161
|
+
lineCount = kept.length
|
|
162
|
+
} catch (error) {
|
|
163
|
+
warnOnce(error)
|
|
164
|
+
}
|
|
165
|
+
}
|
|
166
|
+
|
|
167
|
+
function append(entry) {
|
|
168
|
+
if (file === undefined || file === null || file === '') return
|
|
169
|
+
try {
|
|
170
|
+
rotateIfNeeded()
|
|
171
|
+
appendFileSync(file, JSON.stringify(entry) + '\n')
|
|
172
|
+
lineCount = (lineCount ?? 0) + 1
|
|
173
|
+
warned = false
|
|
174
|
+
} catch (error) {
|
|
175
|
+
// 目录被删、只读、被别的进程占住 —— 都只影响账本,不影响检索。
|
|
176
|
+
// 下次还会再试:用户可能只是临时删掉了文件。
|
|
177
|
+
warnOnce(error)
|
|
178
|
+
lineCount = null
|
|
179
|
+
}
|
|
180
|
+
}
|
|
181
|
+
|
|
182
|
+
function record(raw) {
|
|
183
|
+
const entry = normalizeEntry(raw)
|
|
184
|
+
if (entry === null) return null
|
|
185
|
+
buffer.push(entry)
|
|
186
|
+
while (buffer.length > BUFFER_MAX) buffer.shift()
|
|
187
|
+
if (on) append(entry)
|
|
188
|
+
return entry
|
|
189
|
+
}
|
|
190
|
+
|
|
191
|
+
function read({ limit = DEFAULT_LIMIT, source = 'all', only = 'all' } = {}) {
|
|
192
|
+
const fileRows = parseLines(readTail(file))
|
|
193
|
+
// 文件里可能只有历史的一部分(刚被删过、或写失败过),把内存里文件没覆盖的补回来。
|
|
194
|
+
// 键带上 hits / ms:同一秒里两次相同的查询是不同的两件事,不该被去重吃掉。
|
|
195
|
+
const seen = new Set(fileRows.map((row) => `${row.ts}|${row.tool}|${row.query}|${row.hits}|${row.ms}`))
|
|
196
|
+
const merged = fileRows.slice()
|
|
197
|
+
for (const row of buffer) {
|
|
198
|
+
const key = `${row.ts}|${row.tool}|${row.query}|${row.hits}|${row.ms}`
|
|
199
|
+
if (seen.has(key)) continue
|
|
200
|
+
seen.add(key)
|
|
201
|
+
merged.push(row)
|
|
202
|
+
}
|
|
203
|
+
merged.sort((a, b) => String(a.ts ?? '').localeCompare(String(b.ts ?? '')))
|
|
204
|
+
|
|
205
|
+
const scanned = merged.slice(-TOTALS_MAX)
|
|
206
|
+
const today = localDayOf(stampNow())
|
|
207
|
+
const todayRows = scanned.filter((row) => localDayOf(row.ts) === today)
|
|
208
|
+
const denom = todayRows.filter((row) => typeof row.hits === 'number')
|
|
209
|
+
const scored = denom.filter((row) => row.hits > 0)
|
|
210
|
+
const totals = {
|
|
211
|
+
today,
|
|
212
|
+
calls: todayRows.length,
|
|
213
|
+
hits: scored.length,
|
|
214
|
+
misses: denom.filter((row) => row.hits === 0).length,
|
|
215
|
+
hitRate: denom.length === 0 ? null : scored.length / denom.length,
|
|
216
|
+
}
|
|
217
|
+
|
|
218
|
+
const filtered = merged.filter((row) => {
|
|
219
|
+
if (source !== 'all' && row.source !== source) return false
|
|
220
|
+
if (only === 'miss' && row.hits !== 0) return false
|
|
221
|
+
return true
|
|
222
|
+
})
|
|
223
|
+
const size = Math.max(1, Math.min(Math.trunc(Number(limit) || DEFAULT_LIMIT), LIMIT_MAX))
|
|
224
|
+
const rows = filtered.slice(-size).reverse() // 新的在前:表头下面第一行就该是刚才那次
|
|
225
|
+
return { rows, totals, enabled: on, window: merged.length }
|
|
226
|
+
}
|
|
227
|
+
|
|
228
|
+
function clear() {
|
|
229
|
+
buffer.length = 0
|
|
230
|
+
lineCount = 0
|
|
231
|
+
if (file === undefined || file === null || file === '') return
|
|
232
|
+
try {
|
|
233
|
+
writeFileSync(file, '')
|
|
234
|
+
warned = false
|
|
235
|
+
} catch (error) {
|
|
236
|
+
warnOnce(error)
|
|
237
|
+
}
|
|
238
|
+
}
|
|
239
|
+
|
|
240
|
+
function setEnabled(next) {
|
|
241
|
+
on = next !== false
|
|
242
|
+
}
|
|
243
|
+
|
|
244
|
+
return { record, read, clear, setEnabled, enabled: () => on, buffer: () => buffer.slice() }
|
|
245
|
+
}
|
|
246
|
+
|
|
247
|
+
/** 给测试与排查用:账本文件现在有多少行。 */
|
|
248
|
+
export function lineCountOf(file) {
|
|
249
|
+
return existsSync(file) ? countLines(file) : 0
|
|
250
|
+
}
|