@furongjun1999/dsh-memory 0.9.10 → 0.9.13
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +195 -150
- package/lib/hooks.d.ts +23 -2
- package/lib/hooks.js +96 -22
- package/lib/index.d.ts +3 -0
- package/lib/index.js +12 -1
- package/lib/tools.d.ts +8 -0
- package/lib/tools.js +32 -5
- package/md_cg/config_registry_bulk.py +6 -0
- package/md_cg/config_validate.py +6 -0
- package/md_cg/mcp_server.py +147 -11
- package/md_cg/mdcg.py +67 -3
- package/md_cg/mdcos.py +108 -1
- package/md_cg/refindex.py +11 -4
- package/md_cg/test_c8_search_rrf_gates.py +511 -502
- package/md_cg/test_domain_granularity.py +68 -0
- package/md_cg/test_exact_text_cache.py +12 -4
- package/md_cg/test_issue623_fullwidth_symmetry.py +66 -0
- package/md_cg/test_issue644_637_636.py +84 -0
- package/md_cg/test_p28_refcheck.py +7 -7
- package/md_cg/test_retr_gates_prodpath.py +11 -1
- package/md_cg/test_search_async.py +84 -0
- package/md_cg/test_search_prefilter.py +85 -0
- package/md_cg/tokens.py +5 -1
- package/package.json +113 -113
- package/scripts/workspace_index.py +2 -0
- package/src/hooks.ts +105 -23
- package/src/index.ts +15 -1
- package/src/tools.ts +37 -6
package/lib/index.js
CHANGED
|
@@ -87,6 +87,9 @@ function mcpText(r) {
|
|
|
87
87
|
export const inject = ['tools'];
|
|
88
88
|
export const Config = z.object({
|
|
89
89
|
serverName: z.string().default('lingshu'),
|
|
90
|
+
/** issue #634:0.9.9 起工具名去前缀(lingshu_cg -> cg)。
|
|
91
|
+
* 缺省 true = 同时注册 lingshu_* 兼容别名;设 false 则只注册裸名。 */
|
|
92
|
+
toolAliases: z.boolean().default(true),
|
|
90
93
|
// issue #19:默认值按平台解析(Windows: python / 其它: python3;env MDCG_PYTHON 可覆盖)。
|
|
91
94
|
// 写死 'python' 时 Linux/macOS 首装即 spawn ENOENT(PEP 394 只有 python3),
|
|
92
95
|
// 且表现为「装好了但记忆永远为空」——最难定位的失效形态。
|
|
@@ -106,6 +109,11 @@ export const Config = z.object({
|
|
|
106
109
|
importance: z.number().default(0.6),
|
|
107
110
|
autoRecall: z.boolean().default(true),
|
|
108
111
|
autoRecallLimit: z.number().default(4),
|
|
112
|
+
/** issue #635:self/anchor 层单列「身份锚点」块(默认 false = 维持既有行为)。 */
|
|
113
|
+
autoRecallIdentity: z.boolean().default(false),
|
|
114
|
+
/** 逢十轮提醒(纪律第 16 条;issue #645):缺省 10 = 每 10 个真实用户回合;
|
|
115
|
+
* false = 关闭;数字 = 自定义间隔(1~100)。 */
|
|
116
|
+
turnReminder: z.union([z.boolean(), z.number()]).default(10),
|
|
109
117
|
desensitize: z.boolean().default(true),
|
|
110
118
|
/** **短期会话窗口**(滑动窗口,2026-10-06)——「短期保留近 N 条对话记录」
|
|
111
119
|
* 的机制实现(长期记忆仍走灵枢的显式调用)。
|
|
@@ -129,7 +137,7 @@ export const Config = z.object({
|
|
|
129
137
|
})
|
|
130
138
|
.default({ enabled: true, turns: 10 }),
|
|
131
139
|
})
|
|
132
|
-
.default({ userMessage: true, assistantMessage: false, toolResult: false, importance: 0.6, autoRecall: true, autoRecallLimit: 4, desensitize: true, contextWindow: { enabled: true, turns: 10 } }),
|
|
140
|
+
.default({ userMessage: true, assistantMessage: false, toolResult: false, importance: 0.6, autoRecall: true, autoRecallLimit: 4, autoRecallIdentity: false, turnReminder: 10, desensitize: true, contextWindow: { enabled: true, turns: 10 } }),
|
|
133
141
|
toolCallTimeoutMs: z.number().default(60_000),
|
|
134
142
|
maxRetryDelayMs: z.number().default(30_000),
|
|
135
143
|
failOnStartupError: z.boolean().default(false),
|
|
@@ -357,6 +365,9 @@ export async function apply(ctx, config) {
|
|
|
357
365
|
// `cg` / `stg` / `mdcg_*`。此前按 `${config.serverName}_` 拼成 `cg`,造成「同一个
|
|
358
366
|
// MCP 服务、不同端看到不同工具名」的初次识别错误。serverName 仍用于内部 provider/日志标识。
|
|
359
367
|
toolPrefix: '',
|
|
368
|
+
// issue #634:默认补注册 lingshu_* 兼容别名(旧会话/旧脚本硬编码旧名时不至于 unknown tool)。
|
|
369
|
+
// 需要「只要裸名」的部署可设 tools.legacyAliases=false。
|
|
370
|
+
legacyAliases: config.toolAliases !== false,
|
|
360
371
|
});
|
|
361
372
|
disposers.push(dispose);
|
|
362
373
|
toolsRegistered = true;
|
package/lib/tools.d.ts
CHANGED
|
@@ -57,7 +57,15 @@ export declare function extractText(content: Array<{
|
|
|
57
57
|
* import 本包」在模块求值前就失败。惰性导入后:不在 DSH 宿主内时包仍可加载,
|
|
58
58
|
* 只有真正注册工具才报错,且错误消息点名缺哪个包。
|
|
59
59
|
*/
|
|
60
|
+
/** 工具对外名(issue #634):正式名 + 可选兼容别名。
|
|
61
|
+
*
|
|
62
|
+
* 0.9.9 起去掉了 `${serverName}_` 前缀(lingshu_cg -> cg),升级瞬间
|
|
63
|
+
* 已存在会话里的旧名调用全部变成 unknown tool。这里给出「一个工具要注册哪些名字」的
|
|
64
|
+
* 纯函数,注册面与测试共用,避免两处各写一份判据。
|
|
65
|
+
*/
|
|
66
|
+
export declare function toolPublicNames(toolName: string, prefix: string, legacyAliases?: boolean): string[];
|
|
60
67
|
export declare function registerLingshuTools(ctx: Context, bridge: LingshuBridge, opts: {
|
|
61
68
|
selection: ToolSelection;
|
|
62
69
|
toolPrefix: string;
|
|
70
|
+
legacyAliases?: boolean;
|
|
63
71
|
}): Promise<() => void>;
|
package/lib/tools.js
CHANGED
|
@@ -167,6 +167,18 @@ export function extractText(content) {
|
|
|
167
167
|
* import 本包」在模块求值前就失败。惰性导入后:不在 DSH 宿主内时包仍可加载,
|
|
168
168
|
* 只有真正注册工具才报错,且错误消息点名缺哪个包。
|
|
169
169
|
*/
|
|
170
|
+
/** 工具对外名(issue #634):正式名 + 可选兼容别名。
|
|
171
|
+
*
|
|
172
|
+
* 0.9.9 起去掉了 `${serverName}_` 前缀(lingshu_cg -> cg),升级瞬间
|
|
173
|
+
* 已存在会话里的旧名调用全部变成 unknown tool。这里给出「一个工具要注册哪些名字」的
|
|
174
|
+
* 纯函数,注册面与测试共用,避免两处各写一份判据。
|
|
175
|
+
*/
|
|
176
|
+
export function toolPublicNames(toolName, prefix, legacyAliases = true) {
|
|
177
|
+
const primary = `${prefix}${toolName}`;
|
|
178
|
+
if (prefix || !legacyAliases || toolName.startsWith("lingshu_"))
|
|
179
|
+
return [primary];
|
|
180
|
+
return [primary, `lingshu_${toolName}`];
|
|
181
|
+
}
|
|
170
182
|
export async function registerLingshuTools(ctx, bridge, opts) {
|
|
171
183
|
let defineTool;
|
|
172
184
|
try {
|
|
@@ -182,13 +194,22 @@ export async function registerLingshuTools(ctx, bridge, opts) {
|
|
|
182
194
|
const disposers = [];
|
|
183
195
|
const registered = [];
|
|
184
196
|
try {
|
|
197
|
+
// issue #634(2026-10-22):0.9.9 起工具名去掉 serverName 前缀(lingshu_cg -> cg),
|
|
198
|
+
// 升级瞬间已存在的会话里旧名调用全变 unknown tool,宿主与插件都没有提示。
|
|
199
|
+
// 这里加兼容别名:裸名照常注册,同时补注册 lingshu_<name>(legacyAliases=false 可关)。
|
|
200
|
+
// 别名与正式名指向同一个 execute,语义不变;描述标注 deprecated 供模型与人识别。
|
|
185
201
|
for (const tool of tools) {
|
|
186
202
|
if (!wanted.has(tool.name))
|
|
187
203
|
continue;
|
|
188
|
-
const
|
|
189
|
-
const
|
|
190
|
-
|
|
191
|
-
|
|
204
|
+
const names = toolPublicNames(tool.name, opts.toolPrefix, opts.legacyAliases !== false);
|
|
205
|
+
const publicName = names[0];
|
|
206
|
+
const aliasName = names[1] ?? "";
|
|
207
|
+
const makeDefinition = (registeredName, deprecated) => defineTool({
|
|
208
|
+
name: registeredName,
|
|
209
|
+
description: deprecated
|
|
210
|
+
? '【已弃用别名】旧版工具名(升级兼容用),请改用 ' + publicName + '。原始描述:'
|
|
211
|
+
+ (tool.description || '灵枢 ' + tool.name)
|
|
212
|
+
: (tool.description || '灵枢 ' + tool.name),
|
|
192
213
|
parameters: schemaToParameters(tool.inputSchema),
|
|
193
214
|
output: {
|
|
194
215
|
schema: { type: 'json' },
|
|
@@ -233,8 +254,14 @@ export async function registerLingshuTools(ctx, bridge, opts) {
|
|
|
233
254
|
return { content: result.content };
|
|
234
255
|
},
|
|
235
256
|
});
|
|
236
|
-
disposers.push(ctx.tools.register(
|
|
257
|
+
disposers.push(ctx.tools.register(makeDefinition(publicName, false)));
|
|
237
258
|
registered.push(publicName);
|
|
259
|
+
if (aliasName) {
|
|
260
|
+
// 兼容别名:指向同一个 execute(makeDefinition 复用了同一份定义体),
|
|
261
|
+
// 标记 deprecated;下一轮 minor 再评估是否移除。
|
|
262
|
+
disposers.push(ctx.tools.register(makeDefinition(aliasName, true)));
|
|
263
|
+
registered.push(aliasName);
|
|
264
|
+
}
|
|
238
265
|
}
|
|
239
266
|
}
|
|
240
267
|
catch (err) {
|
|
@@ -345,6 +345,12 @@ ENV_ROWS = [
|
|
|
345
345
|
'md_cg/writepipe.py', 'ATTEMPT_LEDGER_DEFAULT', 'uncalibrated',
|
|
346
346
|
'由生成器自 AST 复核(第一批未见标定读数);有效缺省:未设 = True(尝试账本总开关,缺省开——留痕面与 _audit/_write_2pc 同口径;显式 0/false/no/off 停用,停用不改写入语义)',
|
|
347
347
|
'unknown', ''),
|
|
348
|
+
('MDCG_WARM_SEARCH', 'TUNE', 'tune', 'env', True, "'1'", 'str', 'value', 'MDCG_WARM_SEARCH', 'value', 'env_literal', 'md_cg/mcp_server.py', '', 'uncalibrated', '2026-10-21 手补:PR 内新增开关(未设=开/缺省即字面量)', 'unknown', ''),
|
|
349
|
+
('MDCG_PREFILTER', 'TUNE', 'tune', 'env', True, "'0'", 'str', 'value', 'MDCG_PREFILTER', 'value', 'env_literal', 'md_cg/mdcos.py', '', 'uncalibrated', '2026-10-21 手补:PR 内新增开关(未设=开/缺省即字面量)', 'unknown', ''),
|
|
350
|
+
('MDCG_PREFILTER_MIN', 'TUNE', 'tune', 'env', True, "'50'", 'str', 'value', 'MDCG_PREFILTER_MIN', 'value', 'env_literal', 'md_cg/mdcos.py', '', 'uncalibrated', '2026-10-21 手补:PR 内新增开关(未设=开/缺省即字面量)', 'unknown', ''),
|
|
351
|
+
('MDCG_RECONCILE_BG', 'TUNE', 'tune', 'env', True, "'1'", 'str', 'value', 'MDCG_RECONCILE_BG', 'value', 'env_literal', 'md_cg/mcp_server.py', '', 'uncalibrated', '2026-10-21 手补:PR 内新增开关', 'unknown', ''),
|
|
352
|
+
('MDCG_MIN_SCORE', 'TUNE', 'tune', 'env', True, "'0'", 'str', 'value', 'MDCG_MIN_SCORE', 'value', 'env_literal', 'md_cg/mdcg.py', '', 'uncalibrated', '2026-10-23 手补:issue #637 可配最低分(0=关)', 'unknown', ''),
|
|
353
|
+
('MDCG_RECALL_MIN_SCORE', 'TUNE', 'tune', 'env', True, "'-1'", 'str', 'value', 'MDCG_RECALL_MIN_SCORE', 'value', 'env_literal', 'md_cg/mdcos.py', '', 'uncalibrated', '2026-10-23 手补:issue #637 召回面最低分(-1=关)', 'unknown', ''),
|
|
348
354
|
]
|
|
349
355
|
|
|
350
356
|
# 环境面**分类登记**(只登记「属于环境面」与值域类型;**不登记缺省值**)
|
package/md_cg/config_validate.py
CHANGED
|
@@ -53,17 +53,22 @@ RULES = {
|
|
|
53
53
|
'MDCG_INGEST_ROOT': {'bool_like': True, 'type': 'bool'},
|
|
54
54
|
'MDCG_LAYER_BOOST': {'type': 'str'},
|
|
55
55
|
'MDCG_MCP_SURFACE': {'enum': ['kernel', 'full'], 'type': 'str'},
|
|
56
|
+
'MDCG_MIN_SCORE': {'type': 'str'},
|
|
56
57
|
'MDCG_NEG_LAMBDA': {'max': 1.0, 'min': 0.0, 'type': 'float'},
|
|
57
58
|
'MDCG_NEG_SIM': {'max': 1.0, 'min': 0.0, 'type': 'float'},
|
|
58
59
|
'MDCG_PLAIN_CACHE_MAX': {'type': 'str'},
|
|
59
60
|
'MDCG_POOLING': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
61
|
+
'MDCG_PREFILTER': {'type': 'str'},
|
|
62
|
+
'MDCG_PREFILTER_MIN': {'type': 'str'},
|
|
60
63
|
'MDCG_PROPOSAL_EMOTION': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
61
64
|
'MDCG_QMD_SYS': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
62
65
|
'MDCG_REACH': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
63
66
|
'MDCG_REACH_DIFFUSE': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
64
67
|
'MDCG_REACH_TTL': {'min': 0.0, 'type': 'float'},
|
|
65
68
|
'MDCG_READ_CACHE': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
69
|
+
'MDCG_RECALL_MIN_SCORE': {'type': 'str'},
|
|
66
70
|
'MDCG_RECONCILE': {'bool_like': True, 'type': 'bool'},
|
|
71
|
+
'MDCG_RECONCILE_BG': {'type': 'str'},
|
|
67
72
|
'MDCG_RELOAD_MIN_INTERVAL': {'type': 'str'},
|
|
68
73
|
'MDCG_RETRIEVAL_PIPELINE': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
69
74
|
'MDCG_S7_FRESHNESS': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
@@ -87,6 +92,7 @@ RULES = {
|
|
|
87
92
|
'MDCG_TENANT': {'type': 'str'},
|
|
88
93
|
'MDCG_TOOL_FACE': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
89
94
|
'MDCG_UNIFY_QUERY': {'bool_like': True, 'true_literals': ['1'], 'type': 'bool'},
|
|
95
|
+
'MDCG_WARM_SEARCH': {'type': 'str'},
|
|
90
96
|
'MDCG_WRITELIMIT': {'bool_like': True, 'type': 'bool'},
|
|
91
97
|
'MDCG_WRITE_ATTEMPT_LEDGER': {'bool_like': True, 'type': 'bool'},
|
|
92
98
|
'MDCG_WRITE_ATTEMPT_ROTATE_BYTES': {'type': 'str'},
|
package/md_cg/mcp_server.py
CHANGED
|
@@ -227,6 +227,9 @@ TOOLS = [
|
|
|
227
227
|
semantic=_p("boolean", "启用第 6 路条件空间结构化匹配"
|
|
228
228
|
"(白箱语义路:CCG 生效条件 + condition_space "
|
|
229
229
|
"四槽,不适用条件命中即剔除;默认否)"),
|
|
230
|
+
exclude_doc=_p("boolean", "检索面排除 doc_ 索引节点(会话日志切片;"
|
|
231
|
+
"默认 false = 保持既有契约——test_p27_docindex ⑤ 断言"
|
|
232
|
+
"文档节点必须可被检索到;需要「只看真记忆卡」的调用方显式传 true)"),
|
|
230
233
|
expand=_p("array", "LLM 查询侧扩展词:[{term,weight}] 或 [\"词\"];"
|
|
231
234
|
"仅在查询时刻生效,索引侧仍白箱"),
|
|
232
235
|
session=_p("string", "会话归属过滤(frontmatter.session;"
|
|
@@ -262,11 +265,12 @@ TOOLS = [
|
|
|
262
265
|
"inputSchema": _s("", query=_p("string", "查询", True), k=_p("integer", "条数"),
|
|
263
266
|
layer=_p("string", "限定层"), context=_p("object", "情境"),
|
|
264
267
|
roles=_p("array", "限定角色"), include_work=_p("boolean", "含工作角色"),
|
|
265
|
-
session=_p("string", "会话归属过滤(frontmatter.session
|
|
266
|
-
|
|
267
|
-
|
|
268
|
-
|
|
269
|
-
|
|
268
|
+
session=_p("string", "会话归属过滤(frontmatter.session;缺省不过滤)"),
|
|
269
|
+
validity=_p("boolean", "时效过滤(显式启用,缺省不过滤):仅排除已过期(valid_until 已过)节点,未生效(valid_from 未到)保留"),
|
|
270
|
+
# 异步检索(2026-10-21):怕 MCP 超时的客户端用它——提交后立刻拿
|
|
271
|
+
# job_id,隔若干秒带 job_id 再来取结果(后台线程跑同一条检索)。
|
|
272
|
+
defer_s=_p("number", "异步检索:大于 0 时立刻返回工单(job_id),检索在后台跑"),
|
|
273
|
+
job_id=_p("string", "取异步检索结果:传上次返回的 job_id")),
|
|
270
274
|
},
|
|
271
275
|
{
|
|
272
276
|
"name": "mdcg_get",
|
|
@@ -2659,6 +2663,17 @@ def _cg_dispatch(cg, a):
|
|
|
2659
2663
|
res = [(n, s, qual) for n, s, qual, _provenance in ranked]
|
|
2660
2664
|
else:
|
|
2661
2665
|
res, meta = cg.search(q, **search_args)
|
|
2666
|
+
# read 面过滤 doc_ 索引节点(2026-10-23 使用者批准):doc_ 为会话日志切片,
|
|
2667
|
+
# 与真记忆卡同分(0.016)且占 top5 的 60–80%,稀释可达性。默认 true,可显式关。
|
|
2668
|
+
_excluded_doc = 0
|
|
2669
|
+
if a.get("exclude_doc", False):
|
|
2670
|
+
_before = len(res)
|
|
2671
|
+
res = [x for x in res if not str((x[0] or {}).get("id", "")).startswith("doc_")]
|
|
2672
|
+
_excluded_doc = _before - len(res)
|
|
2673
|
+
if _excluded_doc and isinstance(meta, dict):
|
|
2674
|
+
meta = dict(meta)
|
|
2675
|
+
meta["excluded_doc"] = _excluded_doc
|
|
2676
|
+
meta["exclude_doc"] = True
|
|
2662
2677
|
_out = {"meta": meta, "results": [
|
|
2663
2678
|
{"node": _node_view(n), "score": s, "state": q2.get("state"),
|
|
2664
2679
|
"reason": q2.get("reason"), **refindex.ref_fields(n)}
|
|
@@ -3684,6 +3699,84 @@ def _stg_call(cg, a):
|
|
|
3684
3699
|
# --------------------------------------------------------------------------
|
|
3685
3700
|
|
|
3686
3701
|
# 生效条件:a=args or {},unit=(a.get("as_unit") or "").strip(),sess=_declared_session(a.get("session"));cg.principal 为 None 或 unit 与 sess 皆为空时直接返回 _dispatch(cg,name,a);否则先 narrowed_principal(cg.principal, unit)(TokenError 时返回 {"ok":False,"error":f"as_unit 非法:{e}"}),sess 非空时再以 copy 出的 Principal 覆盖 session,暂存 cg.principal/cg.session、置为作用域值、try 返回 _dispatch、finally 还原。
|
|
3702
|
+
# 生效条件:cg 为已构造的安全客户端、args 为 mdcg_search 的原始入参、defer_s>0 时——
|
|
3703
|
+
# 立即返回 {job_id,status=pending,hint},并在守护线程里以**同一份入参(去掉 defer_s/job_id)**
|
|
3704
|
+
# 调 call_tool(cg,"mdcg_search",...);失败也落进工单(status=error),不抛到调用方。
|
|
3705
|
+
_SEARCH_JOBS = {}
|
|
3706
|
+
_SEARCH_JOBS_LOCK = __import__("threading").Lock()
|
|
3707
|
+
_SEARCH_JOB_TTL = 600.0 # 秒:工单保留时长(过期即丢,防常驻进程无限涨)
|
|
3708
|
+
_SEARCH_JOB_MAX = 64 # 条:同时保留的工单上限
|
|
3709
|
+
|
|
3710
|
+
|
|
3711
|
+
def _search_job_gc(now=None, reserve=0):
|
|
3712
|
+
"""清过期/超量工单(调用方持锁)。TTL 与条数双闸,防常驻进程内存无界。"""
|
|
3713
|
+
import time as _t
|
|
3714
|
+
now = _t.time() if now is None else now
|
|
3715
|
+
for _k in [k for k, v in _SEARCH_JOBS.items()
|
|
3716
|
+
if now - float(v.get("created") or 0) > _SEARCH_JOB_TTL]:
|
|
3717
|
+
_SEARCH_JOBS.pop(_k, None)
|
|
3718
|
+
_keep = max(0, _SEARCH_JOB_MAX - int(reserve or 0))
|
|
3719
|
+
if len(_SEARCH_JOBS) > _keep:
|
|
3720
|
+
for _k, _v in sorted(_SEARCH_JOBS.items(),
|
|
3721
|
+
key=lambda kv: float(kv[1].get("created") or 0))[:len(_SEARCH_JOBS) - _keep]:
|
|
3722
|
+
_SEARCH_JOBS.pop(_k, None)
|
|
3723
|
+
|
|
3724
|
+
|
|
3725
|
+
def _search_job_submit(cg, args, defer_s):
|
|
3726
|
+
"""提交异步检索:返回工单,不等待检索完成。"""
|
|
3727
|
+
import random as _rnd
|
|
3728
|
+
import threading as _th
|
|
3729
|
+
import time as _t
|
|
3730
|
+
with _SEARCH_JOBS_LOCK:
|
|
3731
|
+
_search_job_gc(reserve=1) # 给自己预留一格,插入后不超过上限
|
|
3732
|
+
jid = "sjob_%d_%04d" % (int(_t.time() * 1000), _rnd.randint(0, 9999))
|
|
3733
|
+
rec = {"job_id": jid, "status": "pending", "created": _t.time(),
|
|
3734
|
+
"query": args.get("query"), "result": None, "error": None,
|
|
3735
|
+
"elapsed_s": None}
|
|
3736
|
+
_SEARCH_JOBS[jid] = rec
|
|
3737
|
+
payload = {k: v for k, v in args.items() if k not in ("defer_s", "job_id")}
|
|
3738
|
+
|
|
3739
|
+
def _run():
|
|
3740
|
+
_t0 = _t.time()
|
|
3741
|
+
try:
|
|
3742
|
+
out = call_tool(cg, "mdcg_search", payload)
|
|
3743
|
+
with _SEARCH_JOBS_LOCK:
|
|
3744
|
+
rec["status"] = "done"
|
|
3745
|
+
rec["result"] = out
|
|
3746
|
+
rec["elapsed_s"] = round(_t.time() - _t0, 3)
|
|
3747
|
+
except Exception as exc: # noqa: BLE001 —— 工单承接失败,不抛给调用方
|
|
3748
|
+
with _SEARCH_JOBS_LOCK:
|
|
3749
|
+
rec["status"] = "error"
|
|
3750
|
+
rec["error"] = "%s: %s" % (type(exc).__name__, exc)
|
|
3751
|
+
rec["elapsed_s"] = round(_t.time() - _t0, 3)
|
|
3752
|
+
|
|
3753
|
+
_th.Thread(target=_run, name="mdcg-search-job", daemon=True).start()
|
|
3754
|
+
return {"job_id": jid, "status": "pending",
|
|
3755
|
+
"poll_after_s": int(defer_s) if defer_s else 10,
|
|
3756
|
+
"hint": "检索在后台进行;请约 %d 秒后再用 job_id 调用一次 mdcg_search 取结果"
|
|
3757
|
+
% (int(defer_s) if defer_s else 10)}
|
|
3758
|
+
|
|
3759
|
+
|
|
3760
|
+
def _search_job_result(jid):
|
|
3761
|
+
"""取异步检索结果:pending 原样回报,done 带 result,error 带 error。"""
|
|
3762
|
+
with _SEARCH_JOBS_LOCK:
|
|
3763
|
+
_search_job_gc()
|
|
3764
|
+
rec = _SEARCH_JOBS.get(str(jid))
|
|
3765
|
+
if rec is None:
|
|
3766
|
+
return {"job_id": str(jid), "status": "unknown",
|
|
3767
|
+
"error": "未知或已过期的 job_id(工单保留 %d 秒)" % int(_SEARCH_JOB_TTL)}
|
|
3768
|
+
snap = dict(rec)
|
|
3769
|
+
out = {"job_id": snap["job_id"], "status": snap["status"],
|
|
3770
|
+
"elapsed_s": snap.get("elapsed_s")}
|
|
3771
|
+
if snap["status"] == "done":
|
|
3772
|
+
out["result"] = snap.get("result")
|
|
3773
|
+
elif snap["status"] == "error":
|
|
3774
|
+
out["error"] = snap.get("error")
|
|
3775
|
+
else:
|
|
3776
|
+
out["poll_after_s"] = 10
|
|
3777
|
+
return out
|
|
3778
|
+
|
|
3779
|
+
|
|
3687
3780
|
def call_tool(cg, name, args):
|
|
3688
3781
|
"""MCP tools/call 入口:按 `as_unit` 做**请求级身份收窄**(单进程多身份),
|
|
3689
3782
|
按 `session` 做**请求级会话归因**(单进程多会话)。
|
|
@@ -4224,6 +4317,18 @@ def _dispatch(cg, name, args):
|
|
|
4224
4317
|
return _pack
|
|
4225
4318
|
|
|
4226
4319
|
if name == "mdcg_search":
|
|
4320
|
+
# ---- 异步检索(2026-10-21):把「怕超时」变成「先拿工单,过几秒来取」----
|
|
4321
|
+
# 背景:真实库首次检索曾要 8.4 秒、握手 5 秒,客户端 hook 若把超时设得较短
|
|
4322
|
+
# 就会整单失败。异步面不改检索语义:后台线程跑的是**同一个** call_tool,
|
|
4323
|
+
# 只是把「等待」从客户端挪到工单上。默认关(不带 defer_s 即同步)。
|
|
4324
|
+
if a.get("job_id"):
|
|
4325
|
+
return _search_job_result(str(a.get("job_id")))
|
|
4326
|
+
try:
|
|
4327
|
+
_defer = float(a.get("defer_s") or 0)
|
|
4328
|
+
except (TypeError, ValueError):
|
|
4329
|
+
_defer = 0.0
|
|
4330
|
+
if _defer > 0:
|
|
4331
|
+
return _search_job_submit(cg, a, _defer)
|
|
4227
4332
|
from . import refindex
|
|
4228
4333
|
# ---- query 级热缓存(默认面接线,2026-10-21)----
|
|
4229
4334
|
# 热缓存的读写在 search_rrf 内,而默认检索面走 cg.search(本分支)——
|
|
@@ -4975,7 +5080,26 @@ def _serve_line(cg, msg) -> bool:
|
|
|
4975
5080
|
"serverInfo": {"name": SERVER_NAME,
|
|
4976
5081
|
"version": SERVER_VERSION}})
|
|
4977
5082
|
elif method in ("notifications/initialized", "initialized"):
|
|
4978
|
-
|
|
5083
|
+
# 2026-10-21 冷启动预热(MCP 读写超时的实测根因之一):
|
|
5084
|
+
# 本进程**首次**检索要读 26k 个候选文档(真实库实测 8.4 秒),
|
|
5085
|
+
# 而读过一次之后**任意**新查询只要 0.26 秒(readcache 已热)。
|
|
5086
|
+
# 故在握手完成后立刻起一个后台线程做一次"暖查询",把这次一次性成本
|
|
5087
|
+
# 挪到客户端等 initialize 之后的空档里;用户真正发起检索时通常已热。
|
|
5088
|
+
# 不改变任何检索语义(record=False、结果丢弃),失败静默。
|
|
5089
|
+
try:
|
|
5090
|
+
if os.environ.get("MDCG_WARM_SEARCH", "1") != "0" and not globals().get("_warm_started"):
|
|
5091
|
+
globals()["_warm_started"] = True
|
|
5092
|
+
import threading as _th
|
|
5093
|
+
|
|
5094
|
+
def _warm():
|
|
5095
|
+
try:
|
|
5096
|
+
cg.search("灵枢", k=1, record=False)
|
|
5097
|
+
except Exception:
|
|
5098
|
+
pass
|
|
5099
|
+
|
|
5100
|
+
_th.Thread(target=_warm, name="mdcg-warm", daemon=True).start()
|
|
5101
|
+
except Exception:
|
|
5102
|
+
pass
|
|
4979
5103
|
elif method == "tools/list":
|
|
4980
5104
|
_reply(rid, {"tools": tools_for_surface()})
|
|
4981
5105
|
elif method == "tools/call":
|
|
@@ -5205,11 +5329,23 @@ def main():
|
|
|
5205
5329
|
# 真源自身损坏只告警留痕不自动改写(T9 边界:结构合法≠内容正确)。告警与
|
|
5206
5330
|
# 留痕由模块发声(diff 非空才输出,干净库零噪声);MDCG_RECONCILE=0 关闭
|
|
5207
5331
|
# (缺省开,开关真源 reconcile.enabled)。失败不阻塞启动,与③同风格。
|
|
5208
|
-
|
|
5209
|
-
|
|
5210
|
-
|
|
5211
|
-
|
|
5212
|
-
|
|
5332
|
+
# 2026-10-21 启动耗时:reconcile_state 实测 2.92 秒(真实库 31,688 节点),
|
|
5333
|
+
# 是 initialize 5.18 秒里最大的一块。它自己的注释与 reconcile 模块都写明
|
|
5334
|
+
# 「失败不阻塞启动、属增益」,故默认放到**后台线程**跑:握手不再等它。
|
|
5335
|
+
# MDCG_RECONCILE_BG=0 可退回同步(旧行为,便于对照与排障)。
|
|
5336
|
+
def _reconcile_bg(): # noqa: D401 —— 承接面:cg.reconcile_state()
|
|
5337
|
+
try:
|
|
5338
|
+
cg.reconcile_state()
|
|
5339
|
+
except Exception as _exc: # 对账故障不得影响服务可用性
|
|
5340
|
+
sys.stderr.write("[mdcg-mcp] 启动对账 v0 失败(不阻塞启动): %r\n"
|
|
5341
|
+
% (_exc,))
|
|
5342
|
+
|
|
5343
|
+
if os.environ.get("MDCG_RECONCILE_BG", "1") == "0":
|
|
5344
|
+
_reconcile_bg()
|
|
5345
|
+
else:
|
|
5346
|
+
import threading as _thr
|
|
5347
|
+
_thr.Thread(target=_reconcile_bg, name="mdcg-reconcile",
|
|
5348
|
+
daemon=True).start()
|
|
5213
5349
|
# 进程自报(诊断设施,fail-safe):把「md_cg 实际加载源 + render 契约代际」
|
|
5214
5350
|
# 落成 `<tempdir>/md_cg_servers/<pid>.json`,供 `scripts/mdcg_stale_servers.py`
|
|
5215
5351
|
# 机械判定**活进程代际**。根因(第4条取证):原先只能比「进程启动时间 vs
|
package/md_cg/mdcg.py
CHANGED
|
@@ -593,6 +593,24 @@ def _norm_word_mem(w: str) -> str:
|
|
|
593
593
|
return r
|
|
594
594
|
|
|
595
595
|
# 生效条件:给定 text(假值按 "" 处理),先清除非中文/空格/字母数字字符,再对长度 ≥2 的英文词小写、若在 EN_STOPWORDS 中剔除否则 strip_tense_en 去时态复数,压缩空白后返回;中文保持不变。
|
|
596
|
+
def fold_accents(text: str) -> str:
|
|
597
|
+
"""检索面重音折叠单点(issue #636):NFKC → NFD 去组合记号 → NFC。
|
|
598
|
+
|
|
599
|
+
为什么单独一个函数:本仓的 NFKC 单点是 routing.nfkc_text(#362),它**不剥离重音**——
|
|
600
|
+
café 与 cafe 因此互不可命中;而把折叠塞进 nfkc_text 会连带改掉负条件/边界摘词等
|
|
601
|
+
判据面的语义(那是另一类判据,不该跟着变)。故新增这一个只服务检索归一化的单点,
|
|
602
|
+
由 normalize_en 与 _like_body_lower 共用。
|
|
603
|
+
|
|
604
|
+
形态边界(诚实声明):NFD 会把预合成 é 拆成 e+U+0301,去掉 Mn 后即 e;反向同样成立,
|
|
605
|
+
所以「预合成正文 vs 组合查询」「组合正文 vs 无重音查询」都对称。
|
|
606
|
+
"""
|
|
607
|
+
import unicodedata as _ud
|
|
608
|
+
s = routing.nfkc_text(text or "")
|
|
609
|
+
s = _ud.normalize("NFD", s)
|
|
610
|
+
s = "".join(ch for ch in s if not _ud.category(ch).startswith("Mn"))
|
|
611
|
+
return _ud.normalize("NFC", s)
|
|
612
|
+
|
|
613
|
+
|
|
596
614
|
def normalize_en(text: str) -> str:
|
|
597
615
|
"""英文归一化:小写 + 去停用词 + 去时态复数。中文部分不动。
|
|
598
616
|
|
|
@@ -602,7 +620,11 @@ def normalize_en(text: str) -> str:
|
|
|
602
620
|
- 时态/复数归零(walked→walk, pets→pet)
|
|
603
621
|
"""
|
|
604
622
|
# 清标点(保留中文字符和空格和数字)
|
|
605
|
-
|
|
623
|
+
# issue #623(2026-10-22):本函数原先直接对**原文**做字符类清理,而 [^\u4e00-\u9fff a-zA-Z0-9] 会把全角
|
|
624
|
+
# 拉丁/数字(ABC123,U+FF01–FF5E)整段清成空格 ⇒ 查询词直接消失,全角与半角双向不可命中。
|
|
625
|
+
# 故先过 routing.nfkc_text(本仓 NFKC 唯一单点),再做字符类清理——一处改动同时覆盖
|
|
626
|
+
# _like 召回 / _score 打分 / reach 前筛三条腿(它们都由本函数产出 bigram)。
|
|
627
|
+
cleaned = re.sub(r'[^\u4e00-\u9fff a-zA-Z0-9]', ' ', fold_accents(text))
|
|
606
628
|
# 生效条件:m.group(0) 小写后交模块级 _norm_word_mem 查词级 memo(纯函数精确键控:命中返回缓存值,未命中按 EN_STOPWORDS 剔除/strip_tense_en 同口径计算并回填)——命中值≡逐词现算值,返回串接进归一结果;
|
|
607
629
|
def _norm_word(m):
|
|
608
630
|
return _norm_word_mem(m.group(0).lower())
|
|
@@ -2845,6 +2867,19 @@ class MdCG:
|
|
|
2845
2867
|
"""
|
|
2846
2868
|
if layer not in LAYERS:
|
|
2847
2869
|
raise ValueError(f"未知层:{layer}(允许:{LAYERS})")
|
|
2870
|
+
# issue #644(2026-10-23):**空白即无内容**——与 state_events.is_void
|
|
2871
|
+
# (#383/#384 台账面的空白拒收单点)同一判据文化在记忆直写面的落点。
|
|
2872
|
+
# 此前 add(id, "") / add(id, " \n ") 会静默落成完整 .md 节点:库统计虚高、
|
|
2873
|
+
# consolidate/maintain 要处理无意义节点,且与台账面「空白被拒」自相矛盾。
|
|
2874
|
+
# 非字符串(int/list)此前抛内部 AttributeError('int' has no 'split')——
|
|
2875
|
+
# 那是实现泄漏而非校验,这里一并收成显式 ValueError(fail-closed,零落盘)。
|
|
2876
|
+
if not isinstance(content, str) or not content.strip():
|
|
2877
|
+
raise ValueError(
|
|
2878
|
+
"content 不能为空:空白即无内容(issue #644)。"
|
|
2879
|
+
f"收到 {type(content).__name__}"
|
|
2880
|
+
+ ("(纯空白/空串)" if isinstance(content, str) else "")
|
|
2881
|
+
+ "——要表达「这里没有内容」请改用 layer=unresolved 的说明性正文,"
|
|
2882
|
+
"或不要写这个节点;空白节点会落成合法 .md 并虚高库统计。")
|
|
2848
2883
|
# P0-1(批次 24,外部审查报告):node_id 是模型可控输入,直接拼
|
|
2849
2884
|
# 文件路径——`..` 穿越出 root、Windows 绝对路径(C:/x)在
|
|
2850
2885
|
# os.path.join 下直接丢弃前缀 = 任意 .md 覆盖。白名单先行
|
|
@@ -4293,8 +4328,15 @@ class MdCG:
|
|
|
4293
4328
|
return nodefile.positive_body(content)
|
|
4294
4329
|
|
|
4295
4330
|
def _like_body_lower(self, entry, content):
|
|
4296
|
-
"""Lowercase positive body; readcache reuses this pure projection.
|
|
4297
|
-
|
|
4331
|
+
"""Lowercase positive body; readcache reuses this pure projection.
|
|
4332
|
+
|
|
4333
|
+
issue #623(2026-10-22):这里也要过 routing.nfkc_text——_like 拿
|
|
4334
|
+
normalize_en 产出的词去 body 里找,而 body 若保留全角(ABC123),
|
|
4335
|
+
半角查询就永远找不到它。NFKC 单点同样只用 routing 那一份。
|
|
4336
|
+
"""
|
|
4337
|
+
# issue #636:正文侧也要折叠重音,否则 normalize_en 产出的 cafe(无重音)
|
|
4338
|
+
# 永远找不到 café(预合成)正文。
|
|
4339
|
+
return fold_accents(self._positive_body(entry, content)).lower()
|
|
4298
4340
|
|
|
4299
4341
|
def _doc_exact_text(self, entry, content):
|
|
4300
4342
|
"""Whitespace-free full content for the existing exact-hit tie break.
|
|
@@ -5299,6 +5341,13 @@ class MdCG:
|
|
|
5299
5341
|
"""
|
|
5300
5342
|
if self._zero_filler_only(tier, n_real):
|
|
5301
5343
|
return 0
|
|
5344
|
+
# issue #637(2026-10-23):T3_global_scan 是「全量兜底、无词法闸」的出口——
|
|
5345
|
+
# 只要有一个折叠后 bigram 重合就会进候选,其中大量条目 score=0.0(零相关)。
|
|
5346
|
+
# 这些条目此前随 k 截断混入返回集,调用方(自动召回注入)无法区分
|
|
5347
|
+
# 「有相关记忆」与「库里有字就回」。T3 出口按**分数>0** 裁切:
|
|
5348
|
+
# 零分条目既不出现在结果里,也不再占用 k 配额。
|
|
5349
|
+
# 边界:只作用于 T3;T2 里被 S5 降到 0 的真候选、reach 图扩散邻居(#89② 收窄
|
|
5350
|
+
# 保护的两种形态)不受影响——它们是「有信号但被降权」,与 T3 的「本来就没信号」不同。
|
|
5302
5351
|
return self._primary_slots(k, n_neg)
|
|
5303
5352
|
|
|
5304
5353
|
|
|
@@ -5392,6 +5441,19 @@ class MdCG:
|
|
|
5392
5441
|
# 负覆盖信号**不失传**:仍从**既有**统计/审计面读到——meta["covered_neg"]
|
|
5393
5442
|
# (全部被覆盖路径,恒在)与 stat["gates"]["s5"]["neg"](S5 门控开启时的
|
|
5394
5443
|
# 计数位数)——两者皆非为本次修复新增,故不新增协议字段。
|
|
5444
|
+
# issue #637:**可配最低分门槛**(MDCG_MIN_SCORE,默认 0 = 关)。
|
|
5445
|
+
# 默认关的理由:T3 出口要保留 score=0 的「门控回退 / 异桶节点」
|
|
5446
|
+
# (test_retr_s1b / test_retr_s7 钉住的契约),默认裁切会打破它们。
|
|
5447
|
+
# 需要「只要相关结果」的部署设 MDCG_MIN_SCORE=0.01 即启用(零分条目
|
|
5448
|
+
# 既不进结果、也不占 k 配额)。位置在 _n_real/_neg_tail 之前 ⇒ 过滤后的
|
|
5449
|
+
# scored 自然参与 k 预算与提示让位,且 _neg_tail 仍只调用一次(D1 守卫)。
|
|
5450
|
+
try:
|
|
5451
|
+
_min_score = float(os.environ.get("MDCG_MIN_SCORE", "0"))
|
|
5452
|
+
except ValueError:
|
|
5453
|
+
_min_score = 0.0
|
|
5454
|
+
if _min_score > 0:
|
|
5455
|
+
scored = [_p for _p in scored if _p[1] >= _min_score]
|
|
5456
|
+
stat["min_score"] = _min_score
|
|
5395
5457
|
_n_real = min(max(0, int(k)), sum(1 for _, s in scored if s > 0))
|
|
5396
5458
|
_neg_tail = self._neg_tail(neg_coverage, max(0, int(k) - _n_real))
|
|
5397
5459
|
# issue #89②(2026-10-09 DSH 端实施、zcode 端收窄靶区):**0 分(无质量信号)
|
|
@@ -5511,6 +5573,8 @@ class MdCG:
|
|
|
5511
5573
|
# 分阶段审计仅在门控真的产生信息时落键(默认关闭 → meta 与改动前逐字节一致;契约 §5.3)
|
|
5512
5574
|
if stat.get("gates"):
|
|
5513
5575
|
meta["gates"] = stat["gates"]
|
|
5576
|
+
if stat.get("prefilter"):
|
|
5577
|
+
meta["prefilter"] = stat["prefilter"]
|
|
5514
5578
|
# P2-2(§5.2):拒绝域命中的**独立读数**(与资格 REJECT 分开计数)——
|
|
5515
5579
|
# 只在确有边界命中时落键(无边界命中的路径 meta 键集合与改动前一致)。
|
|
5516
5580
|
if stat.get("boundary"):
|
package/md_cg/mdcos.py
CHANGED
|
@@ -1294,7 +1294,56 @@ class MdCGOS(MdCG):
|
|
|
1294
1294
|
return out
|
|
1295
1295
|
|
|
1296
1296
|
# 生效条件:query strip 后为空即返回 ([], {"tier": None, "reason": "empty_query", "scanned": 0});pool_cfg 由 pooling.resolve(pooling.from_env(pools)) 解析;_candidates 为空即返回 no_candidates;其余与 MdCG.search 同构(T0–T3 阶梯 + 资格判定),并按 roles/include_work 默认剔除工具输出与命令类 role,view 真值时移交 role 维度裁决权给 roleviews.matches(见 _candidates),validity 真值时候选层剔除已过期节点;
|
|
1297
|
-
|
|
1297
|
+
# 生效条件:预筛(_prefilter_entries)生效且结果不足时——自动退回全量再查一次,
|
|
1298
|
+
# 保证「先试快路、不自信就退回」;命中充足时零额外成本。
|
|
1299
|
+
def search(self, *args, **kwargs):
|
|
1300
|
+
"""检索外层:分层预筛 + 置信回退(2026-10-22)。
|
|
1301
|
+
|
|
1302
|
+
背景:预筛把 26k 候选降到数百,代价是「标签不匹配就查不到」——实测已两次
|
|
1303
|
+
挡住自己的归档读回(写进去的节点按关键词搜不到,按 id 能读到)。
|
|
1304
|
+
这里加一道回退:预筛生效且(结果为空 或 条数不足 k)时,禁用预筛重查一次,
|
|
1305
|
+
并把 meta.prefilter_fallback=True 如实标出,便于事后核对。
|
|
1306
|
+
"""
|
|
1307
|
+
res, meta = self._search_impl(*args, **kwargs)
|
|
1308
|
+
# 置信判据:预筛生效时,看**查询词在结果里的覆盖率**。
|
|
1309
|
+
# 实测:标签不匹配的查询会返回 5 条「格式对但内容不对」的结果(覆盖率 2/3、2/4),
|
|
1310
|
+
# 而真正命中的查询覆盖 3/3。故 < 75% 视为不自信 ⇒ 禁用预筛重查一次。
|
|
1311
|
+
if isinstance(meta, dict) and meta.get("prefilter"):
|
|
1312
|
+
try:
|
|
1313
|
+
q = args[0] if args else kwargs.get("query", "")
|
|
1314
|
+
terms = [t for t in re.split(r"[\s,,、;;]+", str(q or "")) if len(t) >= 2]
|
|
1315
|
+
blob = []
|
|
1316
|
+
for _item in (res or ()):
|
|
1317
|
+
_n = _item[0] if isinstance(_item, tuple) else _item
|
|
1318
|
+
if not isinstance(_n, dict):
|
|
1319
|
+
continue
|
|
1320
|
+
blob.append(str(_n.get("title") or ""))
|
|
1321
|
+
_fm = _n.get("frontmatter") or {}
|
|
1322
|
+
if isinstance(_fm, dict):
|
|
1323
|
+
blob.append(str(_fm.get("tags") or ""))
|
|
1324
|
+
blob.append(str(_fm.get("title") or ""))
|
|
1325
|
+
blob.append(str(_n.get("tags") or ""))
|
|
1326
|
+
blob.append(str(_n.get("content") or _n.get("snippet") or "")[:600])
|
|
1327
|
+
_text = " ".join(blob).lower()
|
|
1328
|
+
_need = max(1, int(len(terms) * 0.75 + 0.999))
|
|
1329
|
+
_hit = sum(1 for t in terms if t.lower() in _text)
|
|
1330
|
+
_weak = bool(terms) and _hit < _need
|
|
1331
|
+
except Exception:
|
|
1332
|
+
_weak = False
|
|
1333
|
+
if _weak:
|
|
1334
|
+
self._pf_off = True
|
|
1335
|
+
try:
|
|
1336
|
+
res2, meta2 = self._search_impl(*args, **kwargs)
|
|
1337
|
+
finally:
|
|
1338
|
+
self._pf_off = False
|
|
1339
|
+
if isinstance(meta2, dict):
|
|
1340
|
+
meta2["prefilter_fallback"] = True
|
|
1341
|
+
meta2["prefilter_skipped"] = meta.get("prefilter")
|
|
1342
|
+
meta2["prefilter_coverage"] = "%d/%d" % (_hit, len(terms))
|
|
1343
|
+
return res2, meta2
|
|
1344
|
+
return res, meta
|
|
1345
|
+
|
|
1346
|
+
def _search_impl(self, query: str, layer: str = None, k: int = 20,
|
|
1298
1347
|
context=None, min_results: int = 1, record: bool = True,
|
|
1299
1348
|
include_neg: bool = True, judge: bool = True,
|
|
1300
1349
|
roles=None, include_work: bool = False, pools=None,
|
|
@@ -1518,6 +1567,17 @@ class MdCGOS(MdCG):
|
|
|
1518
1567
|
stat.pop(_k, None)
|
|
1519
1568
|
|
|
1520
1569
|
# 截断依据=相关度(同 MdCG.search:cap 值不变,改的是拿什么排序)
|
|
1570
|
+
# ---- 候选预筛(2026-10-21,使用者指出的分层检索)----
|
|
1571
|
+
# 现状:T2 无条件 _read_many(entries) 读全量正文(真实库 26k 文档 6.4 秒),
|
|
1572
|
+
# 这是「每进程首查 8 秒」的主因。既然**全局索引里已有元数据**(tags/桶),
|
|
1573
|
+
# 就先按索引元数据筛一轮:把词项与 tags/bucket_zh 命中的条目当候选,
|
|
1574
|
+
# 命中太少(默认 <50)再回退全量,并用 meta.prefilter 如实暴露是否筛过。
|
|
1575
|
+
# 只用**原始查询词**(>=2 字):扩展词里有单字(库/记),substring 匹配会命中几乎所有 tag,等于没筛。
|
|
1576
|
+
_raw_terms = [t for t in re.split(r"[\s,,、;;]+", q or "") if len(t) >= 2]
|
|
1577
|
+
_pf_entries, _pf_meta = self._prefilter_entries(entries, _raw_terms)
|
|
1578
|
+
if _pf_entries is not None:
|
|
1579
|
+
stat["prefilter"] = _pf_meta
|
|
1580
|
+
entries = _pf_entries
|
|
1521
1581
|
docs_all = self._read_many(entries, stat)
|
|
1522
1582
|
# 语义资格(MDCG_SEMANTIC=1):fm.semantic 节点无条件入池
|
|
1523
1583
|
hits = [d for d in docs_all
|
|
@@ -1555,6 +1615,42 @@ class MdCGOS(MdCG):
|
|
|
1555
1615
|
context, neg_coverage, big_domain, big_scores, pool_cfg)
|
|
1556
1616
|
|
|
1557
1617
|
# 生效条件:当 query、entries、stat 传入时,先以 terms/qb 从 entries 读取文档并保留 LIKE 命中或(semantic_on 且 frontmatter.semantic)的项;若 hits 为空则按 importance/created_at 降序取前 GLOBAL_CAP 作为兜底;随后对 hits 打分并按相关度与 importance 降序排序,超过 GLOBAL_CAP 时截断并更新 stat,否则返回全部 scored;
|
|
1618
|
+
# 生效条件:terms 非空、entries 为候选条目列表;词项与条目的 tags / bucket_zh 有交集且命中数
|
|
1619
|
+
# 达到 MDCG_PREFILTER_MIN(默认 50)时返回(筛后条目, {"prefilter": "tags", ...}),否则返回 (None, None)
|
|
1620
|
+
# 表示「不筛、走全量」——命中太少说明索引元数据不足以支撑该查询,不能拿它当召回面。
|
|
1621
|
+
def _prefilter_entries(self, entries, terms):
|
|
1622
|
+
"""按**索引元数据**预筛候选(分层检索的第二级:全局索引 → 正文)。
|
|
1623
|
+
|
|
1624
|
+
为什么用它:T2 无条件读全量正文是真实库 26k 文档 6.4 秒的主因;
|
|
1625
|
+
而全局索引里已带 tags/bucket_zh,先按词项筛一轮通常能把候选降到数百。
|
|
1626
|
+
边界(诚实声明):这是**召回取舍**——只在元数据命中足够多时启用,
|
|
1627
|
+
并把 prefilter 读数写进 meta,便于事后核对是否漏召回;显式 MDCG_PREFILTER=0 可关。
|
|
1628
|
+
"""
|
|
1629
|
+
try:
|
|
1630
|
+
if getattr(self, "_pf_off", False):
|
|
1631
|
+
return None, None
|
|
1632
|
+
if os.environ.get("MDCG_PREFILTER", "0") != "1":
|
|
1633
|
+
return None, None
|
|
1634
|
+
try:
|
|
1635
|
+
need = int(os.environ.get("MDCG_PREFILTER_MIN", "50"))
|
|
1636
|
+
except ValueError:
|
|
1637
|
+
need = 50
|
|
1638
|
+
ts = [str(t).lower() for t in (terms or []) if t]
|
|
1639
|
+
if not ts:
|
|
1640
|
+
return None, None
|
|
1641
|
+
out = []
|
|
1642
|
+
for e in entries or ():
|
|
1643
|
+
blob = " ".join(str(x) for x in (e.get("tags") or ())).lower()
|
|
1644
|
+
blob += " " + str(e.get("bucket_zh") or "").lower()
|
|
1645
|
+
if any(t in blob for t in ts):
|
|
1646
|
+
out.append(e)
|
|
1647
|
+
if len(out) < need:
|
|
1648
|
+
return None, None
|
|
1649
|
+
return out, {"prefilter": "tags", "matched": len(out),
|
|
1650
|
+
"pool": len(entries or ()), "min": need}
|
|
1651
|
+
except Exception:
|
|
1652
|
+
return None, None
|
|
1653
|
+
|
|
1558
1654
|
def _lexical(self, query, entries, stat):
|
|
1559
1655
|
"""词法路径:LIKE 预筛 + 二元组相似度(口径见 mdcg.SCORE_MODE)。
|
|
1560
1656
|
|
|
@@ -2619,6 +2715,17 @@ class MdCGOS(MdCG):
|
|
|
2619
2715
|
skipped.append({"id": node["id"], "tokens": t,
|
|
2620
2716
|
"reason": "oversize_or_over_budget"})
|
|
2621
2717
|
continue # 关闭截断或预算不足:跳过,继续尝试更小的
|
|
2718
|
+
# issue #637:**召回面可配最低分**(MDCG_RECALL_MIN_SCORE,默认 -1 = 关)。
|
|
2719
|
+
# 默认关的理由:test_validity_filter ⑤⑦ 依赖 RRF 旁系低分条目可见;
|
|
2720
|
+
# 需要「只装相关记忆」的部署设 0.01 即启用(零分条目连同 reason 记账跳过)。
|
|
2721
|
+
try:
|
|
2722
|
+
_rmin = float(os.environ.get("MDCG_RECALL_MIN_SCORE", "-1"))
|
|
2723
|
+
except ValueError:
|
|
2724
|
+
_rmin = -1.0
|
|
2725
|
+
if _rmin >= 0 and score < _rmin:
|
|
2726
|
+
skipped.append({"id": node["id"], "tokens": t,
|
|
2727
|
+
"reason": "below_min_score", "score": score})
|
|
2728
|
+
continue
|
|
2622
2729
|
used += t
|
|
2623
2730
|
# Only summarize already available qualification/frontmatter data;
|
|
2624
2731
|
# query suitability and persistent verification are distinct states.
|