@furongjun1999/dsh-memory 0.9.23 → 0.10.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.en.md +450 -404
- package/CHANGELOG.md +67 -0
- package/README.en.md +244 -240
- package/README.md +272 -262
- package/codebuddy/CODEBUDDY.md +1 -1
- package/docs/discipline/templates/full.md.tmpl +1 -1
- package/docs/discipline/templates/rules.mdc.tmpl +1 -1
- package/docs/en/mdcg/world-model-endpoint.md +1 -1
- package/docs/mdcg/cogmap_ops.md +16 -15
- package/lib/client.js +29 -3
- package/lib/hooks.d.ts +12 -0
- package/lib/hooks.js +43 -1
- package/md_cg/bucketindex.py +231 -0
- package/md_cg/bucketscope.py +339 -0
- package/md_cg/config_registry_bulk.py +19 -10
- package/md_cg/config_validate.py +14 -2
- package/md_cg/detrerank.py +137 -0
- package/md_cg/fsutil.py +135 -0
- package/md_cg/govern/__init__.py +23 -0
- package/md_cg/iface/__init__.py +46 -0
- package/md_cg/iface/_verify.py +609 -0
- package/md_cg/iface/contracts.py +337 -0
- package/md_cg/judgment_manifest.py +14 -0
- package/md_cg/kernel/__init__.py +27 -0
- package/md_cg/mcp_server.py +5991 -5761
- package/md_cg/mdcg.py +474 -16
- package/md_cg/mdcos.py +228 -11
- package/md_cg/metacognition.py +66 -13
- package/md_cg/mutate_extract_shipped.py +126 -0
- package/md_cg/mutate_ledger_e2e.py +100 -0
- package/md_cg/op_table.py +8 -0
- package/md_cg/probe_c_ledger_integrity.py +258 -0
- package/md_cg/probe_d_retirement_discipline.py +263 -0
- package/md_cg/review_cli.py +6 -1
- package/md_cg/run_tests.py +30 -1
- package/md_cg/scopeselect.py +214 -0
- package/md_cg/scrub.py +66 -9
- package/md_cg/state_extract.py +149 -0
- package/md_cg/state_slots.py +58 -10
- package/md_cg/structboost.py +179 -0
- package/md_cg/test_alternatives_historical.py +162 -0
- package/md_cg/test_b2_sensitivity_landing.py +226 -223
- package/md_cg/test_b3_merge_keeps_content.py +608 -583
- package/md_cg/test_bucket_cards.py +85 -0
- package/md_cg/test_bucket_day_order.py +74 -0
- package/md_cg/test_bucket_quota.py +79 -0
- package/md_cg/test_bucket_recency_guards.py +75 -0
- package/md_cg/test_bucket_three_causes.py +83 -0
- package/md_cg/test_bucketindex.py +130 -0
- package/md_cg/test_bucketscope_early.py +71 -0
- package/md_cg/test_cond_term_fold_gate.py +1210 -0
- package/md_cg/test_cond_term_neg_scope.py +147 -0
- package/md_cg/test_detrerank.py +157 -0
- package/md_cg/test_gate_four_kpi.py +136 -0
- package/md_cg/test_generation_guard.py +14 -2
- package/md_cg/test_issue192_move_layer_indices_guard.py +48 -0
- package/md_cg/test_issue39_utf8_stdio.py +572 -572
- package/md_cg/test_issue413_preimage_failclosed.py +147 -9
- package/md_cg/test_issue768_overwrite_time_window_anchor.py +135 -0
- package/md_cg/test_issue789_log_plaintext_probe.py +100 -0
- package/md_cg/test_issue790_verb_negation.py +77 -0
- package/md_cg/test_issue810_root_guard.py +71 -0
- package/md_cg/test_issue812_info_index_stale.py +78 -0
- package/md_cg/test_issue827_weaken_dedup.py +361 -0
- package/md_cg/test_issue829_calibration_positive_gate.py +473 -0
- package/md_cg/test_kernel_iface_contracts.py +18 -0
- package/md_cg/test_md_cg_no_hive_dep.py +238 -17
- package/md_cg/test_probe_cd_shipped.py +385 -0
- package/md_cg/test_recent_tail.py +93 -0
- package/md_cg/test_run_tests_entry_gates.py +110 -0
- package/md_cg/test_scopeselect.py +70 -0
- package/md_cg/test_scopeselect_clock.py +70 -0
- package/md_cg/test_session_attribution_consistency.py +835 -813
- package/md_cg/test_state_extract_shipped.py +162 -0
- package/md_cg/test_state_ledger_chain.py +207 -0
- package/md_cg/test_state_ledger_e2e.py +145 -0
- package/md_cg/test_structboost.py +102 -0
- package/md_cg/test_timeboost.py +83 -0
- package/md_cg/test_timeboost_relativedate.py +71 -0
- package/md_cg/test_topicagg.py +129 -0
- package/md_cg/timeboost.py +223 -0
- package/md_cg/topicagg.py +142 -0
- package/md_cg/whitebox_kb/wisdom/code_compose.py +33 -5
- package/md_cg/whitebox_kb/wisdom/compose_engine.py +5 -1
- package/md_cg/whitebox_kb/wisdom/role_compose.py +271 -268
- package/package.json +137 -137
- package/src/hooks.ts +43 -1
- package/ui/minimal/payload/build-ui.mjs +41 -2
- package/ui/minimal/payload/lib/client.js +29 -3
- package/ui/minimal/payload/web/app.js +3 -1
- package/ui/minimal/payload/web/client.js +30 -3
- package/web/app.js +3 -1
- package/web/client.js +30 -3
- package/zcode/AGENTS.md +1 -1
package/md_cg/mdcg.py
CHANGED
|
@@ -895,13 +895,23 @@ NEG_CUES = ("不属于", "不是", "没有", "并非", "并无", "未有",
|
|
|
895
895
|
#: 那是过度收紧方向(由守卫 `--mutate` 的 M3 定点变异钉住)。
|
|
896
896
|
NEG_LINK_CHARS = frozenset("是这那该此种个些的了在为之其")
|
|
897
897
|
|
|
898
|
+
#: 否定词与被否定成分之间的**动词性虚化字**(`未使用X` / `不是采用X` / `没有用X`)。
|
|
899
|
+
#: 与 `NEG_LINK_CHARS`(连接字:的/这/种/是…)**分表存放**,因为二者词性不同:
|
|
900
|
+
#: 连接字不承载语义,动词承载——合并会掩盖「否定词作用于动作、动作的宾语才是词项」
|
|
901
|
+
#: 这一层结构。判据仍是一条:`_negated_at` 里两表**并集**逐字符检查。
|
|
902
|
+
#: 只收高频、几乎不单独作实义词的虚化用法;`做`/`看`/`走` 这类实义动词不收。
|
|
903
|
+
NEG_VERB_CHARS = frozenset("使用采")
|
|
904
|
+
|
|
905
|
+
#: `_negated_at` 的字符准入集=连接字 ∪ 虚化动词字(单点,勿在别处另拼)。
|
|
906
|
+
NEG_SCOPE_CHARS = NEG_LINK_CHARS | NEG_VERB_CHARS
|
|
907
|
+
|
|
898
908
|
#: 否定作用域窗口(向前最多回看的字符数):6 够「不是」+「这样的」(2+3),
|
|
899
909
|
#: 又不足以跨过 `不适合X` 里的实义词。窗口两端都有 K 组对照——缩到 1 即红(M2)。
|
|
900
910
|
NEG_SCOPE_WINDOW = 6
|
|
901
911
|
|
|
902
912
|
|
|
903
913
|
# 生效条件:text 为任意对象(None 按空串)时返回**保空白**的匹配面归一串(fold_accents → routing.fold_variants,顺序与 fold_for_match 逐字一致);只归一去空白。
|
|
904
|
-
_SceneNorm = collections.namedtuple("_SceneNorm", "compact keep") # (紧凑归一串,
|
|
914
|
+
_SceneNorm = collections.namedtuple("_SceneNorm", "compact keep raw") # (紧凑归一串, 保空白归一串, 原文串)
|
|
905
915
|
|
|
906
916
|
|
|
907
917
|
def fold_for_match_keep(text) -> str:
|
|
@@ -981,11 +991,75 @@ def _negated_at(s: str, i: int) -> bool:
|
|
|
981
991
|
continue
|
|
982
992
|
for cue in NEG_CUES:
|
|
983
993
|
if j + len(cue) <= i and s.startswith(cue, j):
|
|
984
|
-
if all(ch in
|
|
994
|
+
if all(ch in NEG_SCOPE_CHARS for ch in s[j + len(cue):i]):
|
|
985
995
|
return True
|
|
986
996
|
return False
|
|
987
997
|
|
|
988
998
|
|
|
999
|
+
#: #790 方案 C:原文路径只认这四个否定词。`别`/`莫`/`非`/`无` 等单字 cue 在
|
|
1000
|
+
#: 「分别采用」「特别使用」「莫非使用」里会误伤(2026-11-06 实测),故不纳入。
|
|
1001
|
+
_NEG_VERB_CUES = ("没有", "未", "不", "没")
|
|
1002
|
+
|
|
1003
|
+
#: 双重否定判据:cue 前一字符也属否定字 ⇒ 不判否定(`不得不`/`不能不`/`不是不`)。
|
|
1004
|
+
_NEG_DOUBLE_CHARS = frozenset("不没未无非莫别")
|
|
1005
|
+
|
|
1006
|
+
#: 双重否定之间允许出现的情态字(`不`+`得`+`不`)。
|
|
1007
|
+
_NEG_MODAL_CHARS = frozenset("得能会可要想须该")
|
|
1008
|
+
|
|
1009
|
+
|
|
1010
|
+
def _double_negated_before(s: str, j: int) -> bool:
|
|
1011
|
+
"""#790:`s[j]` 处的否定词是否处于双重否定里(`不得不`/`不能不`/`未必不`)。
|
|
1012
|
+
|
|
1013
|
+
只看 cue 之前**一个字**挡不住 `不得不采用`——第二次「不」前面是「得」。故向前最多跨 2 个
|
|
1014
|
+
情态字,若遇到否定字则判为双重否定(语义=必须),不当作否定。
|
|
1015
|
+
"""
|
|
1016
|
+
k = j - 1
|
|
1017
|
+
for _ in range(3):
|
|
1018
|
+
if k < 0:
|
|
1019
|
+
return False
|
|
1020
|
+
ch = s[k]
|
|
1021
|
+
if ch in _NEG_DOUBLE_CHARS:
|
|
1022
|
+
return True
|
|
1023
|
+
if ch not in _NEG_MODAL_CHARS:
|
|
1024
|
+
return False
|
|
1025
|
+
k -= 1
|
|
1026
|
+
return False
|
|
1027
|
+
|
|
1028
|
+
# 生效条件:s 为归一串、i 为 0 <= i < len(s) 的匹配起址时返回 True 当且仅当「否定词与匹配之间含至少一个虚化动词字」
|
|
1029
|
+
# (未使用X / 未采用X / 没有使用X / 不采用X)且 gap 全由连接字或空白构成;其余情形一律 False。
|
|
1030
|
+
def _verb_negated_at(s: str, i: int) -> bool:
|
|
1031
|
+
"""#790(方案 C):只拦「否定词 + (连接字|空白) + **虚化动词** + 宾语」这一支。
|
|
1032
|
+
|
|
1033
|
+
为什么不在原文路径直接用 `_negated_at`:#790 的诉求是「未使用 PE」不该判条件已确认,
|
|
1034
|
+
但把原文路径交给 `_negated_at` 会把 base 本来就命中的「不是 PE」「不是 api」一并变
|
|
1035
|
+
DEFER——族枚举 recall_loss 2340(见 `_fold_hit_unnagated` docstring 的登记)。
|
|
1036
|
+
本判据额外要求 gap 里**含虚化动词字**(`NEG_VERB_CHARS`),故:
|
|
1037
|
+
|
|
1038
|
+
· `未使用 PE` gap=「使用 」→ 含动词字 ⇒ 否定(DEFER)
|
|
1039
|
+
· `没有使用 PE` gap=「使用 」→ 同上
|
|
1040
|
+
· `未使用这种 PE` gap=「使用这种 」→ 全为连接字 ⇒ 否定
|
|
1041
|
+
· `不是 PE` gap=「是 」 → 无动词字 ⇒ **不判否定**(base 判定一字不动)
|
|
1042
|
+
"""
|
|
1043
|
+
for back in range(1, NEG_SCOPE_WINDOW + 1):
|
|
1044
|
+
j = i - back
|
|
1045
|
+
if j < 0:
|
|
1046
|
+
break
|
|
1047
|
+
for cue in _NEG_VERB_CUES:
|
|
1048
|
+
if j + len(cue) <= i and s.startswith(cue, j):
|
|
1049
|
+
# A-not-A(正反问):「是不是」「有没有」里的否定词是正反叠用标记,
|
|
1050
|
+
# 与 `_negated_at` 的同名豁免同源(多字 cue 用「前字 == cue 尾字」判)。
|
|
1051
|
+
if j >= 1 and s[j - 1] == (s[j + 1] if len(cue) == 1 else cue[-1]):
|
|
1052
|
+
continue
|
|
1053
|
+
# 双重否定:「不得不采用」「不能不使用」语义是「必须用」,不能判否定。
|
|
1054
|
+
# 要跨过情态字(得/能/会/可/要/想)再往前看一个字是否定字。
|
|
1055
|
+
if _double_negated_before(s, j):
|
|
1056
|
+
continue
|
|
1057
|
+
gap = s[j + len(cue):i]
|
|
1058
|
+
if any(ch in NEG_VERB_CHARS for ch in gap) and all(
|
|
1059
|
+
ch in NEG_SCOPE_CHARS or ch.isspace() for ch in gap):
|
|
1060
|
+
return True
|
|
1061
|
+
return False
|
|
1062
|
+
|
|
989
1063
|
# 生效条件:hay 与 needle 均为 str 时返回 needle 在 hay 中的全部出现起始下标(左对齐、按升序,含重叠出现);needle 为空串返回空列表。
|
|
990
1064
|
def _occurrences(hay: str, needle: str) -> list:
|
|
991
1065
|
"""needle 在 hay 中的全部出现起址(#362a:逐次出现各自判否定作用域)。"""
|
|
@@ -2049,7 +2123,7 @@ def _usable_index_snapshot(value):
|
|
|
2049
2123
|
# 生效条件:构造须传入 root,经 os.path.abspath 后以 exist_ok=True 创建该目录及 LAYERS 各层子目录;autoflush 无论取值(默认 64)都原样赋给实例。
|
|
2050
2124
|
class MdCG:
|
|
2051
2125
|
# 生效条件:root 传参即被 os.path.abspath 绝对化并 makedirs(exist_ok=True) 建立 root 与模块级 LAYERS 各层目录,autoflush(默认 64,含 0 等假值)原样存入 self.autoflush,随后 _load_index() 载入索引并以 _index_signature() 记录 _index.json 签名到 self._index_sig(跨进程读面代际感知的基线,P1b-2)、sweep_stale_temps(self.root) 清扫,并把 self 登记进模块级 _LIVE_CGS,最后按 MDCG_READ_CACHE 装配读缓存(#370:readcache.install_default——自动装配的唯一入口,env 门 + 幂等,MDCG_READ_CACHE=0 时不装配);
|
|
2052
|
-
def __init__(self, root: str, autoflush: int = 64):
|
|
2126
|
+
def __init__(self, root: str, autoflush: int = 64, async_flush=None):
|
|
2053
2127
|
self.root = os.path.abspath(root)
|
|
2054
2128
|
os.makedirs(self.root, exist_ok=True)
|
|
2055
2129
|
for L in LAYERS:
|
|
@@ -2064,6 +2138,16 @@ class MdCG:
|
|
|
2064
2138
|
# 近期事件滚动窗口(白箱第 5 篇第 3 章「近期事件」)
|
|
2065
2139
|
self.recent_log = os.path.join(self.root, "_recent.jsonl")
|
|
2066
2140
|
self.autoflush = autoflush
|
|
2141
|
+
# 生效条件:async_flush 为 None 时本实例随 env `MDCG_ASYNC_FLUSH` 走(缺省异步,
|
|
2142
|
+
# 与 #677 P2 逐位一致);为 True/False 时**钉死**本实例的落盘模式,不再读 env。
|
|
2143
|
+
# 为什么需要实例级开关(2026-11-08,issue #831):`autoflush=1` 的既有承诺是
|
|
2144
|
+
# 「写毕即落分片日志」——`review_cli._cg` 的注释据此写「任意退出形态下写入对
|
|
2145
|
+
# 其它进程立即可见」,`test_review_cli_visibility` ③ 也据此断言。但 #677 P2
|
|
2146
|
+
# 把 flush 改到后台线程后,`_request_flush` 只 `ev.set()` 即返回,写入**只是被
|
|
2147
|
+
# 调度**、并未落盘;短命进程(review_cli 这类)在被 kill / `os._exit` 时后台
|
|
2148
|
+
# 线程未必跑过 ⇒ 承诺失效。实例级开关让「我要同步语义」的调用点显式声明,
|
|
2149
|
+
# 不必依赖进程级 env(env 是全局的,改它会波及同进程其它库实例)。
|
|
2150
|
+
self._async_flush_forced = async_flush
|
|
2067
2151
|
# issue #677 P2:后台索引落盘的状态(锁 / 事件 / 线程 / 停止标志)。
|
|
2068
2152
|
# 锁在 __init__ 就绪——flush 可能在写路径、后台线程、close 三处被调。
|
|
2069
2153
|
self._flush_lock = threading.RLock()
|
|
@@ -2104,6 +2188,13 @@ class MdCG:
|
|
|
2104
2188
|
# 由下次访问重建。占用面:1.7 万节点 ≈ 三张小表 + 位序/分类两表(内存派生,
|
|
2105
2189
|
# 不改磁盘格式)。
|
|
2106
2190
|
self._stg_index = None
|
|
2191
|
+
# issue #766(W3 增量化):增量重载的**物化基线**三元组——必须与
|
|
2192
|
+
# `self.index` 分开存,否则调用方就地改写索引条目会把基线一起污染,
|
|
2193
|
+
# 下次增量便携带这份脏值(全量路径不会,它从盘上重读)。
|
|
2194
|
+
self._index_baseline = None # 私有 nodes 拷贝(条目顶层已隔离)
|
|
2195
|
+
self._baseline_cursor = None # 该基线已消费到的分片日志字节水位
|
|
2196
|
+
self._baseline_snap_sig = None # 该基线对应 _index.json 的 (mtime_ns,size)
|
|
2197
|
+
self._baseline_dir_fp = None # 该基线对应盘面目录指纹(不依赖快照带该键)
|
|
2107
2198
|
self.index = self._load_index()
|
|
2108
2199
|
# P1b-2(2026-09-26,DSH 在役复验):索引只在本行装载一次,此后
|
|
2109
2200
|
# read/get/search 全走内存态——其它进程(review_cli autoflush=1)
|
|
@@ -2130,8 +2221,209 @@ class MdCG:
|
|
|
2130
2221
|
|
|
2131
2222
|
# ---------- 索引(派生物,可重建) ----------
|
|
2132
2223
|
|
|
2224
|
+
# 生效条件:idx 为一份**刚落盘/刚装载**的完整索引(dict,含 nodes)时,把增量基线三元组重置为「该 idx 私有拷贝 + 当前日志水位 + 当前快照签名」;恒返回 None。
|
|
2225
|
+
def _reset_baseline(self, idx):
|
|
2226
|
+
"""重置增量基线三元组(单点——构造 / 全量装载 / compact / rebuild 共用)。
|
|
2227
|
+
|
|
2228
|
+
**为什么存私有拷贝**:调用方会就地改写 `self.index` 的条目(仓内测试与
|
|
2229
|
+
bench 多处这么做),共享同一批条目对象会让基线携带脏值;全量路径每次
|
|
2230
|
+
从盘上重读、不会,故基线必须自己留一份。
|
|
2231
|
+
|
|
2232
|
+
**为什么水位在拷贝之后再取**(安全方向):先取水位再去重放日志,水位里
|
|
2233
|
+
记的东西可能**尚未**被应用;反过来(先重放、后取水位)则水位一定 ⊆ 已
|
|
2234
|
+
消费集合,下次至多重放幂等记录,不会漏。本函数取在水位之前即调用方
|
|
2235
|
+
之后还要 apply_log 的情形也保持一致——宁可重复,不可漏。
|
|
2236
|
+
"""
|
|
2237
|
+
nodes = idx.get("nodes") if isinstance(idx, dict) else None
|
|
2238
|
+
if not isinstance(nodes, dict):
|
|
2239
|
+
self._index_baseline = None
|
|
2240
|
+
self._baseline_cursor = None
|
|
2241
|
+
self._baseline_snap_sig = None
|
|
2242
|
+
return
|
|
2243
|
+
self._index_baseline = {
|
|
2244
|
+
"schema": SCHEMA,
|
|
2245
|
+
"nodes": {k: dict(v) for k, v in nodes.items() if isinstance(v, dict)},
|
|
2246
|
+
"_fingerprint": idx.get("_fingerprint"),
|
|
2247
|
+
}
|
|
2248
|
+
try:
|
|
2249
|
+
self._baseline_cursor = ShardedLog.committed_cursor(self.index_log_dir)
|
|
2250
|
+
except (OSError, ValueError):
|
|
2251
|
+
self._baseline_cursor = None
|
|
2252
|
+
# 目录指纹:增量正确性的 ④ 前提。**自存**而非依赖快照的 _fingerprint
|
|
2253
|
+
# 键——后者只在 compact 过之后才有,而生产常态(MCP serve autoflush=1
|
|
2254
|
+
# 只 flush 不 close)根本不会写快照,读那条会把增量永久挡在门外
|
|
2255
|
+
# (实测踩过:probe read 臂重载仍 200/200)。
|
|
2256
|
+
try:
|
|
2257
|
+
self._baseline_dir_fp = self._dir_fingerprint()
|
|
2258
|
+
except (OSError, ValueError):
|
|
2259
|
+
self._baseline_dir_fp = None
|
|
2260
|
+
try:
|
|
2261
|
+
_st = os.stat(self.index_path)
|
|
2262
|
+
self._baseline_snap_sig = (_st.st_mtime_ns, _st.st_size)
|
|
2263
|
+
except OSError:
|
|
2264
|
+
self._baseline_snap_sig = None
|
|
2265
|
+
|
|
2266
|
+
# 生效条件:仅当「快照文件签名与上次装载时逐位相同」**且**「上次已把该快照对应那一刻的全部分片日志消费到水位」时,返回在现有内存索引上叠加日志新增尾部后的新索引(新对象,条目不共享);任一条证不出(无基线、快照签名变过、游标缺失、分片消失/被截断、盘面指纹变化)一律返回 None,交由 _load_index 走全量路径。
|
|
2267
|
+
def _try_incremental_index(self):
|
|
2268
|
+
"""索引**增量重载**(issue #766 / W3):只重放日志新增尾部,不重读快照。
|
|
2269
|
+
|
|
2270
|
+
为什么需要(先量后改的读数):`flush()` 只 append 分片、从不清;只有
|
|
2271
|
+
`close()`→`compact_index` 才 `ShardedLog.clear`。长期存活写方(MCP serve
|
|
2272
|
+
本体即 `autoflush=1 只 flush 不 close`)的分片日志**只增不减**,而
|
|
2273
|
+
`_load_index` 每次都把全部记录重读重解析一遍:
|
|
2274
|
+
· 300 节点、日志 2000→12000 条:单次 `_load_index` 65→258 ms(斜率
|
|
2275
|
+
约 18ms/千条)——成本 ∝ **该库历史写入总量**,不是本次增量;
|
|
2276
|
+
· 10000 节点:单次重载 258 ms 里 `json.load` 177 ms + `read_all` 160 ms。
|
|
2277
|
+
两者叠加就是 §6 注实测的「读 P95 放大 16.6–21.0x」。故可拆物是
|
|
2278
|
+
**重载本身的成本**,不是锁(读路径取锁 0 次)。
|
|
2279
|
+
|
|
2280
|
+
**为什么可以只叠尾部而不重读快照**(充要条件,缺一即回退):
|
|
2281
|
+
① 快照签名(mtime_ns,size)逐位未变 ⇒ `_index.json` 字节没被改写过
|
|
2282
|
+
⇒ 它描述的那份 nodes 与上次装载时是同**一份**,无需重读;
|
|
2283
|
+
② 上次装载后**已消费**该快照对应时刻的全部分片记录(`_log_cursor`
|
|
2284
|
+
与索引同代)⇒ 内存索引 == 快照 ⊕ 已消费记录,再叠加新尾部即
|
|
2285
|
+
等于「快照 ⊕ 全部记录」= 全量路径的结果;
|
|
2286
|
+
③ 期间无 compact 发生:compact 会 `ShardedLog.clear` 使部分分片
|
|
2287
|
+
消失、并重写快照使签名变化——两条中任一条都已被 ①② 或返回
|
|
2288
|
+
`(None,None)` 挡住;
|
|
2289
|
+
④ 盘面目录指纹仍可信(`_snapshot_trusted` 同一判据):防非合作写者
|
|
2290
|
+
在快照写入后改了盘面(改名/换目录/删加),此时路径映射可能已陈旧。
|
|
2291
|
+
三者同时成立时,增量结果与全量路径**逐位一致**,不是近似。
|
|
2292
|
+
|
|
2293
|
+
**不看 `_dirty`**:脏集属于「本实例未落盘写入」,由调用方
|
|
2294
|
+
`_maybe_reload_index` 在拿到新索引后按其见证判据重放;本函数只负责
|
|
2295
|
+
重建「盘面 + 日志」这一面,与既有分工一致。
|
|
2296
|
+
"""
|
|
2297
|
+
base = getattr(self, "_index_baseline", None)
|
|
2298
|
+
cursor = getattr(self, "_baseline_cursor", None)
|
|
2299
|
+
if base is None or cursor is None:
|
|
2300
|
+
return None
|
|
2301
|
+
snap = getattr(self, "_baseline_snap_sig", None)
|
|
2302
|
+
# ① 快照签名逐位未变(双侧 None 也算一致:库从未 compact 过)
|
|
2303
|
+
try:
|
|
2304
|
+
st = os.stat(self.index_path)
|
|
2305
|
+
cur_snap = (st.st_mtime_ns, st.st_size)
|
|
2306
|
+
except OSError:
|
|
2307
|
+
cur_snap = None
|
|
2308
|
+
if cur_snap != snap:
|
|
2309
|
+
return None
|
|
2310
|
+
# ④ 盘面变化判据:**与全量路径同一判据**(`_load_index` 里
|
|
2311
|
+
# `_changed <= _log_dirs` + `_covers_disk` 那两步),不另造更严的口径。
|
|
2312
|
+
# 为什么不能要求「目录指纹一位不变」:合作写入每次 `add` 都走
|
|
2313
|
+
# atomic_write(建临时文件再改名),必然改所在目录的 mtime ⇒ 那条
|
|
2314
|
+
# 判据会把**正常写入本身**判成不可增量,增量被永久挡在门外(实测:
|
|
2315
|
+
# 探针 read 臂重载仍 200/200、P95 仍是 16.58x,改动等于没生效)。
|
|
2316
|
+
try:
|
|
2317
|
+
cur_fp = self._dir_fingerprint()
|
|
2318
|
+
except (OSError, ValueError):
|
|
2319
|
+
return None
|
|
2320
|
+
old_fp = getattr(self, "_baseline_dir_fp", None)
|
|
2321
|
+
if old_fp is None:
|
|
2322
|
+
return None
|
|
2323
|
+
changed = {d for d, m in cur_fp.items() if old_fp.get(d) != m}
|
|
2324
|
+
changed |= {d for d in old_fp if d not in cur_fp}
|
|
2325
|
+
|
|
2326
|
+
# ② / ③ 读日志新增尾部(分片消失/被截断时 read_tails 返回 (None,None))
|
|
2327
|
+
try:
|
|
2328
|
+
recs, new_cursor = ShardedLog.read_tails(self.index_log_dir, cursor)
|
|
2329
|
+
except (OSError, ValueError):
|
|
2330
|
+
return None
|
|
2331
|
+
if recs is None:
|
|
2332
|
+
return None
|
|
2333
|
+
|
|
2334
|
+
# ④' 变过的目录必须都在「日志新增/改写记录所在目录」里——非合作写者
|
|
2335
|
+
# (改名/换目录/对调/删一加一)不改 .md 计数却改路径映射,它们在日志
|
|
2336
|
+
# 里没有对应 path,必被这条挡住而回退全量。
|
|
2337
|
+
if changed:
|
|
2338
|
+
log_dirs = set()
|
|
2339
|
+
for _r in recs:
|
|
2340
|
+
_e = _r.get("e") if isinstance(_r, dict) else None
|
|
2341
|
+
_p = _e.get("path") if isinstance(_e, dict) else None
|
|
2342
|
+
if _p:
|
|
2343
|
+
log_dirs.add(os.path.dirname(str(_p).replace("\\", "/")))
|
|
2344
|
+
if not changed <= log_dirs:
|
|
2345
|
+
return None
|
|
2346
|
+
|
|
2347
|
+
# ④'' **不在此处判**:盘面覆盖闸要在重放之后才判得准(见下方 `_covers_disk`
|
|
2348
|
+
# 调用点)。此处留注释只为标明④' 不是最后一道闸。
|
|
2349
|
+
if not recs:
|
|
2350
|
+
# 无新增:**仍须返回新对象**。调用方 `_maybe_reload_index` 会在
|
|
2351
|
+
# 拿到的 idx["nodes"] 上就地重放 `_dirty`(`idx["nodes"][nid] = e`),
|
|
2352
|
+
# 若把基线本身交出去,本实例未落盘的脏值就会写进基线,下次增量
|
|
2353
|
+
# 便把它当成盘面事实携带下去。
|
|
2354
|
+
self._baseline_cursor = new_cursor
|
|
2355
|
+
self._baseline_snap_sig = snap
|
|
2356
|
+
# 指纹推进到**本次已核对过的当前盘面**(上面 ④' 已判「变过的目录
|
|
2357
|
+
# 全在日志新增目录里」,即这些变化已被本次重放覆盖)。不推进则下
|
|
2358
|
+
# 一轮会把同一批已核销的变化再判一次,无限回退全量。
|
|
2359
|
+
self._baseline_dir_fp = cur_fp
|
|
2360
|
+
_n = dict(base.get("nodes") or {})
|
|
2361
|
+
# ④'' 同上:无新增日志时也必须判盘面覆盖(孤儿形态同样存在于
|
|
2362
|
+
# 「零新增 + 盘上多一个 .md」这条路径上)。
|
|
2363
|
+
if not self._covers_disk(_n):
|
|
2364
|
+
return None
|
|
2365
|
+
_idx = {"schema": SCHEMA, "nodes": _n,
|
|
2366
|
+
"buckets": self._count_buckets(_n)}
|
|
2367
|
+
if "_fingerprint" in base:
|
|
2368
|
+
_idx["_fingerprint"] = base["_fingerprint"]
|
|
2369
|
+
return _idx
|
|
2370
|
+
|
|
2371
|
+
nodes = dict(base.get("nodes") or {}) # 外层新 dict;条目对象随后逐条替换
|
|
2372
|
+
skips = []
|
|
2373
|
+
for rec in recs:
|
|
2374
|
+
nid, e = rec.get("id"), rec.get("e")
|
|
2375
|
+
if not nid:
|
|
2376
|
+
continue
|
|
2377
|
+
nid = str(nid)
|
|
2378
|
+
if e is not None and not isinstance(e, dict):
|
|
2379
|
+
skips.append((self.index_log_dir, nid, e))
|
|
2380
|
+
continue
|
|
2381
|
+
if e is None:
|
|
2382
|
+
nodes.pop(nid, None)
|
|
2383
|
+
else:
|
|
2384
|
+
nodes[nid] = e
|
|
2385
|
+
if skips:
|
|
2386
|
+
note_bad_payload_rows(skips)
|
|
2387
|
+
# ④'' 盘面覆盖闸:**必须复用全量路径的 `_covers_disk`**,不得只靠目录
|
|
2388
|
+
# 指纹。独立复核实测到的缺陷(改前可见 / 改后不可见):
|
|
2389
|
+
# 「他实例写已落盘、其索引增量还在其 `_dirty`」——盘上多出一个 .md,
|
|
2390
|
+
# 日志里没有它。若它恰好和一条合作写入落在**同一子目录**,则
|
|
2391
|
+
# `changed == log_dirs` 成立、④' 放行,而快照里没有该节点 ⇒ 增量
|
|
2392
|
+
# 继承快照的旧节点集 ⇒ **该节点在存活读者上要等到下次全量才可见**。
|
|
2393
|
+
# 全量路径正是靠本闸挡住这种形态(`_covers_disk` 不过 ⇒ 宁重扫)。
|
|
2394
|
+
# 不调它 = 两条路径对「盘面覆盖」各执一套口径,正好回到 #409 要消灭
|
|
2395
|
+
# 的形态(该 issue 的收口纪律是判据单点)。
|
|
2396
|
+
# 位置在**重放之后**:要判的是「重放完的节点集是否覆盖当前盘面」。
|
|
2397
|
+
if not self._covers_disk(nodes):
|
|
2398
|
+
return None
|
|
2399
|
+
idx = {"schema": SCHEMA, "nodes": nodes, "buckets": {}}
|
|
2400
|
+
idx["buckets"] = self._count_buckets(nodes)
|
|
2401
|
+
# 保留快照的指纹(④ 已判其仍与当前盘面一致,故逐位不变)
|
|
2402
|
+
if "_fingerprint" in base:
|
|
2403
|
+
idx["_fingerprint"] = base["_fingerprint"]
|
|
2404
|
+
# 推进基线(同一代四元组):下次继续从新水位往后读。指纹一并推进到
|
|
2405
|
+
# 本次已核对过的盘面——上面的 ④' 已判「变过的目录全在日志新增目录
|
|
2406
|
+
# 里」,这些变化已被本次重放覆盖,不推进会让下一轮把同一批已核销的
|
|
2407
|
+
# 变化再判一次,无限回退全量。
|
|
2408
|
+
self._index_baseline = {"schema": SCHEMA,
|
|
2409
|
+
"nodes": {k: dict(v) for k, v in nodes.items()
|
|
2410
|
+
if isinstance(v, dict)},
|
|
2411
|
+
"_fingerprint": base.get("_fingerprint")}
|
|
2412
|
+
self._baseline_cursor = new_cursor
|
|
2413
|
+
self._baseline_snap_sig = snap
|
|
2414
|
+
self._baseline_dir_fp = cur_fp
|
|
2415
|
+
return idx
|
|
2416
|
+
|
|
2133
2417
|
# 生效条件:os.path.exists(self.index_path) 为真、json.load 成功、解析结果为 dict(顶层非对象=null/[]/123/"abc" 视同损坏)且其 "schema" 等于模块级 SCHEMA、且其 "_fingerprint"(目录树 mtime 指纹)等于当前 self._dir_fingerprint() 时以该快照为基底;快照缺失/损坏/顶层非对象/无指纹/指纹不符(盘面在快照写入后有增删——其它存活实例未 flush 的写入或外部改盘)均回退 self._scan_nodes() 全库扫描为基底;随后经 self._apply_log 重放分片日志(N225 补强:与 compact 面**同一实现**——无 id 跳过、e 为 None 则 pop 该 nid(tombstone)、e 非 dict 且非 None 则跳过并记账、其余覆盖),最终 buckets 由 _count_buckets 重算;
|
|
2134
2418
|
def _load_index(self):
|
|
2419
|
+
# issue #766(W3 增量化):先试**增量**重载——快照未变就只重放日志新增
|
|
2420
|
+
# 尾部,不重读快照、不重放历史记录。任一前提证不出即回退下面的全量
|
|
2421
|
+
# 路径(`_try_incremental_index` 返回 None 的全部情形)。
|
|
2422
|
+
_incr = self._try_incremental_index()
|
|
2423
|
+
if _incr is not None:
|
|
2424
|
+
return _incr
|
|
2425
|
+
# 全量路径:先试增量,不可行再整库重装(`_reset_baseline` 在返回前
|
|
2426
|
+
# 重建基线,见该函数与 `_try_incremental_index` 的水位顺序说明)。
|
|
2135
2427
|
idx = None
|
|
2136
2428
|
if os.path.exists(self.index_path):
|
|
2137
2429
|
try:
|
|
@@ -2196,6 +2488,9 @@ class MdCG:
|
|
|
2196
2488
|
idx = {"schema": SCHEMA, "nodes": self._scan_nodes(), "buckets": {}}
|
|
2197
2489
|
self._apply_log(idx["nodes"])
|
|
2198
2490
|
idx["buckets"] = self._count_buckets(idx["nodes"])
|
|
2491
|
+
# 记录物化基线,供下次增量使用。**水位取在此刻**(apply_log 之后)是
|
|
2492
|
+
# 安全方向:水位 ⊆ 已消费集合 ⇒ 下次至多重放幂等记录,不会漏。
|
|
2493
|
+
self._reset_baseline(idx)
|
|
2199
2494
|
return idx
|
|
2200
2495
|
|
|
2201
2496
|
# 生效条件:nodes 为可 pop / 可赋值的映射(dict 或 _DirtyDict)时,对 ShardedLog.read_all(self.index_log_dir) 的每条记录逐条重放——无 id(假值)跳过;有 id 时 str 归一(legacy P3 自愈腿:旧版本 _stage 落下的 {"id": 123} 不得让 int 键进索引);e 为 None(tombstone)⇒ nodes.pop(nid, None),语义一字不改;e 非 dict 且非 None("[]"/123/"abc" 等合法 JSON 载荷)⇒ **跳过**并经 fsutil.note_bad_payload_rows 记账 + stderr 告警(容忍 ≠ 静默,且不得让非 dict 载荷进 nodes——下游 _count_buckets 对元素裸调 .get,不做类型检查);其余(dict 载荷)⇒ nodes[nid] = e 覆盖;函数返回传入的 nodes。
|
|
@@ -2628,6 +2923,13 @@ class MdCG:
|
|
|
2628
2923
|
atomic_write(self.index_path, json.dumps(idx, ensure_ascii=False))
|
|
2629
2924
|
ShardedLog.clear(self.index_log_dir)
|
|
2630
2925
|
self.index = idx
|
|
2926
|
+
# issue #766:compact 重写了快照并**清空分片日志** ⇒ 旧基线(旧快照 +
|
|
2927
|
+
# 旧水位)描述的盘面已不存在。此处**立即重建**基线(而不是留 None 等
|
|
2928
|
+
# 下次重载):compact 手里就有刚落盘的 idx,日志刚清空(水位全 0),
|
|
2929
|
+
# 是重建基线最廉价的一刻。留 None 会让「刚 compact 完的进程」在下次
|
|
2930
|
+
# 全量重载之前一直无法增量——那是静默的性能回退(正确性无碍,但
|
|
2931
|
+
# 收益归零,实测踩过)。
|
|
2932
|
+
self._reset_baseline(idx)
|
|
2631
2933
|
# 第 3 层结构索引随快照替换失效(快照重建过,旧表与它的划分关系不再
|
|
2632
2934
|
# 有据可依):下次 stg 访问重建;不在此处立即重算——compact 是收尾路
|
|
2633
2935
|
# 径,重建成本挪到真正需要索引的那次读(惰性失效重建,同一选)。
|
|
@@ -2637,8 +2939,11 @@ class MdCG:
|
|
|
2637
2939
|
self._index_sig = self._index_signature()
|
|
2638
2940
|
return idx
|
|
2639
2941
|
|
|
2640
|
-
#
|
|
2942
|
+
# 生效条件:本实例以 async_flush= 显式钉死模式时返回该值(True 异步 / False 同步),否则读 env MDCG_ASYNC_FLUSH(缺省开;=0 关)——关闭时 _request_flush 退回同步 flush。
|
|
2641
2943
|
def _async_flush_on(self):
|
|
2944
|
+
forced = getattr(self, "_async_flush_forced", None)
|
|
2945
|
+
if forced is not None:
|
|
2946
|
+
return bool(forced)
|
|
2642
2947
|
return (os.environ.get("MDCG_ASYNC_FLUSH", "1") or "1").strip() != "0"
|
|
2643
2948
|
|
|
2644
2949
|
# 生效条件:请求一次后台落盘——异步开时置事件并确保守护线程在跑(首次创建),重复请求合并为一次;
|
|
@@ -3031,6 +3336,9 @@ class MdCG:
|
|
|
3031
3336
|
atomic_write(self.index_path, json.dumps(idx, ensure_ascii=False))
|
|
3032
3337
|
ShardedLog.clear(self.index_log_dir)
|
|
3033
3338
|
self.index = idx
|
|
3339
|
+
# issue #766:rebuild 同 compact——重写快照 + 清空分片日志 ⇒ 旧基线作废,
|
|
3340
|
+
# 用刚落盘的 idx 立即重建(理由见 compact_index 同名注释)。
|
|
3341
|
+
self._reset_baseline(idx)
|
|
3034
3342
|
# 第 3 层结构索引随全量重建失效(新快照 = 新盘面语义):下次 stg 访问
|
|
3035
3343
|
# 重建——重建后的划分不变量由守卫钉住(写/删/rebuild/compact 后三表与
|
|
3036
3344
|
# 快照一致)。
|
|
@@ -3452,16 +3760,29 @@ class MdCG:
|
|
|
3452
3760
|
# (`MdCGSecure.add` 的 `sensitivity or DEFAULT_SENSITIVITY` 把两者
|
|
3453
3761
|
# 归一成同一个值,闸便看不见差异)。本键只是判据载体,**不落 fm**。
|
|
3454
3762
|
_declared_sens = extra.pop("declared_sensitivity", None)
|
|
3763
|
+
# issue #795 方案 A(单一时间源):兜底 created_at 与观测窗锚点必须用**同一个** now。
|
|
3764
|
+
# 旧实现两处各调一次 time.time() ⇒ 正常路径下 tw[0] 与 created_at 差几微秒,
|
|
3765
|
+
# test_p2「time_window 锚定写入时刻」用的是 1e-6 严格相等 ⇒ 必红。
|
|
3766
|
+
_now = time.time()
|
|
3455
3767
|
_created_given = "created_at" in extra
|
|
3456
|
-
created_at = extra.pop("created_at",
|
|
3768
|
+
created_at = extra.pop("created_at", _now)
|
|
3457
3769
|
if not _created_given and _prev_fm.get("created_at"):
|
|
3458
3770
|
created_at = _prev_fm["created_at"] # 出生时间只写一次
|
|
3459
3771
|
# 条件论「观测时间」栏:写入时必须记录观测时间窗。
|
|
3460
|
-
#
|
|
3772
|
+
# 默认窗口长度 OBSERVATION_WINDOW_SEC;**锚点分两种**(#768 返工裁定,见下):
|
|
3773
|
+
# #768:created_at 在**同 id 覆写**时继承自旧节点(出生时间只写一次,#766/#732),
|
|
3774
|
+
# 拿它当锚会把观测窗写成 [旧出生时刻, 旧出生时刻+1h],**落在过去**,且此后每次覆写
|
|
3775
|
+
# 都再写一遍;配合下方 S2 时间门(_cond_prefilter_pass:双方都有且区间不相交 ⇒ 剔除),
|
|
3776
|
+
# 被覆写过的旧节点会在带时间窗的查询里**永久消失**。故覆写继承时锚到写入时刻。
|
|
3777
|
+
# 但**调用方显式回填 created_at**(历史导入/回放)是另一条路径,其语义是「这条是那时
|
|
3778
|
+
# 观测的」,改动它会破坏既有约定(md_cg/test_p2.py 的 ts3 断言),因此保持旧口径。
|
|
3779
|
+
# 两者各管一头:created_at = 出生时刻(只写一次),time_window = 这次观测发生的时刻;
|
|
3780
|
+
# 前者仅在「显式给出」时同时充当锚。
|
|
3461
3781
|
cs = dict(condition_space or {})
|
|
3462
3782
|
tw = cs.get("time_window")
|
|
3463
3783
|
if not (isinstance(tw, (list, tuple)) and len(tw) == 2):
|
|
3464
|
-
|
|
3784
|
+
_anchor = created_at if _created_given else _now
|
|
3785
|
+
cs["time_window"] = [_anchor, _anchor + OBSERVATION_WINDOW_SEC]
|
|
3465
3786
|
# BODY_SAME 继承不得覆盖**显式给出**的键(#742 复核):形参缺省无法区分
|
|
3466
3787
|
# 「没给」与「给了缺省值」,故以 None 为哨兵;confidence 的 0.6 在继承
|
|
3467
3788
|
# 之后才补(显式传入 0.6 也会进 _explicit)。modality 走 extra.pop,
|
|
@@ -4953,12 +5274,29 @@ class MdCG:
|
|
|
4953
5274
|
归一与 `_term_in_scene_norm` 共用 `fold_for_match_keep`(#753/#755 复核);
|
|
4954
5275
|
**循环内请改用 `_term_in_scene_norm` + 预归一场**,否则每个词项都会重算场景归一。
|
|
4955
5276
|
"""
|
|
5277
|
+
# 入口闸(fail-closed):归一化后场景会被 `str(text)` repr 化——
|
|
5278
|
+
# `["pe"]` → `"['pe']"`、`{"k":"pe"}` → `"{'k': 'pe'}"`。短词项恰好是
|
|
5279
|
+
# repr 的子串,判据就从「不命中」变成**静默 fail-open**(节点被错误判成
|
|
5280
|
+
# 「条件已确认」而 ACCEPT)。故显式只接受 str(None 按空串)。
|
|
5281
|
+
#
|
|
5282
|
+
# **不写成「base 一律 fail-loud」**(我曾这么写,是错的,2026-11-04 三树
|
|
5283
|
+
# 实测):base 只在词边界支抛 TypeError;子串支对容器**会径真**——
|
|
5284
|
+
# `_term_in_scene("估值", ["估值"])` 在 base 与 main 上都是 `True`
|
|
5285
|
+
# (`t in scene` 是 list 成员判断)。所以本闸相对 base 是**收紧**而非
|
|
5286
|
+
# 「保持原样」。生产路径不可达(`judge_qualification` 恒传 `json.dumps`
|
|
5287
|
+
# 的 str,真实库 886 节点 0 落点),取 fail-closed 是有意的代价,
|
|
5288
|
+
# 不是「与 base 等价」。
|
|
5289
|
+
if scene is not None and not isinstance(scene, str):
|
|
5290
|
+
return False
|
|
4956
5291
|
return MdCG._term_in_scene_norm(term, MdCG._cond_scene_norm(scene))
|
|
4957
5292
|
|
|
4958
5293
|
@staticmethod
|
|
4959
|
-
# 生效条件:scene 为任意值(None
|
|
5294
|
+
# 生效条件:scene 为任意值(None 按空串)时返回三元组 _SceneNorm(compact, keep, raw)——紧凑归一串/保空白归一串/原文串;归一口径=fold_for_match_keep(fold_accents → routing.fold_variants)+ compact_exact_text 去空白,与 fold_for_match 同一份单点。
|
|
4960
5295
|
def _cond_scene_norm(scene):
|
|
4961
|
-
"""场景串 → `_SceneNorm(compact, keep)`(紧凑归一串 /
|
|
5296
|
+
"""场景串 → `_SceneNorm(compact, keep, raw)`(紧凑归一串 / 保空白归一串 / 原文串)。**一次归一,多处复用**。
|
|
5297
|
+
|
|
5298
|
+
`raw` 保留**未归一的原文**:base 的原文判定必须在原文上做(`_term_in_scene_norm`
|
|
5299
|
+
第一段按分支逐字复刻 base),不能拿归一串冒充。
|
|
4962
5300
|
|
|
4963
5301
|
为什么要拆出来:判据在一个节点的 5~6 个词项上**共用同一个场景串**,不拆就是
|
|
4964
5302
|
同一份归一连算 6 遍(O(词项数) 倍;具体微秒数随机器与库规模而变,本条不做数字承诺)。
|
|
@@ -4968,22 +5306,35 @@ class MdCG:
|
|
|
4968
5306
|
不另拼第三份实现。
|
|
4969
5307
|
"""
|
|
4970
5308
|
keep = fold_for_match_keep(scene or "")
|
|
4971
|
-
return _SceneNorm(compact_exact_text(keep), keep)
|
|
5309
|
+
return _SceneNorm(compact_exact_text(keep), keep, (scene or ""))
|
|
4972
5310
|
|
|
4973
5311
|
@staticmethod
|
|
4974
5312
|
# 生效条件:term 为任意值、norm_scene 为 _cond_scene_norm 的返回值时,纯 ASCII 字母词按词边界(判在保空白串上)匹配、其余按紧凑串子串匹配;任一路径命中即 True。
|
|
4975
5313
|
def _term_in_scene_norm(term, norm_scene) -> bool:
|
|
4976
|
-
"""条件短语是否在**已归一**的场景里成立(口径见 `_term_in_scene`)。
|
|
5314
|
+
"""条件短语是否在**已归一**的场景里成立(口径见 `_term_in_scene`)。
|
|
5315
|
+
|
|
5316
|
+
判据顺序(三步,**顺序本身是判据**):
|
|
5317
|
+
|
|
5318
|
+
① 先算 main 的判定(折叠路径)——main 说不命中,就保持不命中。
|
|
5319
|
+
#753 的 D9–D12 那类「子串→词边界」收紧是**有意**的
|
|
5320
|
+
(`data flow` 不该咬 `metadata flow`),本补丁不得撤销。
|
|
5321
|
+
② main 说命中时,再看 **base(#753 之前)在原文上**是否也命中。
|
|
5322
|
+
命中的是 base 本来就有的 → 原样放行(不新造召回损失)。
|
|
5323
|
+
③ 只有 base 不命中、main 命中 ⇒ 这次命中是**折叠新造**的,
|
|
5324
|
+
须过否定作用域闸(否则否定句被判成「条件已确认」)。
|
|
5325
|
+
|
|
5326
|
+
第 ③ 步是本补丁的全部内容。它只在「折叠改变了判定」时才生效,
|
|
5327
|
+
所以对 base 的存量判定与 main 的有意收紧都**零位移**。
|
|
5328
|
+
"""
|
|
4977
5329
|
t = "" if term is None else str(term)
|
|
4978
5330
|
if not t:
|
|
4979
5331
|
return False
|
|
4980
|
-
# 与负条件面(neg_condition_hits)**同口径归一**:此前这里两侧都是裸原文,
|
|
4981
|
-
# 于是「条件写 PE、问句打 pe」永不命中,而同一个词在负条件面却能命中 ——
|
|
4982
|
-
# 同一份判据的两个面口径分裂。
|
|
4983
5332
|
t_keep = fold_for_match_keep(t)
|
|
4984
5333
|
t_fold = compact_exact_text(t_keep)
|
|
4985
5334
|
if not t_fold:
|
|
4986
5335
|
return False
|
|
5336
|
+
|
|
5337
|
+
# ---- ① main 的判定(与 #753 合入后的实现逐字等价)-------------------
|
|
4987
5338
|
if t_fold.isascii() and t_fold.isalpha():
|
|
4988
5339
|
# 词边界必须判在**保空白**的归一串上:紧凑串把
|
|
4989
5340
|
# `"fdata financials"` 拼成 `"fdatafinancials"`,再判「左右不得紧邻
|
|
@@ -4991,8 +5342,115 @@ class MdCG:
|
|
|
4991
5342
|
pat = (r"(?<![A-Za-z])"
|
|
4992
5343
|
+ r"\s*".join(re.escape(p) for p in t_keep.split())
|
|
4993
5344
|
+ r"(?![A-Za-z])")
|
|
4994
|
-
|
|
4995
|
-
|
|
5345
|
+
main_hit = re.search(pat, norm_scene.keep) is not None
|
|
5346
|
+
else:
|
|
5347
|
+
main_hit = t_fold in norm_scene.compact
|
|
5348
|
+
if not main_hit:
|
|
5349
|
+
# main 说不命中。但可能是**剥重音造出的假阴性**:`apiá` 归一成
|
|
5350
|
+
# `apia`,`api` 右侧凭空紧邻 ASCII 字母 ⇒ 折叠词边界崩掉;而原文里
|
|
5351
|
+
# `á` 不是 ASCII 字母,词边界成立(base 靠这一点命中)。
|
|
5352
|
+
#
|
|
5353
|
+
# 回填的**准入条件**:`t` 只由 ASCII 字母与空白组成。
|
|
5354
|
+
#
|
|
5355
|
+
# 为什么这一条就够:若 `t` 全是 ASCII 字母/空白,则 `t_keep` 相对 `t`
|
|
5356
|
+
# 只可能差在**大小写**,而词边界判的是 `[A-Za-z]` —— 大小写不改变
|
|
5357
|
+
# 边界结论。于是「原文判成立、折叠判不成立」只可能是**场景侧**折叠
|
|
5358
|
+
# (剥重音把 `á`→`a`)凭空造出了一个相邻字母 —— 正是要回填的那一类。
|
|
5359
|
+
#
|
|
5360
|
+
# 各类反例因此被自然排除:
|
|
5361
|
+
# · PE(D11)/Café(D12):**词项自己**被折叠改动,不是 ASCII
|
|
5362
|
+
# → 那条收紧是 #753 有意的,不回填。
|
|
5363
|
+
# · か / が(H5/H6,#659 不折叠假名):非 ASCII → 不回填。
|
|
5364
|
+
# · data flow vs metadata flow(D9):虽是 ASCII,但原文词边界
|
|
5365
|
+
# 本身不成立 → 下面的 `pat_raw` 拦掉。
|
|
5366
|
+
# · 大写 API / PE:ASCII 字母 → 照常回填(不能被大小写误伤)。
|
|
5367
|
+
#
|
|
5368
|
+
# **`pat_raw` 必须逐字连续,不许用 `\s*` 连接各词**:base 只对
|
|
5369
|
+
# `t.isalpha()`(无空白的纯字母)走词边界支,**含空格的 ASCII 短语
|
|
5370
|
+
# 走的是子串支 `t in scene`** —— 那要求逐字连续(单空格)。若这里用
|
|
5371
|
+
# `t.split()` + `\s*` 拼,就允许零个/多个/NBSP 空白,等于给多词词项
|
|
5372
|
+
# 换了一套**比 base 更宽**的判据。真实库 5 个多词纯 ASCII 词项上实测:
|
|
5373
|
+
# 'Connectionabortedé 说明' / 'Connection abortedé 说明' /
|
|
5374
|
+
# 'Connection\u00a0abortedé 说明' —— base=DEFER main=DEFER,
|
|
5375
|
+
# 用 `\s*` 时 v6=ACCEPT(凭空新造),逐字连续时回到 DEFER。
|
|
5376
|
+
# 单词项下 `re.escape(t)` 与原来的 `\s*` 拼法逐字等价。
|
|
5377
|
+
if t.isascii() and all(c.isalpha() or c.isspace() for c in t):
|
|
5378
|
+
pat_raw = (r"(?<![A-Za-z])" + re.escape(t) + r"(?![A-Za-z])")
|
|
5379
|
+
if re.search(pat_raw, norm_scene.raw) is not None:
|
|
5380
|
+
# 回填**不是放行证**:它恢复的只是「base 在原文上也认这一次」,
|
|
5381
|
+
# 而 base 的原文判定**没有**否定作用域这一层(那是负条件面独有)。
|
|
5382
|
+
# 故回填出的命中同样须过 ③,否则 `api` vs `不是 apiá 日志` 会出现
|
|
5383
|
+
# 「正说已确认、负说不成立」—— 相对 main **新造**两面分裂,方向还
|
|
5384
|
+
# 是放宽(ACCEPT)。实测:真实库纯 ASCII 词项 × 8 重音符 × 4 否定
|
|
5385
|
+
# 前缀 = 2528 格,不过闸时分裂率 100%;过闸后分裂 0,且肯定模板上
|
|
5386
|
+
# 召回损失 0(那些格 `_occ` 不在否定窗口内)。
|
|
5387
|
+
return MdCG._fold_hit_unnagated(norm_scene.compact, t_fold)
|
|
5388
|
+
return False
|
|
5389
|
+
|
|
5390
|
+
# ---- ② base(#753 之前)在**原文**上的判定 -------------------------
|
|
5391
|
+
# 这里用**子串**判,而不是复刻 base 的词边界分支 —— 两者在这一点上等价:
|
|
5392
|
+
# 走到这里说明 main_hit 已成立(对纯 ASCII 字母词是「判在 keep 上的词边界」
|
|
5393
|
+
# 成立)。若 `t` 在原文里只出现在词内部(`api` 之于 `capital`),那么归一串
|
|
5394
|
+
# 里同样在词内部(fold_accents 只会把字母并得更紧,不会拆开),main_hit
|
|
5395
|
+
# 就会是 False —— 走不到这里。故子串判与词边界判在此处不可区分。
|
|
5396
|
+
if t in norm_scene.raw:
|
|
5397
|
+
# issue #790(方案 C):原文命中不再**无条件**放行——只拦「否定词 + 虚化动词 + 宾语」
|
|
5398
|
+
# 这一支(未使用X / 未采用X / 没有使用X)。判据见 `_verb_negated_at`:它要求否定词与
|
|
5399
|
+
# 命中之间**含虚化动词字**,故 base 原有的「不是 PE」「不是 api」判定一字不动
|
|
5400
|
+
# (族枚举 recall_loss 2340 仍在保护之下;与折叠路径的 `_negated_at` 分开,不合并)。
|
|
5401
|
+
_occ_raw = _occurrences(norm_scene.compact, t_fold)
|
|
5402
|
+
if _occ_raw and all(_verb_negated_at(norm_scene.compact, i)
|
|
5403
|
+
for i in _occ_raw):
|
|
5404
|
+
return False
|
|
5405
|
+
return True
|
|
5406
|
+
|
|
5407
|
+
# ---- ③ 折叠新造出的命中:须过否定作用域闸 --------------------------
|
|
5408
|
+
return MdCG._fold_hit_unnagated(norm_scene.compact, t_fold)
|
|
5409
|
+
|
|
5410
|
+
@staticmethod
|
|
5411
|
+
# 生效条件:norm_compact 为紧凑归一串、t_fold 为词项紧凑归一串时,返回「该词面在串中无出现」或「存在至少一次出现未被否定词作用域覆盖」(与 neg_condition_hits 的 _negated_at 同源同判)。
|
|
5412
|
+
def _fold_hit_unnagated(norm_compact, t_fold) -> bool:
|
|
5413
|
+
"""**折叠**新认出的命中,须存在一次出现未被否定词覆盖。
|
|
5414
|
+
|
|
5415
|
+
为什么需要这一层:#753 统一的是**最外层**(字符归一),而
|
|
5416
|
+
`neg_condition_hits` 比正条件面还多三道闸 —— `NEG_MIN_TERM`、
|
|
5417
|
+
自主题豁免、**否定作用域 `_negated_at`**。于是折叠让正条件面认出 `pe`,
|
|
5418
|
+
而负条件面那一次命中正被「不是/不属于/没有」挡着:
|
|
5419
|
+
|
|
5420
|
+
base : (False, False) 一致,条件未确认 → DEFER
|
|
5421
|
+
修前 : (True , False) 正说「已确认」、负说「不适用不成立」⇒ 新造分裂
|
|
5422
|
+
|
|
5423
|
+
方向是**放宽**(把否定句判成「条件已确认」而 ACCEPT),与「修分裂」相反。
|
|
5424
|
+
真实库 24010 格(`reach_three.py`)实测:本闸挡回 1368 格
|
|
5425
|
+
`ACCEPT→DEFER`,且这 1368 格**全部**是 `pre753 != main`(#753 新造的)
|
|
5426
|
+
——`pre753 == main 且 main != patched` 的格数 = **0**,即本闸对存量
|
|
5427
|
+
判定零位移。
|
|
5428
|
+
|
|
5429
|
+
**只闸折叠路径**:base 的原文路径在调用点原样放行、一字不动。若连原文
|
|
5430
|
+
路径也闸,`new_split` 同样归零,但会把 base 本来就命中的 `不是 PE` /
|
|
5431
|
+
`不是 api` 一并收紧(族枚举 recall_loss 2340)——那是改 base 的判定,
|
|
5432
|
+
超出「字符归一」这条的范围。
|
|
5433
|
+
|
|
5434
|
+
已知同型缺口(本补丁不修):负条件面还有 `own_topic_text` 自主题豁免,
|
|
5435
|
+
正条件面没有。构造用例能让 base `DEFER → ACCEPT`,但真实库 886 个
|
|
5436
|
+
节点里「不适用条件条目**整条**落在自主题面」的格数为 0(2026-11-04
|
|
5437
|
+
实测;此前我写成 882,是笔误)。登记为已知同型缺口,**不是「已覆盖」**。
|
|
5438
|
+
|
|
5439
|
+
**`_occ` 恒非空(可证),故此处不再留「空则放行」的分支。**
|
|
5440
|
+
理由:两条到达本函数的路都保证 `t_fold` 是 `norm_compact` 的子串——
|
|
5441
|
+
· 路径 ②③(main_hit 为真):词边界支是「在 `keep` 上用 `\\s*` 连接各词
|
|
5442
|
+
命中」,空洞里只有空白,去掉空白后该词面在 `compact` 里连成一片;
|
|
5443
|
+
子串支本身就是 `t_fold in compact`。
|
|
5444
|
+
· 路径 ①b(main_hit 为假):前提是**原文** `raw` 上词边界成立,故
|
|
5445
|
+
`raw` 里含有 `t`;归一化逐字符进行、去空白不减内容,于是
|
|
5446
|
+
`fold(raw)` 含 `fold(t)`,`compact` 含 `t_fold`。
|
|
5447
|
+
实测 200000 组随机构造,`main_hit ∧ ¬raw ∧ _occ 空` = **0 格**。
|
|
5448
|
+
此前这里写「`_occ` 为空则放行,例如 `pe ratio` → 场景 `pe ratios`」——
|
|
5449
|
+
**理由是错的**:`pe ratio` 与 `pe ratios` 在 main 判定就**不命中**,
|
|
5450
|
+
根本到不了本函数。删代码而不是补断言。
|
|
5451
|
+
"""
|
|
5452
|
+
return any(not _negated_at(norm_compact, k)
|
|
5453
|
+
for k in _occurrences(norm_compact, t_fold))
|
|
4996
5454
|
|
|
4997
5455
|
@staticmethod
|
|
4998
5456
|
# 生效条件:node_dict 的 content 经 ccg_completeness 判为不完整 → BLINDSPOT;否则由 query 与 context(仅当 context 为 dict 时并入)合成情境串,命中 frontmatter 的任一 non_applicable_conditions 词 → REJECT;否则情境非空(query 去空白后非空,或 context 为真)且「生效条件」文本非空、非"无条件"、其词项全未命中且词项非空 → DEFER;否则无 verification_basis → DEFER;否则 ACCEPT;
|