@furongjun1999/dsh-memory 0.9.6 → 0.9.7

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (216) hide show
  1. package/data/policy.json +38 -38
  2. package/docs/discipline/templates/spec.txt.tmpl +1 -1
  3. package/dsh/cordis.yml.example +139 -139
  4. package/lib/hooks.d.ts +19 -0
  5. package/lib/hooks.js +29 -6
  6. package/lib/index.js +11 -2
  7. package/lib/lib/hook_audit.js +38 -2
  8. package/lib/lib/prompt_safety.js +14 -3
  9. package/lib/tools.d.ts +7 -0
  10. package/lib/tools.js +22 -1
  11. package/md_cg/_guard_kit.py +121 -121
  12. package/md_cg/anchor.py +114 -114
  13. package/md_cg/audit.py +15 -2
  14. package/md_cg/chain.py +3 -2
  15. package/md_cg/config_registry_guard.py +487 -487
  16. package/md_cg/conformance.py +747 -747
  17. package/md_cg/consolidate.py +1793 -1793
  18. package/md_cg/crypto.py +794 -794
  19. package/md_cg/hyperedge.py +262 -262
  20. package/md_cg/interface_schema.py +146 -146
  21. package/md_cg/lifecycle.py +426 -426
  22. package/md_cg/mdcos.py +12 -8
  23. package/md_cg/predict.py +1103 -1103
  24. package/md_cg/protect.py +654 -654
  25. package/md_cg/provenance.py +606 -606
  26. package/md_cg/queue_health.py +130 -130
  27. package/md_cg/refine.py +613 -613
  28. package/md_cg/retrieve.py +128 -128
  29. package/md_cg/revise.py +140 -140
  30. package/md_cg/rollback.py +657 -657
  31. package/md_cg/rollback_cli.py +124 -124
  32. package/md_cg/rotate.py +346 -346
  33. package/md_cg/routing.py +490 -490
  34. package/md_cg/self_surface.py +50 -50
  35. package/md_cg/semantic/canonical.py +144 -144
  36. package/md_cg/semantic/zh_en_atoms.py +141 -141
  37. package/md_cg/sources.py +1091 -1091
  38. package/md_cg/stg.py +3 -2
  39. package/md_cg/test_audit_rotate_parity.py +279 -279
  40. package/md_cg/test_autonomy_modes.py +2013 -2013
  41. package/md_cg/test_cn_recall_grams.py +206 -206
  42. package/md_cg/test_code_kind_forbidden.py +101 -0
  43. package/md_cg/test_condaccept.py +156 -156
  44. package/md_cg/test_condgate.py +141 -141
  45. package/md_cg/test_heartbeat_ledger.py +557 -557
  46. package/md_cg/test_i50e_readside_protection.py +658 -658
  47. package/md_cg/test_issue111_gate_order.py +76 -76
  48. package/md_cg/test_issue111_scoring_contract.py +86 -86
  49. package/md_cg/test_issue121_calibration_bounds.py +293 -293
  50. package/md_cg/test_issue145_sleep_no_silent_rollback.py +167 -167
  51. package/md_cg/test_issue147_pack_id_escape.py +378 -378
  52. package/md_cg/test_issue148_merge_downgrade_leak.py +192 -192
  53. package/md_cg/test_issue149_accel_default_face.py +248 -248
  54. package/md_cg/test_issue150_empty_query_terms.py +328 -328
  55. package/md_cg/test_issue151_153_157_write_cache_index.py +151 -151
  56. package/md_cg/test_issue152_sealed_postings.py +309 -309
  57. package/md_cg/test_issue153b_index_generation_invalidation.py +142 -142
  58. package/md_cg/test_issue157b_index_remainder.py +344 -344
  59. package/md_cg/test_issue189_conclusion_bidirectional.py +223 -223
  60. package/md_cg/test_issue191_import_trust.py +382 -382
  61. package/md_cg/test_issue193_write_scope.py +378 -378
  62. package/md_cg/test_issue212_writeface_gaps.py +349 -349
  63. package/md_cg/test_issue214_reject_sensitivity.py +266 -266
  64. package/md_cg/test_issue215_condition_source_gap.py +272 -272
  65. package/md_cg/test_issue216_clash_routes.py +214 -214
  66. package/md_cg/test_issue217_slot_routes.py +248 -248
  67. package/md_cg/test_issue218_postcondition_value_blind.py +222 -222
  68. package/md_cg/test_issue258_pack_sensitivity.py +468 -468
  69. package/md_cg/test_issue265_coldverify_multiproc.py +438 -438
  70. package/md_cg/test_issue274_read_node_id_none.py +341 -341
  71. package/md_cg/test_issue275_layer_param.py +250 -250
  72. package/md_cg/test_issue277_node_id_traversal.py +384 -384
  73. package/md_cg/test_issue278_neg_separated_tension.py +271 -271
  74. package/md_cg/test_issue278_neg_window.py +294 -294
  75. package/md_cg/test_issue278_negative_layering.py +83 -83
  76. package/md_cg/test_issue284_skip_not_pass.py +291 -291
  77. package/md_cg/test_issue294_flywheel_sensitivity.py +573 -573
  78. package/md_cg/test_issue301_baseline_corpus_gate.py +245 -245
  79. package/md_cg/test_issue303_design_boundaries.py +262 -262
  80. package/md_cg/test_issue315_merge_branch_sensitivity.py +383 -383
  81. package/md_cg/test_issue319_tenant_unregistered_bypass.py +256 -256
  82. package/md_cg/test_issue321_mcp_deep_json.py +304 -304
  83. package/md_cg/test_issue322_node_write_lock.py +727 -727
  84. package/md_cg/test_issue324_write_size_fields.py +214 -214
  85. package/md_cg/test_issue325_audit_poison.py +229 -229
  86. package/md_cg/test_issue326_ingest_auto_whitelist.py +331 -331
  87. package/md_cg/test_issue326_key_perms.py +355 -355
  88. package/md_cg/test_issue326_twin_parser_parity.py +323 -323
  89. package/md_cg/test_issue326_vm_call_frame.py +569 -569
  90. package/md_cg/test_issue345_writelimit_effective_sens.py +233 -233
  91. package/md_cg/test_issue346_overwrite_sensitivity_gate.py +424 -424
  92. package/md_cg/test_issue348_insight_verify_op.py +199 -199
  93. package/md_cg/test_issue348_merge_rmw_lock.py +345 -345
  94. package/md_cg/test_issue350_casefold_collision.py +235 -235
  95. package/md_cg/test_issue351_ingest_root_fallback.py +201 -201
  96. package/md_cg/test_issue352_imgaudit.py +418 -418
  97. package/md_cg/test_issue352_pathsjson.py +537 -537
  98. package/md_cg/test_issue352_refindex.py +412 -412
  99. package/md_cg/test_issue352_rollback.py +604 -604
  100. package/md_cg/test_issue354_p2_writelimit_toctou.py +327 -327
  101. package/md_cg/test_issue354_rust_index_containment.py +571 -571
  102. package/md_cg/test_issue354_rust_wal_containment.py +606 -606
  103. package/md_cg/test_issue358_truncation_observable.py +247 -247
  104. package/md_cg/test_issue360_tidy_private_excerpt.py +195 -195
  105. package/md_cg/test_issue361_blindspot_not_silent_drop.py +494 -494
  106. package/md_cg/test_issue362_neg_condition.py +468 -468
  107. package/md_cg/test_issue363_lexical_idf.py +275 -275
  108. package/md_cg/test_issue370_readcache_assembly.py +488 -488
  109. package/md_cg/test_issue376_heartbeat_failed.py +293 -293
  110. package/md_cg/test_issue377_layer_protect_stamp.py +324 -324
  111. package/md_cg/test_issue378_protected_floor.py +310 -310
  112. package/md_cg/test_issue383_state_event_write_gate.py +462 -462
  113. package/md_cg/test_issue397_sens_eff_wiring.py +435 -435
  114. package/md_cg/test_issue398_toolface_op_parity.py +511 -511
  115. package/md_cg/test_issue399_hive_json_shape.py +317 -317
  116. package/md_cg/test_issue401_wisdom_codegen.py +295 -295
  117. package/md_cg/test_issue404_heal_receipt.py +389 -389
  118. package/md_cg/test_issue409_compact_index_completeness.py +509 -509
  119. package/md_cg/test_issue410_verify_demote_write.py +366 -366
  120. package/md_cg/test_issue411_scrub_idempotence.py +575 -575
  121. package/md_cg/test_issue412_discipline_producer_parity.py +311 -311
  122. package/md_cg/test_issue413_preimage_failclosed.py +239 -239
  123. package/md_cg/test_issue413_preimage_twin.py +339 -339
  124. package/md_cg/test_issue415_deps_gate_probe.py +357 -357
  125. package/md_cg/test_issue416_entry_key_subset.py +525 -525
  126. package/md_cg/test_issue417_twophase_merge_landed.py +423 -423
  127. package/md_cg/test_issue425_ingest_library_path.py +331 -331
  128. package/md_cg/test_issue426c_enqueue_not_silent.py +346 -346
  129. package/md_cg/test_issue426e_restore_overwrite_live.py +310 -310
  130. package/md_cg/test_issue426f_paths_gbk_failclosed.py +301 -301
  131. package/md_cg/test_issue427_serve_status_shape.py +191 -191
  132. package/md_cg/test_issue431_432_468_protect_single_point.py +322 -322
  133. package/md_cg/test_issue433_outlook_threshold_single_point.py +278 -278
  134. package/md_cg/test_issue434_435_float_gate.py +90 -90
  135. package/md_cg/test_issue439_sibling_sensitivity_inherit.py +448 -448
  136. package/md_cg/test_issue43_default_policy.py +874 -874
  137. package/md_cg/test_issue444_scrub_evidence_plaintext.py +281 -281
  138. package/md_cg/test_issue445_metacognition_ledger_gate.py +454 -454
  139. package/md_cg/test_issue446_453_403_verified_evidence.py +382 -382
  140. package/md_cg/test_issue450_sensitivity_fallback_reason.py +51 -51
  141. package/md_cg/test_issue450_writegate_unknown_sens.py +203 -203
  142. package/md_cg/test_issue451_audit_actor.py +313 -313
  143. package/md_cg/test_issue452_ingest_root_sensitivity.py +299 -299
  144. package/md_cg/test_issue463_ghost_prune_guard.py +259 -259
  145. package/md_cg/test_issue466_basis_registry.py +469 -469
  146. package/md_cg/test_issue467_identity_sensitivity_parity.py +360 -360
  147. package/md_cg/test_issue469_scrub_override_passthrough.py +126 -126
  148. package/md_cg/test_issue470_wal_event_durable.py +427 -427
  149. package/md_cg/test_issue471_identity_readable.py +136 -136
  150. package/md_cg/test_issue472_audit_chain.py +90 -90
  151. package/md_cg/test_issue472_prune_ledger.py +105 -105
  152. package/md_cg/test_issue472_rollback_degraded.py +81 -81
  153. package/md_cg/test_issue491_compose_sandbox.py +460 -460
  154. package/md_cg/test_issue498_merge_trace_stale_index.py +280 -280
  155. package/md_cg/test_issue511_scoreboard_bad_files.py +256 -256
  156. package/md_cg/test_issue521_rotate_lock_suffix.py +110 -110
  157. package/md_cg/test_issue524_orphan_noise_no_demote.py +88 -88
  158. package/md_cg/test_issue525_read_null_semantics.py +52 -52
  159. package/md_cg/test_issue547_append_jsonl_whitelist.py +114 -114
  160. package/md_cg/test_issue547_audit_durable.py +96 -96
  161. package/md_cg/test_issue557_r2_write_entries_size_gate.py +83 -83
  162. package/md_cg/test_issue559_refine_prefix.py +69 -69
  163. package/md_cg/test_issue562_retired_faces.py +150 -0
  164. package/md_cg/test_issue71_queue_backlog.py +376 -376
  165. package/md_cg/test_issue72_coldverify_controlled_drain.py +420 -420
  166. package/md_cg/test_issue82_credential_rules.py +271 -271
  167. package/md_cg/test_issue91_verifier_sandbox.py +314 -314
  168. package/md_cg/test_issue93_remember_redaction.py +282 -282
  169. package/md_cg/test_logref.py +1141 -1141
  170. package/md_cg/test_md_access_parity.py +330 -330
  171. package/md_cg/test_md_cg_no_hive_dep.py +139 -139
  172. package/md_cg/test_mutation_residue.py +119 -119
  173. package/md_cg/test_mutation_rollback.py +835 -835
  174. package/md_cg/test_n123_derive_expiry_chain.py +210 -210
  175. package/md_cg/test_n209_verify_write_face_gates.py +466 -466
  176. package/md_cg/test_n62_tenant_bind_failclosed.py +200 -200
  177. package/md_cg/test_neg_tail_honesty.py +733 -733
  178. package/md_cg/test_p21_tokens.py +294 -294
  179. package/md_cg/test_p27_docindex.py +792 -792
  180. package/md_cg/test_p28_refcheck.py +1053 -1053
  181. package/md_cg/test_p2_six_elements.py +476 -476
  182. package/md_cg/test_p33_ccg_wiring.py +300 -300
  183. package/md_cg/test_p3_legacy_closure.py +438 -438
  184. package/md_cg/test_p40_refine_worklist.py +244 -244
  185. package/md_cg/test_p4_freshness.py +781 -781
  186. package/md_cg/test_p9c_dedup_hints.py +288 -288
  187. package/md_cg/test_policy_required_ccg.py +444 -444
  188. package/md_cg/test_retr_s5.py +312 -312
  189. package/md_cg/test_s1_ast_judge.py +109 -109
  190. package/md_cg/test_state_event_op.py +521 -521
  191. package/md_cg/test_stgidx_index_parity.py +1024 -1024
  192. package/md_cg/test_sustain_bounded.py +652 -652
  193. package/md_cg/test_trust_edge_reachability.py +405 -405
  194. package/md_cg/test_w7_redlines.py +659 -659
  195. package/md_cg/test_write_return_shape.py +919 -919
  196. package/md_cg/test_writepipe.py +228 -228
  197. package/md_cg/trust.py +1114 -1114
  198. package/md_cg/twophase.py +303 -303
  199. package/md_cg/whitebox.py +536 -536
  200. package/md_cg/whitebox_kb/wisdom/compose_engine.py +1634 -1634
  201. package/md_cg/whitebox_kb/wisdom/core/condition_vm.py +318 -318
  202. package/md_cg/whitebox_kb/wisdom/core/parser.py +1082 -1082
  203. package/md_cg/whitebox_kb/wisdom/md_access.py +490 -490
  204. package/md_cg/whitebox_kb/wisdom/migrate_wisdom.py +497 -497
  205. package/md_cg/whitebox_kb/wisdom/mini_python.py +995 -995
  206. package/md_cg/whitebox_kb/wisdom/net_units.py +2900 -2900
  207. package/md_cg/whitebox_kb/wisdom/semantic_translate.py +4060 -4060
  208. package/md_cg/writepipe.py +1337 -1337
  209. package/package.json +3 -2
  210. package/scripts/workspace_index.py +328 -0
  211. package/src/hooks.ts +30 -6
  212. package/src/index.ts +14 -5
  213. package/src/lib/hook_audit.ts +282 -256
  214. package/src/lib/mdcg_client.ts +469 -469
  215. package/src/lib/prompt_safety.ts +17 -3
  216. package/src/tools.ts +23 -1
@@ -1,50 +1,50 @@
1
- # -*- coding: utf-8 -*-
2
- """自我面(self surface)——把「自我认知数据」与「审核裁决审计记录」分开。
3
-
4
- 背景(2026-10-18 实测):self 层 780 条里 769 条是审核裁决审计记录(rev_*),
5
- 真实自我锚点只剩 11 条。原因是 _write_review_record 曾把审计节点写进 self 层
6
- (已改为 structural,只堵住源头),而存量 769 条按方案 C 处理——**不迁移**
7
- (它们带 record_hash 与加密正文、可能被引用,迁移会动 is_protected 判定面),
8
- 改为打 audit_trace 标签 + 在读取面过滤。
9
-
10
- 为什么选「打标签」而不是迁移:
11
- * 零迁移风险:不动文件位置、不动 record_hash 引用、不动层保护判定;
12
- * 语义正确:审计痕迹**应当**在自我面被排除,而不是被搬到别处继续占位;
13
- * 可逆:删标签即回到原状。
14
-
15
- 判据单点:AUDIT_TRACE_TAG。任何需要「真实自我面」的调用方都经 self_surface(),
16
- 不各写一份过滤逻辑(本仓已被「同一语义两份实现」咬过多次)。
17
- """
18
-
19
- __all__ = ["AUDIT_TRACE_TAG", "is_audit_trace", "self_surface"]
20
-
21
- #: 审计痕迹标签。打在审核裁决节点上,表示「这是裁决痕迹,不是自我认知数据」。
22
- AUDIT_TRACE_TAG = "audit_trace"
23
-
24
-
25
- def is_audit_trace(fm):
26
- """该条目是否为审核裁决审计痕迹(按标签判定,缺 tags 视为否)。"""
27
- if not isinstance(fm, dict):
28
- return False
29
- tags = fm.get("tags") or []
30
- return AUDIT_TRACE_TAG in tags
31
-
32
-
33
- def self_surface(cg, include_audit_trace=False):
34
- """返回 self 层的「真实自我面」节点 id 列表。
35
-
36
- include_audit_trace=True 时不过滤(用于审计/排查)。
37
- 排序后返回,保证可复跑(不依赖索引遍历顺序)。
38
- """
39
- idx = getattr(cg, "index", None) or {}
40
- nodes = idx.get("nodes") or {}
41
- out = []
42
- for nid, e in nodes.items():
43
- if not isinstance(e, dict):
44
- continue
45
- if e.get("layer") != "self":
46
- continue
47
- if not include_audit_trace and is_audit_trace(e):
48
- continue
49
- out.append(nid)
50
- return sorted(out)
1
+ # -*- coding: utf-8 -*-
2
+ """自我面(self surface)——把「自我认知数据」与「审核裁决审计记录」分开。
3
+
4
+ 背景(2026-10-18 实测):self 层 780 条里 769 条是审核裁决审计记录(rev_*),
5
+ 真实自我锚点只剩 11 条。原因是 _write_review_record 曾把审计节点写进 self 层
6
+ (已改为 structural,只堵住源头),而存量 769 条按方案 C 处理——**不迁移**
7
+ (它们带 record_hash 与加密正文、可能被引用,迁移会动 is_protected 判定面),
8
+ 改为打 audit_trace 标签 + 在读取面过滤。
9
+
10
+ 为什么选「打标签」而不是迁移:
11
+ * 零迁移风险:不动文件位置、不动 record_hash 引用、不动层保护判定;
12
+ * 语义正确:审计痕迹**应当**在自我面被排除,而不是被搬到别处继续占位;
13
+ * 可逆:删标签即回到原状。
14
+
15
+ 判据单点:AUDIT_TRACE_TAG。任何需要「真实自我面」的调用方都经 self_surface(),
16
+ 不各写一份过滤逻辑(本仓已被「同一语义两份实现」咬过多次)。
17
+ """
18
+
19
+ __all__ = ["AUDIT_TRACE_TAG", "is_audit_trace", "self_surface"]
20
+
21
+ #: 审计痕迹标签。打在审核裁决节点上,表示「这是裁决痕迹,不是自我认知数据」。
22
+ AUDIT_TRACE_TAG = "audit_trace"
23
+
24
+
25
+ def is_audit_trace(fm):
26
+ """该条目是否为审核裁决审计痕迹(按标签判定,缺 tags 视为否)。"""
27
+ if not isinstance(fm, dict):
28
+ return False
29
+ tags = fm.get("tags") or []
30
+ return AUDIT_TRACE_TAG in tags
31
+
32
+
33
+ def self_surface(cg, include_audit_trace=False):
34
+ """返回 self 层的「真实自我面」节点 id 列表。
35
+
36
+ include_audit_trace=True 时不过滤(用于审计/排查)。
37
+ 排序后返回,保证可复跑(不依赖索引遍历顺序)。
38
+ """
39
+ idx = getattr(cg, "index", None) or {}
40
+ nodes = idx.get("nodes") or {}
41
+ out = []
42
+ for nid, e in nodes.items():
43
+ if not isinstance(e, dict):
44
+ continue
45
+ if e.get("layer") != "self":
46
+ continue
47
+ if not include_audit_trace and is_audit_trace(e):
48
+ continue
49
+ out.append(nid)
50
+ return sorted(out)
@@ -1,144 +1,144 @@
1
- #!/usr/bin/env python3
2
- # -*- coding: utf-8 -*-
3
- """灵枢 · 标准语义归一面(词表真源 + AI 写入侧归一 + 组合相遇判据)
4
-
5
- 使用者设想(2026-09-14)四要素与代码边界:
6
- ① 标准语义基准 = atoms.json(815 标准概念,本模块只读加载;LINGSHU_DUAL_SOURCE: independent —— atoms.json 与手写表 zh_en_atoms.ZH_EN 是两份独立词表,见 issue #135);
7
- ② 同义体按基准翻译 = 归一主体是 **AI 写入侧**(AI 自带翻译,add(semantic=...)
8
- 直接传标准原子序列;「荤油→猪油」类同义归一发生在 AI 理解里,
9
- 代码不维护同义表——系统职责收缩为词表+校验);
10
- ③ 归一产物作摘要 = fm.semantic 衍生层(可审查、可版本化);
11
- ④ 真源+原始双保留 = semantic 是 frontmatter 衍生层,正文原文无损——
12
- 归一错误传播仅限摘要层,词表更新后重归一可修复。
13
-
14
- 代码职责(最小三件,全部纯函数):
15
- - atoms_zh() 词表加载(模块级缓存);
16
- - oov_of() OOV 审计(警告不拒绝:词表覆盖有限,拒绝会堵死合法写入;
17
- OOV 列表落 fm.semantic_oov,同时是词表扩容的观测依据);
18
- - pair_hits() 检索面组合窗口共现判据。窗口语义来自 L3 探针实证
19
- (2026-09-14):纯邻接只救 1/3(「羊 的 油」「鱼 里 提 取
20
- 的 油」距离 2/4),win=6 全救 3/3 且受控池零误配;
21
- 开放域「鱼和油分述」的误配风险由组合结构约束兜底
22
- (与 P1 compositions 汇合,b2_comp 臂为共同验收器)。
23
- """
24
- import functools
25
- import json
26
- import os
27
- import re
28
-
29
- from . import zh_en_atoms
30
-
31
- WIN = 6 # 组合共现窗口(token 距离,探针实证口径)
32
- _ATOMS_ZH = None
33
-
34
- # 中文段判据(单点,2026-09-30 检索归一层作用域收窄时立):
35
- # 中文 = CJK 统一表意文字基本区 U+4E00–U+9FFF。与 en_normalizer 分词字符类
36
- # `[A-Za-z\u4e00-\u9fff]` 的中文区间同区间;rust/src/text.rs::is_zh 是同判据的
37
- # Rust 侧单点(两侧归一层共用同一判据;改动须两侧同步,否则 rank_parity 漂移)。
38
- # 消费方:unify.py::unify_query(中文段逐字保留)、rust/src/atoms.rs::Atoms::unify。
39
- ZH_LO, ZH_HI = "\u4e00", "\u9fff"
40
-
41
-
42
- # 生效条件:单参 ch 为长度恰为 1 的 str 时返回 ZH_LO <= ch <= ZH_HI(CJK 基本区);长度 != 1(空串/多字符串)一律返回 False(2026-09-30 清理批次把边界收紧为「长度恰为 1」——此前只在 ch 为空串时为假,多字符串按字典序比较可能被误判为真)。
43
- def is_zh_char(ch):
44
- """中文段判据(单点):CJK 统一表意文字基本区 U+4E00–U+9FFF。
45
-
46
- 边界约定(2026-09-30 清理批次乙2):**仅长度恰为 1 的串可为真**——
47
- 空串与长度 >1 的串一律 False。此前只有空串为假(链式比较
48
- `ZH_LO <= ch` 对空串即假),而多字符串按字典序比较:`is_zh_char("中文")`
49
- 判真(首字符在区间即真)=判据外溢。两侧调用点清点结果:本函数只有
50
- `unify.py::_runs` 与 `test_unify_scope.py::zh_runs` 两处消费,均逐字符
51
- 传入 ⇒ 本收紧对存量行为零变更;Rust 侧 `text.rs::is_zh` 收 `char`,
52
- 天然无空/多字符二态,边界语义两侧一致(docstring 已互指)。
53
- """
54
- return len(ch) == 1 and ZH_LO <= ch <= ZH_HI
55
-
56
-
57
- # 生效条件:模块级常量 `_ATOMS_ZH` 为 None 时按 `__file__` 所在目录的 atoms.json 取 `data.get("atoms", [])` 各项 `zh` 建集合并缓存,非 None 时直接返回 `_ATOMS_ZH`。
58
- def atoms_zh():
59
- """标准语义基准词表(atoms.json 的 zh 概念集,模块级缓存)。"""
60
- global _ATOMS_ZH
61
- if _ATOMS_ZH is None:
62
- p = os.path.join(os.path.dirname(os.path.abspath(__file__)),
63
- "atoms.json")
64
- with open(p, encoding="utf-8") as f:
65
- data = json.load(f)
66
- _ATOMS_ZH = {a["zh"] for a in data.get("atoms", [])}
67
- return _ATOMS_ZH
68
-
69
-
70
- # 生效条件:`text` 为 None 或空串时 `(text or "").split()` 得空序列、返回空列表 out;否则按空白切分后逐段经 `zh_en_atoms.segment` 展开 extend 进 out 并返回。
71
- def semantic_atoms(text):
72
- """semantic 字段容错切分:按空格分段逐段贪心匹配。
73
-
74
- 兼容「鱼油」(AI 给了复合词)与「鱼 油」(AI 直接给原子序列)两种
75
- 写入形态——代码不二次加工 AI 产物,只在读取面做无损容错解析。
76
- 未映射字符原样保留(归一可逆可溯源)。
77
- """
78
- out = []
79
- for part in (text or "").split():
80
- out.extend(zh_en_atoms.segment(part))
81
- return out
82
-
83
-
84
- # 生效条件:`text` 传入后,返回 `semantic_atoms(text)` 结果中不属于 `atoms_zh()` 词表集合的 token 列表(无匹配项时为空列表)。
85
- def oov_of(text):
86
- """OOV 审计:切分产物中不在标准词表的 token 列表(空列表=全部合法)。"""
87
- zh = atoms_zh()
88
- return [a for a in semantic_atoms(text) if a not in zh]
89
-
90
-
91
- @functools.lru_cache(maxsize=256)
92
- # 生效条件:t = text or ""(text 为 None/空串时按 ""),仅当 t 含 [A-Za-z] 时经 normalize_en_query 归一——含字母的 term 原样保留、其余经 zh_en_atoms.segment 展开——返回 tuple(out);归一抛异常或 t 无字母时返回 tuple(semantic_atoms(t));
93
- def query_atoms(text):
94
- """query 侧归一(同 semantic_atoms,缓存——每轮检索全 doc 复用)。
95
-
96
- 英文 query 汇入同一标准真源(2026-09-14):含 [A-Za-z] 时先经
97
- en_normalizer 归一为中文语素(复合概念整词映射,beef→牛肉),中文
98
- 语素再经 segment 展开为标准原子(「牛肉」→「牛 肉」,与 doc 侧
99
- fm.semantic 的原子形态同构),英文保留词(专名/未登录词)原样
100
- 占位——是词表覆盖边界,非错误。纯中文 query 零变化(不触发英文
101
- 分支)。归一失败静默保持原文本(与 en_zh_terms 同降级风格)。
102
- """
103
- t = text or ""
104
- if re.search(r"[A-Za-z]", t):
105
- try:
106
- from .en_normalizer import normalize_en_query
107
- terms, _detail = normalize_en_query(t)
108
- out = []
109
- for term in terms:
110
- if re.search(r"[A-Za-z]", term):
111
- out.append(term) # 英文保留词原样
112
- else:
113
- out.extend(zh_en_atoms.segment(term)) # 中文语素→标准原子
114
- return tuple(out)
115
- except Exception:
116
- pass
117
- return tuple(semantic_atoms(t))
118
-
119
-
120
- # 生效条件:`doc_semantic` 经 `semantic_atoms` 切分后相邻原子对集合 pairs 为空(单原子或无原子)时返回 0.0;否则以 `query_atoms(qtext)` 建立 token→位置表,统计两原子位置差绝对值 ≤ `win`(默认形参 WIN)的命中对数 hit,返回 hit/len(pairs)。
121
- def pair_hits(doc_semantic, qtext, win=WIN):
122
- """组合窗口共现命中率 ∈ [0,1]。
123
-
124
- doc 侧:fm.semantic 的相邻原子对集合(标准语义基准上的组合结构);
125
- query 侧:query_atoms(qtext) 归一序列;
126
- 命中:对内两原子在 query 序列中窗口 win 内共现。
127
- 分数 = 命中对数 / doc 对数;doc 无相邻对(单原子摘要)→ 0.0(诚实)。
128
- """
129
- doc = semantic_atoms(doc_semantic)
130
- pairs = {(doc[i], doc[i + 1]) for i in range(len(doc) - 1)}
131
- if not pairs:
132
- return 0.0
133
- q = query_atoms(qtext)
134
- qset = set(q)
135
- idx = {}
136
- for i, t in enumerate(q):
137
- idx.setdefault(t, []).append(i)
138
- hit = 0
139
- for a, b in pairs:
140
- if a not in qset or b not in qset:
141
- continue
142
- if any(abs(i - j) <= win for i in idx[a] for j in idx[b]):
143
- hit += 1
144
- return hit / len(pairs)
1
+ #!/usr/bin/env python3
2
+ # -*- coding: utf-8 -*-
3
+ """灵枢 · 标准语义归一面(词表真源 + AI 写入侧归一 + 组合相遇判据)
4
+
5
+ 使用者设想(2026-09-14)四要素与代码边界:
6
+ ① 标准语义基准 = atoms.json(815 标准概念,本模块只读加载;LINGSHU_DUAL_SOURCE: independent —— atoms.json 与手写表 zh_en_atoms.ZH_EN 是两份独立词表,见 issue #135);
7
+ ② 同义体按基准翻译 = 归一主体是 **AI 写入侧**(AI 自带翻译,add(semantic=...)
8
+ 直接传标准原子序列;「荤油→猪油」类同义归一发生在 AI 理解里,
9
+ 代码不维护同义表——系统职责收缩为词表+校验);
10
+ ③ 归一产物作摘要 = fm.semantic 衍生层(可审查、可版本化);
11
+ ④ 真源+原始双保留 = semantic 是 frontmatter 衍生层,正文原文无损——
12
+ 归一错误传播仅限摘要层,词表更新后重归一可修复。
13
+
14
+ 代码职责(最小三件,全部纯函数):
15
+ - atoms_zh() 词表加载(模块级缓存);
16
+ - oov_of() OOV 审计(警告不拒绝:词表覆盖有限,拒绝会堵死合法写入;
17
+ OOV 列表落 fm.semantic_oov,同时是词表扩容的观测依据);
18
+ - pair_hits() 检索面组合窗口共现判据。窗口语义来自 L3 探针实证
19
+ (2026-09-14):纯邻接只救 1/3(「羊 的 油」「鱼 里 提 取
20
+ 的 油」距离 2/4),win=6 全救 3/3 且受控池零误配;
21
+ 开放域「鱼和油分述」的误配风险由组合结构约束兜底
22
+ (与 P1 compositions 汇合,b2_comp 臂为共同验收器)。
23
+ """
24
+ import functools
25
+ import json
26
+ import os
27
+ import re
28
+
29
+ from . import zh_en_atoms
30
+
31
+ WIN = 6 # 组合共现窗口(token 距离,探针实证口径)
32
+ _ATOMS_ZH = None
33
+
34
+ # 中文段判据(单点,2026-09-30 检索归一层作用域收窄时立):
35
+ # 中文 = CJK 统一表意文字基本区 U+4E00–U+9FFF。与 en_normalizer 分词字符类
36
+ # `[A-Za-z\u4e00-\u9fff]` 的中文区间同区间;rust/src/text.rs::is_zh 是同判据的
37
+ # Rust 侧单点(两侧归一层共用同一判据;改动须两侧同步,否则 rank_parity 漂移)。
38
+ # 消费方:unify.py::unify_query(中文段逐字保留)、rust/src/atoms.rs::Atoms::unify。
39
+ ZH_LO, ZH_HI = "\u4e00", "\u9fff"
40
+
41
+
42
+ # 生效条件:单参 ch 为长度恰为 1 的 str 时返回 ZH_LO <= ch <= ZH_HI(CJK 基本区);长度 != 1(空串/多字符串)一律返回 False(2026-09-30 清理批次把边界收紧为「长度恰为 1」——此前只在 ch 为空串时为假,多字符串按字典序比较可能被误判为真)。
43
+ def is_zh_char(ch):
44
+ """中文段判据(单点):CJK 统一表意文字基本区 U+4E00–U+9FFF。
45
+
46
+ 边界约定(2026-09-30 清理批次乙2):**仅长度恰为 1 的串可为真**——
47
+ 空串与长度 >1 的串一律 False。此前只有空串为假(链式比较
48
+ `ZH_LO <= ch` 对空串即假),而多字符串按字典序比较:`is_zh_char("中文")`
49
+ 判真(首字符在区间即真)=判据外溢。两侧调用点清点结果:本函数只有
50
+ `unify.py::_runs` 与 `test_unify_scope.py::zh_runs` 两处消费,均逐字符
51
+ 传入 ⇒ 本收紧对存量行为零变更;Rust 侧 `text.rs::is_zh` 收 `char`,
52
+ 天然无空/多字符二态,边界语义两侧一致(docstring 已互指)。
53
+ """
54
+ return len(ch) == 1 and ZH_LO <= ch <= ZH_HI
55
+
56
+
57
+ # 生效条件:模块级常量 `_ATOMS_ZH` 为 None 时按 `__file__` 所在目录的 atoms.json 取 `data.get("atoms", [])` 各项 `zh` 建集合并缓存,非 None 时直接返回 `_ATOMS_ZH`。
58
+ def atoms_zh():
59
+ """标准语义基准词表(atoms.json 的 zh 概念集,模块级缓存)。"""
60
+ global _ATOMS_ZH
61
+ if _ATOMS_ZH is None:
62
+ p = os.path.join(os.path.dirname(os.path.abspath(__file__)),
63
+ "atoms.json")
64
+ with open(p, encoding="utf-8") as f:
65
+ data = json.load(f)
66
+ _ATOMS_ZH = {a["zh"] for a in data.get("atoms", [])}
67
+ return _ATOMS_ZH
68
+
69
+
70
+ # 生效条件:`text` 为 None 或空串时 `(text or "").split()` 得空序列、返回空列表 out;否则按空白切分后逐段经 `zh_en_atoms.segment` 展开 extend 进 out 并返回。
71
+ def semantic_atoms(text):
72
+ """semantic 字段容错切分:按空格分段逐段贪心匹配。
73
+
74
+ 兼容「鱼油」(AI 给了复合词)与「鱼 油」(AI 直接给原子序列)两种
75
+ 写入形态——代码不二次加工 AI 产物,只在读取面做无损容错解析。
76
+ 未映射字符原样保留(归一可逆可溯源)。
77
+ """
78
+ out = []
79
+ for part in (text or "").split():
80
+ out.extend(zh_en_atoms.segment(part))
81
+ return out
82
+
83
+
84
+ # 生效条件:`text` 传入后,返回 `semantic_atoms(text)` 结果中不属于 `atoms_zh()` 词表集合的 token 列表(无匹配项时为空列表)。
85
+ def oov_of(text):
86
+ """OOV 审计:切分产物中不在标准词表的 token 列表(空列表=全部合法)。"""
87
+ zh = atoms_zh()
88
+ return [a for a in semantic_atoms(text) if a not in zh]
89
+
90
+
91
+ @functools.lru_cache(maxsize=256)
92
+ # 生效条件:t = text or ""(text 为 None/空串时按 ""),仅当 t 含 [A-Za-z] 时经 normalize_en_query 归一——含字母的 term 原样保留、其余经 zh_en_atoms.segment 展开——返回 tuple(out);归一抛异常或 t 无字母时返回 tuple(semantic_atoms(t));
93
+ def query_atoms(text):
94
+ """query 侧归一(同 semantic_atoms,缓存——每轮检索全 doc 复用)。
95
+
96
+ 英文 query 汇入同一标准真源(2026-09-14):含 [A-Za-z] 时先经
97
+ en_normalizer 归一为中文语素(复合概念整词映射,beef→牛肉),中文
98
+ 语素再经 segment 展开为标准原子(「牛肉」→「牛 肉」,与 doc 侧
99
+ fm.semantic 的原子形态同构),英文保留词(专名/未登录词)原样
100
+ 占位——是词表覆盖边界,非错误。纯中文 query 零变化(不触发英文
101
+ 分支)。归一失败静默保持原文本(与 en_zh_terms 同降级风格)。
102
+ """
103
+ t = text or ""
104
+ if re.search(r"[A-Za-z]", t):
105
+ try:
106
+ from .en_normalizer import normalize_en_query
107
+ terms, _detail = normalize_en_query(t)
108
+ out = []
109
+ for term in terms:
110
+ if re.search(r"[A-Za-z]", term):
111
+ out.append(term) # 英文保留词原样
112
+ else:
113
+ out.extend(zh_en_atoms.segment(term)) # 中文语素→标准原子
114
+ return tuple(out)
115
+ except Exception:
116
+ pass
117
+ return tuple(semantic_atoms(t))
118
+
119
+
120
+ # 生效条件:`doc_semantic` 经 `semantic_atoms` 切分后相邻原子对集合 pairs 为空(单原子或无原子)时返回 0.0;否则以 `query_atoms(qtext)` 建立 token→位置表,统计两原子位置差绝对值 ≤ `win`(默认形参 WIN)的命中对数 hit,返回 hit/len(pairs)。
121
+ def pair_hits(doc_semantic, qtext, win=WIN):
122
+ """组合窗口共现命中率 ∈ [0,1]。
123
+
124
+ doc 侧:fm.semantic 的相邻原子对集合(标准语义基准上的组合结构);
125
+ query 侧:query_atoms(qtext) 归一序列;
126
+ 命中:对内两原子在 query 序列中窗口 win 内共现。
127
+ 分数 = 命中对数 / doc 对数;doc 无相邻对(单原子摘要)→ 0.0(诚实)。
128
+ """
129
+ doc = semantic_atoms(doc_semantic)
130
+ pairs = {(doc[i], doc[i + 1]) for i in range(len(doc) - 1)}
131
+ if not pairs:
132
+ return 0.0
133
+ q = query_atoms(qtext)
134
+ qset = set(q)
135
+ idx = {}
136
+ for i, t in enumerate(q):
137
+ idx.setdefault(t, []).append(i)
138
+ hit = 0
139
+ for a, b in pairs:
140
+ if a not in qset or b not in qset:
141
+ continue
142
+ if any(abs(i - j) <= win for i in idx[a] for j in idx[b]):
143
+ hit += 1
144
+ return hit / len(pairs)