@furongjun1999/dsh-memory 0.9.6 → 0.9.8

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (233) hide show
  1. package/README.md +150 -662
  2. package/codebuddy/CODEBUDDY.md +333 -204
  3. package/data/policy.json +38 -38
  4. package/docs/README.md +18 -0
  5. package/docs/discipline/harnesses.yaml +11 -3
  6. package/docs/discipline/templates/compact.txt.tmpl +20 -18
  7. package/docs/discipline/templates/full.md.tmpl +63 -61
  8. package/docs/discipline/templates/rules.mdc.tmpl +5 -3
  9. package/docs/discipline/templates/skill.md.tmpl +25 -23
  10. package/docs/discipline/templates/spec.txt.tmpl +2 -2
  11. package/docs/discipline/templates/zcode-user.md.tmpl +1 -1
  12. package/dsh/cordis.yml.example +139 -139
  13. package/lib/hooks.d.ts +19 -0
  14. package/lib/hooks.js +30 -7
  15. package/lib/index.js +18 -3
  16. package/lib/init.js +19 -4
  17. package/lib/lib/hook_audit.js +64 -2
  18. package/lib/lib/prompt_safety.js +14 -3
  19. package/lib/tools.d.ts +7 -0
  20. package/lib/tools.js +22 -1
  21. package/md_cg/_guard_kit.py +121 -121
  22. package/md_cg/anchor.py +114 -114
  23. package/md_cg/audit.py +15 -2
  24. package/md_cg/chain.py +3 -2
  25. package/md_cg/config_registry_guard.py +487 -487
  26. package/md_cg/conformance.py +747 -747
  27. package/md_cg/consolidate.py +1793 -1793
  28. package/md_cg/crypto.py +794 -794
  29. package/md_cg/hyperedge.py +262 -262
  30. package/md_cg/interface_schema.py +146 -146
  31. package/md_cg/lifecycle.py +426 -426
  32. package/md_cg/mdcos.py +12 -8
  33. package/md_cg/predict.py +1103 -1103
  34. package/md_cg/protect.py +654 -654
  35. package/md_cg/provenance.py +606 -606
  36. package/md_cg/queue_health.py +130 -130
  37. package/md_cg/refine.py +613 -613
  38. package/md_cg/retrieve.py +128 -128
  39. package/md_cg/revise.py +140 -140
  40. package/md_cg/rollback.py +657 -657
  41. package/md_cg/rollback_cli.py +124 -124
  42. package/md_cg/rotate.py +346 -346
  43. package/md_cg/routing.py +490 -490
  44. package/md_cg/self_surface.py +50 -50
  45. package/md_cg/semantic/canonical.py +144 -144
  46. package/md_cg/semantic/zh_en_atoms.py +141 -141
  47. package/md_cg/sources.py +1091 -1091
  48. package/md_cg/stg.py +3 -2
  49. package/md_cg/sustain.py +10 -1
  50. package/md_cg/test_audit_rotate_parity.py +279 -279
  51. package/md_cg/test_autonomy_modes.py +2013 -2013
  52. package/md_cg/test_cn_recall_grams.py +206 -206
  53. package/md_cg/test_code_kind_forbidden.py +101 -0
  54. package/md_cg/test_condaccept.py +156 -156
  55. package/md_cg/test_condgate.py +141 -141
  56. package/md_cg/test_heartbeat_ledger.py +9 -3
  57. package/md_cg/test_i50e_readside_protection.py +658 -658
  58. package/md_cg/test_issue111_gate_order.py +76 -76
  59. package/md_cg/test_issue111_scoring_contract.py +86 -86
  60. package/md_cg/test_issue121_calibration_bounds.py +293 -293
  61. package/md_cg/test_issue145_sleep_no_silent_rollback.py +167 -167
  62. package/md_cg/test_issue147_pack_id_escape.py +378 -378
  63. package/md_cg/test_issue148_merge_downgrade_leak.py +192 -192
  64. package/md_cg/test_issue149_accel_default_face.py +248 -248
  65. package/md_cg/test_issue150_empty_query_terms.py +328 -328
  66. package/md_cg/test_issue151_153_157_write_cache_index.py +151 -151
  67. package/md_cg/test_issue152_sealed_postings.py +309 -309
  68. package/md_cg/test_issue153b_index_generation_invalidation.py +142 -142
  69. package/md_cg/test_issue157b_index_remainder.py +344 -344
  70. package/md_cg/test_issue189_conclusion_bidirectional.py +223 -223
  71. package/md_cg/test_issue191_import_trust.py +382 -382
  72. package/md_cg/test_issue193_write_scope.py +378 -378
  73. package/md_cg/test_issue212_writeface_gaps.py +349 -349
  74. package/md_cg/test_issue214_reject_sensitivity.py +266 -266
  75. package/md_cg/test_issue215_condition_source_gap.py +272 -272
  76. package/md_cg/test_issue216_clash_routes.py +214 -214
  77. package/md_cg/test_issue217_slot_routes.py +248 -248
  78. package/md_cg/test_issue218_postcondition_value_blind.py +222 -222
  79. package/md_cg/test_issue258_pack_sensitivity.py +468 -468
  80. package/md_cg/test_issue265_coldverify_multiproc.py +438 -438
  81. package/md_cg/test_issue274_read_node_id_none.py +341 -341
  82. package/md_cg/test_issue275_layer_param.py +250 -250
  83. package/md_cg/test_issue277_node_id_traversal.py +384 -384
  84. package/md_cg/test_issue278_neg_separated_tension.py +271 -271
  85. package/md_cg/test_issue278_neg_window.py +294 -294
  86. package/md_cg/test_issue278_negative_layering.py +83 -83
  87. package/md_cg/test_issue284_skip_not_pass.py +291 -291
  88. package/md_cg/test_issue294_flywheel_sensitivity.py +573 -573
  89. package/md_cg/test_issue301_baseline_corpus_gate.py +245 -245
  90. package/md_cg/test_issue303_design_boundaries.py +262 -262
  91. package/md_cg/test_issue315_merge_branch_sensitivity.py +383 -383
  92. package/md_cg/test_issue319_tenant_unregistered_bypass.py +256 -256
  93. package/md_cg/test_issue321_mcp_deep_json.py +304 -304
  94. package/md_cg/test_issue322_node_write_lock.py +727 -727
  95. package/md_cg/test_issue324_write_size_fields.py +214 -214
  96. package/md_cg/test_issue325_audit_poison.py +229 -229
  97. package/md_cg/test_issue326_ingest_auto_whitelist.py +331 -331
  98. package/md_cg/test_issue326_key_perms.py +355 -355
  99. package/md_cg/test_issue326_twin_parser_parity.py +323 -323
  100. package/md_cg/test_issue326_vm_call_frame.py +569 -569
  101. package/md_cg/test_issue345_writelimit_effective_sens.py +233 -233
  102. package/md_cg/test_issue346_overwrite_sensitivity_gate.py +424 -424
  103. package/md_cg/test_issue348_insight_verify_op.py +199 -199
  104. package/md_cg/test_issue348_merge_rmw_lock.py +345 -345
  105. package/md_cg/test_issue350_casefold_collision.py +235 -235
  106. package/md_cg/test_issue351_ingest_root_fallback.py +201 -201
  107. package/md_cg/test_issue352_imgaudit.py +418 -418
  108. package/md_cg/test_issue352_pathsjson.py +537 -537
  109. package/md_cg/test_issue352_refindex.py +412 -412
  110. package/md_cg/test_issue352_rollback.py +604 -604
  111. package/md_cg/test_issue354_p2_writelimit_toctou.py +327 -327
  112. package/md_cg/test_issue354_rust_index_containment.py +571 -571
  113. package/md_cg/test_issue354_rust_wal_containment.py +606 -606
  114. package/md_cg/test_issue358_truncation_observable.py +247 -247
  115. package/md_cg/test_issue360_tidy_private_excerpt.py +195 -195
  116. package/md_cg/test_issue361_blindspot_not_silent_drop.py +494 -494
  117. package/md_cg/test_issue362_neg_condition.py +468 -468
  118. package/md_cg/test_issue363_lexical_idf.py +275 -275
  119. package/md_cg/test_issue370_readcache_assembly.py +488 -488
  120. package/md_cg/test_issue376_heartbeat_failed.py +293 -293
  121. package/md_cg/test_issue377_layer_protect_stamp.py +324 -324
  122. package/md_cg/test_issue378_protected_floor.py +310 -310
  123. package/md_cg/test_issue383_state_event_write_gate.py +462 -462
  124. package/md_cg/test_issue397_sens_eff_wiring.py +435 -435
  125. package/md_cg/test_issue398_toolface_op_parity.py +511 -511
  126. package/md_cg/test_issue399_hive_json_shape.py +317 -317
  127. package/md_cg/test_issue401_wisdom_codegen.py +295 -295
  128. package/md_cg/test_issue404_heal_receipt.py +389 -389
  129. package/md_cg/test_issue409_compact_index_completeness.py +509 -509
  130. package/md_cg/test_issue410_verify_demote_write.py +366 -366
  131. package/md_cg/test_issue411_scrub_idempotence.py +575 -575
  132. package/md_cg/test_issue412_discipline_producer_parity.py +311 -311
  133. package/md_cg/test_issue413_preimage_failclosed.py +239 -239
  134. package/md_cg/test_issue413_preimage_twin.py +339 -339
  135. package/md_cg/test_issue415_deps_gate_probe.py +357 -357
  136. package/md_cg/test_issue416_entry_key_subset.py +525 -525
  137. package/md_cg/test_issue417_twophase_merge_landed.py +423 -423
  138. package/md_cg/test_issue425_ingest_library_path.py +331 -331
  139. package/md_cg/test_issue426c_enqueue_not_silent.py +346 -346
  140. package/md_cg/test_issue426e_restore_overwrite_live.py +310 -310
  141. package/md_cg/test_issue426f_paths_gbk_failclosed.py +301 -301
  142. package/md_cg/test_issue427_serve_status_shape.py +191 -191
  143. package/md_cg/test_issue431_432_468_protect_single_point.py +322 -322
  144. package/md_cg/test_issue433_outlook_threshold_single_point.py +278 -278
  145. package/md_cg/test_issue434_435_float_gate.py +90 -90
  146. package/md_cg/test_issue439_sibling_sensitivity_inherit.py +448 -448
  147. package/md_cg/test_issue43_default_policy.py +874 -874
  148. package/md_cg/test_issue444_scrub_evidence_plaintext.py +281 -281
  149. package/md_cg/test_issue445_metacognition_ledger_gate.py +454 -454
  150. package/md_cg/test_issue446_453_403_verified_evidence.py +382 -382
  151. package/md_cg/test_issue450_sensitivity_fallback_reason.py +51 -51
  152. package/md_cg/test_issue450_writegate_unknown_sens.py +203 -203
  153. package/md_cg/test_issue451_audit_actor.py +313 -313
  154. package/md_cg/test_issue452_ingest_root_sensitivity.py +299 -299
  155. package/md_cg/test_issue463_ghost_prune_guard.py +259 -259
  156. package/md_cg/test_issue466_basis_registry.py +469 -469
  157. package/md_cg/test_issue467_identity_sensitivity_parity.py +360 -360
  158. package/md_cg/test_issue469_scrub_override_passthrough.py +126 -126
  159. package/md_cg/test_issue470_wal_event_durable.py +427 -427
  160. package/md_cg/test_issue471_identity_readable.py +136 -136
  161. package/md_cg/test_issue472_audit_chain.py +90 -90
  162. package/md_cg/test_issue472_prune_ledger.py +105 -105
  163. package/md_cg/test_issue472_rollback_degraded.py +81 -81
  164. package/md_cg/test_issue491_compose_sandbox.py +460 -460
  165. package/md_cg/test_issue498_merge_trace_stale_index.py +280 -280
  166. package/md_cg/test_issue511_scoreboard_bad_files.py +256 -256
  167. package/md_cg/test_issue521_rotate_lock_suffix.py +110 -110
  168. package/md_cg/test_issue524_orphan_noise_no_demote.py +88 -88
  169. package/md_cg/test_issue525_read_null_semantics.py +52 -52
  170. package/md_cg/test_issue547_append_jsonl_whitelist.py +114 -114
  171. package/md_cg/test_issue547_audit_durable.py +96 -96
  172. package/md_cg/test_issue557_r2_write_entries_size_gate.py +83 -83
  173. package/md_cg/test_issue559_refine_prefix.py +69 -69
  174. package/md_cg/test_issue562_retired_faces.py +150 -0
  175. package/md_cg/test_issue71_queue_backlog.py +376 -376
  176. package/md_cg/test_issue72_coldverify_controlled_drain.py +420 -420
  177. package/md_cg/test_issue82_credential_rules.py +271 -271
  178. package/md_cg/test_issue91_verifier_sandbox.py +314 -314
  179. package/md_cg/test_issue93_remember_redaction.py +282 -282
  180. package/md_cg/test_logref.py +1141 -1141
  181. package/md_cg/test_md_access_parity.py +330 -330
  182. package/md_cg/test_md_cg_no_hive_dep.py +139 -139
  183. package/md_cg/test_mutation_residue.py +119 -119
  184. package/md_cg/test_mutation_rollback.py +835 -835
  185. package/md_cg/test_n123_derive_expiry_chain.py +210 -210
  186. package/md_cg/test_n184_keys_concurrent_provision.py +1 -1
  187. package/md_cg/test_n209_verify_write_face_gates.py +466 -466
  188. package/md_cg/test_n62_tenant_bind_failclosed.py +200 -200
  189. package/md_cg/test_neg_tail_honesty.py +733 -733
  190. package/md_cg/test_p21_tokens.py +294 -294
  191. package/md_cg/test_p27_docindex.py +792 -792
  192. package/md_cg/test_p28_refcheck.py +1053 -1053
  193. package/md_cg/test_p2_six_elements.py +476 -476
  194. package/md_cg/test_p33_ccg_wiring.py +300 -300
  195. package/md_cg/test_p3_legacy_closure.py +438 -438
  196. package/md_cg/test_p40_refine_worklist.py +244 -244
  197. package/md_cg/test_p4_freshness.py +781 -781
  198. package/md_cg/test_p9c_dedup_hints.py +288 -288
  199. package/md_cg/test_policy_required_ccg.py +444 -444
  200. package/md_cg/test_read_scope_b27.py +2 -2
  201. package/md_cg/test_retr_s5.py +312 -312
  202. package/md_cg/test_s1_ast_judge.py +109 -109
  203. package/md_cg/test_security_audit_v21.py +249 -249
  204. package/md_cg/test_state_event_op.py +521 -521
  205. package/md_cg/test_stgidx_index_parity.py +1024 -1024
  206. package/md_cg/test_sustain_bad_stamp.py +178 -0
  207. package/md_cg/test_sustain_bounded.py +652 -652
  208. package/md_cg/test_trust_edge_reachability.py +405 -405
  209. package/md_cg/test_w7_redlines.py +659 -659
  210. package/md_cg/test_write_return_shape.py +919 -919
  211. package/md_cg/test_writepipe.py +228 -228
  212. package/md_cg/trust.py +1114 -1114
  213. package/md_cg/twophase.py +303 -303
  214. package/md_cg/whitebox.py +536 -536
  215. package/md_cg/whitebox_kb/wisdom/compose_engine.py +1634 -1634
  216. package/md_cg/whitebox_kb/wisdom/core/condition_vm.py +318 -318
  217. package/md_cg/whitebox_kb/wisdom/core/parser.py +1082 -1082
  218. package/md_cg/whitebox_kb/wisdom/md_access.py +490 -490
  219. package/md_cg/whitebox_kb/wisdom/migrate_wisdom.py +497 -497
  220. package/md_cg/whitebox_kb/wisdom/mini_python.py +995 -995
  221. package/md_cg/whitebox_kb/wisdom/net_units.py +2900 -2900
  222. package/md_cg/whitebox_kb/wisdom/semantic_translate.py +4060 -4060
  223. package/md_cg/writepipe.py +1337 -1337
  224. package/package.json +3 -2
  225. package/scripts/workspace_index.py +328 -0
  226. package/src/hooks.ts +932 -908
  227. package/src/index.ts +21 -6
  228. package/src/init.ts +16 -4
  229. package/src/lib/hook_audit.ts +48 -2
  230. package/src/lib/mdcg_client.ts +469 -469
  231. package/src/lib/prompt_safety.ts +17 -3
  232. package/src/tools.ts +23 -1
  233. package/zcode/AGENTS.md +333 -204
@@ -1,50 +1,50 @@
1
- # -*- coding: utf-8 -*-
2
- """自我面(self surface)——把「自我认知数据」与「审核裁决审计记录」分开。
3
-
4
- 背景(2026-10-18 实测):self 层 780 条里 769 条是审核裁决审计记录(rev_*),
5
- 真实自我锚点只剩 11 条。原因是 _write_review_record 曾把审计节点写进 self 层
6
- (已改为 structural,只堵住源头),而存量 769 条按方案 C 处理——**不迁移**
7
- (它们带 record_hash 与加密正文、可能被引用,迁移会动 is_protected 判定面),
8
- 改为打 audit_trace 标签 + 在读取面过滤。
9
-
10
- 为什么选「打标签」而不是迁移:
11
- * 零迁移风险:不动文件位置、不动 record_hash 引用、不动层保护判定;
12
- * 语义正确:审计痕迹**应当**在自我面被排除,而不是被搬到别处继续占位;
13
- * 可逆:删标签即回到原状。
14
-
15
- 判据单点:AUDIT_TRACE_TAG。任何需要「真实自我面」的调用方都经 self_surface(),
16
- 不各写一份过滤逻辑(本仓已被「同一语义两份实现」咬过多次)。
17
- """
18
-
19
- __all__ = ["AUDIT_TRACE_TAG", "is_audit_trace", "self_surface"]
20
-
21
- #: 审计痕迹标签。打在审核裁决节点上,表示「这是裁决痕迹,不是自我认知数据」。
22
- AUDIT_TRACE_TAG = "audit_trace"
23
-
24
-
25
- def is_audit_trace(fm):
26
- """该条目是否为审核裁决审计痕迹(按标签判定,缺 tags 视为否)。"""
27
- if not isinstance(fm, dict):
28
- return False
29
- tags = fm.get("tags") or []
30
- return AUDIT_TRACE_TAG in tags
31
-
32
-
33
- def self_surface(cg, include_audit_trace=False):
34
- """返回 self 层的「真实自我面」节点 id 列表。
35
-
36
- include_audit_trace=True 时不过滤(用于审计/排查)。
37
- 排序后返回,保证可复跑(不依赖索引遍历顺序)。
38
- """
39
- idx = getattr(cg, "index", None) or {}
40
- nodes = idx.get("nodes") or {}
41
- out = []
42
- for nid, e in nodes.items():
43
- if not isinstance(e, dict):
44
- continue
45
- if e.get("layer") != "self":
46
- continue
47
- if not include_audit_trace and is_audit_trace(e):
48
- continue
49
- out.append(nid)
50
- return sorted(out)
1
+ # -*- coding: utf-8 -*-
2
+ """自我面(self surface)——把「自我认知数据」与「审核裁决审计记录」分开。
3
+
4
+ 背景(2026-10-18 实测):self 层 780 条里 769 条是审核裁决审计记录(rev_*),
5
+ 真实自我锚点只剩 11 条。原因是 _write_review_record 曾把审计节点写进 self 层
6
+ (已改为 structural,只堵住源头),而存量 769 条按方案 C 处理——**不迁移**
7
+ (它们带 record_hash 与加密正文、可能被引用,迁移会动 is_protected 判定面),
8
+ 改为打 audit_trace 标签 + 在读取面过滤。
9
+
10
+ 为什么选「打标签」而不是迁移:
11
+ * 零迁移风险:不动文件位置、不动 record_hash 引用、不动层保护判定;
12
+ * 语义正确:审计痕迹**应当**在自我面被排除,而不是被搬到别处继续占位;
13
+ * 可逆:删标签即回到原状。
14
+
15
+ 判据单点:AUDIT_TRACE_TAG。任何需要「真实自我面」的调用方都经 self_surface(),
16
+ 不各写一份过滤逻辑(本仓已被「同一语义两份实现」咬过多次)。
17
+ """
18
+
19
+ __all__ = ["AUDIT_TRACE_TAG", "is_audit_trace", "self_surface"]
20
+
21
+ #: 审计痕迹标签。打在审核裁决节点上,表示「这是裁决痕迹,不是自我认知数据」。
22
+ AUDIT_TRACE_TAG = "audit_trace"
23
+
24
+
25
+ def is_audit_trace(fm):
26
+ """该条目是否为审核裁决审计痕迹(按标签判定,缺 tags 视为否)。"""
27
+ if not isinstance(fm, dict):
28
+ return False
29
+ tags = fm.get("tags") or []
30
+ return AUDIT_TRACE_TAG in tags
31
+
32
+
33
+ def self_surface(cg, include_audit_trace=False):
34
+ """返回 self 层的「真实自我面」节点 id 列表。
35
+
36
+ include_audit_trace=True 时不过滤(用于审计/排查)。
37
+ 排序后返回,保证可复跑(不依赖索引遍历顺序)。
38
+ """
39
+ idx = getattr(cg, "index", None) or {}
40
+ nodes = idx.get("nodes") or {}
41
+ out = []
42
+ for nid, e in nodes.items():
43
+ if not isinstance(e, dict):
44
+ continue
45
+ if e.get("layer") != "self":
46
+ continue
47
+ if not include_audit_trace and is_audit_trace(e):
48
+ continue
49
+ out.append(nid)
50
+ return sorted(out)
@@ -1,144 +1,144 @@
1
- #!/usr/bin/env python3
2
- # -*- coding: utf-8 -*-
3
- """灵枢 · 标准语义归一面(词表真源 + AI 写入侧归一 + 组合相遇判据)
4
-
5
- 使用者设想(2026-09-14)四要素与代码边界:
6
- ① 标准语义基准 = atoms.json(815 标准概念,本模块只读加载;LINGSHU_DUAL_SOURCE: independent —— atoms.json 与手写表 zh_en_atoms.ZH_EN 是两份独立词表,见 issue #135);
7
- ② 同义体按基准翻译 = 归一主体是 **AI 写入侧**(AI 自带翻译,add(semantic=...)
8
- 直接传标准原子序列;「荤油→猪油」类同义归一发生在 AI 理解里,
9
- 代码不维护同义表——系统职责收缩为词表+校验);
10
- ③ 归一产物作摘要 = fm.semantic 衍生层(可审查、可版本化);
11
- ④ 真源+原始双保留 = semantic 是 frontmatter 衍生层,正文原文无损——
12
- 归一错误传播仅限摘要层,词表更新后重归一可修复。
13
-
14
- 代码职责(最小三件,全部纯函数):
15
- - atoms_zh() 词表加载(模块级缓存);
16
- - oov_of() OOV 审计(警告不拒绝:词表覆盖有限,拒绝会堵死合法写入;
17
- OOV 列表落 fm.semantic_oov,同时是词表扩容的观测依据);
18
- - pair_hits() 检索面组合窗口共现判据。窗口语义来自 L3 探针实证
19
- (2026-09-14):纯邻接只救 1/3(「羊 的 油」「鱼 里 提 取
20
- 的 油」距离 2/4),win=6 全救 3/3 且受控池零误配;
21
- 开放域「鱼和油分述」的误配风险由组合结构约束兜底
22
- (与 P1 compositions 汇合,b2_comp 臂为共同验收器)。
23
- """
24
- import functools
25
- import json
26
- import os
27
- import re
28
-
29
- from . import zh_en_atoms
30
-
31
- WIN = 6 # 组合共现窗口(token 距离,探针实证口径)
32
- _ATOMS_ZH = None
33
-
34
- # 中文段判据(单点,2026-09-30 检索归一层作用域收窄时立):
35
- # 中文 = CJK 统一表意文字基本区 U+4E00–U+9FFF。与 en_normalizer 分词字符类
36
- # `[A-Za-z\u4e00-\u9fff]` 的中文区间同区间;rust/src/text.rs::is_zh 是同判据的
37
- # Rust 侧单点(两侧归一层共用同一判据;改动须两侧同步,否则 rank_parity 漂移)。
38
- # 消费方:unify.py::unify_query(中文段逐字保留)、rust/src/atoms.rs::Atoms::unify。
39
- ZH_LO, ZH_HI = "\u4e00", "\u9fff"
40
-
41
-
42
- # 生效条件:单参 ch 为长度恰为 1 的 str 时返回 ZH_LO <= ch <= ZH_HI(CJK 基本区);长度 != 1(空串/多字符串)一律返回 False(2026-09-30 清理批次把边界收紧为「长度恰为 1」——此前只在 ch 为空串时为假,多字符串按字典序比较可能被误判为真)。
43
- def is_zh_char(ch):
44
- """中文段判据(单点):CJK 统一表意文字基本区 U+4E00–U+9FFF。
45
-
46
- 边界约定(2026-09-30 清理批次乙2):**仅长度恰为 1 的串可为真**——
47
- 空串与长度 >1 的串一律 False。此前只有空串为假(链式比较
48
- `ZH_LO <= ch` 对空串即假),而多字符串按字典序比较:`is_zh_char("中文")`
49
- 判真(首字符在区间即真)=判据外溢。两侧调用点清点结果:本函数只有
50
- `unify.py::_runs` 与 `test_unify_scope.py::zh_runs` 两处消费,均逐字符
51
- 传入 ⇒ 本收紧对存量行为零变更;Rust 侧 `text.rs::is_zh` 收 `char`,
52
- 天然无空/多字符二态,边界语义两侧一致(docstring 已互指)。
53
- """
54
- return len(ch) == 1 and ZH_LO <= ch <= ZH_HI
55
-
56
-
57
- # 生效条件:模块级常量 `_ATOMS_ZH` 为 None 时按 `__file__` 所在目录的 atoms.json 取 `data.get("atoms", [])` 各项 `zh` 建集合并缓存,非 None 时直接返回 `_ATOMS_ZH`。
58
- def atoms_zh():
59
- """标准语义基准词表(atoms.json 的 zh 概念集,模块级缓存)。"""
60
- global _ATOMS_ZH
61
- if _ATOMS_ZH is None:
62
- p = os.path.join(os.path.dirname(os.path.abspath(__file__)),
63
- "atoms.json")
64
- with open(p, encoding="utf-8") as f:
65
- data = json.load(f)
66
- _ATOMS_ZH = {a["zh"] for a in data.get("atoms", [])}
67
- return _ATOMS_ZH
68
-
69
-
70
- # 生效条件:`text` 为 None 或空串时 `(text or "").split()` 得空序列、返回空列表 out;否则按空白切分后逐段经 `zh_en_atoms.segment` 展开 extend 进 out 并返回。
71
- def semantic_atoms(text):
72
- """semantic 字段容错切分:按空格分段逐段贪心匹配。
73
-
74
- 兼容「鱼油」(AI 给了复合词)与「鱼 油」(AI 直接给原子序列)两种
75
- 写入形态——代码不二次加工 AI 产物,只在读取面做无损容错解析。
76
- 未映射字符原样保留(归一可逆可溯源)。
77
- """
78
- out = []
79
- for part in (text or "").split():
80
- out.extend(zh_en_atoms.segment(part))
81
- return out
82
-
83
-
84
- # 生效条件:`text` 传入后,返回 `semantic_atoms(text)` 结果中不属于 `atoms_zh()` 词表集合的 token 列表(无匹配项时为空列表)。
85
- def oov_of(text):
86
- """OOV 审计:切分产物中不在标准词表的 token 列表(空列表=全部合法)。"""
87
- zh = atoms_zh()
88
- return [a for a in semantic_atoms(text) if a not in zh]
89
-
90
-
91
- @functools.lru_cache(maxsize=256)
92
- # 生效条件:t = text or ""(text 为 None/空串时按 ""),仅当 t 含 [A-Za-z] 时经 normalize_en_query 归一——含字母的 term 原样保留、其余经 zh_en_atoms.segment 展开——返回 tuple(out);归一抛异常或 t 无字母时返回 tuple(semantic_atoms(t));
93
- def query_atoms(text):
94
- """query 侧归一(同 semantic_atoms,缓存——每轮检索全 doc 复用)。
95
-
96
- 英文 query 汇入同一标准真源(2026-09-14):含 [A-Za-z] 时先经
97
- en_normalizer 归一为中文语素(复合概念整词映射,beef→牛肉),中文
98
- 语素再经 segment 展开为标准原子(「牛肉」→「牛 肉」,与 doc 侧
99
- fm.semantic 的原子形态同构),英文保留词(专名/未登录词)原样
100
- 占位——是词表覆盖边界,非错误。纯中文 query 零变化(不触发英文
101
- 分支)。归一失败静默保持原文本(与 en_zh_terms 同降级风格)。
102
- """
103
- t = text or ""
104
- if re.search(r"[A-Za-z]", t):
105
- try:
106
- from .en_normalizer import normalize_en_query
107
- terms, _detail = normalize_en_query(t)
108
- out = []
109
- for term in terms:
110
- if re.search(r"[A-Za-z]", term):
111
- out.append(term) # 英文保留词原样
112
- else:
113
- out.extend(zh_en_atoms.segment(term)) # 中文语素→标准原子
114
- return tuple(out)
115
- except Exception:
116
- pass
117
- return tuple(semantic_atoms(t))
118
-
119
-
120
- # 生效条件:`doc_semantic` 经 `semantic_atoms` 切分后相邻原子对集合 pairs 为空(单原子或无原子)时返回 0.0;否则以 `query_atoms(qtext)` 建立 token→位置表,统计两原子位置差绝对值 ≤ `win`(默认形参 WIN)的命中对数 hit,返回 hit/len(pairs)。
121
- def pair_hits(doc_semantic, qtext, win=WIN):
122
- """组合窗口共现命中率 ∈ [0,1]。
123
-
124
- doc 侧:fm.semantic 的相邻原子对集合(标准语义基准上的组合结构);
125
- query 侧:query_atoms(qtext) 归一序列;
126
- 命中:对内两原子在 query 序列中窗口 win 内共现。
127
- 分数 = 命中对数 / doc 对数;doc 无相邻对(单原子摘要)→ 0.0(诚实)。
128
- """
129
- doc = semantic_atoms(doc_semantic)
130
- pairs = {(doc[i], doc[i + 1]) for i in range(len(doc) - 1)}
131
- if not pairs:
132
- return 0.0
133
- q = query_atoms(qtext)
134
- qset = set(q)
135
- idx = {}
136
- for i, t in enumerate(q):
137
- idx.setdefault(t, []).append(i)
138
- hit = 0
139
- for a, b in pairs:
140
- if a not in qset or b not in qset:
141
- continue
142
- if any(abs(i - j) <= win for i in idx[a] for j in idx[b]):
143
- hit += 1
144
- return hit / len(pairs)
1
+ #!/usr/bin/env python3
2
+ # -*- coding: utf-8 -*-
3
+ """灵枢 · 标准语义归一面(词表真源 + AI 写入侧归一 + 组合相遇判据)
4
+
5
+ 使用者设想(2026-09-14)四要素与代码边界:
6
+ ① 标准语义基准 = atoms.json(815 标准概念,本模块只读加载;LINGSHU_DUAL_SOURCE: independent —— atoms.json 与手写表 zh_en_atoms.ZH_EN 是两份独立词表,见 issue #135);
7
+ ② 同义体按基准翻译 = 归一主体是 **AI 写入侧**(AI 自带翻译,add(semantic=...)
8
+ 直接传标准原子序列;「荤油→猪油」类同义归一发生在 AI 理解里,
9
+ 代码不维护同义表——系统职责收缩为词表+校验);
10
+ ③ 归一产物作摘要 = fm.semantic 衍生层(可审查、可版本化);
11
+ ④ 真源+原始双保留 = semantic 是 frontmatter 衍生层,正文原文无损——
12
+ 归一错误传播仅限摘要层,词表更新后重归一可修复。
13
+
14
+ 代码职责(最小三件,全部纯函数):
15
+ - atoms_zh() 词表加载(模块级缓存);
16
+ - oov_of() OOV 审计(警告不拒绝:词表覆盖有限,拒绝会堵死合法写入;
17
+ OOV 列表落 fm.semantic_oov,同时是词表扩容的观测依据);
18
+ - pair_hits() 检索面组合窗口共现判据。窗口语义来自 L3 探针实证
19
+ (2026-09-14):纯邻接只救 1/3(「羊 的 油」「鱼 里 提 取
20
+ 的 油」距离 2/4),win=6 全救 3/3 且受控池零误配;
21
+ 开放域「鱼和油分述」的误配风险由组合结构约束兜底
22
+ (与 P1 compositions 汇合,b2_comp 臂为共同验收器)。
23
+ """
24
+ import functools
25
+ import json
26
+ import os
27
+ import re
28
+
29
+ from . import zh_en_atoms
30
+
31
+ WIN = 6 # 组合共现窗口(token 距离,探针实证口径)
32
+ _ATOMS_ZH = None
33
+
34
+ # 中文段判据(单点,2026-09-30 检索归一层作用域收窄时立):
35
+ # 中文 = CJK 统一表意文字基本区 U+4E00–U+9FFF。与 en_normalizer 分词字符类
36
+ # `[A-Za-z\u4e00-\u9fff]` 的中文区间同区间;rust/src/text.rs::is_zh 是同判据的
37
+ # Rust 侧单点(两侧归一层共用同一判据;改动须两侧同步,否则 rank_parity 漂移)。
38
+ # 消费方:unify.py::unify_query(中文段逐字保留)、rust/src/atoms.rs::Atoms::unify。
39
+ ZH_LO, ZH_HI = "\u4e00", "\u9fff"
40
+
41
+
42
+ # 生效条件:单参 ch 为长度恰为 1 的 str 时返回 ZH_LO <= ch <= ZH_HI(CJK 基本区);长度 != 1(空串/多字符串)一律返回 False(2026-09-30 清理批次把边界收紧为「长度恰为 1」——此前只在 ch 为空串时为假,多字符串按字典序比较可能被误判为真)。
43
+ def is_zh_char(ch):
44
+ """中文段判据(单点):CJK 统一表意文字基本区 U+4E00–U+9FFF。
45
+
46
+ 边界约定(2026-09-30 清理批次乙2):**仅长度恰为 1 的串可为真**——
47
+ 空串与长度 >1 的串一律 False。此前只有空串为假(链式比较
48
+ `ZH_LO <= ch` 对空串即假),而多字符串按字典序比较:`is_zh_char("中文")`
49
+ 判真(首字符在区间即真)=判据外溢。两侧调用点清点结果:本函数只有
50
+ `unify.py::_runs` 与 `test_unify_scope.py::zh_runs` 两处消费,均逐字符
51
+ 传入 ⇒ 本收紧对存量行为零变更;Rust 侧 `text.rs::is_zh` 收 `char`,
52
+ 天然无空/多字符二态,边界语义两侧一致(docstring 已互指)。
53
+ """
54
+ return len(ch) == 1 and ZH_LO <= ch <= ZH_HI
55
+
56
+
57
+ # 生效条件:模块级常量 `_ATOMS_ZH` 为 None 时按 `__file__` 所在目录的 atoms.json 取 `data.get("atoms", [])` 各项 `zh` 建集合并缓存,非 None 时直接返回 `_ATOMS_ZH`。
58
+ def atoms_zh():
59
+ """标准语义基准词表(atoms.json 的 zh 概念集,模块级缓存)。"""
60
+ global _ATOMS_ZH
61
+ if _ATOMS_ZH is None:
62
+ p = os.path.join(os.path.dirname(os.path.abspath(__file__)),
63
+ "atoms.json")
64
+ with open(p, encoding="utf-8") as f:
65
+ data = json.load(f)
66
+ _ATOMS_ZH = {a["zh"] for a in data.get("atoms", [])}
67
+ return _ATOMS_ZH
68
+
69
+
70
+ # 生效条件:`text` 为 None 或空串时 `(text or "").split()` 得空序列、返回空列表 out;否则按空白切分后逐段经 `zh_en_atoms.segment` 展开 extend 进 out 并返回。
71
+ def semantic_atoms(text):
72
+ """semantic 字段容错切分:按空格分段逐段贪心匹配。
73
+
74
+ 兼容「鱼油」(AI 给了复合词)与「鱼 油」(AI 直接给原子序列)两种
75
+ 写入形态——代码不二次加工 AI 产物,只在读取面做无损容错解析。
76
+ 未映射字符原样保留(归一可逆可溯源)。
77
+ """
78
+ out = []
79
+ for part in (text or "").split():
80
+ out.extend(zh_en_atoms.segment(part))
81
+ return out
82
+
83
+
84
+ # 生效条件:`text` 传入后,返回 `semantic_atoms(text)` 结果中不属于 `atoms_zh()` 词表集合的 token 列表(无匹配项时为空列表)。
85
+ def oov_of(text):
86
+ """OOV 审计:切分产物中不在标准词表的 token 列表(空列表=全部合法)。"""
87
+ zh = atoms_zh()
88
+ return [a for a in semantic_atoms(text) if a not in zh]
89
+
90
+
91
+ @functools.lru_cache(maxsize=256)
92
+ # 生效条件:t = text or ""(text 为 None/空串时按 ""),仅当 t 含 [A-Za-z] 时经 normalize_en_query 归一——含字母的 term 原样保留、其余经 zh_en_atoms.segment 展开——返回 tuple(out);归一抛异常或 t 无字母时返回 tuple(semantic_atoms(t));
93
+ def query_atoms(text):
94
+ """query 侧归一(同 semantic_atoms,缓存——每轮检索全 doc 复用)。
95
+
96
+ 英文 query 汇入同一标准真源(2026-09-14):含 [A-Za-z] 时先经
97
+ en_normalizer 归一为中文语素(复合概念整词映射,beef→牛肉),中文
98
+ 语素再经 segment 展开为标准原子(「牛肉」→「牛 肉」,与 doc 侧
99
+ fm.semantic 的原子形态同构),英文保留词(专名/未登录词)原样
100
+ 占位——是词表覆盖边界,非错误。纯中文 query 零变化(不触发英文
101
+ 分支)。归一失败静默保持原文本(与 en_zh_terms 同降级风格)。
102
+ """
103
+ t = text or ""
104
+ if re.search(r"[A-Za-z]", t):
105
+ try:
106
+ from .en_normalizer import normalize_en_query
107
+ terms, _detail = normalize_en_query(t)
108
+ out = []
109
+ for term in terms:
110
+ if re.search(r"[A-Za-z]", term):
111
+ out.append(term) # 英文保留词原样
112
+ else:
113
+ out.extend(zh_en_atoms.segment(term)) # 中文语素→标准原子
114
+ return tuple(out)
115
+ except Exception:
116
+ pass
117
+ return tuple(semantic_atoms(t))
118
+
119
+
120
+ # 生效条件:`doc_semantic` 经 `semantic_atoms` 切分后相邻原子对集合 pairs 为空(单原子或无原子)时返回 0.0;否则以 `query_atoms(qtext)` 建立 token→位置表,统计两原子位置差绝对值 ≤ `win`(默认形参 WIN)的命中对数 hit,返回 hit/len(pairs)。
121
+ def pair_hits(doc_semantic, qtext, win=WIN):
122
+ """组合窗口共现命中率 ∈ [0,1]。
123
+
124
+ doc 侧:fm.semantic 的相邻原子对集合(标准语义基准上的组合结构);
125
+ query 侧:query_atoms(qtext) 归一序列;
126
+ 命中:对内两原子在 query 序列中窗口 win 内共现。
127
+ 分数 = 命中对数 / doc 对数;doc 无相邻对(单原子摘要)→ 0.0(诚实)。
128
+ """
129
+ doc = semantic_atoms(doc_semantic)
130
+ pairs = {(doc[i], doc[i + 1]) for i in range(len(doc) - 1)}
131
+ if not pairs:
132
+ return 0.0
133
+ q = query_atoms(qtext)
134
+ qset = set(q)
135
+ idx = {}
136
+ for i, t in enumerate(q):
137
+ idx.setdefault(t, []).append(i)
138
+ hit = 0
139
+ for a, b in pairs:
140
+ if a not in qset or b not in qset:
141
+ continue
142
+ if any(abs(i - j) <= win for i in idx[a] for j in idx[b]):
143
+ hit += 1
144
+ return hit / len(pairs)