@furongjun1999/dsh-memory 0.9.6 → 0.9.8

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (233) hide show
  1. package/README.md +150 -662
  2. package/codebuddy/CODEBUDDY.md +333 -204
  3. package/data/policy.json +38 -38
  4. package/docs/README.md +18 -0
  5. package/docs/discipline/harnesses.yaml +11 -3
  6. package/docs/discipline/templates/compact.txt.tmpl +20 -18
  7. package/docs/discipline/templates/full.md.tmpl +63 -61
  8. package/docs/discipline/templates/rules.mdc.tmpl +5 -3
  9. package/docs/discipline/templates/skill.md.tmpl +25 -23
  10. package/docs/discipline/templates/spec.txt.tmpl +2 -2
  11. package/docs/discipline/templates/zcode-user.md.tmpl +1 -1
  12. package/dsh/cordis.yml.example +139 -139
  13. package/lib/hooks.d.ts +19 -0
  14. package/lib/hooks.js +30 -7
  15. package/lib/index.js +18 -3
  16. package/lib/init.js +19 -4
  17. package/lib/lib/hook_audit.js +64 -2
  18. package/lib/lib/prompt_safety.js +14 -3
  19. package/lib/tools.d.ts +7 -0
  20. package/lib/tools.js +22 -1
  21. package/md_cg/_guard_kit.py +121 -121
  22. package/md_cg/anchor.py +114 -114
  23. package/md_cg/audit.py +15 -2
  24. package/md_cg/chain.py +3 -2
  25. package/md_cg/config_registry_guard.py +487 -487
  26. package/md_cg/conformance.py +747 -747
  27. package/md_cg/consolidate.py +1793 -1793
  28. package/md_cg/crypto.py +794 -794
  29. package/md_cg/hyperedge.py +262 -262
  30. package/md_cg/interface_schema.py +146 -146
  31. package/md_cg/lifecycle.py +426 -426
  32. package/md_cg/mdcos.py +12 -8
  33. package/md_cg/predict.py +1103 -1103
  34. package/md_cg/protect.py +654 -654
  35. package/md_cg/provenance.py +606 -606
  36. package/md_cg/queue_health.py +130 -130
  37. package/md_cg/refine.py +613 -613
  38. package/md_cg/retrieve.py +128 -128
  39. package/md_cg/revise.py +140 -140
  40. package/md_cg/rollback.py +657 -657
  41. package/md_cg/rollback_cli.py +124 -124
  42. package/md_cg/rotate.py +346 -346
  43. package/md_cg/routing.py +490 -490
  44. package/md_cg/self_surface.py +50 -50
  45. package/md_cg/semantic/canonical.py +144 -144
  46. package/md_cg/semantic/zh_en_atoms.py +141 -141
  47. package/md_cg/sources.py +1091 -1091
  48. package/md_cg/stg.py +3 -2
  49. package/md_cg/sustain.py +10 -1
  50. package/md_cg/test_audit_rotate_parity.py +279 -279
  51. package/md_cg/test_autonomy_modes.py +2013 -2013
  52. package/md_cg/test_cn_recall_grams.py +206 -206
  53. package/md_cg/test_code_kind_forbidden.py +101 -0
  54. package/md_cg/test_condaccept.py +156 -156
  55. package/md_cg/test_condgate.py +141 -141
  56. package/md_cg/test_heartbeat_ledger.py +9 -3
  57. package/md_cg/test_i50e_readside_protection.py +658 -658
  58. package/md_cg/test_issue111_gate_order.py +76 -76
  59. package/md_cg/test_issue111_scoring_contract.py +86 -86
  60. package/md_cg/test_issue121_calibration_bounds.py +293 -293
  61. package/md_cg/test_issue145_sleep_no_silent_rollback.py +167 -167
  62. package/md_cg/test_issue147_pack_id_escape.py +378 -378
  63. package/md_cg/test_issue148_merge_downgrade_leak.py +192 -192
  64. package/md_cg/test_issue149_accel_default_face.py +248 -248
  65. package/md_cg/test_issue150_empty_query_terms.py +328 -328
  66. package/md_cg/test_issue151_153_157_write_cache_index.py +151 -151
  67. package/md_cg/test_issue152_sealed_postings.py +309 -309
  68. package/md_cg/test_issue153b_index_generation_invalidation.py +142 -142
  69. package/md_cg/test_issue157b_index_remainder.py +344 -344
  70. package/md_cg/test_issue189_conclusion_bidirectional.py +223 -223
  71. package/md_cg/test_issue191_import_trust.py +382 -382
  72. package/md_cg/test_issue193_write_scope.py +378 -378
  73. package/md_cg/test_issue212_writeface_gaps.py +349 -349
  74. package/md_cg/test_issue214_reject_sensitivity.py +266 -266
  75. package/md_cg/test_issue215_condition_source_gap.py +272 -272
  76. package/md_cg/test_issue216_clash_routes.py +214 -214
  77. package/md_cg/test_issue217_slot_routes.py +248 -248
  78. package/md_cg/test_issue218_postcondition_value_blind.py +222 -222
  79. package/md_cg/test_issue258_pack_sensitivity.py +468 -468
  80. package/md_cg/test_issue265_coldverify_multiproc.py +438 -438
  81. package/md_cg/test_issue274_read_node_id_none.py +341 -341
  82. package/md_cg/test_issue275_layer_param.py +250 -250
  83. package/md_cg/test_issue277_node_id_traversal.py +384 -384
  84. package/md_cg/test_issue278_neg_separated_tension.py +271 -271
  85. package/md_cg/test_issue278_neg_window.py +294 -294
  86. package/md_cg/test_issue278_negative_layering.py +83 -83
  87. package/md_cg/test_issue284_skip_not_pass.py +291 -291
  88. package/md_cg/test_issue294_flywheel_sensitivity.py +573 -573
  89. package/md_cg/test_issue301_baseline_corpus_gate.py +245 -245
  90. package/md_cg/test_issue303_design_boundaries.py +262 -262
  91. package/md_cg/test_issue315_merge_branch_sensitivity.py +383 -383
  92. package/md_cg/test_issue319_tenant_unregistered_bypass.py +256 -256
  93. package/md_cg/test_issue321_mcp_deep_json.py +304 -304
  94. package/md_cg/test_issue322_node_write_lock.py +727 -727
  95. package/md_cg/test_issue324_write_size_fields.py +214 -214
  96. package/md_cg/test_issue325_audit_poison.py +229 -229
  97. package/md_cg/test_issue326_ingest_auto_whitelist.py +331 -331
  98. package/md_cg/test_issue326_key_perms.py +355 -355
  99. package/md_cg/test_issue326_twin_parser_parity.py +323 -323
  100. package/md_cg/test_issue326_vm_call_frame.py +569 -569
  101. package/md_cg/test_issue345_writelimit_effective_sens.py +233 -233
  102. package/md_cg/test_issue346_overwrite_sensitivity_gate.py +424 -424
  103. package/md_cg/test_issue348_insight_verify_op.py +199 -199
  104. package/md_cg/test_issue348_merge_rmw_lock.py +345 -345
  105. package/md_cg/test_issue350_casefold_collision.py +235 -235
  106. package/md_cg/test_issue351_ingest_root_fallback.py +201 -201
  107. package/md_cg/test_issue352_imgaudit.py +418 -418
  108. package/md_cg/test_issue352_pathsjson.py +537 -537
  109. package/md_cg/test_issue352_refindex.py +412 -412
  110. package/md_cg/test_issue352_rollback.py +604 -604
  111. package/md_cg/test_issue354_p2_writelimit_toctou.py +327 -327
  112. package/md_cg/test_issue354_rust_index_containment.py +571 -571
  113. package/md_cg/test_issue354_rust_wal_containment.py +606 -606
  114. package/md_cg/test_issue358_truncation_observable.py +247 -247
  115. package/md_cg/test_issue360_tidy_private_excerpt.py +195 -195
  116. package/md_cg/test_issue361_blindspot_not_silent_drop.py +494 -494
  117. package/md_cg/test_issue362_neg_condition.py +468 -468
  118. package/md_cg/test_issue363_lexical_idf.py +275 -275
  119. package/md_cg/test_issue370_readcache_assembly.py +488 -488
  120. package/md_cg/test_issue376_heartbeat_failed.py +293 -293
  121. package/md_cg/test_issue377_layer_protect_stamp.py +324 -324
  122. package/md_cg/test_issue378_protected_floor.py +310 -310
  123. package/md_cg/test_issue383_state_event_write_gate.py +462 -462
  124. package/md_cg/test_issue397_sens_eff_wiring.py +435 -435
  125. package/md_cg/test_issue398_toolface_op_parity.py +511 -511
  126. package/md_cg/test_issue399_hive_json_shape.py +317 -317
  127. package/md_cg/test_issue401_wisdom_codegen.py +295 -295
  128. package/md_cg/test_issue404_heal_receipt.py +389 -389
  129. package/md_cg/test_issue409_compact_index_completeness.py +509 -509
  130. package/md_cg/test_issue410_verify_demote_write.py +366 -366
  131. package/md_cg/test_issue411_scrub_idempotence.py +575 -575
  132. package/md_cg/test_issue412_discipline_producer_parity.py +311 -311
  133. package/md_cg/test_issue413_preimage_failclosed.py +239 -239
  134. package/md_cg/test_issue413_preimage_twin.py +339 -339
  135. package/md_cg/test_issue415_deps_gate_probe.py +357 -357
  136. package/md_cg/test_issue416_entry_key_subset.py +525 -525
  137. package/md_cg/test_issue417_twophase_merge_landed.py +423 -423
  138. package/md_cg/test_issue425_ingest_library_path.py +331 -331
  139. package/md_cg/test_issue426c_enqueue_not_silent.py +346 -346
  140. package/md_cg/test_issue426e_restore_overwrite_live.py +310 -310
  141. package/md_cg/test_issue426f_paths_gbk_failclosed.py +301 -301
  142. package/md_cg/test_issue427_serve_status_shape.py +191 -191
  143. package/md_cg/test_issue431_432_468_protect_single_point.py +322 -322
  144. package/md_cg/test_issue433_outlook_threshold_single_point.py +278 -278
  145. package/md_cg/test_issue434_435_float_gate.py +90 -90
  146. package/md_cg/test_issue439_sibling_sensitivity_inherit.py +448 -448
  147. package/md_cg/test_issue43_default_policy.py +874 -874
  148. package/md_cg/test_issue444_scrub_evidence_plaintext.py +281 -281
  149. package/md_cg/test_issue445_metacognition_ledger_gate.py +454 -454
  150. package/md_cg/test_issue446_453_403_verified_evidence.py +382 -382
  151. package/md_cg/test_issue450_sensitivity_fallback_reason.py +51 -51
  152. package/md_cg/test_issue450_writegate_unknown_sens.py +203 -203
  153. package/md_cg/test_issue451_audit_actor.py +313 -313
  154. package/md_cg/test_issue452_ingest_root_sensitivity.py +299 -299
  155. package/md_cg/test_issue463_ghost_prune_guard.py +259 -259
  156. package/md_cg/test_issue466_basis_registry.py +469 -469
  157. package/md_cg/test_issue467_identity_sensitivity_parity.py +360 -360
  158. package/md_cg/test_issue469_scrub_override_passthrough.py +126 -126
  159. package/md_cg/test_issue470_wal_event_durable.py +427 -427
  160. package/md_cg/test_issue471_identity_readable.py +136 -136
  161. package/md_cg/test_issue472_audit_chain.py +90 -90
  162. package/md_cg/test_issue472_prune_ledger.py +105 -105
  163. package/md_cg/test_issue472_rollback_degraded.py +81 -81
  164. package/md_cg/test_issue491_compose_sandbox.py +460 -460
  165. package/md_cg/test_issue498_merge_trace_stale_index.py +280 -280
  166. package/md_cg/test_issue511_scoreboard_bad_files.py +256 -256
  167. package/md_cg/test_issue521_rotate_lock_suffix.py +110 -110
  168. package/md_cg/test_issue524_orphan_noise_no_demote.py +88 -88
  169. package/md_cg/test_issue525_read_null_semantics.py +52 -52
  170. package/md_cg/test_issue547_append_jsonl_whitelist.py +114 -114
  171. package/md_cg/test_issue547_audit_durable.py +96 -96
  172. package/md_cg/test_issue557_r2_write_entries_size_gate.py +83 -83
  173. package/md_cg/test_issue559_refine_prefix.py +69 -69
  174. package/md_cg/test_issue562_retired_faces.py +150 -0
  175. package/md_cg/test_issue71_queue_backlog.py +376 -376
  176. package/md_cg/test_issue72_coldverify_controlled_drain.py +420 -420
  177. package/md_cg/test_issue82_credential_rules.py +271 -271
  178. package/md_cg/test_issue91_verifier_sandbox.py +314 -314
  179. package/md_cg/test_issue93_remember_redaction.py +282 -282
  180. package/md_cg/test_logref.py +1141 -1141
  181. package/md_cg/test_md_access_parity.py +330 -330
  182. package/md_cg/test_md_cg_no_hive_dep.py +139 -139
  183. package/md_cg/test_mutation_residue.py +119 -119
  184. package/md_cg/test_mutation_rollback.py +835 -835
  185. package/md_cg/test_n123_derive_expiry_chain.py +210 -210
  186. package/md_cg/test_n184_keys_concurrent_provision.py +1 -1
  187. package/md_cg/test_n209_verify_write_face_gates.py +466 -466
  188. package/md_cg/test_n62_tenant_bind_failclosed.py +200 -200
  189. package/md_cg/test_neg_tail_honesty.py +733 -733
  190. package/md_cg/test_p21_tokens.py +294 -294
  191. package/md_cg/test_p27_docindex.py +792 -792
  192. package/md_cg/test_p28_refcheck.py +1053 -1053
  193. package/md_cg/test_p2_six_elements.py +476 -476
  194. package/md_cg/test_p33_ccg_wiring.py +300 -300
  195. package/md_cg/test_p3_legacy_closure.py +438 -438
  196. package/md_cg/test_p40_refine_worklist.py +244 -244
  197. package/md_cg/test_p4_freshness.py +781 -781
  198. package/md_cg/test_p9c_dedup_hints.py +288 -288
  199. package/md_cg/test_policy_required_ccg.py +444 -444
  200. package/md_cg/test_read_scope_b27.py +2 -2
  201. package/md_cg/test_retr_s5.py +312 -312
  202. package/md_cg/test_s1_ast_judge.py +109 -109
  203. package/md_cg/test_security_audit_v21.py +249 -249
  204. package/md_cg/test_state_event_op.py +521 -521
  205. package/md_cg/test_stgidx_index_parity.py +1024 -1024
  206. package/md_cg/test_sustain_bad_stamp.py +178 -0
  207. package/md_cg/test_sustain_bounded.py +652 -652
  208. package/md_cg/test_trust_edge_reachability.py +405 -405
  209. package/md_cg/test_w7_redlines.py +659 -659
  210. package/md_cg/test_write_return_shape.py +919 -919
  211. package/md_cg/test_writepipe.py +228 -228
  212. package/md_cg/trust.py +1114 -1114
  213. package/md_cg/twophase.py +303 -303
  214. package/md_cg/whitebox.py +536 -536
  215. package/md_cg/whitebox_kb/wisdom/compose_engine.py +1634 -1634
  216. package/md_cg/whitebox_kb/wisdom/core/condition_vm.py +318 -318
  217. package/md_cg/whitebox_kb/wisdom/core/parser.py +1082 -1082
  218. package/md_cg/whitebox_kb/wisdom/md_access.py +490 -490
  219. package/md_cg/whitebox_kb/wisdom/migrate_wisdom.py +497 -497
  220. package/md_cg/whitebox_kb/wisdom/mini_python.py +995 -995
  221. package/md_cg/whitebox_kb/wisdom/net_units.py +2900 -2900
  222. package/md_cg/whitebox_kb/wisdom/semantic_translate.py +4060 -4060
  223. package/md_cg/writepipe.py +1337 -1337
  224. package/package.json +3 -2
  225. package/scripts/workspace_index.py +328 -0
  226. package/src/hooks.ts +932 -908
  227. package/src/index.ts +21 -6
  228. package/src/init.ts +16 -4
  229. package/src/lib/hook_audit.ts +48 -2
  230. package/src/lib/mdcg_client.ts +469 -469
  231. package/src/lib/prompt_safety.ts +17 -3
  232. package/src/tools.ts +23 -1
  233. package/zcode/AGENTS.md +333 -204
package/md_cg/stg.py CHANGED
@@ -138,7 +138,7 @@ def _node(cg, node_id):
138
138
  "content": n.get("content") or ""}
139
139
 
140
140
 
141
- # 生效条件:nid/e 为一条快照条目、layer 为层过滤值时——layer 为真值且 e.get("layer") != layer 即返回 None;lifecycle.is_archived(e) 为真即返回 None(退役不参与默认检索,判据单点在 lifecycle.py);cg 带可调用的 _readable(MdCGSecure)且判不可见即返回 None;e 含 "temporal" 或 "spatial" 键时以快照字段构造 frontmatter,否则调用 cg._read(e) 且在 fm 为 None 时返回 None;返回 {"id","frontmatter","layer","path"}。
141
+ # 生效条件:nid/e 为一条快照条目、layer 为层过滤值时——layer 为真值且 e.get("layer") != layer 即返回 None;lifecycle.is_retired(e) 为真(archived ∪ superseded,#562)即返回 None(退役不参与默认检索,判据单点在 lifecycle.py);cg 带可调用的 _readable(MdCGSecure)且判不可见即返回 None;e 含 "temporal" 或 "spatial" 键时以快照字段构造 frontmatter,否则调用 cg._read(e) 且在 fm 为 None 时返回 None;返回 {"id","frontmatter","layer","path"}。
142
142
  def _scan_one(cg, nid, e, layer=None):
143
143
  """单条目 → 候选条目(`_scan` 的逐条实现**单点**:全量遍历与索引子集共用)。
144
144
 
@@ -148,7 +148,8 @@ def _scan_one(cg, nid, e, layer=None):
148
148
  """
149
149
  if layer and e.get("layer") != layer:
150
150
  return None
151
- if lifecycle.is_archived(e):
151
+ # #562:timeline/anchors/consistency 的候选面按退役面(archived ∪ superseded)剔除。
152
+ if lifecycle.is_retired(e):
152
153
  return None # lifecycle.py:42 标称兑现:archived 不参与默认检索。
153
154
  # 本处是 **stg 扫描面单点**(`_scan`(:172) 的全量遍历与
154
155
  # 索引子集两条分支都经本函数逐条实现)——timeline /
package/md_cg/sustain.py CHANGED
@@ -192,7 +192,16 @@ def read_stamp(name: str, d: str = None):
192
192
  return None
193
193
  if not isinstance(rec, dict):
194
194
  return None
195
- rec["age"] = max(0.0, time.time() - float(rec.get("ts") or 0))
195
+ # 契约(本函数文档串「不存在 / 损坏 → None」):`ts` 非数值也算损坏。
196
+ # 修前 `float(rec.get("ts") or 0)` 只挡了假值(None/0/""),`ts="abc"` 这类
197
+ # **合法 JSON 里的非法值**会抛 ValueError 穿出本函数;而 peers() 在循环里
198
+ # 直接调本函数、无 try —— 一个坏戳会让**整个 peers() 失败**,同目录下所有
199
+ # 健康节点的状态一并丢失(实测:4 戳含 1 坏 → peers() 抛错;删坏戳 → 恢复 3 条)。
200
+ try:
201
+ ts = float(rec.get("ts") or 0)
202
+ except (TypeError, ValueError):
203
+ return None
204
+ rec["age"] = max(0.0, time.time() - ts)
196
205
  return rec
197
206
 
198
207
 
@@ -1,280 +1,280 @@
1
- # -*- coding: utf-8 -*-
2
- """A2 共享件守卫:审计轮转「改前/改后逐位不变」+ 两侧同源(md_cg.rotate.Rotator)。
3
-
4
- 背景(2026-10-10 设计者裁定 A2):把 `mdcos` 的审计分片轮转抽成**参数化共享件**
5
- `md_cg/rotate.Rotator`,让 `mdcos` 的 `_audit.jsonl` 轮转与 `crypto.audit` 的
6
- `_crypto.jsonl` 轮转**同时改调它**。硬要求是**审计侧行为逐位不变**。
7
-
8
- 本守卫的证据形态(可复现、非自证):
9
- ① 固定序列 + **冻结时钟** ⇒ `_audit.jsonl` / 归档分片 / 归档索引 字节确定;
10
- 与**改动前**(同一序列真跑)捕获的 sha256 常量逐位比对——任何漂移即红。
11
- ② 两侧同源:`MdCGOS._audit_rot` 与 `crypto._rotator(root)` 是**同一个类对象**
12
- (`md_cg.rotate.Rotator`)。
13
- ③ 源面:轮转实现体已从 `mdcos.py` 抽出(旧 `publish(self.audit_log, dst)` 不再
14
- 出现在 mdcos),`crypto.audit` 已接共享件(`maybe_rotate()` 在位)。
15
- ③d **独立实现扫描(2026-10-10 DSH 端独立复核补)**:全仓 .py 里构造分片名
16
- (basename 加 6 位零填充序号 + `.jsonl`)的文件集合必须**恰好**等于已声明集
17
- `{md_cg/rotate.py, md_cg/sustain.py}`——`rotate.py` 自述此前写「轮转机制唯一
18
- 实现点」,与 `sustain.py::rotate_heartbeat` 自带第三份独立轮转的事实不符;
19
- 现订正措辞,并让本断言在「他处存在/新增独立实现」时**点名到具体文件**。
20
-
21
- 运行:python -m md_cg.test_audit_rotate_parity
22
- """
23
- # ============================ issue #472 · 判据形态变更登记(**必读**)============================
24
- # 【登记 1 · 契约/基准形态变更】**本守卫的判据形态已于 2026-10-15 因 #472 变更**:
25
- # 原因:#472 给每条审计记录加了 `prev`/`sig`(审计追加段哈希链),使**每行字节变长**
26
- # => `AUDIT_ROTATE_BYTES=2048` 是**按字节**触发轮转 => **轮转切分点提前** =>
27
- # 实测分片编号由 golden 表的 **000002/000003/000004** 变为 **000005/000006/000007**。
28
- # => 因此「**除 `prev`/`sig` 外其余字节逐位不变**」这条收窄**实测不可达**:剥离链字段能还原**行内**
29
- # 字节,**还原不了「哪一段落在哪个分片」**——那是**结构**,由**未剥离时的字节长度**决定。
30
- # => **变更方向(Lead 裁定走 A′)**:把「与某时点的整字节快照逐位相同」降级为「**结构不变量**」,即
31
- # 判据落在**轮转语义本身**(分片数 = ceil(总字节/阈值) · 索引与分片一致 · `keep_shards` 生效),
32
- # 而**不再与任何 golden 比字节**。理由:**契约不随行长度变化,故不陈化**;而时点快照**必然陈化**,
33
- # 本件就是它的第一个反例。
34
- # ★ **本变更源于一次实测推翻,不是设计偏好**(Lead 原话:这是第三条被实测推翻的判据形态,前两条是
35
- # `O_APPEND` 单次写原子性 与 `VERB_SPECS` 当写面轴;三次都是被「**先报覆盖域/先报机制**」这条要求拦下的)。
36
- #
37
- # 【登记 2 · 新形态「**差集 ≠ 新增**」】**「不在清单里」不等于「不存在」;做差集前必须先判「清单是否穷举」。**
38
- # 本次实例:我把 `os.walk` 全量枚举(**7 个文件**)与 golden 表(**5 格**)做差集,得到 2 个「新增」,
39
- # 其中**只有 1 个是本件真产物**(`_audit_archive/_prune_ledger.jsonl`,站点 3 的对账单),
40
- # 另 1 个(`_audit.rotate.lock.lock`)**是既有物**—— golden 表本就是**选择性清单**,不是「root 下全部文件」。
41
- # ★ 与本会话已有两条相邻形态:「**字面/名字 ≠ 语义**」·「**上游读数照抄**」。
42
- #
43
- # 【登记 3 · 已发现的既有缺陷(**不在本件范围**)】**`_audit.rotate.lock.lock` = 后缀拼接职责重叠**:
44
- # · `md_cg/rotate.py:98` 生效条件:`lock_name` 缺省 **`basename + ".rotate.lock"`**;
45
- # · `md_cg/rotate.py` 的 `self.lock_path`(**修前** `(basename + ".rotate.lock")` => 已含 `.lock`;
46
- # **#521 已修**:现为 `(basename + ".rotate")`,由 `FileLock` 补 `.lock` ⇒ 单后缀);← 此行号锚已改为语义锚(#521 改动使其平移)
47
- # · `md_cg/fsutil.py:124` `self.path = path + ".lock"` => **FileLock 又加一次** => `.rotate.lock.lock`。
48
- # · 取证:`rotate.py:269` 的 `FileLock(self.lock_path)` 在**既有** `rotate()/maybe_rotate()` 里;
49
- # golden 那次运行**确实发生过轮转**(表里有 000002/3/4)=> **那次必然走过 `:269`** =>
50
- # **该锁文件是既有现象,不是 #472 引入的**。
51
- # · 处置:**本件不修**(改 `lock_name` 是改既有行为、有既有消费者,属扩面;且本件是 SEC·P1 审计链,
52
- # 并进来会把两件事混在一批)=> **单开独立 issue**;本件只**显式登记**,不删、不绕过(删/绕过会掩盖问题)。
53
- # · **为何本守卫不列它**:它是**运行期残留**(判据面不稳定);本守卫沿用**选择性清单**口径,
54
- # 并在本登记里显式说明「为何不列」—— 否则下一个人会再问「这两个文件哪去了」,而那正是登记 2 的成因。
55
- # =================================================================================================
56
- from __future__ import annotations
57
- import json
58
-
59
- import hashlib
60
- import os
61
- import shutil
62
- import tempfile
63
-
64
- from . import crypto
65
- from . import mdcos as mdcos_mod
66
- from . import rotate as rotate_mod
67
- from .mdcos import MdCGOS
68
-
69
- PASS = FAIL = 0
70
- FAILS = []
71
-
72
- #: 改动前(抽出共享件之前,同一序列真跑)捕获的字节指纹。**判据常量**——
73
- #: 改后任一处字节漂移 ⇒ 逐位比对失败(这就是「审计侧逐位不变」的可执行断言)。
74
- #:
75
- #: **平台维度(2026-10-10 DSH 端复核,根因判定)**:golden 必须按平台区分——
76
- #: 同一序列在 Windows 与 Linux 上**改动前**就产出不同字节。根因:`fsutil.append_jsonl`
77
- #: 以 `os.open`/`os.write` 写日志,Windows 的 fd 默认文本模式把 `\n` 翻成 `\r\n`
78
- #: (Linux 为二进制、保持 `\n`),每条记录多 1 字节;分片/索引里记录的 `bytes`
79
- #: 尺寸随之差 9(= 每片行数)。**这不是共享件引入的行为改变**:改动前的代码在真
80
- #: Linux 容器里跑同一序列,产出与改动后**逐位相同**(即 CI 报出的 got 值就是
81
- #: 改动前的 Linux 值)⇒ 判定为「golden 未声明平台」,非 `rotate.py` 真改行为。
82
- #: 故两张表各自锁「本平台改动前后逐位不变」,判别力不削。
83
- _GOLDEN_FROZEN_TS = 1700000000.0
84
- _GOLDEN_WIN = {
85
- "_audit.jsonl":
86
- "ada0801b4e5764723b896df75500474879a7118010514ebac19912fdfbe4367c",
87
- "_audit_archive/_audit.000002.jsonl":
88
- "777d0008d21e8f6d044a26a1aef92c8e2b58f76084c0047c6585891dafc2066c",
89
- "_audit_archive/_audit.000003.jsonl":
90
- "4bdb34c7b9d227a8959b21c81b2b45afcb0460ece2431043ba1e2b207620319f",
91
- "_audit_archive/_audit.000004.jsonl":
92
- "7044512d3b3a95b4db039bbc18f94196e59ed9acb7f9ac7e22633ca5aede28a6",
93
- "_audit_archive/_index.json":
94
- "186ff64d9f51a0183528e2f2d57da74997d6a15ee560bfbc08d6660d1ad42fc6",
95
- }
96
- _GOLDEN_LIN = {
97
- "_audit.jsonl":
98
- "91dcc9231e2b0992df91fcece56546eaf7dbe5353e4fb43f7d4914b7b925f676",
99
- "_audit_archive/_audit.000002.jsonl":
100
- "268e7e36f93c7db3b52c279aae0407496efbcb021f37c8d0e5ab3053a69a2501",
101
- "_audit_archive/_audit.000003.jsonl":
102
- "82e6a57db8ccb9ed82ddaef5cb2c475b224aba1998f2dbb119a6e2a54790fd7b",
103
- "_audit_archive/_audit.000004.jsonl":
104
- "d2d72a856e4421a3c336607466c124cfc5bd0929eee45727efd98fcfd882b8f8",
105
- "_audit_archive/_index.json":
106
- "643deb64679cfbeeada4e55902e7bb8c731ad4877654e8a3d2c2848429ea82da",
107
- }
108
- #: 按运行平台选表(Windows fd 文本模式 ⇒ CRLF;Linux 二进制 ⇒ LF)。
109
- _GOLDEN = _GOLDEN_WIN if os.name == "nt" else _GOLDEN_LIN
110
- _PLATFORM = "win" if os.name == "nt" else "lin"
111
-
112
-
113
- def ok(cond, label):
114
- global PASS, FAIL
115
- if cond:
116
- PASS += 1
117
- else:
118
- FAIL += 1
119
- FAILS.append(label)
120
- print(f" FAIL {label}")
121
-
122
-
123
- class _Frozen(object):
124
- """冻结时源:轮转自述与索引时间戳据此确定(否则哈希不可复现)。"""
125
-
126
- @staticmethod
127
- def time():
128
- return _GOLDEN_FROZEN_TS
129
-
130
-
131
- def _sha(path):
132
- h = hashlib.sha256()
133
- with open(path, "rb") as f:
134
- for chunk in iter(lambda: f.read(1 << 20), b""):
135
- h.update(chunk)
136
- return h.hexdigest()
137
-
138
-
139
- def _read_src(name):
140
- with open(os.path.join(os.path.dirname(os.path.abspath(__file__)), name),
141
- "r", encoding="utf-8") as f:
142
- return f.read()
143
-
144
-
145
- #: 分片名构造式(防本守卫自命中:写成拼接式,文件内不出现完整字面量)。
146
- _SHARD_MARK = "%0" + "6d.jsonl"
147
- #: 已声明的独立轮转实现(`rotate.Rotator` 之外):心跳台账自带一份。
148
- # issue #472:md_cg/test_issue472_prune_ledger.py 是站点 3 的测试夹具(真造分片),非独立轮转实现;
149
- # 它必然引用分片名构造式,故按 3d 的设计意图显式声明(3d 抓的正是新出现的构造式必须被声明)。
150
- _DECLARED_ROTATORS = {"md_cg/rotate.py", "md_cg/sustain.py"}
151
- _DECLARED_ROTATORS = _DECLARED_ROTATORS | {"md_cg/test_issue472_prune_ledger.py"}
152
-
153
-
154
- def _scan_shard_builders():
155
- """全仓 .py 里构造零填充分片名(basename + 6 位序号 + `.jsonl`)的文件。
156
-
157
- 归一化为仓内相对路径;跳过 `.git` 等点目录与构建产物目录,并排除本守卫
158
- 自身(它必须引用该构造式做扫描)。
159
- """
160
- root = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
161
- me = os.path.relpath(os.path.abspath(__file__), root).replace("\\", "/")
162
- hits = set()
163
- skip = {"node_modules", "target", "__pycache__", "venv", "build", "dist"}
164
- for dirpath, dirnames, filenames in os.walk(root):
165
- dirnames[:] = [d for d in dirnames
166
- if d not in skip and not d.startswith(".")]
167
- for fn in filenames:
168
- if not fn.endswith(".py"):
169
- continue
170
- p = os.path.join(dirpath, fn)
171
- rel = os.path.relpath(p, root).replace("\\", "/")
172
- if rel == me:
173
- continue
174
- try:
175
- with open(p, "r", encoding="utf-8", errors="replace") as f:
176
- txt = f.read()
177
- except OSError:
178
- continue
179
- if _SHARD_MARK in txt:
180
- hits.add(rel)
181
- return hits
182
-
183
-
184
- def main():
185
- tmp = tempfile.mkdtemp(prefix="mdcg_a2_parity_")
186
- orig_time = mdcos_mod.time
187
- try:
188
- # ---------- ① 逐位不变:固定序列 + 冻结时钟 ----------
189
- mdcos_mod.time = _Frozen
190
- root = os.path.join(tmp, "root")
191
- os.makedirs(root)
192
- cg = MdCGOS(root)
193
- cg.AUDIT_ROTATE_BYTES = 2048
194
- cg.AUDIT_KEEP_SHARDS = 3
195
- cg.AUDIT_PROBE_EVERY = 1
196
- for i in range(40):
197
- cg._audit("add", "node_%d" % i, pad="z" * 160)
198
- cg.close()
199
- mdcos_mod.time = orig_time
200
-
201
- # #472 A-prime:旧整字节 golden 比对已按裁定停用(见文件头登记 1);判据改由下方结构不变量承载。
202
- for rel, want in []:
203
- got = _sha(os.path.join(root, rel))
204
- ok(got == want,
205
- "①逐位不变[%s] %s(%s == %s)" % (_PLATFORM, rel, got[:16],
206
- want[:16]))
207
-
208
- # ---------- ①'(issue #472 A')结构不变量:判据落在轮转语义,不再比 golden 字节 ----------
209
- _arch = os.path.join(root, '_audit_archive')
210
- _sh = sorted(n for n in os.listdir(_arch) if n.startswith('_audit.') and n.endswith('.jsonl'))
211
- _cnt = {}
212
- for _n in _sh:
213
- _cnt[_n] = sum(1 for _l in open(os.path.join(_arch, _n), encoding='utf-8') if _l.strip())
214
- print(' [读数·结构] 分片=%s 每片条数=%s' % (_sh, _cnt))
215
- ok(all(int(_sh[i][7:13]) + 1 == int(_sh[i + 1][7:13]) for i in range(len(_sh) - 1)), 'S1 分片名升序且序号连续')
216
- ok(all(v > 0 for v in _cnt.values()), 'S2 每片条数均 > 0(无空分片)')
217
- _idx = json.load(open(os.path.join(_arch, '_index.json'), encoding='utf-8'))
218
- ok(set(_idx.keys()) == set(_sh), 'S3 索引与分片集合一致(键集 == 分片名集合)')
219
- ok(len(_sh) == 3, 'S4 AUDIT_KEEP_SHARDS 生效(保留数 == 3)')
220
- _root2 = os.path.join(tmp, 'root_mut')
221
- os.makedirs(_root2)
222
- mdcos_mod.time = _Frozen
223
- cg_m = MdCGOS(_root2)
224
- cg_m.AUDIT_ROTATE_BYTES = 4096
225
- cg_m.AUDIT_KEEP_SHARDS = 3
226
- cg_m.AUDIT_PROBE_EVERY = 1
227
- for i in range(40):
228
- cg_m._audit('add', 'node_%d' % i, pad='z' * 160)
229
- cg_m.close()
230
- mdcos_mod.time = orig_time
231
- _arch2 = os.path.join(_root2, '_audit_archive')
232
- _sh2 = sorted(n for n in os.listdir(_arch2) if n.startswith('_audit.') and n.endswith('.jsonl'))
233
- print(' [读数·对照] 改阈值 4096 后分片=%s' % _sh2)
234
- ok(_sh2 != _sh, 'S5 件 5 对照断言:故意改一处轮转结构 => 分片集合必变(结构判据会红)')
235
- # ---------- ② 两侧同源:同一个 Rotator 类对象 ----------
236
- cg2 = MdCGOS(os.path.join(tmp, "root2"))
237
- crypto.CRYPTO_ROTATE_BYTES = 1 << 30
238
- try:
239
- r_crypto = crypto._rotator(cg2.root)
240
- ok(type(cg2._audit_rot) is rotate_mod.Rotator
241
- and type(r_crypto) is rotate_mod.Rotator
242
- and type(cg2._audit_rot) is type(r_crypto),
243
- "②两侧同源:mdcos._audit_rot 与 crypto._rotator 均为同一个 "
244
- "md_cg.rotate.Rotator 类")
245
- finally:
246
- crypto.CRYPTO_ROTATE_BYTES = 64 << 20
247
- cg2.close()
248
-
249
- # ---------- ③ 源面:实现体已抽出、crypto 已接线 ----------
250
- s_mdcos = _read_src("mdcos.py")
251
- s_crypto = _read_src("crypto.py")
252
- s_rotate = _read_src("rotate.py")
253
- ok("publish(self.audit_log, dst)" not in s_mdcos
254
- and "self._audit_rot" in s_mdcos,
255
- "③a mdcos 轮转实现体已抽出(旧 publish 体不在 mdcos,改走 _audit_rot)")
256
- ok("class Rotator" in s_rotate and "def maybe_rotate" in s_rotate,
257
- "③b md_cg/rotate.py 是审计/密文两路共用实现(class Rotator);"
258
- "心跳另有独立轮转见 ③d")
259
- ok("_rotator(root).maybe_rotate()" in s_crypto,
260
- "③c crypto.audit 已接共享件(写前轮转闸门在位)")
261
- # ③d 独立实现扫描:分片名构造者集合必须恰好等于已声明集。
262
- hits = _scan_shard_builders()
263
- extra = sorted(hits - _DECLARED_ROTATORS)
264
- ok(hits == _DECLARED_ROTATORS,
265
- "③d 独立轮转实现扫描:构造零填充分片名的文件集 = %s(应为 %s;"
266
- "未声明/新增的独立实现 = %s)"
267
- % (sorted(hits), sorted(_DECLARED_ROTATORS), extra or "无"))
268
- finally:
269
- mdcos_mod.time = orig_time
270
- shutil.rmtree(tmp, ignore_errors=True)
271
-
272
- print(f"\naudit_rotate_parity: {PASS} pass / {FAIL} fail")
273
- if FAILS:
274
- for f in FAILS:
275
- print(f" - {f}")
276
- raise SystemExit(1 if FAIL else 0)
277
-
278
-
279
- if __name__ == "__main__":
1
+ # -*- coding: utf-8 -*-
2
+ """A2 共享件守卫:审计轮转「改前/改后逐位不变」+ 两侧同源(md_cg.rotate.Rotator)。
3
+
4
+ 背景(2026-10-10 设计者裁定 A2):把 `mdcos` 的审计分片轮转抽成**参数化共享件**
5
+ `md_cg/rotate.Rotator`,让 `mdcos` 的 `_audit.jsonl` 轮转与 `crypto.audit` 的
6
+ `_crypto.jsonl` 轮转**同时改调它**。硬要求是**审计侧行为逐位不变**。
7
+
8
+ 本守卫的证据形态(可复现、非自证):
9
+ ① 固定序列 + **冻结时钟** ⇒ `_audit.jsonl` / 归档分片 / 归档索引 字节确定;
10
+ 与**改动前**(同一序列真跑)捕获的 sha256 常量逐位比对——任何漂移即红。
11
+ ② 两侧同源:`MdCGOS._audit_rot` 与 `crypto._rotator(root)` 是**同一个类对象**
12
+ (`md_cg.rotate.Rotator`)。
13
+ ③ 源面:轮转实现体已从 `mdcos.py` 抽出(旧 `publish(self.audit_log, dst)` 不再
14
+ 出现在 mdcos),`crypto.audit` 已接共享件(`maybe_rotate()` 在位)。
15
+ ③d **独立实现扫描(2026-10-10 DSH 端独立复核补)**:全仓 .py 里构造分片名
16
+ (basename 加 6 位零填充序号 + `.jsonl`)的文件集合必须**恰好**等于已声明集
17
+ `{md_cg/rotate.py, md_cg/sustain.py}`——`rotate.py` 自述此前写「轮转机制唯一
18
+ 实现点」,与 `sustain.py::rotate_heartbeat` 自带第三份独立轮转的事实不符;
19
+ 现订正措辞,并让本断言在「他处存在/新增独立实现」时**点名到具体文件**。
20
+
21
+ 运行:python -m md_cg.test_audit_rotate_parity
22
+ """
23
+ # ============================ issue #472 · 判据形态变更登记(**必读**)============================
24
+ # 【登记 1 · 契约/基准形态变更】**本守卫的判据形态已于 2026-10-15 因 #472 变更**:
25
+ # 原因:#472 给每条审计记录加了 `prev`/`sig`(审计追加段哈希链),使**每行字节变长**
26
+ # => `AUDIT_ROTATE_BYTES=2048` 是**按字节**触发轮转 => **轮转切分点提前** =>
27
+ # 实测分片编号由 golden 表的 **000002/000003/000004** 变为 **000005/000006/000007**。
28
+ # => 因此「**除 `prev`/`sig` 外其余字节逐位不变**」这条收窄**实测不可达**:剥离链字段能还原**行内**
29
+ # 字节,**还原不了「哪一段落在哪个分片」**——那是**结构**,由**未剥离时的字节长度**决定。
30
+ # => **变更方向(Lead 裁定走 A′)**:把「与某时点的整字节快照逐位相同」降级为「**结构不变量**」,即
31
+ # 判据落在**轮转语义本身**(分片数 = ceil(总字节/阈值) · 索引与分片一致 · `keep_shards` 生效),
32
+ # 而**不再与任何 golden 比字节**。理由:**契约不随行长度变化,故不陈化**;而时点快照**必然陈化**,
33
+ # 本件就是它的第一个反例。
34
+ # ★ **本变更源于一次实测推翻,不是设计偏好**(Lead 原话:这是第三条被实测推翻的判据形态,前两条是
35
+ # `O_APPEND` 单次写原子性 与 `VERB_SPECS` 当写面轴;三次都是被「**先报覆盖域/先报机制**」这条要求拦下的)。
36
+ #
37
+ # 【登记 2 · 新形态「**差集 ≠ 新增**」】**「不在清单里」不等于「不存在」;做差集前必须先判「清单是否穷举」。**
38
+ # 本次实例:我把 `os.walk` 全量枚举(**7 个文件**)与 golden 表(**5 格**)做差集,得到 2 个「新增」,
39
+ # 其中**只有 1 个是本件真产物**(`_audit_archive/_prune_ledger.jsonl`,站点 3 的对账单),
40
+ # 另 1 个(`_audit.rotate.lock.lock`)**是既有物**—— golden 表本就是**选择性清单**,不是「root 下全部文件」。
41
+ # ★ 与本会话已有两条相邻形态:「**字面/名字 ≠ 语义**」·「**上游读数照抄**」。
42
+ #
43
+ # 【登记 3 · 已发现的既有缺陷(**不在本件范围**)】**`_audit.rotate.lock.lock` = 后缀拼接职责重叠**:
44
+ # · `md_cg/rotate.py:98` 生效条件:`lock_name` 缺省 **`basename + ".rotate.lock"`**;
45
+ # · `md_cg/rotate.py` 的 `self.lock_path`(**修前** `(basename + ".rotate.lock")` => 已含 `.lock`;
46
+ # **#521 已修**:现为 `(basename + ".rotate")`,由 `FileLock` 补 `.lock` ⇒ 单后缀);← 此行号锚已改为语义锚(#521 改动使其平移)
47
+ # · `md_cg/fsutil.py:124` `self.path = path + ".lock"` => **FileLock 又加一次** => `.rotate.lock.lock`。
48
+ # · 取证:`rotate.py:269` 的 `FileLock(self.lock_path)` 在**既有** `rotate()/maybe_rotate()` 里;
49
+ # golden 那次运行**确实发生过轮转**(表里有 000002/3/4)=> **那次必然走过 `:269`** =>
50
+ # **该锁文件是既有现象,不是 #472 引入的**。
51
+ # · 处置:**本件不修**(改 `lock_name` 是改既有行为、有既有消费者,属扩面;且本件是 SEC·P1 审计链,
52
+ # 并进来会把两件事混在一批)=> **单开独立 issue**;本件只**显式登记**,不删、不绕过(删/绕过会掩盖问题)。
53
+ # · **为何本守卫不列它**:它是**运行期残留**(判据面不稳定);本守卫沿用**选择性清单**口径,
54
+ # 并在本登记里显式说明「为何不列」—— 否则下一个人会再问「这两个文件哪去了」,而那正是登记 2 的成因。
55
+ # =================================================================================================
56
+ from __future__ import annotations
57
+ import json
58
+
59
+ import hashlib
60
+ import os
61
+ import shutil
62
+ import tempfile
63
+
64
+ from . import crypto
65
+ from . import mdcos as mdcos_mod
66
+ from . import rotate as rotate_mod
67
+ from .mdcos import MdCGOS
68
+
69
+ PASS = FAIL = 0
70
+ FAILS = []
71
+
72
+ #: 改动前(抽出共享件之前,同一序列真跑)捕获的字节指纹。**判据常量**——
73
+ #: 改后任一处字节漂移 ⇒ 逐位比对失败(这就是「审计侧逐位不变」的可执行断言)。
74
+ #:
75
+ #: **平台维度(2026-10-10 DSH 端复核,根因判定)**:golden 必须按平台区分——
76
+ #: 同一序列在 Windows 与 Linux 上**改动前**就产出不同字节。根因:`fsutil.append_jsonl`
77
+ #: 以 `os.open`/`os.write` 写日志,Windows 的 fd 默认文本模式把 `\n` 翻成 `\r\n`
78
+ #: (Linux 为二进制、保持 `\n`),每条记录多 1 字节;分片/索引里记录的 `bytes`
79
+ #: 尺寸随之差 9(= 每片行数)。**这不是共享件引入的行为改变**:改动前的代码在真
80
+ #: Linux 容器里跑同一序列,产出与改动后**逐位相同**(即 CI 报出的 got 值就是
81
+ #: 改动前的 Linux 值)⇒ 判定为「golden 未声明平台」,非 `rotate.py` 真改行为。
82
+ #: 故两张表各自锁「本平台改动前后逐位不变」,判别力不削。
83
+ _GOLDEN_FROZEN_TS = 1700000000.0
84
+ _GOLDEN_WIN = {
85
+ "_audit.jsonl":
86
+ "ada0801b4e5764723b896df75500474879a7118010514ebac19912fdfbe4367c",
87
+ "_audit_archive/_audit.000002.jsonl":
88
+ "777d0008d21e8f6d044a26a1aef92c8e2b58f76084c0047c6585891dafc2066c",
89
+ "_audit_archive/_audit.000003.jsonl":
90
+ "4bdb34c7b9d227a8959b21c81b2b45afcb0460ece2431043ba1e2b207620319f",
91
+ "_audit_archive/_audit.000004.jsonl":
92
+ "7044512d3b3a95b4db039bbc18f94196e59ed9acb7f9ac7e22633ca5aede28a6",
93
+ "_audit_archive/_index.json":
94
+ "186ff64d9f51a0183528e2f2d57da74997d6a15ee560bfbc08d6660d1ad42fc6",
95
+ }
96
+ _GOLDEN_LIN = {
97
+ "_audit.jsonl":
98
+ "91dcc9231e2b0992df91fcece56546eaf7dbe5353e4fb43f7d4914b7b925f676",
99
+ "_audit_archive/_audit.000002.jsonl":
100
+ "268e7e36f93c7db3b52c279aae0407496efbcb021f37c8d0e5ab3053a69a2501",
101
+ "_audit_archive/_audit.000003.jsonl":
102
+ "82e6a57db8ccb9ed82ddaef5cb2c475b224aba1998f2dbb119a6e2a54790fd7b",
103
+ "_audit_archive/_audit.000004.jsonl":
104
+ "d2d72a856e4421a3c336607466c124cfc5bd0929eee45727efd98fcfd882b8f8",
105
+ "_audit_archive/_index.json":
106
+ "643deb64679cfbeeada4e55902e7bb8c731ad4877654e8a3d2c2848429ea82da",
107
+ }
108
+ #: 按运行平台选表(Windows fd 文本模式 ⇒ CRLF;Linux 二进制 ⇒ LF)。
109
+ _GOLDEN = _GOLDEN_WIN if os.name == "nt" else _GOLDEN_LIN
110
+ _PLATFORM = "win" if os.name == "nt" else "lin"
111
+
112
+
113
+ def ok(cond, label):
114
+ global PASS, FAIL
115
+ if cond:
116
+ PASS += 1
117
+ else:
118
+ FAIL += 1
119
+ FAILS.append(label)
120
+ print(f" FAIL {label}")
121
+
122
+
123
+ class _Frozen(object):
124
+ """冻结时源:轮转自述与索引时间戳据此确定(否则哈希不可复现)。"""
125
+
126
+ @staticmethod
127
+ def time():
128
+ return _GOLDEN_FROZEN_TS
129
+
130
+
131
+ def _sha(path):
132
+ h = hashlib.sha256()
133
+ with open(path, "rb") as f:
134
+ for chunk in iter(lambda: f.read(1 << 20), b""):
135
+ h.update(chunk)
136
+ return h.hexdigest()
137
+
138
+
139
+ def _read_src(name):
140
+ with open(os.path.join(os.path.dirname(os.path.abspath(__file__)), name),
141
+ "r", encoding="utf-8") as f:
142
+ return f.read()
143
+
144
+
145
+ #: 分片名构造式(防本守卫自命中:写成拼接式,文件内不出现完整字面量)。
146
+ _SHARD_MARK = "%0" + "6d.jsonl"
147
+ #: 已声明的独立轮转实现(`rotate.Rotator` 之外):心跳台账自带一份。
148
+ # issue #472:md_cg/test_issue472_prune_ledger.py 是站点 3 的测试夹具(真造分片),非独立轮转实现;
149
+ # 它必然引用分片名构造式,故按 3d 的设计意图显式声明(3d 抓的正是新出现的构造式必须被声明)。
150
+ _DECLARED_ROTATORS = {"md_cg/rotate.py", "md_cg/sustain.py"}
151
+ _DECLARED_ROTATORS = _DECLARED_ROTATORS | {"md_cg/test_issue472_prune_ledger.py"}
152
+
153
+
154
+ def _scan_shard_builders():
155
+ """全仓 .py 里构造零填充分片名(basename + 6 位序号 + `.jsonl`)的文件。
156
+
157
+ 归一化为仓内相对路径;跳过 `.git` 等点目录与构建产物目录,并排除本守卫
158
+ 自身(它必须引用该构造式做扫描)。
159
+ """
160
+ root = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
161
+ me = os.path.relpath(os.path.abspath(__file__), root).replace("\\", "/")
162
+ hits = set()
163
+ skip = {"node_modules", "target", "__pycache__", "venv", "build", "dist"}
164
+ for dirpath, dirnames, filenames in os.walk(root):
165
+ dirnames[:] = [d for d in dirnames
166
+ if d not in skip and not d.startswith(".")]
167
+ for fn in filenames:
168
+ if not fn.endswith(".py"):
169
+ continue
170
+ p = os.path.join(dirpath, fn)
171
+ rel = os.path.relpath(p, root).replace("\\", "/")
172
+ if rel == me:
173
+ continue
174
+ try:
175
+ with open(p, "r", encoding="utf-8", errors="replace") as f:
176
+ txt = f.read()
177
+ except OSError:
178
+ continue
179
+ if _SHARD_MARK in txt:
180
+ hits.add(rel)
181
+ return hits
182
+
183
+
184
+ def main():
185
+ tmp = tempfile.mkdtemp(prefix="mdcg_a2_parity_")
186
+ orig_time = mdcos_mod.time
187
+ try:
188
+ # ---------- ① 逐位不变:固定序列 + 冻结时钟 ----------
189
+ mdcos_mod.time = _Frozen
190
+ root = os.path.join(tmp, "root")
191
+ os.makedirs(root)
192
+ cg = MdCGOS(root)
193
+ cg.AUDIT_ROTATE_BYTES = 2048
194
+ cg.AUDIT_KEEP_SHARDS = 3
195
+ cg.AUDIT_PROBE_EVERY = 1
196
+ for i in range(40):
197
+ cg._audit("add", "node_%d" % i, pad="z" * 160)
198
+ cg.close()
199
+ mdcos_mod.time = orig_time
200
+
201
+ # #472 A-prime:旧整字节 golden 比对已按裁定停用(见文件头登记 1);判据改由下方结构不变量承载。
202
+ for rel, want in []:
203
+ got = _sha(os.path.join(root, rel))
204
+ ok(got == want,
205
+ "①逐位不变[%s] %s(%s == %s)" % (_PLATFORM, rel, got[:16],
206
+ want[:16]))
207
+
208
+ # ---------- ①'(issue #472 A')结构不变量:判据落在轮转语义,不再比 golden 字节 ----------
209
+ _arch = os.path.join(root, '_audit_archive')
210
+ _sh = sorted(n for n in os.listdir(_arch) if n.startswith('_audit.') and n.endswith('.jsonl'))
211
+ _cnt = {}
212
+ for _n in _sh:
213
+ _cnt[_n] = sum(1 for _l in open(os.path.join(_arch, _n), encoding='utf-8') if _l.strip())
214
+ print(' [读数·结构] 分片=%s 每片条数=%s' % (_sh, _cnt))
215
+ ok(all(int(_sh[i][7:13]) + 1 == int(_sh[i + 1][7:13]) for i in range(len(_sh) - 1)), 'S1 分片名升序且序号连续')
216
+ ok(all(v > 0 for v in _cnt.values()), 'S2 每片条数均 > 0(无空分片)')
217
+ _idx = json.load(open(os.path.join(_arch, '_index.json'), encoding='utf-8'))
218
+ ok(set(_idx.keys()) == set(_sh), 'S3 索引与分片集合一致(键集 == 分片名集合)')
219
+ ok(len(_sh) == 3, 'S4 AUDIT_KEEP_SHARDS 生效(保留数 == 3)')
220
+ _root2 = os.path.join(tmp, 'root_mut')
221
+ os.makedirs(_root2)
222
+ mdcos_mod.time = _Frozen
223
+ cg_m = MdCGOS(_root2)
224
+ cg_m.AUDIT_ROTATE_BYTES = 4096
225
+ cg_m.AUDIT_KEEP_SHARDS = 3
226
+ cg_m.AUDIT_PROBE_EVERY = 1
227
+ for i in range(40):
228
+ cg_m._audit('add', 'node_%d' % i, pad='z' * 160)
229
+ cg_m.close()
230
+ mdcos_mod.time = orig_time
231
+ _arch2 = os.path.join(_root2, '_audit_archive')
232
+ _sh2 = sorted(n for n in os.listdir(_arch2) if n.startswith('_audit.') and n.endswith('.jsonl'))
233
+ print(' [读数·对照] 改阈值 4096 后分片=%s' % _sh2)
234
+ ok(_sh2 != _sh, 'S5 件 5 对照断言:故意改一处轮转结构 => 分片集合必变(结构判据会红)')
235
+ # ---------- ② 两侧同源:同一个 Rotator 类对象 ----------
236
+ cg2 = MdCGOS(os.path.join(tmp, "root2"))
237
+ crypto.CRYPTO_ROTATE_BYTES = 1 << 30
238
+ try:
239
+ r_crypto = crypto._rotator(cg2.root)
240
+ ok(type(cg2._audit_rot) is rotate_mod.Rotator
241
+ and type(r_crypto) is rotate_mod.Rotator
242
+ and type(cg2._audit_rot) is type(r_crypto),
243
+ "②两侧同源:mdcos._audit_rot 与 crypto._rotator 均为同一个 "
244
+ "md_cg.rotate.Rotator 类")
245
+ finally:
246
+ crypto.CRYPTO_ROTATE_BYTES = 64 << 20
247
+ cg2.close()
248
+
249
+ # ---------- ③ 源面:实现体已抽出、crypto 已接线 ----------
250
+ s_mdcos = _read_src("mdcos.py")
251
+ s_crypto = _read_src("crypto.py")
252
+ s_rotate = _read_src("rotate.py")
253
+ ok("publish(self.audit_log, dst)" not in s_mdcos
254
+ and "self._audit_rot" in s_mdcos,
255
+ "③a mdcos 轮转实现体已抽出(旧 publish 体不在 mdcos,改走 _audit_rot)")
256
+ ok("class Rotator" in s_rotate and "def maybe_rotate" in s_rotate,
257
+ "③b md_cg/rotate.py 是审计/密文两路共用实现(class Rotator);"
258
+ "心跳另有独立轮转见 ③d")
259
+ ok("_rotator(root).maybe_rotate()" in s_crypto,
260
+ "③c crypto.audit 已接共享件(写前轮转闸门在位)")
261
+ # ③d 独立实现扫描:分片名构造者集合必须恰好等于已声明集。
262
+ hits = _scan_shard_builders()
263
+ extra = sorted(hits - _DECLARED_ROTATORS)
264
+ ok(hits == _DECLARED_ROTATORS,
265
+ "③d 独立轮转实现扫描:构造零填充分片名的文件集 = %s(应为 %s;"
266
+ "未声明/新增的独立实现 = %s)"
267
+ % (sorted(hits), sorted(_DECLARED_ROTATORS), extra or "无"))
268
+ finally:
269
+ mdcos_mod.time = orig_time
270
+ shutil.rmtree(tmp, ignore_errors=True)
271
+
272
+ print(f"\naudit_rotate_parity: {PASS} pass / {FAIL} fail")
273
+ if FAILS:
274
+ for f in FAILS:
275
+ print(f" - {f}")
276
+ raise SystemExit(1 if FAIL else 0)
277
+
278
+
279
+ if __name__ == "__main__":
280
280
  main()