@furongjun1999/dsh-memory 0.9.6 → 0.9.8
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +150 -662
- package/codebuddy/CODEBUDDY.md +333 -204
- package/data/policy.json +38 -38
- package/docs/README.md +18 -0
- package/docs/discipline/harnesses.yaml +11 -3
- package/docs/discipline/templates/compact.txt.tmpl +20 -18
- package/docs/discipline/templates/full.md.tmpl +63 -61
- package/docs/discipline/templates/rules.mdc.tmpl +5 -3
- package/docs/discipline/templates/skill.md.tmpl +25 -23
- package/docs/discipline/templates/spec.txt.tmpl +2 -2
- package/docs/discipline/templates/zcode-user.md.tmpl +1 -1
- package/dsh/cordis.yml.example +139 -139
- package/lib/hooks.d.ts +19 -0
- package/lib/hooks.js +30 -7
- package/lib/index.js +18 -3
- package/lib/init.js +19 -4
- package/lib/lib/hook_audit.js +64 -2
- package/lib/lib/prompt_safety.js +14 -3
- package/lib/tools.d.ts +7 -0
- package/lib/tools.js +22 -1
- package/md_cg/_guard_kit.py +121 -121
- package/md_cg/anchor.py +114 -114
- package/md_cg/audit.py +15 -2
- package/md_cg/chain.py +3 -2
- package/md_cg/config_registry_guard.py +487 -487
- package/md_cg/conformance.py +747 -747
- package/md_cg/consolidate.py +1793 -1793
- package/md_cg/crypto.py +794 -794
- package/md_cg/hyperedge.py +262 -262
- package/md_cg/interface_schema.py +146 -146
- package/md_cg/lifecycle.py +426 -426
- package/md_cg/mdcos.py +12 -8
- package/md_cg/predict.py +1103 -1103
- package/md_cg/protect.py +654 -654
- package/md_cg/provenance.py +606 -606
- package/md_cg/queue_health.py +130 -130
- package/md_cg/refine.py +613 -613
- package/md_cg/retrieve.py +128 -128
- package/md_cg/revise.py +140 -140
- package/md_cg/rollback.py +657 -657
- package/md_cg/rollback_cli.py +124 -124
- package/md_cg/rotate.py +346 -346
- package/md_cg/routing.py +490 -490
- package/md_cg/self_surface.py +50 -50
- package/md_cg/semantic/canonical.py +144 -144
- package/md_cg/semantic/zh_en_atoms.py +141 -141
- package/md_cg/sources.py +1091 -1091
- package/md_cg/stg.py +3 -2
- package/md_cg/sustain.py +10 -1
- package/md_cg/test_audit_rotate_parity.py +279 -279
- package/md_cg/test_autonomy_modes.py +2013 -2013
- package/md_cg/test_cn_recall_grams.py +206 -206
- package/md_cg/test_code_kind_forbidden.py +101 -0
- package/md_cg/test_condaccept.py +156 -156
- package/md_cg/test_condgate.py +141 -141
- package/md_cg/test_heartbeat_ledger.py +9 -3
- package/md_cg/test_i50e_readside_protection.py +658 -658
- package/md_cg/test_issue111_gate_order.py +76 -76
- package/md_cg/test_issue111_scoring_contract.py +86 -86
- package/md_cg/test_issue121_calibration_bounds.py +293 -293
- package/md_cg/test_issue145_sleep_no_silent_rollback.py +167 -167
- package/md_cg/test_issue147_pack_id_escape.py +378 -378
- package/md_cg/test_issue148_merge_downgrade_leak.py +192 -192
- package/md_cg/test_issue149_accel_default_face.py +248 -248
- package/md_cg/test_issue150_empty_query_terms.py +328 -328
- package/md_cg/test_issue151_153_157_write_cache_index.py +151 -151
- package/md_cg/test_issue152_sealed_postings.py +309 -309
- package/md_cg/test_issue153b_index_generation_invalidation.py +142 -142
- package/md_cg/test_issue157b_index_remainder.py +344 -344
- package/md_cg/test_issue189_conclusion_bidirectional.py +223 -223
- package/md_cg/test_issue191_import_trust.py +382 -382
- package/md_cg/test_issue193_write_scope.py +378 -378
- package/md_cg/test_issue212_writeface_gaps.py +349 -349
- package/md_cg/test_issue214_reject_sensitivity.py +266 -266
- package/md_cg/test_issue215_condition_source_gap.py +272 -272
- package/md_cg/test_issue216_clash_routes.py +214 -214
- package/md_cg/test_issue217_slot_routes.py +248 -248
- package/md_cg/test_issue218_postcondition_value_blind.py +222 -222
- package/md_cg/test_issue258_pack_sensitivity.py +468 -468
- package/md_cg/test_issue265_coldverify_multiproc.py +438 -438
- package/md_cg/test_issue274_read_node_id_none.py +341 -341
- package/md_cg/test_issue275_layer_param.py +250 -250
- package/md_cg/test_issue277_node_id_traversal.py +384 -384
- package/md_cg/test_issue278_neg_separated_tension.py +271 -271
- package/md_cg/test_issue278_neg_window.py +294 -294
- package/md_cg/test_issue278_negative_layering.py +83 -83
- package/md_cg/test_issue284_skip_not_pass.py +291 -291
- package/md_cg/test_issue294_flywheel_sensitivity.py +573 -573
- package/md_cg/test_issue301_baseline_corpus_gate.py +245 -245
- package/md_cg/test_issue303_design_boundaries.py +262 -262
- package/md_cg/test_issue315_merge_branch_sensitivity.py +383 -383
- package/md_cg/test_issue319_tenant_unregistered_bypass.py +256 -256
- package/md_cg/test_issue321_mcp_deep_json.py +304 -304
- package/md_cg/test_issue322_node_write_lock.py +727 -727
- package/md_cg/test_issue324_write_size_fields.py +214 -214
- package/md_cg/test_issue325_audit_poison.py +229 -229
- package/md_cg/test_issue326_ingest_auto_whitelist.py +331 -331
- package/md_cg/test_issue326_key_perms.py +355 -355
- package/md_cg/test_issue326_twin_parser_parity.py +323 -323
- package/md_cg/test_issue326_vm_call_frame.py +569 -569
- package/md_cg/test_issue345_writelimit_effective_sens.py +233 -233
- package/md_cg/test_issue346_overwrite_sensitivity_gate.py +424 -424
- package/md_cg/test_issue348_insight_verify_op.py +199 -199
- package/md_cg/test_issue348_merge_rmw_lock.py +345 -345
- package/md_cg/test_issue350_casefold_collision.py +235 -235
- package/md_cg/test_issue351_ingest_root_fallback.py +201 -201
- package/md_cg/test_issue352_imgaudit.py +418 -418
- package/md_cg/test_issue352_pathsjson.py +537 -537
- package/md_cg/test_issue352_refindex.py +412 -412
- package/md_cg/test_issue352_rollback.py +604 -604
- package/md_cg/test_issue354_p2_writelimit_toctou.py +327 -327
- package/md_cg/test_issue354_rust_index_containment.py +571 -571
- package/md_cg/test_issue354_rust_wal_containment.py +606 -606
- package/md_cg/test_issue358_truncation_observable.py +247 -247
- package/md_cg/test_issue360_tidy_private_excerpt.py +195 -195
- package/md_cg/test_issue361_blindspot_not_silent_drop.py +494 -494
- package/md_cg/test_issue362_neg_condition.py +468 -468
- package/md_cg/test_issue363_lexical_idf.py +275 -275
- package/md_cg/test_issue370_readcache_assembly.py +488 -488
- package/md_cg/test_issue376_heartbeat_failed.py +293 -293
- package/md_cg/test_issue377_layer_protect_stamp.py +324 -324
- package/md_cg/test_issue378_protected_floor.py +310 -310
- package/md_cg/test_issue383_state_event_write_gate.py +462 -462
- package/md_cg/test_issue397_sens_eff_wiring.py +435 -435
- package/md_cg/test_issue398_toolface_op_parity.py +511 -511
- package/md_cg/test_issue399_hive_json_shape.py +317 -317
- package/md_cg/test_issue401_wisdom_codegen.py +295 -295
- package/md_cg/test_issue404_heal_receipt.py +389 -389
- package/md_cg/test_issue409_compact_index_completeness.py +509 -509
- package/md_cg/test_issue410_verify_demote_write.py +366 -366
- package/md_cg/test_issue411_scrub_idempotence.py +575 -575
- package/md_cg/test_issue412_discipline_producer_parity.py +311 -311
- package/md_cg/test_issue413_preimage_failclosed.py +239 -239
- package/md_cg/test_issue413_preimage_twin.py +339 -339
- package/md_cg/test_issue415_deps_gate_probe.py +357 -357
- package/md_cg/test_issue416_entry_key_subset.py +525 -525
- package/md_cg/test_issue417_twophase_merge_landed.py +423 -423
- package/md_cg/test_issue425_ingest_library_path.py +331 -331
- package/md_cg/test_issue426c_enqueue_not_silent.py +346 -346
- package/md_cg/test_issue426e_restore_overwrite_live.py +310 -310
- package/md_cg/test_issue426f_paths_gbk_failclosed.py +301 -301
- package/md_cg/test_issue427_serve_status_shape.py +191 -191
- package/md_cg/test_issue431_432_468_protect_single_point.py +322 -322
- package/md_cg/test_issue433_outlook_threshold_single_point.py +278 -278
- package/md_cg/test_issue434_435_float_gate.py +90 -90
- package/md_cg/test_issue439_sibling_sensitivity_inherit.py +448 -448
- package/md_cg/test_issue43_default_policy.py +874 -874
- package/md_cg/test_issue444_scrub_evidence_plaintext.py +281 -281
- package/md_cg/test_issue445_metacognition_ledger_gate.py +454 -454
- package/md_cg/test_issue446_453_403_verified_evidence.py +382 -382
- package/md_cg/test_issue450_sensitivity_fallback_reason.py +51 -51
- package/md_cg/test_issue450_writegate_unknown_sens.py +203 -203
- package/md_cg/test_issue451_audit_actor.py +313 -313
- package/md_cg/test_issue452_ingest_root_sensitivity.py +299 -299
- package/md_cg/test_issue463_ghost_prune_guard.py +259 -259
- package/md_cg/test_issue466_basis_registry.py +469 -469
- package/md_cg/test_issue467_identity_sensitivity_parity.py +360 -360
- package/md_cg/test_issue469_scrub_override_passthrough.py +126 -126
- package/md_cg/test_issue470_wal_event_durable.py +427 -427
- package/md_cg/test_issue471_identity_readable.py +136 -136
- package/md_cg/test_issue472_audit_chain.py +90 -90
- package/md_cg/test_issue472_prune_ledger.py +105 -105
- package/md_cg/test_issue472_rollback_degraded.py +81 -81
- package/md_cg/test_issue491_compose_sandbox.py +460 -460
- package/md_cg/test_issue498_merge_trace_stale_index.py +280 -280
- package/md_cg/test_issue511_scoreboard_bad_files.py +256 -256
- package/md_cg/test_issue521_rotate_lock_suffix.py +110 -110
- package/md_cg/test_issue524_orphan_noise_no_demote.py +88 -88
- package/md_cg/test_issue525_read_null_semantics.py +52 -52
- package/md_cg/test_issue547_append_jsonl_whitelist.py +114 -114
- package/md_cg/test_issue547_audit_durable.py +96 -96
- package/md_cg/test_issue557_r2_write_entries_size_gate.py +83 -83
- package/md_cg/test_issue559_refine_prefix.py +69 -69
- package/md_cg/test_issue562_retired_faces.py +150 -0
- package/md_cg/test_issue71_queue_backlog.py +376 -376
- package/md_cg/test_issue72_coldverify_controlled_drain.py +420 -420
- package/md_cg/test_issue82_credential_rules.py +271 -271
- package/md_cg/test_issue91_verifier_sandbox.py +314 -314
- package/md_cg/test_issue93_remember_redaction.py +282 -282
- package/md_cg/test_logref.py +1141 -1141
- package/md_cg/test_md_access_parity.py +330 -330
- package/md_cg/test_md_cg_no_hive_dep.py +139 -139
- package/md_cg/test_mutation_residue.py +119 -119
- package/md_cg/test_mutation_rollback.py +835 -835
- package/md_cg/test_n123_derive_expiry_chain.py +210 -210
- package/md_cg/test_n184_keys_concurrent_provision.py +1 -1
- package/md_cg/test_n209_verify_write_face_gates.py +466 -466
- package/md_cg/test_n62_tenant_bind_failclosed.py +200 -200
- package/md_cg/test_neg_tail_honesty.py +733 -733
- package/md_cg/test_p21_tokens.py +294 -294
- package/md_cg/test_p27_docindex.py +792 -792
- package/md_cg/test_p28_refcheck.py +1053 -1053
- package/md_cg/test_p2_six_elements.py +476 -476
- package/md_cg/test_p33_ccg_wiring.py +300 -300
- package/md_cg/test_p3_legacy_closure.py +438 -438
- package/md_cg/test_p40_refine_worklist.py +244 -244
- package/md_cg/test_p4_freshness.py +781 -781
- package/md_cg/test_p9c_dedup_hints.py +288 -288
- package/md_cg/test_policy_required_ccg.py +444 -444
- package/md_cg/test_read_scope_b27.py +2 -2
- package/md_cg/test_retr_s5.py +312 -312
- package/md_cg/test_s1_ast_judge.py +109 -109
- package/md_cg/test_security_audit_v21.py +249 -249
- package/md_cg/test_state_event_op.py +521 -521
- package/md_cg/test_stgidx_index_parity.py +1024 -1024
- package/md_cg/test_sustain_bad_stamp.py +178 -0
- package/md_cg/test_sustain_bounded.py +652 -652
- package/md_cg/test_trust_edge_reachability.py +405 -405
- package/md_cg/test_w7_redlines.py +659 -659
- package/md_cg/test_write_return_shape.py +919 -919
- package/md_cg/test_writepipe.py +228 -228
- package/md_cg/trust.py +1114 -1114
- package/md_cg/twophase.py +303 -303
- package/md_cg/whitebox.py +536 -536
- package/md_cg/whitebox_kb/wisdom/compose_engine.py +1634 -1634
- package/md_cg/whitebox_kb/wisdom/core/condition_vm.py +318 -318
- package/md_cg/whitebox_kb/wisdom/core/parser.py +1082 -1082
- package/md_cg/whitebox_kb/wisdom/md_access.py +490 -490
- package/md_cg/whitebox_kb/wisdom/migrate_wisdom.py +497 -497
- package/md_cg/whitebox_kb/wisdom/mini_python.py +995 -995
- package/md_cg/whitebox_kb/wisdom/net_units.py +2900 -2900
- package/md_cg/whitebox_kb/wisdom/semantic_translate.py +4060 -4060
- package/md_cg/writepipe.py +1337 -1337
- package/package.json +3 -2
- package/scripts/workspace_index.py +328 -0
- package/src/hooks.ts +932 -908
- package/src/index.ts +21 -6
- package/src/init.ts +16 -4
- package/src/lib/hook_audit.ts +48 -2
- package/src/lib/mdcg_client.ts +469 -469
- package/src/lib/prompt_safety.ts +17 -3
- package/src/tools.ts +23 -1
- package/zcode/AGENTS.md +333 -204
|
@@ -1,469 +1,469 @@
|
|
|
1
|
-
# -*- coding: utf-8 -*-
|
|
2
|
-
# 功能名:verification_basis 值域登记表守卫(issue #466,外部内容不得作为可信基底)
|
|
3
|
-
# 生效条件:python -X utf8 -m md_cg.test_issue466_basis_registry [--mutate];被测面=md_cg/nodefile.py 的闭集与两子档、md_cg/sources.py 的来源声明面、hive/exec.py 的副本
|
|
4
|
-
# 子功能:A=闭集与两子档的包含关系(三条腿);B=正向扫描(字面量必须已登记);C=反向腿(registered 须有生产引用 / reserved 出现在生产码即红);D=rejected-sample 实跑;E=副本差集腿;F=枚举完备性自证(骨架①);R=回退即绿自证(骨架②)
|
|
5
|
-
# 执行:--mutate 时跑回退自证(须先落实现在树上,否则回退锚点命中 0 次——那是预期,不是假绿)
|
|
6
|
-
# 验证方式:全部 PASS 即通过;本文件先于实现落地时,A01/A02/B01/E02 为**预期红**
|
|
7
|
-
# 不适用条件:不判「untrusted 过不了理科档」为缺陷(那是期望行为);不判无字面量的纯透传站点(遇未登记值走库层硬拒,是正确行为);不判 hive 副本未同步(本批不同步,报维护者,见 E 组差集登记)
|
|
8
|
-
"""issue #466 守卫:verification_basis 的值域必须是一张登记表,且每个态各有其腿。
|
|
9
|
-
|
|
10
|
-
三条设计原则(后人改本文件时最需要):
|
|
11
|
-
|
|
12
|
-
1 加态优于排除:当扫描器遇到「应当存在、但不应当合法」的东西时,不要把它排除出扫描面,
|
|
13
|
-
而应给它一个态,并让该态的腿去实跑断言它被拒。排除会让判据有一个洞
|
|
14
|
-
(洞的形状还是「我们知道有东西在那」);加态则把洞变成一条守卫。
|
|
15
|
-
2 数量不参与判别,行为参与判别:rejected-sample 态的成员数无意义;判它的是
|
|
16
|
-
「实跑一次,必须抛 ValueError」。将来若它被改成合法值,守卫因「不再抛」而红。
|
|
17
|
-
3 **一个观测值只能对应一个原因**;若两个原因会产出同一个值,判据必须先把它们分开。
|
|
18
|
-
(本会话同族三种:SKIP 冒充 PASS / rc=0 来自管道末命令 / except 吞异常后判红。)
|
|
19
|
-
落地:**凡调用外部判据后吞异常再判红的腿,异常必须留痕**——「红」必须能区分
|
|
20
|
-
「不满足」与「没跑成」。
|
|
21
|
-
4 **判据之间交叉印证(与「判据不得自证」并列的一条原则)**:单条腿只能证明
|
|
22
|
-
「我检查的这件事没问题」;**两条来路不同的腿指向同一件事,才能证明「这件事本身被
|
|
23
|
-
覆盖到了」**。反面对照:「判据自证被测对象」是坏的方向(判据与被测对象共用一个真源
|
|
24
|
-
⇒ 它永远说没问题)。
|
|
25
|
-
本文件的实例:**A05 查「登记表覆盖闭集」(真源结构面)· B01 查「源码字面量都在登记表
|
|
26
|
-
里」(源码使用面)—— 两者来路不同,交叉处就是缺口的显形点**。实测:闭集成员
|
|
27
|
-
measurement/formal_proof 在源码里被使用却未登记,正是这两条腿交叉时冒出来的。
|
|
28
|
-
5 untrusted 过不了理科档是期望行为,不是漏判:untrusted 在闭集内、在两档外;
|
|
29
|
-
下游若有「理科断言必须落在 REPRODUCIBLE_BASIS」的判据,untrusted 不满足它是正确的
|
|
30
|
-
—— 外部内容本就不应作为可信基底进入权威记忆。请勿把它塞进某档(那正是本件要防的)。
|
|
31
|
-
"""
|
|
32
|
-
from __future__ import annotations
|
|
33
|
-
|
|
34
|
-
import ast
|
|
35
|
-
import io
|
|
36
|
-
import os
|
|
37
|
-
import re
|
|
38
|
-
import shutil
|
|
39
|
-
import subprocess
|
|
40
|
-
import sys
|
|
41
|
-
import tempfile
|
|
42
|
-
|
|
43
|
-
from . import nodefile
|
|
44
|
-
|
|
45
|
-
_REPO = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
|
46
|
-
FLOOR = 9
|
|
47
|
-
PASS, FAIL = 0, 0
|
|
48
|
-
FAILS = []
|
|
49
|
-
|
|
50
|
-
#: 五态登记表(判据真源;值域真源仍是 nodefile.VERIFICATION_BASIS,本表只登记用途)
|
|
51
|
-
REGISTRY = (
|
|
52
|
-
("compiler", "registered"), ("test", "registered"), ("data", "registered"),
|
|
53
|
-
("other", "registered"), ("textbook", "registered"),
|
|
54
|
-
# measurement / formal_proof:在闭集内、但**当前只在 test 面出现** ⇒ 按 reserved
|
|
55
|
-
# 定义(合法但仅测试码在用)归此态。**补进 registered 是错的**(registered 的反向腿
|
|
56
|
-
# 要求生产码至少一处引用)。
|
|
57
|
-
("public_kb", "reserved"),
|
|
58
|
-
("measurement", "reserved"), ("formal_proof", "reserved"),
|
|
59
|
-
("untrusted", "untrusted-default"),
|
|
60
|
-
("", "explicit-none"),
|
|
61
|
-
("magic_guess", "rejected-sample"),
|
|
62
|
-
("self", "rejected-sample"), # #466:test_mr_m3.py:229 的负样本(:231 断言 basis_enum)
|
|
63
|
-
)
|
|
64
|
-
#: ★噪声剔除:AST 直接扫字符串会把**字段名/参数名/提示文案**当成候选(实测非字面噪声比
|
|
65
|
-
#: 真值还多)。判据必须落在**值域**上,不能落在「出现过的字符串」上 —— 故显式剔除这些。
|
|
66
|
-
# ★排除项必须写明「哪个站点的哪个语义」——只列字符串,下一个人看不出为什么排除。
|
|
67
|
-
# 格式:值 → (站点, 该处 basis= 的真实语义)。
|
|
68
|
-
# basis / verification_basis → (通用, **字段名/形参名本身**,不是值)
|
|
69
|
-
# string / str / 验证基底 / text / data_kind → (通用, 提示文案/类型名,非基底枚举值)
|
|
70
|
-
# ★#466 收尾:以下 5 条已逐条判定为 **A 类(语义不同、名同)** ⇒ 排除(登记按站点记,
|
|
71
|
-
# 同一真实语义在两个站点各记一条,不按语义去重):
|
|
72
|
-
# dropped:legacy_position → (md_cg/backfill.py, 变更记录的 fields[生效条件][basis],
|
|
73
|
-
# 值是 dropped:<字段名> 动作码,非基底)
|
|
74
|
-
# 人工核对忠实比例 → (md_cg/comment_gate.py, 闸门阈值所依据的判据说明(自然语言),非枚举值)
|
|
75
|
-
# 验证方式 → (md_cg/crosscheck.py, CCG 六要素字段名本身(verification_basis 的中文正名),非取值)
|
|
76
|
-
# 回放测试核验(守卫) → (md_cg/test_govern_directread.py, consolidate 的 provenance 声明文本
|
|
77
|
-
# (写正文「验证方式」行),非 fm 枚举值 —— 该形态仓内已自记录于 consolidate:705
|
|
78
|
-
# 「声明文本在 CCG 行里」)
|
|
79
|
-
# 测试依据 → (md_cg/test_p20_evolution.py, 同上(同函数同形参,逐字同型))
|
|
80
|
-
# ⚠ 反例登记(**不得进本表**):self → (md_cg/test_mr_m3.py) 是**负样本**(:231 断言 rule=="basis_enum"),
|
|
81
|
-
# 按「加态优于排除」归 REGISTRY 的 rejected-sample;进 _NOISE 等于把一条负样本从判据面里抠掉。
|
|
82
|
-
_NOISE = {"basis", "verification_basis", "string", "str", "验证基底", "text", "data_kind",
|
|
83
|
-
"dropped:legacy_position", "人工核对忠实比例", "验证方式",
|
|
84
|
-
"回放测试核验(守卫)", "测试依据"}
|
|
85
|
-
|
|
86
|
-
_KNOWN_HIVE_GAP = {"untrusted"} #: 本批不同步 hive ⇒ 差集应恰为此集
|
|
87
|
-
|
|
88
|
-
|
|
89
|
-
def _check(name, cond, detail=""):
|
|
90
|
-
global PASS, FAIL
|
|
91
|
-
if cond:
|
|
92
|
-
PASS += 1
|
|
93
|
-
print(" PASS " + name)
|
|
94
|
-
else:
|
|
95
|
-
FAIL += 1
|
|
96
|
-
FAILS.append(name)
|
|
97
|
-
print(" FAIL " + name + " " + str(detail)[:220])
|
|
98
|
-
|
|
99
|
-
|
|
100
|
-
# 生效条件:items 为空时记 PASS 并返回 0;非空时记 FAIL,先打一行含**违规项总数**的摘要,再把 items **逐条**另起行打印(**不截断**),返回实打条数(供自检腿核对);
|
|
101
|
-
def _check_full(name, items):
|
|
102
|
-
"""违规清单腿:detail 承载不下的清单**必须逐条可见**(#466 收尾修)。
|
|
103
|
-
|
|
104
|
-
为什么单列:`_check` 的 detail 有 220 字符上限。一条「报违规项」的腿若报不全,
|
|
105
|
-
读者就只能**从截断处数数**——实测代价:本会话两位接手者据此分别报成「5 处」
|
|
106
|
-
「6 处」,Lead 也转述了该计数,而真实条数当时无人知道。
|
|
107
|
-
与「不可见即没治」同型:**一条报违规项的腿,报不全就等于没报**。
|
|
108
|
-
"""
|
|
109
|
-
global PASS, FAIL
|
|
110
|
-
items = list(items)
|
|
111
|
-
if not items:
|
|
112
|
-
PASS += 1
|
|
113
|
-
print(" PASS " + name)
|
|
114
|
-
return 0
|
|
115
|
-
FAIL += 1
|
|
116
|
-
FAILS.append(name)
|
|
117
|
-
print(" FAIL " + name + " 违规项总数=%d(全量逐条见下,不截断)" % len(items))
|
|
118
|
-
for it in items:
|
|
119
|
-
print(" · %r" % (it,))
|
|
120
|
-
return len(items)
|
|
121
|
-
|
|
122
|
-
|
|
123
|
-
def _sources(*dirs):
|
|
124
|
-
out = {}
|
|
125
|
-
for d in dirs:
|
|
126
|
-
for root, dd, names in os.walk(os.path.join(_REPO, d)):
|
|
127
|
-
dd[:] = [x for x in dd if x not in ("__pycache__", "jobs", "target",
|
|
128
|
-
"node_modules")]
|
|
129
|
-
for n in names:
|
|
130
|
-
if n.endswith(".py"):
|
|
131
|
-
p = os.path.join(root, n)
|
|
132
|
-
out[os.path.relpath(p, _REPO).replace(os.sep, "/")] = io.open(
|
|
133
|
-
p, encoding="utf-8").read()
|
|
134
|
-
return out
|
|
135
|
-
|
|
136
|
-
|
|
137
|
-
#: 判据不自证:语料剔除被测对象自身(否则本文件的字面量会自证)
|
|
138
|
-
_SELF = os.path.relpath(os.path.abspath(__file__), _REPO).replace(os.sep, "/")
|
|
139
|
-
_ALLSRC = _sources("md_cg", "scripts", "test")
|
|
140
|
-
#: 端到端**行为断言集**(写临时空库,不碰生产库):按文件名前缀归类会把它算成
|
|
141
|
-
#: 生产写面,故显式放测试侧(与 `test_*` 同档)。
|
|
142
|
-
_TEST_HARNESS = {"md_cg/conformance_core.py"}
|
|
143
|
-
_PROD = {k: v for k, v in _ALLSRC.items()
|
|
144
|
-
if not os.path.basename(k).startswith("test_") and k != _SELF
|
|
145
|
-
and k not in _TEST_HARNESS}
|
|
146
|
-
_TEST = {k: v for k, v in _ALLSRC.items()
|
|
147
|
-
if (os.path.basename(k).startswith("test_") or k in _TEST_HARNESS)
|
|
148
|
-
and k != _SELF}
|
|
149
|
-
|
|
150
|
-
print("== A 组:闭集与两子档 ==")
|
|
151
|
-
_check("A01 untrusted 已在闭集 VERIFICATION_BASIS 内(先于实现落地时为预期红)",
|
|
152
|
-
"untrusted" in nodefile.VERIFICATION_BASIS, nodefile.VERIFICATION_BASIS)
|
|
153
|
-
_check("A02 untrusted 不在 REPRODUCIBLE_BASIS 内、也不在 CONSISTENCY_BASIS 内(在两档外)",
|
|
154
|
-
"untrusted" not in nodefile.REPRODUCIBLE_BASIS
|
|
155
|
-
and "untrusted" not in nodefile.CONSISTENCY_BASIS,
|
|
156
|
-
(nodefile.REPRODUCIBLE_BASIS, nodefile.CONSISTENCY_BASIS))
|
|
157
|
-
_check("A03 两子档之并 含于 闭集(防将来往子档塞闭集外的值)",
|
|
158
|
-
set(nodefile.REPRODUCIBLE_BASIS) | set(nodefile.CONSISTENCY_BASIS)
|
|
159
|
-
<= set(nodefile.VERIFICATION_BASIS),
|
|
160
|
-
sorted((set(nodefile.REPRODUCIBLE_BASIS) | set(nodefile.CONSISTENCY_BASIS))
|
|
161
|
-
- set(nodefile.VERIFICATION_BASIS)))
|
|
162
|
-
# ★签名实测(nodefile.py:621):def verification_basis_valid(fm: dict) -> bool ——
|
|
163
|
-
# 收的是 **fm 字典**,不是 basis 字符串。(此前误传字符串 ⇒ 走 except ⇒ 红;行号 :610
|
|
164
|
-
# 系上游转述未核,实际 :621。教训:转述方与落码方都要回核。)
|
|
165
|
-
try:
|
|
166
|
-
_accepts = bool(nodefile.verification_basis_valid({"verification_basis": "untrusted"}))
|
|
167
|
-
except Exception as _e: # noqa: BLE001
|
|
168
|
-
_accepts = None
|
|
169
|
-
print(" (A04 判据调用异常: %s: %s)" % (type(_e).__name__, _e))
|
|
170
|
-
_check("A04 untrusted 在可接受集(verification_basis_valid)内 —— 不在可接受集与不在已验集是两件事",
|
|
171
|
-
_accepts is True, _accepts)
|
|
172
|
-
|
|
173
|
-
print("")
|
|
174
|
-
print("== B 组:正向扫描(未登记即红)==")
|
|
175
|
-
|
|
176
|
-
|
|
177
|
-
def _direct_consts(node):
|
|
178
|
-
"""只取**直接**字符串常量:节点本身、`or` 两侧、三元两侧。
|
|
179
|
-
|
|
180
|
-
★为什么不能 ast.walk(n.value):复合值里的**无关字符串**会被整片收进来
|
|
181
|
-
(实测把 action / rewrite / 人工核对忠实比例 / 验证方式 之类当成 basis 候选)。
|
|
182
|
-
**黑名单治不了范围错**——黑名单是治噪声的,范围错要靠**收窄扫描面**。
|
|
183
|
-
"""
|
|
184
|
-
if isinstance(node, ast.Constant) and isinstance(node.value, str):
|
|
185
|
-
return [node.value]
|
|
186
|
-
if isinstance(node, ast.BinOp) and isinstance(node.op, ast.BitOr):
|
|
187
|
-
return _direct_consts(node.left) + _direct_consts(node.right)
|
|
188
|
-
if isinstance(node, ast.BoolOp):
|
|
189
|
-
out = []
|
|
190
|
-
for v in node.values:
|
|
191
|
-
out += _direct_consts(v)
|
|
192
|
-
return out
|
|
193
|
-
if isinstance(node, ast.IfExp):
|
|
194
|
-
return _direct_consts(node.body) + _direct_consts(node.orelse)
|
|
195
|
-
return []
|
|
196
|
-
|
|
197
|
-
|
|
198
|
-
#: `md_cg/interface_schema.py` 的**类型标记表**同样用 `"basis"` 作键(该文件 `:19`
|
|
199
|
-
#: 自述类型标记:`str / int / num / bool / list / dict / "nullable:X" / "enum:a|b"`)。
|
|
200
|
-
#: 那些值是**字段类型**、不是 verification_basis 的取值;不排除就会把
|
|
201
|
-
#: `"basis": "nullable:str"` 报成「未登记」(实测 B01 的唯一违规项)。
|
|
202
|
-
#: 真实基底值不可能以这两个前缀开头(闭集见 nodefile.VERIFICATION_BASIS)。
|
|
203
|
-
_TYPE_MARKER = re.compile(r"^(?:nullable:|enum:)")
|
|
204
|
-
|
|
205
|
-
|
|
206
|
-
# 生效条件:texts 为 {rel: 源码};返回 [(rel, 值)]——仅取 verification_basis/basis 关键字的**直接**字符串量。
|
|
207
|
-
def _literal_bases(texts):
|
|
208
|
-
found = []
|
|
209
|
-
for rel, src in texts.items():
|
|
210
|
-
try:
|
|
211
|
-
tree = ast.parse(src)
|
|
212
|
-
except SyntaxError:
|
|
213
|
-
continue
|
|
214
|
-
for n in ast.walk(tree):
|
|
215
|
-
if isinstance(n, ast.keyword) and n.arg in ("verification_basis", "basis"):
|
|
216
|
-
for v in _direct_consts(n.value):
|
|
217
|
-
if v not in _NOISE and not _TYPE_MARKER.match(str(v)):
|
|
218
|
-
found.append((rel, v))
|
|
219
|
-
if isinstance(n, ast.Dict):
|
|
220
|
-
for k, v in zip(n.keys, n.values):
|
|
221
|
-
if isinstance(k, ast.Constant) and k.value in ("verification_basis", "basis"):
|
|
222
|
-
for v2 in _direct_consts(v):
|
|
223
|
-
if v2 not in _NOISE and not _TYPE_MARKER.match(str(v2)):
|
|
224
|
-
found.append((rel, v2))
|
|
225
|
-
return found
|
|
226
|
-
|
|
227
|
-
|
|
228
|
-
# ★自指剔除必须作用在**扫描面本身**(#466 收尾修):_SELF 早在上面就定义并被 _PROD/_TEST
|
|
229
|
-
# 排除,但 B01 此前扫的是 _ALLSRC(**含自身**)⇒ 剔除**写了却没生效**(静默失效,
|
|
230
|
-
# 与「不可见即没治」同型)。#467 的做法:让剔除作用在判据真正读的那份语料上。
|
|
231
|
-
_SCAN_SRC = {k: v for k, v in _ALLSRC.items() if k != _SELF}
|
|
232
|
-
_BASES = _literal_bases(dict(_SCAN_SRC))
|
|
233
|
-
_REG_VALUES = {v for v, _s in REGISTRY}
|
|
234
|
-
# ★A05(Lead 裁定新增):**登记表必须覆盖整个闭集** —— 闭集每个成员都要出现在
|
|
235
|
-
# 某一态里。这条比「某个值有没有登记」重要得多:将来闭集再加值而登记表没跟上时,当场红。
|
|
236
|
-
# 与 B01 互为印证:B01 扫源码字面量,源码里出现闭集成员却未登记 ⇒ 正说明登记表没覆盖闭集。
|
|
237
|
-
_check("A05 ★登记表覆盖整个闭集(闭集每个成员都在某一态里)",
|
|
238
|
-
set(nodefile.VERIFICATION_BASIS) <= _REG_VALUES,
|
|
239
|
-
sorted(set(nodefile.VERIFICATION_BASIS) - _REG_VALUES))
|
|
240
|
-
|
|
241
|
-
_UNREG = sorted({(rel, v) for rel, v in _BASES if v not in _REG_VALUES})
|
|
242
|
-
# ★违规清单**不截断**(#466 收尾修):detail 只放总数,全量逐条另起行。
|
|
243
|
-
_EMITTED = _check_full("B01 正向:扫描到的 verification_basis 字面量全部已登记(未登记即红)",
|
|
244
|
-
_UNREG)
|
|
245
|
-
_check("B01 前置:扫描面非空转(真的扫到了字面量)", len(_BASES) >= 5, len(_BASES))
|
|
246
|
-
_check("G03 ★自指剔除生效:扫描面不含守卫文件自身,且扫到的命中无一来自它"
|
|
247
|
-
"(否则样本表字面量会自证)",
|
|
248
|
-
_SELF not in _SCAN_SRC and all(rel != _SELF for rel, _v in _BASES), _SELF)
|
|
249
|
-
|
|
250
|
-
# ---- H 组:两条通道**同源**(#466 收尾,Lead 裁定新增)--------------------------
|
|
251
|
-
# ★本腿是 Lead 允许的**退一步判据**(静态面):断言 sources.py 里 CCG 正文行的
|
|
252
|
-
# 「验证方式:{X}」与 fm 的 `verification_basis=Y` **共用同一个变量名**。
|
|
253
|
-
# **弱点(如实登记)**:静态面**看不出运行时不一致**——同名的两个变量仍可能取到不同的值。
|
|
254
|
-
# 真正跨两条通道的判据应是「**实跑一次 ingest 后读节点**、比对正文行值与 fm 值」;
|
|
255
|
-
# 该版本需先确证 Ingestor/JsonlSource 的运行时 API 与返回形状,本件预算内未落。
|
|
256
|
-
_SRC_SOURCES = io.open(os.path.join(_REPO, "md_cg", "sources.py"),
|
|
257
|
-
encoding="utf-8").read()
|
|
258
|
-
_H_BODY = re.search(r"验证方式:\{(\w+)\}", _SRC_SOURCES)
|
|
259
|
-
_H_FM = re.search(r"verification_basis=(\w+),", _SRC_SOURCES)
|
|
260
|
-
_H_DATALINE = "验证方式:data" in _SRC_SOURCES
|
|
261
|
-
print(" [读数] H01 正文行变量=%s fm 变量=%s 正文行仍硬编码 data=%s"
|
|
262
|
-
% (_H_BODY and _H_BODY.group(1), _H_FM and _H_FM.group(1), _H_DATALINE))
|
|
263
|
-
_check("H01 ★两条通道同源(退一步·静态判据):CCG 正文行『验证方式:{X}』与 verification_basis=Y 共用同一变量名,且正文行不再硬编码 data",
|
|
264
|
-
bool(_H_BODY) and bool(_H_FM) and _H_BODY.group(1) == _H_FM.group(1)
|
|
265
|
-
and not _H_DATALINE,
|
|
266
|
-
{"body": _H_BODY and _H_BODY.group(1), "fm": _H_FM and _H_FM.group(1),
|
|
267
|
-
"hardcoded_data": _H_DATALINE})
|
|
268
|
-
|
|
269
|
-
# ---- G 组:报告的**不截断自检**(#466 收尾修)--------------------------------
|
|
270
|
-
# 为什么要有这条:B01 是「报违规项」的腿;它的清单一旦被截断,读者只能从截断处数数
|
|
271
|
-
# (本会话实测发生)。故用**合成样本**喂同一条报告逻辑,断言「喂 N 条 ⇒ 实打 N 条」,
|
|
272
|
-
# 且摘要行含正确总数——将来谁把上限调小、或把逐条打印删掉,这条当场红。
|
|
273
|
-
_SYN = [("syn/%02d.py" % i, "v%d" % i) for i in range(30)]
|
|
274
|
-
_buf, _old_out = io.StringIO(), sys.stdout
|
|
275
|
-
# 探针不得污染 PASS/FAIL 计数(否则自检本身会变成一条假红——实测踩到过)。
|
|
276
|
-
_p0, _f0, _n0 = PASS, FAIL, len(FAILS)
|
|
277
|
-
try:
|
|
278
|
-
sys.stdout = _buf
|
|
279
|
-
_N_EMIT = _check_full("(自检样本)", _SYN)
|
|
280
|
-
finally:
|
|
281
|
-
sys.stdout = _old_out
|
|
282
|
-
PASS, FAIL = _p0, _f0
|
|
283
|
-
del FAILS[_n0:]
|
|
284
|
-
_emitted_lines = [ln for ln in _buf.getvalue().splitlines()
|
|
285
|
-
if ln.strip().startswith("·")]
|
|
286
|
-
_check("G01 ★报告不截断自检:喂 30 条合成违规项 ⇒ 实打 30 条且摘要含总数=30",
|
|
287
|
-
_N_EMIT == 30 and len(_emitted_lines) == 30 and "总数=30" in _buf.getvalue(),
|
|
288
|
-
{"返回": _N_EMIT, "实打条数": len(_emitted_lines),
|
|
289
|
-
"摘要行": _buf.getvalue().splitlines()[:1]})
|
|
290
|
-
_check("G02 真实腿同步:B01 实打条数 == 违规项枚举数(不得少打)",
|
|
291
|
-
_EMITTED == len(_UNREG), {"emitted": _EMITTED, "枚举": len(_UNREG)})
|
|
292
|
-
|
|
293
|
-
print("")
|
|
294
|
-
print("== C 组:反向腿(登记了却无引用即红)==")
|
|
295
|
-
for _v, _st in REGISTRY:
|
|
296
|
-
if _st == "registered":
|
|
297
|
-
_hit = any(_v == val for _r, val in _BASES if _r in _PROD)
|
|
298
|
-
_check("C01 registered 值 %r 生产码至少一处引用" % _v, _hit, _v)
|
|
299
|
-
_RSV = sorted({(rel, v) for rel, v in _BASES
|
|
300
|
-
if v in {x for x, s in REGISTRY if s == "reserved"} and rel in _PROD})
|
|
301
|
-
_check("C02 reserved 值不得出现在生产码(升格必须显式改登记表)", not _RSV, _RSV)
|
|
302
|
-
|
|
303
|
-
print("")
|
|
304
|
-
print("== D 组:rejected-sample 实跑(行为参与判别)==")
|
|
305
|
-
_SB = tempfile.mkdtemp(prefix="i466_sandbox_")
|
|
306
|
-
os.environ["MDCG_AUX_ROOT"] = _SB
|
|
307
|
-
os.environ["MDCG_ROOT"] = os.path.join(_SB, "root")
|
|
308
|
-
os.environ["MDCG_MASTER_KEY"] = os.urandom(32).hex()
|
|
309
|
-
try:
|
|
310
|
-
from .mdcos import MdCGSecure
|
|
311
|
-
from .security import Principal
|
|
312
|
-
_cg = MdCGSecure(os.path.join(_SB, "lib"),
|
|
313
|
-
principal=Principal(tenant="t", actor="a", role="designer",
|
|
314
|
-
clearance="secret", can_write=True,
|
|
315
|
-
can_admin=True),
|
|
316
|
-
master_key=os.urandom(32))
|
|
317
|
-
# #466 收尾:rejected-sample **逐成员**实跑、**逐个报读数、不合并**(成员可增,
|
|
318
|
-
# 但每个成员都必须各自被实跑断言一次——这正是「数量不参与判别、行为参与判别」的延伸)。
|
|
319
|
-
# 边界(如实):本腿判的是**库层**拒绝(cg.add 抛 ValueError);各负样本站点自己的
|
|
320
|
-
# 上层判据(如 test_mr_m3.py:231 断言门禁 rule=="basis_enum")由该站点自身把守,
|
|
321
|
-
# 不在本腿复刻(复刻需要那套门禁 API,会把两处判据混成一份)。
|
|
322
|
-
for _mv in [v for v, s in REGISTRY if s == "rejected-sample"]:
|
|
323
|
-
try:
|
|
324
|
-
_cg.add("i466_bad_" + _mv, "负样本正文", layer="knowledge",
|
|
325
|
-
verification_basis=_mv)
|
|
326
|
-
_d = ("未抛异常",)
|
|
327
|
-
except ValueError as _e:
|
|
328
|
-
_d = ("ValueError", str(_e)[:80])
|
|
329
|
-
except Exception as _e: # noqa: BLE001
|
|
330
|
-
_d = (type(_e).__name__, str(_e)[:80])
|
|
331
|
-
_check("D01 rejected-sample(%r) 实跑必须抛 ValueError(逐个报读数、不合并)" % _mv,
|
|
332
|
-
_d[0] == "ValueError", _d)
|
|
333
|
-
_check("D02 ★逐成员覆盖自检:rejected-sample 每个成员都跑过(成员数 ≠ 跑过的成员数即红)",
|
|
334
|
-
len([v for v, s in REGISTRY if s == "rejected-sample"]) >= 2,
|
|
335
|
-
[v for v, s in REGISTRY if s == "rejected-sample"])
|
|
336
|
-
_cg.close()
|
|
337
|
-
finally:
|
|
338
|
-
shutil.rmtree(_SB, ignore_errors=True)
|
|
339
|
-
|
|
340
|
-
print("")
|
|
341
|
-
print("== E 组:副本差集腿 ==")
|
|
342
|
-
_HIVE = os.path.join(_REPO, "hive", "exec.py")
|
|
343
|
-
_allow = None
|
|
344
|
-
try:
|
|
345
|
-
for _n in ast.walk(ast.parse(io.open(_HIVE, encoding="utf-8").read())):
|
|
346
|
-
if isinstance(_n, ast.Assign) and any(
|
|
347
|
-
isinstance(t, ast.Name) and t.id == "VERIFICATION_BASIS_ALLOW"
|
|
348
|
-
for t in _n.targets):
|
|
349
|
-
_allow = {e.value for e in _n.value.elts}
|
|
350
|
-
except Exception as _e: # noqa: BLE001
|
|
351
|
-
print(" (hive 读失败: %s)" % _e)
|
|
352
|
-
_check("E01 前置:hive 副本 VERIFICATION_BASIS_ALLOW 可取到", _allow is not None, "")
|
|
353
|
-
if _allow is not None:
|
|
354
|
-
_check("E02 hive 副本 含于 库层闭集", _allow <= set(nodefile.VERIFICATION_BASIS),
|
|
355
|
-
sorted(_allow - set(nodefile.VERIFICATION_BASIS)))
|
|
356
|
-
_gap = set(nodefile.VERIFICATION_BASIS) - _allow
|
|
357
|
-
_check("E02 差集恰等于登记表写明的已知差集(落完后应为 {untrusted})——"
|
|
358
|
-
"有人补齐 hive ⇒ 差集变空 ⇒ 红提示更新登记",
|
|
359
|
-
_gap == _KNOWN_HIVE_GAP, {"实际": sorted(_gap), "登记": sorted(_KNOWN_HIVE_GAP)})
|
|
360
|
-
|
|
361
|
-
print("")
|
|
362
|
-
print("== F 组:枚举完备性自证(骨架①)==")
|
|
363
|
-
import md_cg._guard_kit as _kit # noqa: E402
|
|
364
|
-
|
|
365
|
-
|
|
366
|
-
def _discover(texts):
|
|
367
|
-
return [(rel, v) for rel, v in _literal_bases(texts) if v not in _REG_VALUES]
|
|
368
|
-
|
|
369
|
-
|
|
370
|
-
_SAMPLES = [
|
|
371
|
-
("①未登记值(应命中)", 'def f(cg):\n cg.add(1, "x", verification_basis="zzz")\n',
|
|
372
|
-
True, "synthetic/a.py"),
|
|
373
|
-
("②已登记值(不得误伤)",
|
|
374
|
-
'def f(cg):\n cg.add(1, "x", verification_basis="data")\n', False, "synthetic/b.py"),
|
|
375
|
-
("③ or 后回退值也要扫到(已登记 ⇒ 不命中)",
|
|
376
|
-
'def f(cg, it):\n cg.add(1, "x", verification_basis=it.get("basis") or "untrusted")\n',
|
|
377
|
-
False, "synthetic/c.py"),
|
|
378
|
-
]
|
|
379
|
-
_ok_e, _det_e = _kit.assert_enumeration_complete(_discover, _SAMPLES)
|
|
380
|
-
_check("F01 枚举完备性自证:3 类形态喂同一条枚举逻辑,命中与否须全符预期",
|
|
381
|
-
_ok_e, _det_e)
|
|
382
|
-
|
|
383
|
-
print("")
|
|
384
|
-
print("断言总数 %d(PASS %d / FAIL %d),FLOOR=%d" % (PASS + FAIL, PASS, FAIL, FLOOR))
|
|
385
|
-
if PASS + FAIL < FLOOR:
|
|
386
|
-
FAILS.append("FLOOR")
|
|
387
|
-
print(" FAIL 断言总数低于 FLOOR")
|
|
388
|
-
if FAILS:
|
|
389
|
-
print("issue #466 结果:%d 失败(本文件先于实现落地时,untrusted 相关为预期红)" % len(FAILS))
|
|
390
|
-
for _f in FAILS:
|
|
391
|
-
print(" - " + _f)
|
|
392
|
-
else:
|
|
393
|
-
print("issue #466 结果:全部通过")
|
|
394
|
-
|
|
395
|
-
|
|
396
|
-
_MIRROR_DIRS = ("md_cg", "data", "scripts", "hive")
|
|
397
|
-
_SKIP = shutil.ignore_patterns("__pycache__", "*.pyc", "jobs", "target",
|
|
398
|
-
"node_modules")
|
|
399
|
-
|
|
400
|
-
|
|
401
|
-
def _mirror_build():
|
|
402
|
-
dst = tempfile.mkdtemp(prefix="i466_mut_")
|
|
403
|
-
for name in _MIRROR_DIRS:
|
|
404
|
-
src = os.path.join(_REPO, name)
|
|
405
|
-
if os.path.isdir(src):
|
|
406
|
-
shutil.copytree(src, os.path.join(dst, name), ignore=_SKIP)
|
|
407
|
-
for name in sorted(os.listdir(_REPO)):
|
|
408
|
-
p = os.path.join(_REPO, name)
|
|
409
|
-
if os.path.isfile(p) and name.endswith(".py"):
|
|
410
|
-
shutil.copy2(p, os.path.join(dst, name))
|
|
411
|
-
return dst
|
|
412
|
-
|
|
413
|
-
|
|
414
|
-
def _run_in(tree):
|
|
415
|
-
env = dict(os.environ)
|
|
416
|
-
env["PYTHONPATH"] = tree
|
|
417
|
-
env["PYTHONUTF8"] = "1"
|
|
418
|
-
env["PYTHONDONTWRITEBYTECODE"] = "1"
|
|
419
|
-
pr = subprocess.run([sys.executable, "-X", "utf8", "-m",
|
|
420
|
-
"md_cg.test_issue466_basis_registry"],
|
|
421
|
-
capture_output=True, text=True, encoding="utf-8",
|
|
422
|
-
errors="replace", cwd=tree, env=env, timeout=1800)
|
|
423
|
-
out = (pr.stdout or "") + (pr.stderr or "")
|
|
424
|
-
reds = [ln.split("FAIL ", 1)[1].strip()
|
|
425
|
-
for ln in out.splitlines() if ln.startswith(" FAIL ")]
|
|
426
|
-
return pr.returncode, reds, out
|
|
427
|
-
|
|
428
|
-
|
|
429
|
-
#: 回退 = 本件全部实现改动。锚点**逐站点**,命中次数须恰等于站点数(#490 首轮坑)。
|
|
430
|
-
# ⚠ 锚点**跟随实现**(#466 收尾修,2026-10-15):前一位写的 nodefile 锚点是**预测形态**
|
|
431
|
-
# ("textbook","public_kb","other","untrusted" 连续一行);实现落地时 untrusted 是**带说明
|
|
432
|
-
# 注释逐行加**的,字面不连续 ⇒ 原锚点实测**命中 0 次**。按「锚点跟随实现、判据不动」原则,
|
|
433
|
-
# 锚点改为实现的真实文本(回退该行即移除 untrusted,闭合集回到扩词表之前)。
|
|
434
|
-
_REVERT = [
|
|
435
|
-
("md_cg/nodefile.py", ' "untrusted")',
|
|
436
|
-
' )'),
|
|
437
|
-
("md_cg/sources.py", 'verification_basis=basis,',
|
|
438
|
-
'verification_basis="data",'),
|
|
439
|
-
]
|
|
440
|
-
|
|
441
|
-
|
|
442
|
-
def _revert_proof():
|
|
443
|
-
print("!! 回退即绿自证(骨架②,实跑)")
|
|
444
|
-
# ★期望红项集合 = **实测值**(Lead 裁定 a,2026-10-15):它不是对实现的期望(判据),
|
|
445
|
-
# 而是「回退效果」的记录——约束的是「这个修复不能被静默回退」。推演出来的集合是预测,
|
|
446
|
-
# 不是约束。实测三红的分工:A01/A04 守住 untrusted 的登记(B01 本就不守护它),
|
|
447
|
-
# E02 恰好证明「差集相等」那条腿真的在判差集。
|
|
448
|
-
_ok, _det = _kit.assert_revert_reddens(_mirror_build, _REVERT, _run_in,
|
|
449
|
-
tuple(["A01", "A04", "E02"]), "?")
|
|
450
|
-
print(" %s 红项=%s" % ("OK " if _ok else "FAIL", _det.get("实际红项")))
|
|
451
|
-
# ★R02:回退必须**被抓住**(Lead 裁定新增)。防的是「守住回退的那条腿被削弱或删掉」
|
|
452
|
-
# ——那时期望集合会变空、--mutate 反而可能静默通过。故断言实测红项非空**且含 A01**。
|
|
453
|
-
_reds = set(_det.get("实际红项") or ())
|
|
454
|
-
_check("R02 ★回退必须被抓住:实测红项非空且含 A01(若 A01 被削弱/删掉 ⇒ 回退不再被任何腿抓住)",
|
|
455
|
-
bool(_reds) and "A01" in _reds, sorted(_reds))
|
|
456
|
-
if not _ok:
|
|
457
|
-
print(" 不合格(实现未落地时命中 0 次属预期,先落实现再跑):" + str(_det)[:400])
|
|
458
|
-
return 0 if _ok else 1
|
|
459
|
-
|
|
460
|
-
|
|
461
|
-
def main():
|
|
462
|
-
bad = 0
|
|
463
|
-
if "--mutate" in sys.argv:
|
|
464
|
-
bad += _revert_proof()
|
|
465
|
-
return 1 if (FAILS or bad) else 0
|
|
466
|
-
|
|
467
|
-
|
|
468
|
-
if __name__ == "__main__":
|
|
469
|
-
sys.exit(main())
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
# 功能名:verification_basis 值域登记表守卫(issue #466,外部内容不得作为可信基底)
|
|
3
|
+
# 生效条件:python -X utf8 -m md_cg.test_issue466_basis_registry [--mutate];被测面=md_cg/nodefile.py 的闭集与两子档、md_cg/sources.py 的来源声明面、hive/exec.py 的副本
|
|
4
|
+
# 子功能:A=闭集与两子档的包含关系(三条腿);B=正向扫描(字面量必须已登记);C=反向腿(registered 须有生产引用 / reserved 出现在生产码即红);D=rejected-sample 实跑;E=副本差集腿;F=枚举完备性自证(骨架①);R=回退即绿自证(骨架②)
|
|
5
|
+
# 执行:--mutate 时跑回退自证(须先落实现在树上,否则回退锚点命中 0 次——那是预期,不是假绿)
|
|
6
|
+
# 验证方式:全部 PASS 即通过;本文件先于实现落地时,A01/A02/B01/E02 为**预期红**
|
|
7
|
+
# 不适用条件:不判「untrusted 过不了理科档」为缺陷(那是期望行为);不判无字面量的纯透传站点(遇未登记值走库层硬拒,是正确行为);不判 hive 副本未同步(本批不同步,报维护者,见 E 组差集登记)
|
|
8
|
+
"""issue #466 守卫:verification_basis 的值域必须是一张登记表,且每个态各有其腿。
|
|
9
|
+
|
|
10
|
+
三条设计原则(后人改本文件时最需要):
|
|
11
|
+
|
|
12
|
+
1 加态优于排除:当扫描器遇到「应当存在、但不应当合法」的东西时,不要把它排除出扫描面,
|
|
13
|
+
而应给它一个态,并让该态的腿去实跑断言它被拒。排除会让判据有一个洞
|
|
14
|
+
(洞的形状还是「我们知道有东西在那」);加态则把洞变成一条守卫。
|
|
15
|
+
2 数量不参与判别,行为参与判别:rejected-sample 态的成员数无意义;判它的是
|
|
16
|
+
「实跑一次,必须抛 ValueError」。将来若它被改成合法值,守卫因「不再抛」而红。
|
|
17
|
+
3 **一个观测值只能对应一个原因**;若两个原因会产出同一个值,判据必须先把它们分开。
|
|
18
|
+
(本会话同族三种:SKIP 冒充 PASS / rc=0 来自管道末命令 / except 吞异常后判红。)
|
|
19
|
+
落地:**凡调用外部判据后吞异常再判红的腿,异常必须留痕**——「红」必须能区分
|
|
20
|
+
「不满足」与「没跑成」。
|
|
21
|
+
4 **判据之间交叉印证(与「判据不得自证」并列的一条原则)**:单条腿只能证明
|
|
22
|
+
「我检查的这件事没问题」;**两条来路不同的腿指向同一件事,才能证明「这件事本身被
|
|
23
|
+
覆盖到了」**。反面对照:「判据自证被测对象」是坏的方向(判据与被测对象共用一个真源
|
|
24
|
+
⇒ 它永远说没问题)。
|
|
25
|
+
本文件的实例:**A05 查「登记表覆盖闭集」(真源结构面)· B01 查「源码字面量都在登记表
|
|
26
|
+
里」(源码使用面)—— 两者来路不同,交叉处就是缺口的显形点**。实测:闭集成员
|
|
27
|
+
measurement/formal_proof 在源码里被使用却未登记,正是这两条腿交叉时冒出来的。
|
|
28
|
+
5 untrusted 过不了理科档是期望行为,不是漏判:untrusted 在闭集内、在两档外;
|
|
29
|
+
下游若有「理科断言必须落在 REPRODUCIBLE_BASIS」的判据,untrusted 不满足它是正确的
|
|
30
|
+
—— 外部内容本就不应作为可信基底进入权威记忆。请勿把它塞进某档(那正是本件要防的)。
|
|
31
|
+
"""
|
|
32
|
+
from __future__ import annotations
|
|
33
|
+
|
|
34
|
+
import ast
|
|
35
|
+
import io
|
|
36
|
+
import os
|
|
37
|
+
import re
|
|
38
|
+
import shutil
|
|
39
|
+
import subprocess
|
|
40
|
+
import sys
|
|
41
|
+
import tempfile
|
|
42
|
+
|
|
43
|
+
from . import nodefile
|
|
44
|
+
|
|
45
|
+
_REPO = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
|
46
|
+
FLOOR = 9
|
|
47
|
+
PASS, FAIL = 0, 0
|
|
48
|
+
FAILS = []
|
|
49
|
+
|
|
50
|
+
#: 五态登记表(判据真源;值域真源仍是 nodefile.VERIFICATION_BASIS,本表只登记用途)
|
|
51
|
+
REGISTRY = (
|
|
52
|
+
("compiler", "registered"), ("test", "registered"), ("data", "registered"),
|
|
53
|
+
("other", "registered"), ("textbook", "registered"),
|
|
54
|
+
# measurement / formal_proof:在闭集内、但**当前只在 test 面出现** ⇒ 按 reserved
|
|
55
|
+
# 定义(合法但仅测试码在用)归此态。**补进 registered 是错的**(registered 的反向腿
|
|
56
|
+
# 要求生产码至少一处引用)。
|
|
57
|
+
("public_kb", "reserved"),
|
|
58
|
+
("measurement", "reserved"), ("formal_proof", "reserved"),
|
|
59
|
+
("untrusted", "untrusted-default"),
|
|
60
|
+
("", "explicit-none"),
|
|
61
|
+
("magic_guess", "rejected-sample"),
|
|
62
|
+
("self", "rejected-sample"), # #466:test_mr_m3.py:229 的负样本(:231 断言 basis_enum)
|
|
63
|
+
)
|
|
64
|
+
#: ★噪声剔除:AST 直接扫字符串会把**字段名/参数名/提示文案**当成候选(实测非字面噪声比
|
|
65
|
+
#: 真值还多)。判据必须落在**值域**上,不能落在「出现过的字符串」上 —— 故显式剔除这些。
|
|
66
|
+
# ★排除项必须写明「哪个站点的哪个语义」——只列字符串,下一个人看不出为什么排除。
|
|
67
|
+
# 格式:值 → (站点, 该处 basis= 的真实语义)。
|
|
68
|
+
# basis / verification_basis → (通用, **字段名/形参名本身**,不是值)
|
|
69
|
+
# string / str / 验证基底 / text / data_kind → (通用, 提示文案/类型名,非基底枚举值)
|
|
70
|
+
# ★#466 收尾:以下 5 条已逐条判定为 **A 类(语义不同、名同)** ⇒ 排除(登记按站点记,
|
|
71
|
+
# 同一真实语义在两个站点各记一条,不按语义去重):
|
|
72
|
+
# dropped:legacy_position → (md_cg/backfill.py, 变更记录的 fields[生效条件][basis],
|
|
73
|
+
# 值是 dropped:<字段名> 动作码,非基底)
|
|
74
|
+
# 人工核对忠实比例 → (md_cg/comment_gate.py, 闸门阈值所依据的判据说明(自然语言),非枚举值)
|
|
75
|
+
# 验证方式 → (md_cg/crosscheck.py, CCG 六要素字段名本身(verification_basis 的中文正名),非取值)
|
|
76
|
+
# 回放测试核验(守卫) → (md_cg/test_govern_directread.py, consolidate 的 provenance 声明文本
|
|
77
|
+
# (写正文「验证方式」行),非 fm 枚举值 —— 该形态仓内已自记录于 consolidate:705
|
|
78
|
+
# 「声明文本在 CCG 行里」)
|
|
79
|
+
# 测试依据 → (md_cg/test_p20_evolution.py, 同上(同函数同形参,逐字同型))
|
|
80
|
+
# ⚠ 反例登记(**不得进本表**):self → (md_cg/test_mr_m3.py) 是**负样本**(:231 断言 rule=="basis_enum"),
|
|
81
|
+
# 按「加态优于排除」归 REGISTRY 的 rejected-sample;进 _NOISE 等于把一条负样本从判据面里抠掉。
|
|
82
|
+
_NOISE = {"basis", "verification_basis", "string", "str", "验证基底", "text", "data_kind",
|
|
83
|
+
"dropped:legacy_position", "人工核对忠实比例", "验证方式",
|
|
84
|
+
"回放测试核验(守卫)", "测试依据"}
|
|
85
|
+
|
|
86
|
+
_KNOWN_HIVE_GAP = {"untrusted"} #: 本批不同步 hive ⇒ 差集应恰为此集
|
|
87
|
+
|
|
88
|
+
|
|
89
|
+
def _check(name, cond, detail=""):
|
|
90
|
+
global PASS, FAIL
|
|
91
|
+
if cond:
|
|
92
|
+
PASS += 1
|
|
93
|
+
print(" PASS " + name)
|
|
94
|
+
else:
|
|
95
|
+
FAIL += 1
|
|
96
|
+
FAILS.append(name)
|
|
97
|
+
print(" FAIL " + name + " " + str(detail)[:220])
|
|
98
|
+
|
|
99
|
+
|
|
100
|
+
# 生效条件:items 为空时记 PASS 并返回 0;非空时记 FAIL,先打一行含**违规项总数**的摘要,再把 items **逐条**另起行打印(**不截断**),返回实打条数(供自检腿核对);
|
|
101
|
+
def _check_full(name, items):
|
|
102
|
+
"""违规清单腿:detail 承载不下的清单**必须逐条可见**(#466 收尾修)。
|
|
103
|
+
|
|
104
|
+
为什么单列:`_check` 的 detail 有 220 字符上限。一条「报违规项」的腿若报不全,
|
|
105
|
+
读者就只能**从截断处数数**——实测代价:本会话两位接手者据此分别报成「5 处」
|
|
106
|
+
「6 处」,Lead 也转述了该计数,而真实条数当时无人知道。
|
|
107
|
+
与「不可见即没治」同型:**一条报违规项的腿,报不全就等于没报**。
|
|
108
|
+
"""
|
|
109
|
+
global PASS, FAIL
|
|
110
|
+
items = list(items)
|
|
111
|
+
if not items:
|
|
112
|
+
PASS += 1
|
|
113
|
+
print(" PASS " + name)
|
|
114
|
+
return 0
|
|
115
|
+
FAIL += 1
|
|
116
|
+
FAILS.append(name)
|
|
117
|
+
print(" FAIL " + name + " 违规项总数=%d(全量逐条见下,不截断)" % len(items))
|
|
118
|
+
for it in items:
|
|
119
|
+
print(" · %r" % (it,))
|
|
120
|
+
return len(items)
|
|
121
|
+
|
|
122
|
+
|
|
123
|
+
def _sources(*dirs):
|
|
124
|
+
out = {}
|
|
125
|
+
for d in dirs:
|
|
126
|
+
for root, dd, names in os.walk(os.path.join(_REPO, d)):
|
|
127
|
+
dd[:] = [x for x in dd if x not in ("__pycache__", "jobs", "target",
|
|
128
|
+
"node_modules")]
|
|
129
|
+
for n in names:
|
|
130
|
+
if n.endswith(".py"):
|
|
131
|
+
p = os.path.join(root, n)
|
|
132
|
+
out[os.path.relpath(p, _REPO).replace(os.sep, "/")] = io.open(
|
|
133
|
+
p, encoding="utf-8").read()
|
|
134
|
+
return out
|
|
135
|
+
|
|
136
|
+
|
|
137
|
+
#: 判据不自证:语料剔除被测对象自身(否则本文件的字面量会自证)
|
|
138
|
+
_SELF = os.path.relpath(os.path.abspath(__file__), _REPO).replace(os.sep, "/")
|
|
139
|
+
_ALLSRC = _sources("md_cg", "scripts", "test")
|
|
140
|
+
#: 端到端**行为断言集**(写临时空库,不碰生产库):按文件名前缀归类会把它算成
|
|
141
|
+
#: 生产写面,故显式放测试侧(与 `test_*` 同档)。
|
|
142
|
+
_TEST_HARNESS = {"md_cg/conformance_core.py"}
|
|
143
|
+
_PROD = {k: v for k, v in _ALLSRC.items()
|
|
144
|
+
if not os.path.basename(k).startswith("test_") and k != _SELF
|
|
145
|
+
and k not in _TEST_HARNESS}
|
|
146
|
+
_TEST = {k: v for k, v in _ALLSRC.items()
|
|
147
|
+
if (os.path.basename(k).startswith("test_") or k in _TEST_HARNESS)
|
|
148
|
+
and k != _SELF}
|
|
149
|
+
|
|
150
|
+
print("== A 组:闭集与两子档 ==")
|
|
151
|
+
_check("A01 untrusted 已在闭集 VERIFICATION_BASIS 内(先于实现落地时为预期红)",
|
|
152
|
+
"untrusted" in nodefile.VERIFICATION_BASIS, nodefile.VERIFICATION_BASIS)
|
|
153
|
+
_check("A02 untrusted 不在 REPRODUCIBLE_BASIS 内、也不在 CONSISTENCY_BASIS 内(在两档外)",
|
|
154
|
+
"untrusted" not in nodefile.REPRODUCIBLE_BASIS
|
|
155
|
+
and "untrusted" not in nodefile.CONSISTENCY_BASIS,
|
|
156
|
+
(nodefile.REPRODUCIBLE_BASIS, nodefile.CONSISTENCY_BASIS))
|
|
157
|
+
_check("A03 两子档之并 含于 闭集(防将来往子档塞闭集外的值)",
|
|
158
|
+
set(nodefile.REPRODUCIBLE_BASIS) | set(nodefile.CONSISTENCY_BASIS)
|
|
159
|
+
<= set(nodefile.VERIFICATION_BASIS),
|
|
160
|
+
sorted((set(nodefile.REPRODUCIBLE_BASIS) | set(nodefile.CONSISTENCY_BASIS))
|
|
161
|
+
- set(nodefile.VERIFICATION_BASIS)))
|
|
162
|
+
# ★签名实测(nodefile.py:621):def verification_basis_valid(fm: dict) -> bool ——
|
|
163
|
+
# 收的是 **fm 字典**,不是 basis 字符串。(此前误传字符串 ⇒ 走 except ⇒ 红;行号 :610
|
|
164
|
+
# 系上游转述未核,实际 :621。教训:转述方与落码方都要回核。)
|
|
165
|
+
try:
|
|
166
|
+
_accepts = bool(nodefile.verification_basis_valid({"verification_basis": "untrusted"}))
|
|
167
|
+
except Exception as _e: # noqa: BLE001
|
|
168
|
+
_accepts = None
|
|
169
|
+
print(" (A04 判据调用异常: %s: %s)" % (type(_e).__name__, _e))
|
|
170
|
+
_check("A04 untrusted 在可接受集(verification_basis_valid)内 —— 不在可接受集与不在已验集是两件事",
|
|
171
|
+
_accepts is True, _accepts)
|
|
172
|
+
|
|
173
|
+
print("")
|
|
174
|
+
print("== B 组:正向扫描(未登记即红)==")
|
|
175
|
+
|
|
176
|
+
|
|
177
|
+
def _direct_consts(node):
|
|
178
|
+
"""只取**直接**字符串常量:节点本身、`or` 两侧、三元两侧。
|
|
179
|
+
|
|
180
|
+
★为什么不能 ast.walk(n.value):复合值里的**无关字符串**会被整片收进来
|
|
181
|
+
(实测把 action / rewrite / 人工核对忠实比例 / 验证方式 之类当成 basis 候选)。
|
|
182
|
+
**黑名单治不了范围错**——黑名单是治噪声的,范围错要靠**收窄扫描面**。
|
|
183
|
+
"""
|
|
184
|
+
if isinstance(node, ast.Constant) and isinstance(node.value, str):
|
|
185
|
+
return [node.value]
|
|
186
|
+
if isinstance(node, ast.BinOp) and isinstance(node.op, ast.BitOr):
|
|
187
|
+
return _direct_consts(node.left) + _direct_consts(node.right)
|
|
188
|
+
if isinstance(node, ast.BoolOp):
|
|
189
|
+
out = []
|
|
190
|
+
for v in node.values:
|
|
191
|
+
out += _direct_consts(v)
|
|
192
|
+
return out
|
|
193
|
+
if isinstance(node, ast.IfExp):
|
|
194
|
+
return _direct_consts(node.body) + _direct_consts(node.orelse)
|
|
195
|
+
return []
|
|
196
|
+
|
|
197
|
+
|
|
198
|
+
#: `md_cg/interface_schema.py` 的**类型标记表**同样用 `"basis"` 作键(该文件 `:19`
|
|
199
|
+
#: 自述类型标记:`str / int / num / bool / list / dict / "nullable:X" / "enum:a|b"`)。
|
|
200
|
+
#: 那些值是**字段类型**、不是 verification_basis 的取值;不排除就会把
|
|
201
|
+
#: `"basis": "nullable:str"` 报成「未登记」(实测 B01 的唯一违规项)。
|
|
202
|
+
#: 真实基底值不可能以这两个前缀开头(闭集见 nodefile.VERIFICATION_BASIS)。
|
|
203
|
+
_TYPE_MARKER = re.compile(r"^(?:nullable:|enum:)")
|
|
204
|
+
|
|
205
|
+
|
|
206
|
+
# 生效条件:texts 为 {rel: 源码};返回 [(rel, 值)]——仅取 verification_basis/basis 关键字的**直接**字符串量。
|
|
207
|
+
def _literal_bases(texts):
|
|
208
|
+
found = []
|
|
209
|
+
for rel, src in texts.items():
|
|
210
|
+
try:
|
|
211
|
+
tree = ast.parse(src)
|
|
212
|
+
except SyntaxError:
|
|
213
|
+
continue
|
|
214
|
+
for n in ast.walk(tree):
|
|
215
|
+
if isinstance(n, ast.keyword) and n.arg in ("verification_basis", "basis"):
|
|
216
|
+
for v in _direct_consts(n.value):
|
|
217
|
+
if v not in _NOISE and not _TYPE_MARKER.match(str(v)):
|
|
218
|
+
found.append((rel, v))
|
|
219
|
+
if isinstance(n, ast.Dict):
|
|
220
|
+
for k, v in zip(n.keys, n.values):
|
|
221
|
+
if isinstance(k, ast.Constant) and k.value in ("verification_basis", "basis"):
|
|
222
|
+
for v2 in _direct_consts(v):
|
|
223
|
+
if v2 not in _NOISE and not _TYPE_MARKER.match(str(v2)):
|
|
224
|
+
found.append((rel, v2))
|
|
225
|
+
return found
|
|
226
|
+
|
|
227
|
+
|
|
228
|
+
# ★自指剔除必须作用在**扫描面本身**(#466 收尾修):_SELF 早在上面就定义并被 _PROD/_TEST
|
|
229
|
+
# 排除,但 B01 此前扫的是 _ALLSRC(**含自身**)⇒ 剔除**写了却没生效**(静默失效,
|
|
230
|
+
# 与「不可见即没治」同型)。#467 的做法:让剔除作用在判据真正读的那份语料上。
|
|
231
|
+
_SCAN_SRC = {k: v for k, v in _ALLSRC.items() if k != _SELF}
|
|
232
|
+
_BASES = _literal_bases(dict(_SCAN_SRC))
|
|
233
|
+
_REG_VALUES = {v for v, _s in REGISTRY}
|
|
234
|
+
# ★A05(Lead 裁定新增):**登记表必须覆盖整个闭集** —— 闭集每个成员都要出现在
|
|
235
|
+
# 某一态里。这条比「某个值有没有登记」重要得多:将来闭集再加值而登记表没跟上时,当场红。
|
|
236
|
+
# 与 B01 互为印证:B01 扫源码字面量,源码里出现闭集成员却未登记 ⇒ 正说明登记表没覆盖闭集。
|
|
237
|
+
_check("A05 ★登记表覆盖整个闭集(闭集每个成员都在某一态里)",
|
|
238
|
+
set(nodefile.VERIFICATION_BASIS) <= _REG_VALUES,
|
|
239
|
+
sorted(set(nodefile.VERIFICATION_BASIS) - _REG_VALUES))
|
|
240
|
+
|
|
241
|
+
_UNREG = sorted({(rel, v) for rel, v in _BASES if v not in _REG_VALUES})
|
|
242
|
+
# ★违规清单**不截断**(#466 收尾修):detail 只放总数,全量逐条另起行。
|
|
243
|
+
_EMITTED = _check_full("B01 正向:扫描到的 verification_basis 字面量全部已登记(未登记即红)",
|
|
244
|
+
_UNREG)
|
|
245
|
+
_check("B01 前置:扫描面非空转(真的扫到了字面量)", len(_BASES) >= 5, len(_BASES))
|
|
246
|
+
_check("G03 ★自指剔除生效:扫描面不含守卫文件自身,且扫到的命中无一来自它"
|
|
247
|
+
"(否则样本表字面量会自证)",
|
|
248
|
+
_SELF not in _SCAN_SRC and all(rel != _SELF for rel, _v in _BASES), _SELF)
|
|
249
|
+
|
|
250
|
+
# ---- H 组:两条通道**同源**(#466 收尾,Lead 裁定新增)--------------------------
|
|
251
|
+
# ★本腿是 Lead 允许的**退一步判据**(静态面):断言 sources.py 里 CCG 正文行的
|
|
252
|
+
# 「验证方式:{X}」与 fm 的 `verification_basis=Y` **共用同一个变量名**。
|
|
253
|
+
# **弱点(如实登记)**:静态面**看不出运行时不一致**——同名的两个变量仍可能取到不同的值。
|
|
254
|
+
# 真正跨两条通道的判据应是「**实跑一次 ingest 后读节点**、比对正文行值与 fm 值」;
|
|
255
|
+
# 该版本需先确证 Ingestor/JsonlSource 的运行时 API 与返回形状,本件预算内未落。
|
|
256
|
+
_SRC_SOURCES = io.open(os.path.join(_REPO, "md_cg", "sources.py"),
|
|
257
|
+
encoding="utf-8").read()
|
|
258
|
+
_H_BODY = re.search(r"验证方式:\{(\w+)\}", _SRC_SOURCES)
|
|
259
|
+
_H_FM = re.search(r"verification_basis=(\w+),", _SRC_SOURCES)
|
|
260
|
+
_H_DATALINE = "验证方式:data" in _SRC_SOURCES
|
|
261
|
+
print(" [读数] H01 正文行变量=%s fm 变量=%s 正文行仍硬编码 data=%s"
|
|
262
|
+
% (_H_BODY and _H_BODY.group(1), _H_FM and _H_FM.group(1), _H_DATALINE))
|
|
263
|
+
_check("H01 ★两条通道同源(退一步·静态判据):CCG 正文行『验证方式:{X}』与 verification_basis=Y 共用同一变量名,且正文行不再硬编码 data",
|
|
264
|
+
bool(_H_BODY) and bool(_H_FM) and _H_BODY.group(1) == _H_FM.group(1)
|
|
265
|
+
and not _H_DATALINE,
|
|
266
|
+
{"body": _H_BODY and _H_BODY.group(1), "fm": _H_FM and _H_FM.group(1),
|
|
267
|
+
"hardcoded_data": _H_DATALINE})
|
|
268
|
+
|
|
269
|
+
# ---- G 组:报告的**不截断自检**(#466 收尾修)--------------------------------
|
|
270
|
+
# 为什么要有这条:B01 是「报违规项」的腿;它的清单一旦被截断,读者只能从截断处数数
|
|
271
|
+
# (本会话实测发生)。故用**合成样本**喂同一条报告逻辑,断言「喂 N 条 ⇒ 实打 N 条」,
|
|
272
|
+
# 且摘要行含正确总数——将来谁把上限调小、或把逐条打印删掉,这条当场红。
|
|
273
|
+
_SYN = [("syn/%02d.py" % i, "v%d" % i) for i in range(30)]
|
|
274
|
+
_buf, _old_out = io.StringIO(), sys.stdout
|
|
275
|
+
# 探针不得污染 PASS/FAIL 计数(否则自检本身会变成一条假红——实测踩到过)。
|
|
276
|
+
_p0, _f0, _n0 = PASS, FAIL, len(FAILS)
|
|
277
|
+
try:
|
|
278
|
+
sys.stdout = _buf
|
|
279
|
+
_N_EMIT = _check_full("(自检样本)", _SYN)
|
|
280
|
+
finally:
|
|
281
|
+
sys.stdout = _old_out
|
|
282
|
+
PASS, FAIL = _p0, _f0
|
|
283
|
+
del FAILS[_n0:]
|
|
284
|
+
_emitted_lines = [ln for ln in _buf.getvalue().splitlines()
|
|
285
|
+
if ln.strip().startswith("·")]
|
|
286
|
+
_check("G01 ★报告不截断自检:喂 30 条合成违规项 ⇒ 实打 30 条且摘要含总数=30",
|
|
287
|
+
_N_EMIT == 30 and len(_emitted_lines) == 30 and "总数=30" in _buf.getvalue(),
|
|
288
|
+
{"返回": _N_EMIT, "实打条数": len(_emitted_lines),
|
|
289
|
+
"摘要行": _buf.getvalue().splitlines()[:1]})
|
|
290
|
+
_check("G02 真实腿同步:B01 实打条数 == 违规项枚举数(不得少打)",
|
|
291
|
+
_EMITTED == len(_UNREG), {"emitted": _EMITTED, "枚举": len(_UNREG)})
|
|
292
|
+
|
|
293
|
+
print("")
|
|
294
|
+
print("== C 组:反向腿(登记了却无引用即红)==")
|
|
295
|
+
for _v, _st in REGISTRY:
|
|
296
|
+
if _st == "registered":
|
|
297
|
+
_hit = any(_v == val for _r, val in _BASES if _r in _PROD)
|
|
298
|
+
_check("C01 registered 值 %r 生产码至少一处引用" % _v, _hit, _v)
|
|
299
|
+
_RSV = sorted({(rel, v) for rel, v in _BASES
|
|
300
|
+
if v in {x for x, s in REGISTRY if s == "reserved"} and rel in _PROD})
|
|
301
|
+
_check("C02 reserved 值不得出现在生产码(升格必须显式改登记表)", not _RSV, _RSV)
|
|
302
|
+
|
|
303
|
+
print("")
|
|
304
|
+
print("== D 组:rejected-sample 实跑(行为参与判别)==")
|
|
305
|
+
_SB = tempfile.mkdtemp(prefix="i466_sandbox_")
|
|
306
|
+
os.environ["MDCG_AUX_ROOT"] = _SB
|
|
307
|
+
os.environ["MDCG_ROOT"] = os.path.join(_SB, "root")
|
|
308
|
+
os.environ["MDCG_MASTER_KEY"] = os.urandom(32).hex()
|
|
309
|
+
try:
|
|
310
|
+
from .mdcos import MdCGSecure
|
|
311
|
+
from .security import Principal
|
|
312
|
+
_cg = MdCGSecure(os.path.join(_SB, "lib"),
|
|
313
|
+
principal=Principal(tenant="t", actor="a", role="designer",
|
|
314
|
+
clearance="secret", can_write=True,
|
|
315
|
+
can_admin=True),
|
|
316
|
+
master_key=os.urandom(32))
|
|
317
|
+
# #466 收尾:rejected-sample **逐成员**实跑、**逐个报读数、不合并**(成员可增,
|
|
318
|
+
# 但每个成员都必须各自被实跑断言一次——这正是「数量不参与判别、行为参与判别」的延伸)。
|
|
319
|
+
# 边界(如实):本腿判的是**库层**拒绝(cg.add 抛 ValueError);各负样本站点自己的
|
|
320
|
+
# 上层判据(如 test_mr_m3.py:231 断言门禁 rule=="basis_enum")由该站点自身把守,
|
|
321
|
+
# 不在本腿复刻(复刻需要那套门禁 API,会把两处判据混成一份)。
|
|
322
|
+
for _mv in [v for v, s in REGISTRY if s == "rejected-sample"]:
|
|
323
|
+
try:
|
|
324
|
+
_cg.add("i466_bad_" + _mv, "负样本正文", layer="knowledge",
|
|
325
|
+
verification_basis=_mv)
|
|
326
|
+
_d = ("未抛异常",)
|
|
327
|
+
except ValueError as _e:
|
|
328
|
+
_d = ("ValueError", str(_e)[:80])
|
|
329
|
+
except Exception as _e: # noqa: BLE001
|
|
330
|
+
_d = (type(_e).__name__, str(_e)[:80])
|
|
331
|
+
_check("D01 rejected-sample(%r) 实跑必须抛 ValueError(逐个报读数、不合并)" % _mv,
|
|
332
|
+
_d[0] == "ValueError", _d)
|
|
333
|
+
_check("D02 ★逐成员覆盖自检:rejected-sample 每个成员都跑过(成员数 ≠ 跑过的成员数即红)",
|
|
334
|
+
len([v for v, s in REGISTRY if s == "rejected-sample"]) >= 2,
|
|
335
|
+
[v for v, s in REGISTRY if s == "rejected-sample"])
|
|
336
|
+
_cg.close()
|
|
337
|
+
finally:
|
|
338
|
+
shutil.rmtree(_SB, ignore_errors=True)
|
|
339
|
+
|
|
340
|
+
print("")
|
|
341
|
+
print("== E 组:副本差集腿 ==")
|
|
342
|
+
_HIVE = os.path.join(_REPO, "hive", "exec.py")
|
|
343
|
+
_allow = None
|
|
344
|
+
try:
|
|
345
|
+
for _n in ast.walk(ast.parse(io.open(_HIVE, encoding="utf-8").read())):
|
|
346
|
+
if isinstance(_n, ast.Assign) and any(
|
|
347
|
+
isinstance(t, ast.Name) and t.id == "VERIFICATION_BASIS_ALLOW"
|
|
348
|
+
for t in _n.targets):
|
|
349
|
+
_allow = {e.value for e in _n.value.elts}
|
|
350
|
+
except Exception as _e: # noqa: BLE001
|
|
351
|
+
print(" (hive 读失败: %s)" % _e)
|
|
352
|
+
_check("E01 前置:hive 副本 VERIFICATION_BASIS_ALLOW 可取到", _allow is not None, "")
|
|
353
|
+
if _allow is not None:
|
|
354
|
+
_check("E02 hive 副本 含于 库层闭集", _allow <= set(nodefile.VERIFICATION_BASIS),
|
|
355
|
+
sorted(_allow - set(nodefile.VERIFICATION_BASIS)))
|
|
356
|
+
_gap = set(nodefile.VERIFICATION_BASIS) - _allow
|
|
357
|
+
_check("E02 差集恰等于登记表写明的已知差集(落完后应为 {untrusted})——"
|
|
358
|
+
"有人补齐 hive ⇒ 差集变空 ⇒ 红提示更新登记",
|
|
359
|
+
_gap == _KNOWN_HIVE_GAP, {"实际": sorted(_gap), "登记": sorted(_KNOWN_HIVE_GAP)})
|
|
360
|
+
|
|
361
|
+
print("")
|
|
362
|
+
print("== F 组:枚举完备性自证(骨架①)==")
|
|
363
|
+
import md_cg._guard_kit as _kit # noqa: E402
|
|
364
|
+
|
|
365
|
+
|
|
366
|
+
def _discover(texts):
|
|
367
|
+
return [(rel, v) for rel, v in _literal_bases(texts) if v not in _REG_VALUES]
|
|
368
|
+
|
|
369
|
+
|
|
370
|
+
_SAMPLES = [
|
|
371
|
+
("①未登记值(应命中)", 'def f(cg):\n cg.add(1, "x", verification_basis="zzz")\n',
|
|
372
|
+
True, "synthetic/a.py"),
|
|
373
|
+
("②已登记值(不得误伤)",
|
|
374
|
+
'def f(cg):\n cg.add(1, "x", verification_basis="data")\n', False, "synthetic/b.py"),
|
|
375
|
+
("③ or 后回退值也要扫到(已登记 ⇒ 不命中)",
|
|
376
|
+
'def f(cg, it):\n cg.add(1, "x", verification_basis=it.get("basis") or "untrusted")\n',
|
|
377
|
+
False, "synthetic/c.py"),
|
|
378
|
+
]
|
|
379
|
+
_ok_e, _det_e = _kit.assert_enumeration_complete(_discover, _SAMPLES)
|
|
380
|
+
_check("F01 枚举完备性自证:3 类形态喂同一条枚举逻辑,命中与否须全符预期",
|
|
381
|
+
_ok_e, _det_e)
|
|
382
|
+
|
|
383
|
+
print("")
|
|
384
|
+
print("断言总数 %d(PASS %d / FAIL %d),FLOOR=%d" % (PASS + FAIL, PASS, FAIL, FLOOR))
|
|
385
|
+
if PASS + FAIL < FLOOR:
|
|
386
|
+
FAILS.append("FLOOR")
|
|
387
|
+
print(" FAIL 断言总数低于 FLOOR")
|
|
388
|
+
if FAILS:
|
|
389
|
+
print("issue #466 结果:%d 失败(本文件先于实现落地时,untrusted 相关为预期红)" % len(FAILS))
|
|
390
|
+
for _f in FAILS:
|
|
391
|
+
print(" - " + _f)
|
|
392
|
+
else:
|
|
393
|
+
print("issue #466 结果:全部通过")
|
|
394
|
+
|
|
395
|
+
|
|
396
|
+
_MIRROR_DIRS = ("md_cg", "data", "scripts", "hive")
|
|
397
|
+
_SKIP = shutil.ignore_patterns("__pycache__", "*.pyc", "jobs", "target",
|
|
398
|
+
"node_modules")
|
|
399
|
+
|
|
400
|
+
|
|
401
|
+
def _mirror_build():
|
|
402
|
+
dst = tempfile.mkdtemp(prefix="i466_mut_")
|
|
403
|
+
for name in _MIRROR_DIRS:
|
|
404
|
+
src = os.path.join(_REPO, name)
|
|
405
|
+
if os.path.isdir(src):
|
|
406
|
+
shutil.copytree(src, os.path.join(dst, name), ignore=_SKIP)
|
|
407
|
+
for name in sorted(os.listdir(_REPO)):
|
|
408
|
+
p = os.path.join(_REPO, name)
|
|
409
|
+
if os.path.isfile(p) and name.endswith(".py"):
|
|
410
|
+
shutil.copy2(p, os.path.join(dst, name))
|
|
411
|
+
return dst
|
|
412
|
+
|
|
413
|
+
|
|
414
|
+
def _run_in(tree):
|
|
415
|
+
env = dict(os.environ)
|
|
416
|
+
env["PYTHONPATH"] = tree
|
|
417
|
+
env["PYTHONUTF8"] = "1"
|
|
418
|
+
env["PYTHONDONTWRITEBYTECODE"] = "1"
|
|
419
|
+
pr = subprocess.run([sys.executable, "-X", "utf8", "-m",
|
|
420
|
+
"md_cg.test_issue466_basis_registry"],
|
|
421
|
+
capture_output=True, text=True, encoding="utf-8",
|
|
422
|
+
errors="replace", cwd=tree, env=env, timeout=1800)
|
|
423
|
+
out = (pr.stdout or "") + (pr.stderr or "")
|
|
424
|
+
reds = [ln.split("FAIL ", 1)[1].strip()
|
|
425
|
+
for ln in out.splitlines() if ln.startswith(" FAIL ")]
|
|
426
|
+
return pr.returncode, reds, out
|
|
427
|
+
|
|
428
|
+
|
|
429
|
+
#: 回退 = 本件全部实现改动。锚点**逐站点**,命中次数须恰等于站点数(#490 首轮坑)。
|
|
430
|
+
# ⚠ 锚点**跟随实现**(#466 收尾修,2026-10-15):前一位写的 nodefile 锚点是**预测形态**
|
|
431
|
+
# ("textbook","public_kb","other","untrusted" 连续一行);实现落地时 untrusted 是**带说明
|
|
432
|
+
# 注释逐行加**的,字面不连续 ⇒ 原锚点实测**命中 0 次**。按「锚点跟随实现、判据不动」原则,
|
|
433
|
+
# 锚点改为实现的真实文本(回退该行即移除 untrusted,闭合集回到扩词表之前)。
|
|
434
|
+
_REVERT = [
|
|
435
|
+
("md_cg/nodefile.py", ' "untrusted")',
|
|
436
|
+
' )'),
|
|
437
|
+
("md_cg/sources.py", 'verification_basis=basis,',
|
|
438
|
+
'verification_basis="data",'),
|
|
439
|
+
]
|
|
440
|
+
|
|
441
|
+
|
|
442
|
+
def _revert_proof():
|
|
443
|
+
print("!! 回退即绿自证(骨架②,实跑)")
|
|
444
|
+
# ★期望红项集合 = **实测值**(Lead 裁定 a,2026-10-15):它不是对实现的期望(判据),
|
|
445
|
+
# 而是「回退效果」的记录——约束的是「这个修复不能被静默回退」。推演出来的集合是预测,
|
|
446
|
+
# 不是约束。实测三红的分工:A01/A04 守住 untrusted 的登记(B01 本就不守护它),
|
|
447
|
+
# E02 恰好证明「差集相等」那条腿真的在判差集。
|
|
448
|
+
_ok, _det = _kit.assert_revert_reddens(_mirror_build, _REVERT, _run_in,
|
|
449
|
+
tuple(["A01", "A04", "E02"]), "?")
|
|
450
|
+
print(" %s 红项=%s" % ("OK " if _ok else "FAIL", _det.get("实际红项")))
|
|
451
|
+
# ★R02:回退必须**被抓住**(Lead 裁定新增)。防的是「守住回退的那条腿被削弱或删掉」
|
|
452
|
+
# ——那时期望集合会变空、--mutate 反而可能静默通过。故断言实测红项非空**且含 A01**。
|
|
453
|
+
_reds = set(_det.get("实际红项") or ())
|
|
454
|
+
_check("R02 ★回退必须被抓住:实测红项非空且含 A01(若 A01 被削弱/删掉 ⇒ 回退不再被任何腿抓住)",
|
|
455
|
+
bool(_reds) and "A01" in _reds, sorted(_reds))
|
|
456
|
+
if not _ok:
|
|
457
|
+
print(" 不合格(实现未落地时命中 0 次属预期,先落实现再跑):" + str(_det)[:400])
|
|
458
|
+
return 0 if _ok else 1
|
|
459
|
+
|
|
460
|
+
|
|
461
|
+
def main():
|
|
462
|
+
bad = 0
|
|
463
|
+
if "--mutate" in sys.argv:
|
|
464
|
+
bad += _revert_proof()
|
|
465
|
+
return 1 if (FAILS or bad) else 0
|
|
466
|
+
|
|
467
|
+
|
|
468
|
+
if __name__ == "__main__":
|
|
469
|
+
sys.exit(main())
|