local-triage 0.0.0-stage → 0.10.0-dev.33

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (241) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +194 -2
  3. package/THIRD-PARTY-NOTICES.md +61 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +99 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1493 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6382 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/example_tree.py +48 -0
  27. package/app/examples.py +622 -0
  28. package/app/executors.py +670 -0
  29. package/app/feeds.py +1231 -0
  30. package/app/guard.py +164 -0
  31. package/app/hub_block_builder.py +200 -0
  32. package/app/hub_block_version.py +220 -0
  33. package/app/hub_defects.py +4469 -0
  34. package/app/hub_effects.py +421 -0
  35. package/app/hub_entity_versions.py +108 -0
  36. package/app/hub_import.py +2054 -0
  37. package/app/hub_onboarding.py +114 -0
  38. package/app/hub_ops.py +330 -0
  39. package/app/hub_pull.py +1195 -0
  40. package/app/hub_state.py +255 -0
  41. package/app/hub_status.py +237 -0
  42. package/app/hub_sync.py +619 -0
  43. package/app/hub_sync_api.py +241 -0
  44. package/app/hub_sync_compare.py +1054 -0
  45. package/app/hub_sync_contract.py +75 -0
  46. package/app/hub_template_model.py +74 -0
  47. package/app/hub_text_scale.py +159 -0
  48. package/app/journal.py +250 -0
  49. package/app/llm.py +850 -0
  50. package/app/llm_chat.py +596 -0
  51. package/app/llm_http.py +319 -0
  52. package/app/llm_messages.py +401 -0
  53. package/app/llm_net.py +764 -0
  54. package/app/llm_ollama.py +571 -0
  55. package/app/lockfile.py +510 -0
  56. package/app/logsafe.py +54 -0
  57. package/app/main.py +373 -0
  58. package/app/mask_display.py +132 -0
  59. package/app/masking.py +814 -0
  60. package/app/metrics.py +194 -0
  61. package/app/model_traffic.py +519 -0
  62. package/app/models.py +483 -0
  63. package/app/navigation.py +121 -0
  64. package/app/osv.py +279 -0
  65. package/app/package_identity.py +189 -0
  66. package/app/package_transition.py +824 -0
  67. package/app/profile_gate.py +71 -0
  68. package/app/prompts.py +1108 -0
  69. package/app/provider_keys.py +189 -0
  70. package/app/providers.py +529 -0
  71. package/app/routes/__init__.py +10 -0
  72. package/app/routes/api.py +153 -0
  73. package/app/routes/capec.py +186 -0
  74. package/app/routes/common.py +407 -0
  75. package/app/routes/components.py +1499 -0
  76. package/app/routes/cwe.py +168 -0
  77. package/app/routes/decision_selected.py +153 -0
  78. package/app/routes/defect_add.py +223 -0
  79. package/app/routes/defect_card_routes.py +363 -0
  80. package/app/routes/defect_selected.py +342 -0
  81. package/app/routes/examples.py +661 -0
  82. package/app/routes/feeds.py +155 -0
  83. package/app/routes/findings.py +2758 -0
  84. package/app/routes/hub.py +402 -0
  85. package/app/routes/hub_bulk.py +288 -0
  86. package/app/routes/hub_defect_routes.py +1945 -0
  87. package/app/routes/hub_status_routes.py +1132 -0
  88. package/app/routes/hub_sync_routes.py +463 -0
  89. package/app/routes/journal.py +132 -0
  90. package/app/routes/projects.py +1665 -0
  91. package/app/routes/providers.py +403 -0
  92. package/app/routes/references.py +26 -0
  93. package/app/routes/runs.py +219 -0
  94. package/app/routes/sca.py +2722 -0
  95. package/app/routes/settings.py +163 -0
  96. package/app/run_errors.py +151 -0
  97. package/app/sca.py +1662 -0
  98. package/app/sca_contract.py +1289 -0
  99. package/app/sca_research.py +1089 -0
  100. package/app/sca_research_net.py +1007 -0
  101. package/app/sca_text.py +965 -0
  102. package/app/serve.py +70 -0
  103. package/app/settings_store.py +262 -0
  104. package/app/static/app.css +2820 -0
  105. package/app/static/app.js +3772 -0
  106. package/app/static/capec-license.txt +9 -0
  107. package/app/static/favicon.svg +1 -0
  108. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  109. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  110. package/app/static/fonts/OFL.txt +90 -0
  111. package/app/static/navigation.js +234 -0
  112. package/app/static/observability.js +121 -0
  113. package/app/static/theme.js +82 -0
  114. package/app/storage/__init__.py +16 -0
  115. package/app/storage/local_state.py +246 -0
  116. package/app/storage/migrate.py +110 -0
  117. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  118. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  119. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  120. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  121. package/app/storage/postgresql.py +573 -0
  122. package/app/storage/schema.py +619 -0
  123. package/app/storage/sql.py +57 -0
  124. package/app/storage/tools.py +254 -0
  125. package/app/telemetry.py +307 -0
  126. package/app/templates/base.html +93 -0
  127. package/app/templates/capec/context.html +3 -0
  128. package/app/templates/capec/detail.html +27 -0
  129. package/app/templates/capec/index.html +128 -0
  130. package/app/templates/components/_archive.html +11 -0
  131. package/app/templates/components/archived.html +19 -0
  132. package/app/templates/components/batch.html +35 -0
  133. package/app/templates/components/detail.html +332 -0
  134. package/app/templates/components/index.html +338 -0
  135. package/app/templates/components/research_preview.html +80 -0
  136. package/app/templates/components/research_run.html +54 -0
  137. package/app/templates/cwe/bdu.html +56 -0
  138. package/app/templates/cwe/detail.html +233 -0
  139. package/app/templates/cwe/index.html +97 -0
  140. package/app/templates/error.html +8 -0
  141. package/app/templates/examples/index.html +67 -0
  142. package/app/templates/examples/mapping.html +26 -0
  143. package/app/templates/feeds/index.html +65 -0
  144. package/app/templates/findings/card.html +641 -0
  145. package/app/templates/findings/decision_selected.html +41 -0
  146. package/app/templates/findings/defect_add.html +46 -0
  147. package/app/templates/findings/defect_selected.html +47 -0
  148. package/app/templates/findings/list.html +153 -0
  149. package/app/templates/findings/send_selected.html +53 -0
  150. package/app/templates/findings/trace.html +72 -0
  151. package/app/templates/help.html +50 -0
  152. package/app/templates/journal/detail.html +19 -0
  153. package/app/templates/journal/index.html +19 -0
  154. package/app/templates/macros.html +440 -0
  155. package/app/templates/navigation-fields.html +1 -0
  156. package/app/templates/navigation.html +11 -0
  157. package/app/templates/projects/_identity_summary.html +42 -0
  158. package/app/templates/projects/defect_card.html +153 -0
  159. package/app/templates/projects/defect_create_preview.html +17 -0
  160. package/app/templates/projects/defect_fields_diff.html +6 -0
  161. package/app/templates/projects/defect_fields_form.html +40 -0
  162. package/app/templates/projects/defect_references.html +17 -0
  163. package/app/templates/projects/defect_sync_preview.html +28 -0
  164. package/app/templates/projects/defect_update_actions.html +6 -0
  165. package/app/templates/projects/defect_update_preview.html +24 -0
  166. package/app/templates/projects/defects.html +126 -0
  167. package/app/templates/projects/delete.html +31 -0
  168. package/app/templates/projects/external.html +62 -0
  169. package/app/templates/projects/folders.html +64 -0
  170. package/app/templates/projects/hub_accepted.html +10 -0
  171. package/app/templates/projects/hub_assignment.html +50 -0
  172. package/app/templates/projects/hub_pending.html +20 -0
  173. package/app/templates/projects/hub_pending_list.html +17 -0
  174. package/app/templates/projects/hub_state_note.html +23 -0
  175. package/app/templates/projects/hub_step_note.html +5 -0
  176. package/app/templates/projects/hub_sync.html +105 -0
  177. package/app/templates/projects/hub_sync_confirm.html +32 -0
  178. package/app/templates/projects/hub_sync_worker.html +5 -0
  179. package/app/templates/projects/hub_text_rules.html +64 -0
  180. package/app/templates/projects/identity_report.html +74 -0
  181. package/app/templates/projects/list.html +90 -0
  182. package/app/templates/projects/project.html +436 -0
  183. package/app/templates/reference-missing.html +14 -0
  184. package/app/templates/runs/run.html +166 -0
  185. package/app/templates/sca/card.html +476 -0
  186. package/app/templates/sca/index.html +321 -0
  187. package/app/templates/settings/hub_url.html +31 -0
  188. package/app/templates/settings/index.html +216 -0
  189. package/app/templates/settings/provider.html +231 -0
  190. package/app/templates/settings/providers.html +37 -0
  191. package/app/templates/worklists.html +52 -0
  192. package/app/textsafe.py +117 -0
  193. package/app/timing.py +245 -0
  194. package/app/triage.py +1746 -0
  195. package/app/view.py +430 -0
  196. package/app/worklists.py +204 -0
  197. package/examples/catalog/NOTICE.md +70 -0
  198. package/examples/catalog/catalog.json +978 -0
  199. package/examples/catalog/crapi/export.xlsx +0 -0
  200. package/examples/catalog/dvga/export.xlsx +0 -0
  201. package/examples/catalog/dvwa/export.xlsx +0 -0
  202. package/examples/catalog/go-test-bench/export.xlsx +0 -0
  203. package/examples/catalog/juice-shop/export.xlsx +0 -0
  204. package/examples/catalog/nodegoat/export.xlsx +0 -0
  205. package/examples/catalog/pygoat/export.xlsx +0 -0
  206. package/examples/catalog/railsgoat/export.xlsx +0 -0
  207. package/examples/catalog/vulnerablelightapp/export.xlsx +0 -0
  208. package/examples/catalog/webgoat/export.xlsx +0 -0
  209. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  210. package/examples/demo/demo-hub-report.xlsx +0 -0
  211. package/examples/demo/repos/billing-core/pom.xml +30 -0
  212. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  213. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  214. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  215. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  216. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  217. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  218. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  219. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  220. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  221. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  222. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  223. package/npm/build.json +5 -0
  224. package/npm/cli.js +357 -0
  225. package/npm/files.manifest +242 -0
  226. package/npm/lib/binding.js +65 -0
  227. package/npm/lib/cluster.js +330 -0
  228. package/npm/lib/env.js +88 -0
  229. package/npm/lib/fsx.js +125 -0
  230. package/npm/lib/http.js +53 -0
  231. package/npm/lib/metrics.js +73 -0
  232. package/npm/lib/paths.js +150 -0
  233. package/npm/lib/pg.js +348 -0
  234. package/npm/lib/proc.js +101 -0
  235. package/npm/lib/python.js +133 -0
  236. package/npm/lib/stand.js +46 -0
  237. package/npm/lib/supervisor.js +1200 -0
  238. package/npm/lib/version.js +21 -0
  239. package/npm/requirements.txt +476 -0
  240. package/npm-shrinkwrap.json +111 -0
  241. package/package.json +37 -4
@@ -0,0 +1,824 @@
1
+ """Переход сущностей при изменении эффективной идентичности пакета SCA (план dev17, п. 4.4–4.5).
2
+
3
+ Фаза 1 принятия состояния Hub (`hub_pull.apply`) записывает идентичность находки по сведениям Hub о библиотеке
4
+ (`apply_library`). Фаза 2 – `rebind_packages`: ревизия идентичности проекта, участники наборов, групповые сущности
5
+ (исследования, решения по компоненту, ответы прежнего формата, тексты наборов, применимость, строки наборов), связи и
6
+ ключи дефектов, резервы номеров, решения по находкам и архив снятого. Фаза 3 (дефекты) идёт с новым снимком сравнения.
7
+
8
+ Группа – эффективная тройка (экосистема, имя, версия) находок вида SCA, её ключ – `input_ref`. Виды перехода группы S:
9
+ «без изменений», «перенос» (все находки S – в одну новую группу, у которой нет своих находок и сущностей), «частичное
10
+ расщепление» (часть находок остаётся в S), «расщепление» (находки S – в несколько групп), «слияние» (в группу ведут
11
+ несколько групп или у неё уже есть свои находки и сущности). По находке – «уточнение» (экосистема и версия те же,
12
+ прежнее имя без области и группы, новое – область или группа Hub плюс прежнее имя) или «изменение».
13
+
14
+ Сущности, которые переход снимает, удаляются из живых таблиц и целиком сохраняются в `sca_identity_archive`: история не
15
+ живёт под чужими ключами. Предпросмотр считает тот же итог той же транзакцией, которая откатывается
16
+ (`hub_pull.preview_identity`).
17
+ """
18
+
19
+ from __future__ import annotations
20
+
21
+ import hashlib
22
+ from collections import defaultdict
23
+ from dataclasses import dataclass, field
24
+ from typing import Any, Iterable, Mapping
25
+
26
+ from app import package_identity
27
+ from app.db import Database, dumps, loads, now_iso, review_signature
28
+ from app.defect import defect_key_sca
29
+ from app.defect_drafts import UNMATCHED_TARGETS, unmatched_targets
30
+ from app.sca_contract import input_ref
31
+
32
+ SCA = "SCA"
33
+ SCA_KINDS = ("SCA", "SCA-license")
34
+ MERGE_REASON = "после слияния пакетов: место в наборах выбрать заново"
35
+ NO_SINGLE_SET = "После перехода идентичности пакетов цели не определяют единственный набор SCA."
36
+ # таблицы, все строки проекта которых входят в отпечаток входов перехода (токен подтверждения, план п. 4.5)
37
+ FINGERPRINT_TABLES = ("findings", "reviews", "sca_set_members", "sca_defect_sets", "sca_package_texts",
38
+ "sca_applicability", "sca_answers", "sca2_research", "sca2_decisions", "defects", "hub_defects")
39
+
40
+
41
+ def scope_of(hub_url: Any, app_id: Any) -> str:
42
+ """Назначение Hub, при котором правило применялось (`findings.pkg_scope`)."""
43
+ return f"{hub_url or ''}|{'' if app_id is None else app_id}"
44
+
45
+
46
+ def pending_count(db, project: Mapping[str, Any], hub_url: Any) -> int:
47
+ """Сколько находок SCA ждут применения сведений Hub о библиотеке (подсказка п. 4.4); у проекта без привязки к
48
+ Hub или без адреса Hub – 0: подсказка не показывается."""
49
+ if not hub_url or project.get("hub_app_id") in (None, ""):
50
+ return 0
51
+ return db.identity_pending(int(project["id"]), scope_of(hub_url, project["hub_app_id"]))
52
+
53
+
54
+ def transition_fingerprint(c, project_id: int) -> str:
55
+ """Отпечаток всех строк проекта в таблицах перехода: изменилось что-либо между предпросмотром и применением –
56
+ подтверждение недействительно (план п. 4.5, «Предпросмотр и токен»). Порядок строк не важен: отпечатки строк
57
+ сортируются."""
58
+ parts = []
59
+ for table in FINGERPRINT_TABLES:
60
+ row = c.execute(f"SELECT COALESCE(string_agg(md5(t::text), ',' ORDER BY md5(t::text)), '') AS fp FROM {table} t"
61
+ " WHERE t.project_id = ?", (project_id,)).fetchone()
62
+ parts.append(f"{table}:{hashlib.sha256(str(row['fp']).encode('ascii')).hexdigest()}")
63
+ return hashlib.sha256("|".join(parts).encode("ascii")).hexdigest()[:32]
64
+
65
+
66
+ # ============================================================================ фаза 1: идентичность находки
67
+
68
+
69
+ def library_of(hub: Mapping[str, Any] | None) -> Mapping[str, Any] | None:
70
+ library = ((hub or {}).get("detail") or {}).get("library") if isinstance((hub or {}).get("detail"), Mapping) else None
71
+ return library if isinstance(library, Mapping) else None
72
+
73
+
74
+ def resolved_columns(data: Mapping[str, Any], hub: Mapping[str, Any] | None, scope: str) -> tuple[str, ...]:
75
+ """Колонки `pkg_*` по правилу п. 3 (в порядке `package_identity.PKG_COLUMNS`)."""
76
+ pkg = package_identity.resolve(data.get("build_type"), data.get("component"), data.get("version"), library_of(hub))
77
+ return pkg.ecosystem, pkg.name, pkg.source, pkg.note, scope
78
+
79
+
80
+ def apply_library(c, finding_id: int, hub: Mapping[str, Any] | None, scope: str) -> bool:
81
+ """Фаза 1 (п. 4.4): идентичность находки SCA по сведениям Hub о библиотеке принятого объекта; при `present` без
82
+ `library` или с пустым именем – правила 1, 2 (источник `file`). True – колонки изменились."""
83
+ row = c.execute("SELECT kind, data_json, pkg_ecosystem, pkg_name, pkg_source, pkg_note, pkg_scope FROM findings"
84
+ " WHERE id = ?", (finding_id,)).fetchone()
85
+ if row is None or row["kind"] not in SCA_KINDS:
86
+ return False
87
+ new = resolved_columns(loads(row["data_json"], {}), hub, scope)
88
+ old = tuple(str(row[col] or "") for col in package_identity.PKG_COLUMNS)
89
+ if new == old:
90
+ return False
91
+ c.execute("UPDATE findings SET pkg_ecosystem = ?, pkg_name = ?, pkg_source = ?, pkg_note = ?, pkg_scope = ?"
92
+ " WHERE id = ?", (*new, finding_id))
93
+ return True
94
+
95
+
96
+ def snapshot(c, project_id: int) -> dict[int, dict]:
97
+ """Все находки SCA проекта: номер строки -> Hub ID, вид, данные с `package`, эффективная тройка, ревизия."""
98
+ out = {}
99
+ for r in c.execute("SELECT id, hub_id, kind, data_json, pkg_ecosystem, pkg_name, pkg_source, pkg_note, pkg_scope,"
100
+ " pkg_rev FROM findings WHERE project_id = ? AND kind IN ('SCA', 'SCA-license') ORDER BY id",
101
+ (project_id,)).fetchall():
102
+ data = package_identity.with_package(dict(r))
103
+ out[int(r["id"])] = {"hub_id": str(r["hub_id"]), "kind": r["kind"], "data": data,
104
+ "triple": package_identity.of(data), "pkg_rev": int(r["pkg_rev"] or 0)}
105
+ return out
106
+
107
+
108
+ def classify(before: tuple, after: tuple) -> str:
109
+ """«» – тройка не изменилась; «refine» – уточнение; «change» – изменение (п. 4.5, «Виды перехода»)."""
110
+ if before == after:
111
+ return ""
112
+ (eco_b, name_b, ver_b), (eco_a, name_a, ver_a) = before, after
113
+ if eco_b == eco_a and ver_b == ver_a and name_b:
114
+ if (eco_a == "npm" and not name_b.startswith("@") and name_a.startswith("@") and "/" in name_a
115
+ and name_a.split("/", 1)[1] == name_b):
116
+ return "refine"
117
+ if eco_a == "maven" and ":" not in name_b and name_a.count(":") == 1 and name_a.split(":", 1)[1] == name_b:
118
+ return "refine"
119
+ return "change"
120
+
121
+
122
+ def base_key(triple: tuple) -> str:
123
+ eco, name, version = triple
124
+ return defect_key_sca(name, version, eco)
125
+
126
+
127
+ def set_key(triple: tuple, set_no: int | None) -> str:
128
+ base = base_key(triple)
129
+ return base if not set_no else f"{base}#{int(set_no)}"
130
+
131
+
132
+ def split_key(key: str) -> tuple[str, int]:
133
+ """Ключ номера SCA -> (ключ пакета, номер набора)."""
134
+ head, sep, tail = key.rpartition("#")
135
+ if sep and tail.isdigit() and head.startswith("sca:v3|"):
136
+ return head, int(tail)
137
+ return key, 0
138
+
139
+
140
+ # ============================================================================ план перехода
141
+
142
+
143
+ @dataclass
144
+ class Group:
145
+ ref: str
146
+ triple: tuple
147
+ members: set[int]
148
+ stays: set[int] = field(default_factory=set)
149
+ dest: dict[str, set[int]] = field(default_factory=dict)
150
+ kind: str = "" # move | partial | split | merge-in (уходит в группу слияния)
151
+ change: str = "" # refine | change – у переноса и слияния
152
+
153
+
154
+ @dataclass
155
+ class Plan:
156
+ before: dict[int, dict]
157
+ after: dict[int, dict]
158
+ moves: dict[int, str]
159
+ groups: dict[str, Group]
160
+ targets: dict[str, dict]
161
+ merges: set[str]
162
+
163
+
164
+ def _entities_of(c, project_id: int, ref: str, triple: tuple) -> bool:
165
+ """У группы есть свои сущности: исследование, решения, тексты, применимость, наборы, участники, ответы, номера."""
166
+ for table in ("sca2_research", "sca2_decisions", "sca_package_texts", "sca_applicability", "sca_defect_sets",
167
+ "sca_set_members"):
168
+ if c.execute(f"SELECT 1 FROM {table} WHERE project_id = ? AND input_ref = ? LIMIT 1", (project_id, ref)).fetchone():
169
+ return True
170
+ eco, name, version = triple
171
+ if c.execute("SELECT 1 FROM sca_answers WHERE project_id = ? AND ecosystem = ? AND component = ? AND version = ?"
172
+ " LIMIT 1", (project_id, eco, name, version)).fetchone():
173
+ return True
174
+ base = base_key(triple)
175
+ return c.execute("SELECT 1 FROM defects WHERE project_id = ? AND (defect_key = ? OR defect_key LIKE ?) LIMIT 1",
176
+ (project_id, base, base.replace("\\", "\\\\").replace("%", "\\%").replace("_", "\\_") + "#%")
177
+ ).fetchone() is not None
178
+
179
+
180
+ def plan(c, project_id: int, before: dict[int, dict], after: dict[int, dict], *, change_only: bool = False) -> Plan:
181
+ """Виды перехода групп и находок по снимкам до и после фазы 1. change_only – смена назначения Hub (п. 4.5):
182
+ любая изменившаяся тройка – «изменение», уточнения не бывает (ревью Codex шага 4, круг 2: возврат к тройке файла
183
+ после смены назначения иначе мог бы пройти как уточнение и переписать подпись решения оператора)."""
184
+ moves = {fid: ("change" if change_only else kind) for fid in before if fid in after
185
+ and (kind := classify(before[fid]["triple"], after[fid]["triple"]))}
186
+ sca_ids = [fid for fid in before if before[fid]["kind"] == SCA and fid in after]
187
+ before_groups: dict[str, set[int]] = defaultdict(set)
188
+ triples: dict[str, tuple] = {}
189
+ for fid in sca_ids:
190
+ ref = input_ref(*before[fid]["triple"])
191
+ before_groups[ref].add(fid)
192
+ triples[ref] = before[fid]["triple"]
193
+ after_ref = {fid: input_ref(*after[fid]["triple"]) for fid in sca_ids}
194
+ groups: dict[str, Group] = {}
195
+ incoming: dict[str, list[str]] = defaultdict(list)
196
+ for ref, members in before_groups.items():
197
+ dest: dict[str, set[int]] = defaultdict(set)
198
+ for fid in members:
199
+ dest[after_ref[fid]].add(fid)
200
+ if set(dest) == {ref}:
201
+ continue
202
+ g = Group(ref, triples[ref], set(members), stays=set(dest.pop(ref, set())), dest=dict(dest))
203
+ g.kind = "partial" if g.stays else ("split" if len(g.dest) > 1 else "move")
204
+ if g.kind == "move":
205
+ fid = next(iter(members))
206
+ g.change = moves.get(fid, "change")
207
+ groups[ref] = g
208
+ for target in g.dest:
209
+ incoming[target].append(ref)
210
+ # находки, которых до фазы 1 не было (их создало принятие), – собственные участники своей группы: пришедший туда
211
+ # пакет – слияние, со своими наборами (ревью Codex шага 4: иначе оба номера легли бы на один ключ набора 0)
212
+ new_members: dict[str, set[int]] = defaultdict(set)
213
+ for fid, item in after.items():
214
+ if fid not in before and item["kind"] == SCA:
215
+ new_members[input_ref(*item["triple"])].add(fid)
216
+ targets, merges = {}, set()
217
+ for target, sources in incoming.items():
218
+ fid = next(iter(groups[sources[0]].dest[target]))
219
+ triple = after[fid]["triple"]
220
+ own = (bool(before_groups.get(target)) or bool(new_members.get(target))
221
+ or _entities_of(c, project_id, target, triple))
222
+ targets[target] = {"triple": triple, "sources": sorted(sources)}
223
+ if own or len(sources) > 1:
224
+ merges.add(target)
225
+ for source in sources:
226
+ if groups[source].kind == "move":
227
+ groups[source].kind = "merge-in"
228
+ return Plan(before, after, moves, groups, targets, merges)
229
+
230
+
231
+ # ============================================================================ фаза 2: переход
232
+
233
+
234
+ class _Counter:
235
+ """Перенесено и в архив – по таблицам, всего и по группе, которую сейчас обходит переход (current): числа по
236
+ сущностям в таблице групп итога (п. 4.5, ревью Kimi шага 4)."""
237
+
238
+ def __init__(self):
239
+ self.moved: dict[str, int] = defaultdict(int)
240
+ self.archived: dict[str, int] = defaultdict(int)
241
+ self.current: str | None = None
242
+ self.by_group: dict[str, dict[str, dict[str, int]]] = defaultdict(
243
+ lambda: {"moved": defaultdict(int), "archived": defaultdict(int)})
244
+
245
+ def move(self, table: str) -> None:
246
+ self.moved[table] += 1
247
+ if self.current is not None:
248
+ self.by_group[self.current]["moved"][table] += 1
249
+
250
+ def archive(self, table: str) -> None:
251
+ self.archived[table] += 1
252
+ if self.current is not None:
253
+ self.by_group[self.current]["archived"][table] += 1
254
+
255
+ def as_dict(self):
256
+ return {"moved": dict(self.moved), "archived": dict(self.archived)}
257
+
258
+
259
+ def _archive(c, project_id: int, run_id: int | None, table: str, key: Mapping[str, Any], row: Mapping[str, Any],
260
+ counter: _Counter, *, moved_to: str = "", reason: str = "") -> None:
261
+ c.execute("INSERT INTO sca_identity_archive(project_id, run_id, archived_at, source_table, key_json, row_json,"
262
+ " moved_to_ref, reason) VALUES (?, ?, ?, ?, ?, ?, ?, ?)",
263
+ (project_id, run_id, now_iso(), table, dumps(dict(key)), dumps(dict(row)), moved_to, reason))
264
+ counter.archive(table)
265
+
266
+
267
+ def _research_follows(c, project_id: int, ref: str, triple: tuple) -> bool:
268
+ """Исследование переносится вместе со всеми ревизиями, только если последняя ревизия разрешена и полная тройка
269
+ строки задания совпадает с новой: экосистема и версия строки задания равны новым, координаты – новому имени."""
270
+ last = c.execute("SELECT * FROM sca2_research WHERE project_id = ? AND input_ref = ? ORDER BY revision DESC LIMIT 1",
271
+ (project_id, ref)).fetchone()
272
+ if last is None:
273
+ return False
274
+ payload = Database._research_row(dict(last))["payload"]
275
+ identity = payload.get("identity_resolution") if isinstance(payload, Mapping) else None
276
+ if not isinstance(identity, Mapping) or identity.get("state") != "resolved":
277
+ return False
278
+ task = c.execute("SELECT ecosystem, version FROM sca2_task_rows WHERE task_id = ? AND input_ref = ?",
279
+ (last["task_id"], ref)).fetchone()
280
+ eco, name, version = triple
281
+ return (task is not None and str(task["ecosystem"] or "") == eco and str(task["version"] or "") == version
282
+ and str(identity.get("coordinates") or "") == name)
283
+
284
+
285
+ def _move_rows(c, project_id: int, run_id, table: str, key_cols: tuple[str, ...], ref: str, target: str | None,
286
+ counter: _Counter, reason: str, *, reset: Mapping[str, Any] | None = None) -> None:
287
+ """Все строки таблицы группы ref: перенос под target (reset – поля, которые при переносе сбрасываются; прежняя
288
+ строка тогда тоже уходит в архив) или в архив (target is None)."""
289
+ rows = c.execute(f"SELECT * FROM {table} WHERE project_id = ? AND input_ref = ?", (project_id, ref)).fetchall()
290
+ for r in rows:
291
+ key = {col: r[col] for col in key_cols}
292
+ if target is None:
293
+ _archive(c, project_id, run_id, table, key, r, counter, reason=reason)
294
+ c.execute(f"DELETE FROM {table} WHERE project_id = ? AND " + " AND ".join(f"{col} = ?" for col in key_cols),
295
+ (project_id, *key.values()))
296
+ continue
297
+ if reset:
298
+ _archive(c, project_id, run_id, table, key, r, counter, moved_to=target, reason=reason)
299
+ sets = "input_ref = ?" + "".join(f", {col} = ?" for col in (reset or {}))
300
+ c.execute(f"UPDATE {table} SET {sets} WHERE project_id = ? AND " + " AND ".join(f"{col} = ?" for col in key_cols),
301
+ (target, *(reset or {}).values(), project_id, *key.values()))
302
+ counter.move(table)
303
+
304
+
305
+ def _move_answers(c, project_id: int, run_id, triple: tuple, counter: _Counter, reason: str) -> None:
306
+ """Ответы прежнего формата – всегда в архив: доказательства, что ответ относится к новой тройке, нет."""
307
+ eco, name, version = triple
308
+ for r in c.execute("SELECT * FROM sca_answers WHERE project_id = ? AND ecosystem = ? AND component = ?"
309
+ " AND version = ?", (project_id, eco, name, version)).fetchall():
310
+ _archive(c, project_id, run_id, "sca_answers", {"id": r["id"]}, r, counter, reason=reason)
311
+ c.execute("DELETE FROM sca_answers WHERE id = ?", (r["id"],))
312
+
313
+
314
+ def _member(c, project_id: int, hub_id: str):
315
+ return c.execute("SELECT * FROM sca_set_members WHERE project_id = ? AND hub_id = ?", (project_id, hub_id)).fetchone()
316
+
317
+
318
+ def _ensure_set(c, project_id: int, ref: str, set_no: int, counter: _Counter) -> None:
319
+ """Строка набора новой группы с ревизией 1, если её ещё нет (расщепление, изменение, слияние)."""
320
+ if not set_no:
321
+ return
322
+ if c.execute("SELECT 1 FROM sca_defect_sets WHERE project_id = ? AND input_ref = ? AND set_no = ?",
323
+ (project_id, ref, set_no)).fetchone() is None:
324
+ c.execute("INSERT INTO sca_defect_sets(project_id, input_ref, set_no, revision, excluded_json, updated_at)"
325
+ " VALUES (?, ?, ?, 1, '[]', ?)", (project_id, ref, set_no, now_iso()))
326
+ counter.move("sca_defect_sets_new")
327
+
328
+
329
+ def rebind_packages(c, project_id: int, run_id: int | None, before: dict[int, dict], after: dict[int, dict], *,
330
+ change_only: bool = False) -> dict:
331
+ """Фаза 2 (п. 4.5): все последствия смены эффективных троек. Возвращает сводку для итога и предпросмотра.
332
+ change_only – смена назначения Hub: правила изменения для всех изменившихся троек (plan)."""
333
+ p = plan(c, project_id, before, after, change_only=change_only)
334
+ counter = _Counter()
335
+ summary: dict[str, Any] = {"findings": len(p.moves), "refine": sum(k == "refine" for k in p.moves.values()),
336
+ "change": sum(k == "change" for k in p.moves.values())}
337
+ if not p.moves:
338
+ if change_only: # смена назначения состоялась и без смены троек: ревизия проекта растёт, pkg_rev – нет
339
+ c.execute("UPDATE projects SET identity_rev = identity_rev + 1 WHERE id = ?", (project_id,))
340
+ summary.update(marks_summary(after), groups=[], decisions={}, **counter.as_dict())
341
+ return summary
342
+ stamp = now_iso()
343
+ rev = c.execute("UPDATE projects SET identity_rev = identity_rev + 1 WHERE id = ? RETURNING identity_rev",
344
+ (project_id,)).fetchone()[0]
345
+ for fid in p.moves:
346
+ c.execute("UPDATE findings SET pkg_rev = ? WHERE id = ?", (rev, fid))
347
+
348
+ # ---- групповые сущности (план п. 4.5, таблица «Групповые сущности»)
349
+ research_moved: dict[str, bool] = {}
350
+ for ref, g in sorted(p.groups.items()):
351
+ counter.current = ref # числа по сущностям – и по группе (таблица групп итога)
352
+ if g.kind == "partial":
353
+ continue # S живёт дальше со своими сущностями; ушедшие ветки их не получают
354
+ target = next(iter(g.dest)) if g.kind == "move" else None
355
+ reason = {"move": f"перенос ({'уточнение' if g.change == 'refine' else 'изменение'})",
356
+ "split": "расщепление группы", "merge-in": "слияние с другой группой"}[g.kind]
357
+ follows = target is not None and _research_follows(c, project_id, ref, p.targets[target]["triple"])
358
+ research_moved[ref] = follows
359
+ _move_rows(c, project_id, run_id, "sca2_research", ("input_ref", "revision"), ref, target if follows else None,
360
+ counter, reason if follows else reason + ": исследование не доказывает новую тройку")
361
+ _move_rows(c, project_id, run_id, "sca2_decisions", ("input_ref", "revision"), ref, target if follows else None,
362
+ counter, reason)
363
+ _move_answers(c, project_id, run_id, g.triple, counter, reason)
364
+ refine = g.kind == "move" and g.change == "refine"
365
+ _move_rows(c, project_id, run_id, "sca_package_texts", ("input_ref", "set_no"), ref, target if refine else None,
366
+ counter, reason)
367
+ _move_rows(c, project_id, run_id, "sca_applicability", ("input_ref", "vuln_key"), ref,
368
+ target if refine and follows else None, counter, reason)
369
+ if g.kind == "move":
370
+ _move_rows(c, project_id, run_id, "sca_defect_sets", ("input_ref", "set_no"), ref, target, counter, reason,
371
+ reset=None if refine else {"revision": 1, "excluded_json": "[]"})
372
+ else:
373
+ _move_rows(c, project_id, run_id, "sca_defect_sets", ("input_ref", "set_no"), ref, None, counter, reason)
374
+ # отметка группы: прежняя тройка для подписей архива и, у перенесённой группы, куда она перенесена – прежний
375
+ # адрес карточки компонента ведёт на новую (план dev17, п. 4.6); в счётчики архива не входит – это не снятая
376
+ # сущность
377
+ c.execute("INSERT INTO sca_identity_archive(project_id, run_id, archived_at, source_table, key_json,"
378
+ " row_json, moved_to_ref, reason) VALUES (?, ?, ?, 'group', ?, ?, ?, ?)",
379
+ (project_id, run_id, now_iso(), dumps({"input_ref": ref}), dumps({"triple": list(g.triple)}),
380
+ target or "", reason))
381
+
382
+ # ---- участники наборов (по находке)
383
+ # слияние: каждому пришедшему месту (группа, набор) – и набору 0, и «без дефекта» – новый номер набора цели,
384
+ # следующий за наибольшим (план п. 4.5, «Участники наборов»)
385
+ merge_numbers: dict[str, dict[tuple, int]] = {}
386
+ merge_top: dict[str, int] = {}
387
+ pending: list[dict] = []
388
+ for ref, g in sorted(p.groups.items()):
389
+ counter.current = ref # числа по сущностям – и по группе (таблица групп итога)
390
+ for target, members in sorted(g.dest.items()):
391
+ in_merge = target in p.merges
392
+ if in_merge and target not in merge_top:
393
+ top = c.execute("SELECT COALESCE(MAX(set_no), 0) AS top FROM (SELECT set_no FROM sca_set_members"
394
+ " WHERE project_id = ? AND input_ref = ? AND set_no IS NOT NULL UNION ALL SELECT set_no"
395
+ " FROM sca_defect_sets WHERE project_id = ? AND input_ref = ?) x",
396
+ (project_id, target, project_id, target)).fetchone()["top"]
397
+ # номера наборов, занятые ключами номеров дефектов цели (резервы без строки набора), тоже заняты:
398
+ # иначе пришедшему месту достался бы ключ резерва (ревью Kimi шага 4)
399
+ base = base_key(p.targets[target]["triple"])
400
+ like = base.replace("\\", "\\\\").replace("%", "\\%").replace("_", "\\_") + "#%"
401
+ for r in c.execute("SELECT defect_key FROM defects WHERE project_id = ? AND (defect_key = ? OR"
402
+ " defect_key LIKE ?)", (project_id, base, like)).fetchall():
403
+ top = max(int(top or 0), split_key(r["defect_key"])[1])
404
+ merge_top[target] = int(top or 0)
405
+ merge_numbers[target] = {}
406
+ for fid in sorted(members):
407
+ hub_id = p.before[fid]["hub_id"]
408
+ member = _member(c, project_id, hub_id)
409
+ old_no = None if member is None else member["set_no"]
410
+ if in_merge:
411
+ numbers = merge_numbers[target]
412
+ place = (ref, -1 if member is not None and old_no is None else int(old_no or 0))
413
+ if place not in numbers:
414
+ merge_top[target] += 1
415
+ numbers[place] = merge_top[target]
416
+ new_no = numbers[place]
417
+ why = MERGE_REASON
418
+ if member is not None and old_no is None:
419
+ why += f" (прежнее место – «без дефекта»: {member['no_defect_reason'] or 'обоснование не указано'})"
420
+ if member is not None:
421
+ _archive(c, project_id, run_id, "sca_set_members", {"hub_id": hub_id}, member, counter,
422
+ moved_to=target, reason="слияние с другой группой")
423
+ c.execute("UPDATE sca_set_members SET input_ref = ?, set_no = ?, no_defect_reason = '',"
424
+ " pending_reason = ?, updated_at = ? WHERE project_id = ? AND hub_id = ?",
425
+ (target, new_no, why, stamp, project_id, hub_id))
426
+ else:
427
+ c.execute("INSERT INTO sca_set_members(project_id, hub_id, input_ref, set_no, no_defect_reason,"
428
+ " updated_at, pending_reason) VALUES (?, ?, ?, ?, '', ?, ?)",
429
+ (project_id, hub_id, target, new_no, stamp, why))
430
+ _ensure_set(c, project_id, target, new_no, counter)
431
+ counter.move("sca_set_members")
432
+ pending.append({"hub_id": hub_id, "source": ref, "target": target, "set_no": new_no})
433
+ continue
434
+ if member is None:
435
+ continue # место по умолчанию (набор 0) – в новой группе тоже набор 0
436
+ # правило изменения – по находке, при любом виде перехода группы (перенос, расщепление, частичный уход;
437
+ # слияние – выше): «без дефекта» прежнего пакета новому не принадлежит (ревью Codex шага 4)
438
+ change = p.moves.get(fid) == "change"
439
+ if change and old_no is None:
440
+ # «без дефекта» относилось к другому пакету – в архив, находка получает место по умолчанию
441
+ _archive(c, project_id, run_id, "sca_set_members", {"hub_id": hub_id}, member, counter,
442
+ reason="изменение пакета: «без дефекта» относилось к прежнему пакету")
443
+ c.execute("DELETE FROM sca_set_members WHERE project_id = ? AND hub_id = ?", (project_id, hub_id))
444
+ continue
445
+ c.execute("UPDATE sca_set_members SET input_ref = ?, updated_at = ? WHERE project_id = ? AND hub_id = ?",
446
+ (target, stamp, project_id, hub_id))
447
+ counter.move("sca_set_members")
448
+ if g.kind in ("split", "partial") and old_no:
449
+ _ensure_set(c, project_id, target, int(old_no), counter)
450
+
451
+ # ---- связи и ключи дефектов, резервы номеров
452
+ counter.current = None
453
+ defects_summary = _rebind_defects(c, project_id, run_id, p, counter)
454
+
455
+ # ---- решения по находкам
456
+ decisions = _rebind_decisions(c, project_id, p, stamp)
457
+
458
+ summary.update(marks_summary(after), decisions=decisions, defects=defects_summary, pending=pending[:50],
459
+ pending_total=len(pending), # список усечён до 50, счёт – полный (ревью Codex шага 4, круг 3)
460
+ groups=_groups_summary(p, research_moved, counter, pending), **counter.as_dict())
461
+ return summary
462
+
463
+
464
+ INACTIVE = ("failed", "cancelled", "deleted") # строка дефекта, которая номер не держит: история не переписывается
465
+ # цель семейства не сопоставлена с находкой SCA проекта (её нет или у неё другой тип связи): единственный набор
466
+ # семейства не определить – ключ набора пуст, причина названа (ревью Codex шага 4, круг 2); сообщение и проверка –
467
+ # общие с defect_drafts.sca_identity (остаток шага 4: тот же расчёт во всех фазах)
468
+ # подписи таблиц перехода для подтверждения и итога (п. 4.5)
469
+ TABLE_LABELS = {"sca2_research": "исследования компонента", "sca2_decisions": "решения по компоненту",
470
+ "sca_answers": "ответы агента", "sca_applicability": "решения о применимости",
471
+ "sca_package_texts": "тексты наборов дефекта", "sca_set_members": "места находок в наборах",
472
+ "sca_defect_sets": "наборы дефекта", "sca_defect_sets_new": "новые наборы дефекта (созданы)",
473
+ "defects": "ключи и резервы номеров дефектов",
474
+ "reviews": "решения по находкам"}
475
+
476
+
477
+ class TransitionConflict(ValueError):
478
+ """Ключ номера после перехода занят другим номером: применение откатывается целиком (ревью Codex шага 4)."""
479
+
480
+
481
+ def _unmatched_targets(c, project_id: int, targets) -> list[str]:
482
+ """Цели семейства «тип:номер», которых нет среди находок проекта с тем же типом связи (порядок сохранён); цель
483
+ без типа связи здесь тоже несопоставленная."""
484
+ return unmatched_targets(c, project_id, targets, typeless=True)
485
+
486
+
487
+ def _families(c, project_id: int) -> dict[int, list[dict]]:
488
+ out: dict[int, list[dict]] = defaultdict(list)
489
+ for r in c.execute("SELECT * FROM hub_defects WHERE project_id = ? AND draft_owner_id IS NOT NULL ORDER BY id",
490
+ (project_id,)).fetchall():
491
+ out[int(r["draft_owner_id"])].append(dict(r))
492
+ return out
493
+
494
+
495
+ def _rebind_defects(c, project_id: int, run_id, p: Plan, counter: _Counter) -> dict:
496
+ """Связи и ключи дефектов – по составу каждого семейства (п. 4.5): number_keys_json и sca_set_key пересчитываются
497
+ по сохранённым целям после переноса участников; строки defects с номером семейства приводятся к новым ключам;
498
+ резервы номеров (номер не держит ни одно семейство) – по виду перехода своей группы."""
499
+ from app.defect_drafts import sca_identity, typed_ids
500
+ moved_hub_ids = {p.before[fid]["hub_id"] for fid in p.moves}
501
+ moved_bases = {base_key(g.triple): g for g in p.groups.values()}
502
+ families = _families(c, project_id)
503
+ held = {int(r["number"]) for rows in families.values() for r in rows
504
+ if r["id"] == r["draft_owner_id"] and r["number"] is not None and r["state"] not in INACTIVE}
505
+ out = {"families": 0, "keys_rewritten": 0, "keys_archived": 0, "without_set_key": [], "reserves_moved": 0,
506
+ "reserves_archived": 0, "owners": []}
507
+ releases: list[tuple[str, int]] = []
508
+ assigns: list[tuple[str, int]] = []
509
+ for owner_id, rows in families.items():
510
+ owner = next((r for r in rows if r["id"] == owner_id), None)
511
+ if owner is None or owner["state"] in INACTIVE:
512
+ continue # отменённая или неудавшаяся строка номер не держит: её история не переписывается (ревью Codex)
513
+ active = [r for r in rows if r["state"] not in INACTIVE]
514
+ # цели – только те, тип связи которых совпадает с видом находки (SAST:73001 – не SCA 73001, ревью Codex)
515
+ typed = {r["id"]: typed_ids(c, project_id, loads(r["targets_json"], [])) for r in active}
516
+ targets_all = list(dict.fromkeys(hid for r in active for hid in typed[r["id"]]))
517
+ old_keys = {k for r in active for k in loads(r["number_keys_json"], [])}
518
+ touched = set(targets_all) & moved_hub_ids or {k for k in old_keys if split_key(k)[0] in moved_bases}
519
+ if not touched:
520
+ continue
521
+ out["families"] += 1
522
+ out["owners"].append(owner_id)
523
+ new_keys: set[str] = set()
524
+ for r in active:
525
+ # у строки без сопоставленных целей ключей нет – пустой список записывается, иначе её прежние ключи
526
+ # расходились бы с таблицей номеров после архива (ревью Codex шага 4, круг 3)
527
+ keys = (sorted(Database.defect_keys_of_findings_in(c, project_id, typed[r["id"]]))
528
+ if typed[r["id"]] else [])
529
+ new_keys |= set(keys)
530
+ if keys != sorted(loads(r["number_keys_json"], [])):
531
+ c.execute("UPDATE hub_defects SET number_keys_json = ? WHERE id = ?", (dumps(keys), r["id"]))
532
+ # несопоставленные цели – по паре (тип связи, номер): SAST:73001 рядом с SCA_S:73001 – не та же цель (ревью
533
+ # Codex шага 4, круг 3)
534
+ unmatched = _unmatched_targets(c, project_id, [t for r in active for t in loads(r["targets_json"], [])])
535
+ if owner["kind"] == "SCA" and unmatched:
536
+ # состав семейства неполон или тип связи не тот: по части целей единственный набор не доказан
537
+ key, conflicts = "", [UNMATCHED_TARGETS.format(ids=", ".join(unmatched[:10]))]
538
+ out["without_set_key"].append(defect_label(owner))
539
+ if key != owner["sca_set_key"] or conflicts != loads(owner["conflicts_json"], []):
540
+ c.execute("UPDATE hub_defects SET sca_set_key = ?, conflicts_json = ? WHERE id = ?",
541
+ (key, dumps(conflicts), owner_id))
542
+ elif owner["kind"] == "SCA" and targets_all:
543
+ # единственный набор – по составу всего семейства, а не по целям владельца (ревью Codex)
544
+ key, conflicts = sca_identity(c, project_id, [{"hub_id": hid} for hid in targets_all])
545
+ if not key:
546
+ conflicts = [NO_SINGLE_SET, *conflicts]
547
+ out["without_set_key"].append(defect_label(owner))
548
+ # конфликты набора – вычисленные: единственный набор восстановлен – прежний конфликт снимается (ревью Kimi)
549
+ if key != owner["sca_set_key"] or conflicts != loads(owner["conflicts_json"], []):
550
+ c.execute("UPDATE hub_defects SET sca_set_key = ?, conflicts_json = ? WHERE id = ?",
551
+ (key, dumps(conflicts), owner_id))
552
+ if owner["number"] is None:
553
+ continue
554
+ number = int(owner["number"])
555
+ releases += [(key, number) for key in sorted(old_keys - new_keys)]
556
+ assigns += [(key, number) for key in sorted(new_keys - old_keys)]
557
+ # сначала освобождаются прежние ключи всех семейств, потом назначаются новые: при взаимной смене идентичности
558
+ # (A↔B) порядок обхода семейств итог не меняет; ключ, занятый другим номером и после этого, – отказ с откатом
559
+ # всего применения, а не строка сводки (ревью Codex шага 4)
560
+ for key, number in releases:
561
+ row = c.execute("SELECT * FROM defects WHERE project_id = ? AND defect_key = ? AND number = ?",
562
+ (project_id, key, number)).fetchone()
563
+ if row is not None:
564
+ source = moved_bases.get(split_key(key)[0])
565
+ counter.current = source.ref if source is not None else None # в строке группы ключа (ревью Codex)
566
+ _archive(c, project_id, run_id, "defects", {"defect_key": key}, row, counter,
567
+ reason="ключ номера дефекта после перехода идентичности")
568
+ counter.current = None
569
+ c.execute("DELETE FROM defects WHERE project_id = ? AND defect_key = ? AND number = ?",
570
+ (project_id, key, number))
571
+ out["keys_archived"] += 1
572
+ for key, number in assigns:
573
+ taken = c.execute("SELECT number FROM defects WHERE project_id = ? AND defect_key = ?",
574
+ (project_id, key)).fetchone()
575
+ if taken is None:
576
+ c.execute("INSERT INTO defects(project_id, defect_key, number, updated_at, assigned_at)"
577
+ " VALUES (?, ?, ?, ?, ?)", (project_id, key, number, now_iso(), now_iso()))
578
+ out["keys_rewritten"] += 1
579
+ elif int(taken["number"]) != number:
580
+ raise TransitionConflict(
581
+ f"Переход сведений о библиотеках не выполнен: после него дефекту ID{number} нужен ключ номера, который "
582
+ f"занят дефектом ID{int(taken['number'])}. Ничего не изменено; разберите номера этих дефектов и примите "
583
+ "состояние Hub заново.")
584
+ # резервы: строки defects групп, которые ушли, с номером, который не держит ни одно семейство
585
+ for base, g in sorted(moved_bases.items()):
586
+ counter.current = g.ref # резерв – в строке своей группы
587
+ rows = c.execute("SELECT * FROM defects WHERE project_id = ? AND (defect_key = ? OR defect_key LIKE ?)",
588
+ (project_id, base, base.replace("\\", "\\\\").replace("%", "\\%").replace("_", "\\_") + "#%")
589
+ ).fetchall()
590
+ for r in rows:
591
+ if int(r["number"]) in held:
592
+ continue
593
+ if g.kind == "partial":
594
+ continue # резерв остаётся у сохранившейся группы
595
+ if g.kind == "move":
596
+ target = next(iter(g.dest))
597
+ new_key = set_key(p.targets[target]["triple"], split_key(r["defect_key"])[1])
598
+ if c.execute("SELECT 1 FROM defects WHERE project_id = ? AND defect_key = ?",
599
+ (project_id, new_key)).fetchone() is None:
600
+ c.execute("UPDATE defects SET defect_key = ?, updated_at = ? WHERE project_id = ? AND defect_key = ?",
601
+ (new_key, now_iso(), project_id, r["defect_key"]))
602
+ out["reserves_moved"] += 1
603
+ counter.move("defects")
604
+ continue
605
+ _archive(c, project_id, run_id, "defects", {"defect_key": r["defect_key"]}, r, counter,
606
+ reason="резерв номера группы, которая расщепилась или слилась")
607
+ c.execute("DELETE FROM defects WHERE project_id = ? AND defect_key = ?", (project_id, r["defect_key"]))
608
+ out["reserves_archived"] += 1
609
+ counter.current = None
610
+ out["without_set_key_total"] = len(out["without_set_key"]) # список – до 50, счёт – полный (ревью Codex)
611
+ out["without_set_key"] = out["without_set_key"][:50]
612
+ return out
613
+
614
+
615
+ def defect_label(row: Mapping[str, Any]) -> str:
616
+ """Устойчивая подпись дефекта в сводке перехода: номер дефекта Hub, без него – номер строки. Номер строки
617
+ дефекта, созданного третьей фазой, в откатываемом предпросмотре и в применении разный (ревью Codex, круг 2)."""
618
+ return str(row["hub_defect_id"] or row["id"])
619
+
620
+
621
+ def settle_set_keys(c, project_id: int, summary: Mapping[str, Any] | None, accepted: Iterable[int] = ()) -> None:
622
+ """Сводка «без единственного набора» – по итогу всей последовательности принятия (план dev17, остаток шага 4):
623
+ третья фаза пересчитывает ключ набора по принятому составу Hub и может его вернуть или снять, поэтому список
624
+ семейств перехода досчитывается по записанным строкам после неё – в предпросмотре и в применении одинаково.
625
+ Семейства перехода – затронутые второй фазой по прежнему составу и принятые третьей фазой (accepted – номера
626
+ владельцев), чей принятый состав включает находки, перенесённые этим переходом (ревью Codex, круг 1)."""
627
+ defects = (summary or {}).get("defects")
628
+ if not defects:
629
+ return
630
+ rev = c.execute("SELECT identity_rev FROM projects WHERE id = ?", (project_id,)).fetchone()[0]
631
+ moved = {str(r[0]) for r in c.execute("SELECT hub_id FROM findings WHERE project_id = ? AND pkg_rev = ?",
632
+ (project_id, rev)).fetchall()} if rev else set()
633
+ owners = [int(o) for o in defects.pop("owners", None) or []] # внутренний список: в сводку не входит
634
+ for oid in dict.fromkeys(int(o) for o in accepted):
635
+ if oid in owners:
636
+ continue
637
+ row = c.execute("SELECT kind, targets_json FROM hub_defects WHERE id = ?", (oid,)).fetchone()
638
+ # цель – по номеру, без типа связи: и несопоставленная связь с перенесённой находкой затрагивает переход
639
+ if row is not None and row["kind"] == "SCA" and {
640
+ str(t.get("hub_id") or "") for t in loads(row["targets_json"], [])} & moved:
641
+ owners.append(oid)
642
+ if not owners:
643
+ return
644
+ marks = ",".join("?" * len(owners))
645
+ rows = {int(r["id"]): r for r in c.execute(
646
+ f"SELECT id, kind, state, sca_set_key, hub_defect_id FROM hub_defects WHERE project_id = ? AND id IN ({marks})",
647
+ (project_id, *owners)).fetchall()}
648
+ without = [defect_label(row) for oid in owners if (row := rows.get(int(oid))) is not None
649
+ and row["kind"] == "SCA" and row["state"] not in INACTIVE and not row["sca_set_key"]]
650
+ defects["without_set_key_total"] = len(without)
651
+ defects["without_set_key"] = without[:50]
652
+
653
+
654
+ def _rebind_decisions(c, project_id: int, p: Plan, stamp: str) -> dict:
655
+ """Решения (п. 4.5): у каждой находки с уточнением или изменением снимаются «Проверено» и время отметки, редакция
656
+ растёт один раз; подпись решения оператора при уточнении переписывается, если была подписью «до»; подпись решения
657
+ из Hub (то же назначение) – всегда. «Согласен с агентом» сверяется с главным ответом у всех находок затронутых
658
+ групп."""
659
+ counts = {"reviewed_removed": 0, "sig_rewritten": 0, "other_version": 0, "agree_stale": 0}
660
+ bumped: set[str] = set()
661
+ for fid, kind in sorted(p.moves.items()):
662
+ hub_id = p.before[fid]["hub_id"]
663
+ review = c.execute("SELECT * FROM reviews WHERE project_id = ? AND hub_id = ?", (project_id, hub_id)).fetchone()
664
+ if review is None:
665
+ continue
666
+ sig_before = review_signature(p.before[fid]["data"])
667
+ sig_after = review_signature(p.after[fid]["data"])
668
+ origin = review["decision_origin"] or ""
669
+ sig = review["finding_sig"]
670
+ if origin in ("hub_sync", "hub_defect"):
671
+ sig = sig_after
672
+ elif kind == "refine" and sig == sig_before:
673
+ sig = sig_after
674
+ elif review["decision"]:
675
+ counts["other_version"] += 1
676
+ if sig != review["finding_sig"]:
677
+ counts["sig_rewritten"] += 1
678
+ if review["reviewed"]:
679
+ counts["reviewed_removed"] += 1
680
+ c.execute("UPDATE reviews SET reviewed = 0, reviewed_at = NULL, finding_sig = ?, revision = revision + 1,"
681
+ " updated_at = ? WHERE project_id = ? AND hub_id = ?", (sig, stamp, project_id, hub_id))
682
+ bumped.add(hub_id)
683
+ affected = {fid for fid in p.moves}
684
+ for target in p.merges:
685
+ affected |= {fid for fid, item in p.after.items()
686
+ if item["kind"] == SCA and input_ref(*item["triple"]) == target}
687
+ for fid in sorted(affected):
688
+ item = p.after.get(fid)
689
+ if item is None or item["kind"] != SCA:
690
+ continue
691
+ hub_id = item["hub_id"]
692
+ review = c.execute("SELECT * FROM reviews WHERE project_id = ? AND hub_id = ?", (project_id, hub_id)).fetchone()
693
+ if review is None or review["decision"] != "agree":
694
+ continue
695
+ if Database._main_answer(c, project_id, item["data"])[1] == (review["answer_sig"] or ""):
696
+ continue
697
+ counts["agree_stale"] += 1
698
+ if hub_id in bumped:
699
+ continue
700
+ if review["reviewed"]:
701
+ counts["reviewed_removed"] += 1
702
+ c.execute("UPDATE reviews SET reviewed = 0, reviewed_at = NULL, revision = revision + 1, updated_at = ?"
703
+ " WHERE project_id = ? AND hub_id = ?", (stamp, project_id, hub_id))
704
+ bumped.add(hub_id)
705
+ return counts
706
+
707
+
708
+ def label(triple: tuple) -> str:
709
+ eco, name, version = triple
710
+ return f"{eco or '?'} · {name}@{version}"
711
+
712
+
713
+ def _groups_summary(p: Plan, research_moved: Mapping[str, bool], counter: _Counter | None = None,
714
+ pending: list[dict] | None = None) -> list[dict]:
715
+ """Таблица групп итога: было → стало, вид перехода, находки, исследование и числа по сущностям группы
716
+ (перенесено / в архив), новые номера наборов при слиянии (п. 4.5)."""
717
+ kinds = {"move": "перенос", "partial": "частичное расщепление", "split": "расщепление", "merge-in": "слияние"}
718
+ out = []
719
+ for ref, g in sorted(p.groups.items(), key=lambda kv: label(kv[1].triple)):
720
+ out.append({"from": label(g.triple), "to": sorted(label(p.targets[t]["triple"]) for t in g.dest),
721
+ "kind": kinds[g.kind], "change": {"refine": "уточнение", "change": "изменение"}.get(g.change, ""),
722
+ "findings": len(g.members) - len(g.stays), "research": "перенесено" if research_moved.get(ref) else
723
+ ("остаётся" if g.kind == "partial" else "в архив"),
724
+ "moved": dict(counter.by_group[ref]["moved"]) if counter is not None else {},
725
+ "archived": dict(counter.by_group[ref]["archived"]) if counter is not None else {},
726
+ "new_sets": sorted({(x["target"], x["set_no"]) for x in pending or [] if x.get("source") == ref})})
727
+ return out[:200]
728
+
729
+
730
+ def entity_rows(summary: Mapping[str, Any]) -> list[dict]:
731
+ """Строки «что перенесено, что в архив» по таблицам перехода для подтверждения и итога (п. 4.5): подпись,
732
+ перенесено, в архив. Решения из Hub прежнего назначения (смена назначения) – отдельной строкой сводки."""
733
+ moved, archived = summary.get("moved") or {}, summary.get("archived") or {}
734
+ return [{"label": TABLE_LABELS.get(table, table), "moved": int(moved.get(table, 0) or 0),
735
+ "archived": int(archived.get(table, 0) or 0)} for table in sorted(set(moved) | set(archived))
736
+ if (moved.get(table) or archived.get(table))]
737
+
738
+
739
+ def marks_summary(after: Mapping[int, dict]) -> dict:
740
+ """Счётчики пометок по эффективной идентичности (итог «Идентичность пакетов», п. 4.5)."""
741
+ counts = {"ecosystem_refined": 0, "coordinates_added": 0, "scope_added": 0, "name_replaced": 0, "unresolved": 0,
742
+ "no_library": 0, "version_mismatch": 0}
743
+ for item in after.values():
744
+ if item["kind"] != SCA:
745
+ continue
746
+ data = item["data"]
747
+ pkg = data.get("package") or {}
748
+ notes = package_identity.marks(data)
749
+ source = pkg.get("source")
750
+ raw_eco = package_identity.canon_ecosystem(data.get("build_type"))
751
+ eco, name, _ = item["triple"]
752
+ if source == "hub" and eco != raw_eco:
753
+ counts["ecosystem_refined"] += 1
754
+ if source == "hub" and eco == "maven" and ":" in name and ":" not in str(data.get("component") or ""):
755
+ counts["coordinates_added"] += 1
756
+ if source == "hub" and eco == "npm" and name.startswith("@") and not str(data.get("component") or "").startswith("@"):
757
+ counts["scope_added"] += 1
758
+ if any(n.startswith("name_replaced:") for n in notes):
759
+ counts["name_replaced"] += 1
760
+ if any(n == "no_name" or n.startswith(("rule_missing:", "scope_conflict:", "group_conflict:")) for n in notes):
761
+ counts["unresolved"] += 1
762
+ if source == "file" and not notes:
763
+ counts["no_library"] += 1
764
+ if any(n.startswith("version_mismatch:") for n in notes):
765
+ counts["version_mismatch"] += 1
766
+ return counts
767
+
768
+
769
+
770
+ # ============================================================================ смена назначения Hub (п. 4.5)
771
+
772
+ HUB_DECISIONS = ("hub_sync", "hub_defect") # решения – проекции принятого состояния Hub (своего назначения)
773
+ ASSIGNMENT_REASON = "смена назначения Hub: решение из Hub прежнего назначения"
774
+
775
+
776
+ def assignment_affects(c, project_id: int) -> bool:
777
+ """Смена назначения что-то меняет в проекте: есть сведения Hub о библиотеках или решения из Hub прежнего
778
+ назначения. Иначе назначение меняется без подтверждения."""
779
+ return (c.execute("SELECT 1 FROM findings WHERE project_id = ? AND kind IN ('SCA', 'SCA-license')"
780
+ " AND COALESCE(pkg_source, '') <> '' LIMIT 1", (project_id,)).fetchone() is not None
781
+ or c.execute("SELECT 1 FROM reviews WHERE project_id = ? AND decision_origin IN ('hub_sync', 'hub_defect')"
782
+ " LIMIT 1", (project_id,)).fetchone() is not None)
783
+
784
+
785
+ def assignment_fingerprint(c, project_id: int, old: str, new: str) -> str:
786
+ """Отпечаток входов смены назначения: строки таблиц перехода и прежнее и новое назначение (п. 4.5, «Предпросмотр
787
+ и токен»)."""
788
+ return hashlib.sha256(f"{transition_fingerprint(c, project_id)}|{old}|{new}".encode("utf-8")).hexdigest()[:32]
789
+
790
+
791
+ def change_assignment(c, project_id: int, write_new) -> dict:
792
+ """Смена назначения Hub у проекта одной транзакцией соединения c (п. 4.5): write_new(c) записывает новое
793
+ значение (номер приложения или адрес Hub); решения из Hub прежнего назначения – в архив и снимаются, как при
794
+ отсутствии решения в Hub (их подпись не переписывается; первое принятие нового назначения спроецирует их заново);
795
+ пять текстовых колонок идентичности очищаются – идентичность файла; затем rebind_packages по правилам «изменения»
796
+ – без третьей фазы и без запросов к Hub. Сбой – исключение, транзакция откатывается целиком."""
797
+ before = snapshot(c, project_id)
798
+ counter = _Counter()
799
+ stamp = now_iso()
800
+ withdrawn = reviewed_withdrawn = 0
801
+ for r in c.execute("SELECT * FROM reviews WHERE project_id = ? AND decision_origin IN ('hub_sync', 'hub_defect')"
802
+ " ORDER BY hub_id", (project_id,)).fetchall():
803
+ _archive(c, project_id, None, "reviews", {"hub_id": r["hub_id"]}, r, counter, reason=ASSIGNMENT_REASON)
804
+ c.execute("UPDATE reviews SET decision = '', final_verdict = '', final_comment = '', desired_hub_expired_at = NULL,"
805
+ " decision_origin = '', decision_source_json = '{}', reviewed = 0, reviewed_at = NULL,"
806
+ " revision = revision + 1, updated_at = ? WHERE project_id = ? AND hub_id = ?",
807
+ (stamp, project_id, r["hub_id"]))
808
+ withdrawn += 1
809
+ reviewed_withdrawn += 1 if r["reviewed"] else 0 # до перехода: он видит уже снятую отметку (ревью Codex)
810
+ cleared = c.execute("UPDATE findings SET pkg_ecosystem = '', pkg_name = '', pkg_source = '', pkg_note = '',"
811
+ " pkg_scope = '' WHERE project_id = ? AND kind IN ('SCA', 'SCA-license')"
812
+ " AND COALESCE(pkg_source, '') <> ''", (project_id,)).rowcount
813
+ write_new(c)
814
+ summary = rebind_packages(c, project_id, None, before, snapshot(c, project_id), change_only=True)
815
+ (summary.get("defects") or {}).pop("owners", None) # служебный список – только для досчёта принятия
816
+ decisions = dict(summary.get("decisions") or {})
817
+ decisions["reviewed_removed"] = int(decisions.get("reviewed_removed") or 0) + reviewed_withdrawn
818
+ summary.update(hub_decisions_withdrawn=withdrawn, identity_cleared=int(cleared or 0),
819
+ archived_reviews=counter.archived.get("reviews", 0), decisions=decisions)
820
+ return summary
821
+
822
+
823
+ def ids_of(items: Iterable[Mapping[str, Any]]) -> list[str]:
824
+ return [str(i.get("hub_id")) for i in items if i.get("hub_id")]