local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
package/app/view.py ADDED
@@ -0,0 +1,430 @@
1
+ """Оформление страниц: подписи, форматирование чисел и времени, разметка текста модели, шаблоны Jinja2.
2
+
3
+ Только чистые функции без обращения к базе и к запросу: их используют шаблоны (фильтры и глобальные имена)
4
+ и разделы интерфейса (app/routes/*).
5
+ """
6
+
7
+ from __future__ import annotations
8
+
9
+ import json
10
+ import math
11
+ import re
12
+ from pathlib import Path
13
+ from typing import Any
14
+
15
+ from fastapi.templating import Jinja2Templates
16
+ from jinja2 import Environment, FileSystemLoader
17
+ from markupsafe import Markup
18
+
19
+ from app.build_info import asset_version, build_info
20
+ from app.config import stand_mode
21
+ from app.defect import GOST_STATUS_BASIS, GOST_STATUS_NOTES
22
+ from app.feeds import cwe_key
23
+ from app.sca import norm_link, prerelease_versions
24
+ from app.textsafe import mark_invisible
25
+
26
+ TEMPLATES_DIR = Path(__file__).resolve().parent / "templates"
27
+
28
+ TEST_DIRS = ("test", "tests")
29
+
30
+
31
+ def is_test_path(path: Any) -> bool:
32
+ """Путь находки лежит в каталоге тестов: среди каталогов пути есть test или tests, регистр не важен (`src/test/…`, `Tests/…`).
33
+ Только показ значка в карточке и списке, отбор не меняется. `contest/`, `latest/` и файл `test_x.py` в корне – не тесты."""
34
+ parts = str(path or "").replace("\\", "/").split("/")[:-1] # последняя часть – имя файла, не каталог
35
+ return any(part.lower() in TEST_DIRS for part in parts)
36
+
37
+
38
+ VERDICT_LABELS = {"true_positive": "истинная", "false_positive": "ложная", "uncertain": "неясно"}
39
+ DECISION_LABELS = {"hub": "принято из Hub", "agree": "согласен", "disagree": "не согласен", "later": "отложено",
40
+ "risk_accepted": "риск принят"}
41
+ SEVERITY_LABELS = {"critical": "критическая", "high": "высокая", "medium": "средняя", "low": "низкая",
42
+ "info": "информационная"}
43
+ KIND_LABELS = {"SAST": "SAST", "SCA": "SCA", "SCA-license": "SCA, лицензии", "DAST": "DAST"}
44
+ RUN_STATE_LABELS = {"queued": "в очереди", "running": "идёт", "paused": "на паузе", "stopped": "остановлен",
45
+ "done": "завершён", "error": "ошибка"}
46
+ SCOPE_LABELS = {"live": "живые в Hub", "all": "все SAST", "urgent": "только срочные", "selected": "выбранные"}
47
+ ITEM_STATE_LABELS = {"pending": "ждёт", "done": "готово", "cached": "готовый", "skipped": "пропущено",
48
+ "error": "ошибка"}
49
+ CONTEXT_LABELS = {"ok": "код из клона", "export_line_only": "только строка из выгрузки",
50
+ "file_missing": "файл не найден в клоне", "no_repo": "нет клона", "too_large": "файл слишком большой",
51
+ "binary": "двоичный файл"}
52
+ # Причина отсутствия кода в срезе (бэклог 103, план dev18): по `reason` среза (app/context.py), статус не участвует –
53
+ # при строке выгрузки статус всегда `export_line_only`. Только представление: модели уходят прежние тексты.
54
+ CODE_REASON_LABELS = {"no_repo": "клон не подключён", "ambiguous": "файл найден неоднозначно или обход клона не завершён",
55
+ "unreadable": "файл не прочитан", "empty": "файл пуст",
56
+ "line_out_of_range": "строка за пределами файла", "binary": "двоичный файл",
57
+ "too_large": "файл слишком большой"}
58
+ _ARCHIVE_PART = re.compile(r"\.(?:jar|war|ear|aar|zip)(?:!?/)", re.IGNORECASE)
59
+
60
+
61
+ CODE_REASON_KEYS = ("file_missing", "no_file", *CODE_REASON_LABELS, "unknown")
62
+ CODE_REASON_KEY_LABELS = {"file_missing": "файла нет в клоне", "no_file": "в находке не указан файл",
63
+ **CODE_REASON_LABELS, "unknown": "причина не записана"}
64
+
65
+
66
+ def code_reason_key(status: str | None, reason: str | None, file: str | None) -> str:
67
+ """Ключ причины отсутствия кода (CODE_REASON_KEYS) или "" – код есть или среза нет; тот же расчёт, что
68
+ `db._CODE_REASON_KEY_SQL` (бэклог 103: одна таблица для карточки, списка и сводок)."""
69
+ if not status or status == "ok":
70
+ return ""
71
+ reason = str(reason or "")
72
+ if reason == "missing":
73
+ return "file_missing" if str(file or "").strip() else "no_file"
74
+ return reason if reason in CODE_REASON_LABELS else "unknown"
75
+
76
+
77
+ def in_archive(reason: str | None, file: str | None) -> bool:
78
+ """Путь находки внутри архива (jar, war, ear, aar, zip); без клона (no_repo) путь ничего не говорит."""
79
+ return str(reason or "") != "no_repo" and bool(_ARCHIVE_PART.search(str(file or "")))
80
+
81
+
82
+ def code_reason(status: str | None, reason: str | None, file: str | None, lines: int | None) -> str:
83
+ """Почему у находки нет кода в клоне – словами для списка, карточки и сводок; код есть или среза нет – "".
84
+ Рядом с причиной – «внутри архива» (не при `no_repo`) и «строки выгрузки нет»."""
85
+ key = code_reason_key(status, reason, file)
86
+ if not key:
87
+ return ""
88
+ label = CODE_REASON_KEY_LABELS[key]
89
+ if in_archive(reason, file):
90
+ label += ", внутри архива"
91
+ if not lines:
92
+ label += ", строки выгрузки нет"
93
+ return label
94
+
95
+
96
+ MASKED_LABELS = {"SECRET": "секретов", "EMAIL": "адресов почты", "PHONE": "телефонов", "INN": "ИНН", "SNILS": "СНИЛС",
97
+ "PASSPORT": "паспортов"}
98
+ PHASE_LABELS = {"context": "собирается контекст", "model": "запрос модели",
99
+ "waiting":"ожидание первого фрагмента", "generating":"модель формирует ответ",
100
+ "validating":"проверяется ответ", "saving":"сохраняется результат"}
101
+
102
+
103
+ # ============================================================================ числа и время
104
+
105
+ def num(value: Any) -> float | None:
106
+ """Число из значения любого вида (строка с запятой тоже); не число, бесконечность, NaN, bool – None."""
107
+ if value is None or isinstance(value, bool):
108
+ return None
109
+ try:
110
+ number = float(str(value).strip().replace(",", ".")) if isinstance(value, str) else float(value)
111
+ except (TypeError, ValueError):
112
+ return None
113
+ return number if math.isfinite(number) else None
114
+
115
+
116
+ def fmt_num(value: Any, digits: int = 1) -> str:
117
+ number = num(value)
118
+ if number is None:
119
+ return "–"
120
+ return f"{number:.{digits}f}".replace(".", ",")
121
+
122
+
123
+ def fmt_size(value: Any) -> str:
124
+ """Байты -> «9,0 ГБ» / «512 МБ»."""
125
+ number = num(value)
126
+ if number is None or number <= 0:
127
+ return "–"
128
+ mib = number / (1024 * 1024)
129
+ return f"{fmt_num(mib / 1024)} ГБ" if mib >= 1024 else f"{round(mib)} МБ"
130
+
131
+
132
+ def model_option(model: Any) -> str:
133
+ """Подпись модели в списках выбора – одинаково во всех: имя (объём, параметры, рассуждение). «С рассуждением» –
134
+ capabilities модели содержат thinking (такой модели приложение включает рассуждение, ADR-0102), «без рассуждения»
135
+ – возможности известны, thinking нет; неизвестны – пометки нет."""
136
+ m = model if isinstance(model, dict) else {}
137
+ caps = m.get("capabilities")
138
+ parts = [fmt_size(m.get("size")), str(m.get("params") or "")]
139
+ if isinstance(caps, (list, tuple)):
140
+ parts.append("с рассуждением" if "thinking" in caps else "без рассуждения")
141
+ extra = ", ".join(p for p in parts if p and p != "–")
142
+ name = str(m.get("name") or "")
143
+ label = f"{name} ({extra})" if extra else name
144
+ # сервер не отдал список моделей (ADR-0106 п. 7): откуда имя – видно в списке, есть ли модель у сервера, не проверено
145
+ origin = {"profile": "имя из профиля, список моделей сервер не отдаёт",
146
+ "verdict": "модель прежнего разбора, список моделей сервер не отдаёт"}.get(str(m.get("source") or ""))
147
+ return f"{label} – {origin}" if origin else label
148
+
149
+
150
+ def fmt_mib(value: Any) -> str:
151
+ number = num(value)
152
+ if number is None:
153
+ return "–"
154
+ return f"{fmt_num(number / 1024)} ГБ" if number >= 1024 else f"{round(number)} МБ"
155
+
156
+
157
+ def fmt_duration(value: Any) -> str:
158
+ number = num(value)
159
+ if number is None:
160
+ return "–"
161
+ seconds = max(0, int(round(number)))
162
+ if seconds < 60:
163
+ return f"{seconds} с"
164
+ minutes, seconds = divmod(seconds, 60)
165
+ if minutes < 60:
166
+ return f"{minutes} мин {seconds:02d} с"
167
+ hours, minutes = divmod(minutes, 60)
168
+ return f"{hours} ч {minutes:02d} мин"
169
+
170
+
171
+ def fmt_ts(value: Any) -> str:
172
+ """ISO-время UTC -> «2026-10-14 20:59 UTC» (на странице скрипт покажет местное время)."""
173
+ text = str(value or "")
174
+ return f"{text[:10]} {text[11:16]} UTC" if len(text) >= 16 else text
175
+
176
+
177
+ _REPORT_DATE = re.compile(r"(\d{4})-(\d{2})-(\d{2})(?:[ T](\d{2}):(\d{2})(?::\d{2}(?:\.\d+)?)?)?")
178
+
179
+
180
+ def fmt_report_date(value: Any) -> str:
181
+ """Дата из сводки отчёта Hub «2026-10-01 09:30:00» -> «01.10.2026, 09:30»; иначе – как есть."""
182
+ text = str(value or "").strip()
183
+ m = _REPORT_DATE.fullmatch(text)
184
+ if not m:
185
+ return text
186
+ date = f"{m.group(3)}.{m.group(2)}.{m.group(1)}"
187
+ return f"{date}, {m.group(4)}:{m.group(5)}" if m.group(4) else date
188
+
189
+
190
+ def plural(count: Any, one: str, few: str, many: str) -> str:
191
+ """Форма слова для числа: 1 находка, 2 находки, 5 находок, 21 находка."""
192
+ n = abs(int(count or 0))
193
+ if n % 10 == 1 and n % 100 != 11:
194
+ return one
195
+ if n % 10 in (2, 3, 4) and n % 100 not in (12, 13, 14):
196
+ return few
197
+ return many
198
+
199
+
200
+ def findings_genitive(count: int) -> str:
201
+ """«у 1 находки», «у 2 находок», «у 21 находки»."""
202
+ return "находки" if count % 10 == 1 and count % 100 != 11 else "находок"
203
+
204
+
205
+ def masked_summary(masked: dict[str, int]) -> str:
206
+ """{"SECRET": 3, "EMAIL": 1} -> «секретов – 3, адресов почты – 1»."""
207
+ return ", ".join(f"{MASKED_LABELS.get(kind, kind)} – {count}" for kind, count in sorted(masked.items()) if count)
208
+
209
+
210
+ # ============================================================================ пояснения
211
+
212
+ def reopened_note(count: int) -> str:
213
+ """Пояснение к сообщению: у скольких находок снята отметка «Проверено» из-за смены папки с кодом."""
214
+ return (f"У {count} {findings_genitive(count)} снята отметка «Проверено»: код для них теперь берётся из другой "
215
+ "папки, посмотрите их заново.")
216
+
217
+
218
+ def revision_note(notice: dict | None) -> str:
219
+ """Пояснение на странице проекта: у каких кодовых баз сменилась ревизия клона и что из-за этого сброшено."""
220
+ if not notice or not notice.get("codebases"):
221
+ return ""
222
+ names = ", ".join(str(name) for name in notice["codebases"])
223
+ count = int(notice.get("reopened") or 0)
224
+ text = (f"Сменилась ревизия клона ({names}): код в папке другой, чем при прошлой сверке (git pull, другая ветка "
225
+ "или другая папка с репозиториями). Срезы кода этих кодовых баз сброшены – запустите для них прогон заново")
226
+ if count:
227
+ text += f"; у {count} {findings_genitive(count)} снята отметка «Проверено», посмотрите их ещё раз"
228
+ return text + "."
229
+
230
+
231
+ def code_change_note(notice: dict | None, reviewed: int | None = None) -> str:
232
+ """Пояснение на странице проекта: у находок снята отметка «Проверено» – срез кода стал другим без смены папки и
233
+ ревизии клона. Причина названа (бэклог 115): срез пересобран новой версией приложения, а код тот же (метки
234
+ маскирования, сверка строки из выгрузки), или код в клоне изменился (правки в рабочей копии, папка без .git).
235
+ reviewed – сколько находок пояснения сейчас снова отмечены «Проверено»: если все, пояснения нет. У пояснения,
236
+ начатого до 0.10.0.dev21 (legacy), номеров всех находок нет – оно уходит только по «Понятно»."""
237
+ if not notice or not notice.get("reopened"):
238
+ return ""
239
+ ids = notice.get("hub_ids") or []
240
+ complete = not notice.get("legacy") and not notice.get("truncated")
241
+ if ids and complete and reviewed is not None and reviewed >= len(ids):
242
+ return ""
243
+ names = ", ".join(str(name) for name in notice.get("codebases") or [] if name) or "без кодовой базы"
244
+ count = int(notice["reopened"])
245
+ rebuilt = min(int(notice.get("rebuilt") or 0), count)
246
+ unclear = min(int(notice.get("unclear") or 0), count - rebuilt)
247
+ changed = count - rebuilt - unclear
248
+ parts = []
249
+ if changed:
250
+ parts.append(f"код в клоне изменился без смены ревизии у {changed} {findings_genitive(changed)} – правки в "
251
+ "рабочей копии или папка без .git")
252
+ if rebuilt:
253
+ parts.append(f"у {rebuilt} {findings_genitive(rebuilt)} срез пересобран новой версией приложения, код в клоне "
254
+ "тот же – изменились метки маскирования или сверка строки из выгрузки")
255
+ if unclear:
256
+ parts.append(f"у {unclear} {findings_genitive(unclear)} код сейчас не тот, по которому принято решение: "
257
+ "изменился код в клоне или срез пересобран новой версией приложения")
258
+ # без «Модель разобрала эти находки заново»: отметку снимает и сверка срезов, когда модель недоступна (ревью
259
+ # Codex ветки долга, круг 5)
260
+ return f"Снята отметка «Проверено» ({names}): {'; '.join(parts)}. Посмотрите эти находки ещё раз."
261
+
262
+
263
+ # ============================================================================ текст модели
264
+
265
+ _CODE_SPAN = re.compile(r"`([^`\n]+)`")
266
+ _LINE_REF = re.compile(r"\b(строк[аеиуой]{1,2}|line)\s+(\d{1,7})\b", re.I)
267
+ _FENCE_BLOCK = re.compile(r"```[\w+.-]*[ \t]*\n(.*?)(?:\n[ \t]*```|\Z)", re.S)
268
+
269
+
270
+ def _link_lines(escaped: str, shown: set[int] | None) -> str:
271
+ """«строка 25» -> ссылка на строку 25 показанного кода. Ссылка на строку, которой в показанном коде нет (модель
272
+ её выдумала или ошиблась номером), помечается: перечёркнута и с подсказкой – такому доводу верить нельзя.
273
+ shown=None – номера не сверяются (текст не про срез кода)."""
274
+ if shown is None:
275
+ return escaped
276
+
277
+ def repl(m):
278
+ n = int(m.group(2))
279
+ if n in shown:
280
+ return f'<a class="line-ref" href="#L{n}">{m.group(0)}</a>'
281
+ return (f'<span class="line-ref-missing" title="Строки {n} нет в показанном коде – ссылка не подтверждена">'
282
+ f'{m.group(0)}</span>')
283
+
284
+ return _LINE_REF.sub(repl, escaped)
285
+
286
+
287
+ def missing_line_refs(text: Any, shown: set[int] | None) -> list[int]:
288
+ """Номера строк, на которые ссылается текст («строка N»), но которых нет в показанном коде."""
289
+ if shown is None:
290
+ return []
291
+ found = [int(m.group(2)) for m in _LINE_REF.finditer(str(text or ""))]
292
+ return sorted({n for n in found if n not in shown})
293
+
294
+
295
+ def reveal_labels(text: Any, values: dict | None = None) -> Any:
296
+ """Показ без масок (бэклог 111): метки маскирования в тексте модели – значениями, когда они известны карточке.
297
+ Список (шаги «Почему», «Путь данных») – по элементам. Экранирует следующий фильтр, model_text."""
298
+ from app import mask_display
299
+ if isinstance(text, (list, tuple)):
300
+ return [mask_display.reveal(part, values) for part in text]
301
+ return mask_display.reveal(text, values)
302
+
303
+
304
+ def model_text(text: Any, shown: set[int] | None = None) -> Markup:
305
+ """Текст модели для карточки: сначала экранирование, затем только своя разметка – отрезки в обратных кавычках
306
+ становятся <code>, «строка N» – ссылкой на строку показанного кода. Сам текст модели разметкой не становится."""
307
+ parts = _CODE_SPAN.split(str(mark_invisible(text)))
308
+ return Markup("".join(f"<code>{part}</code>" if k % 2 else _link_lines(part, shown)
309
+ for k, part in enumerate(parts)))
310
+
311
+
312
+ def fix_text(text: Any, shown: set[int] | None = None) -> Markup:
313
+ """Поле «как исправить»: блоки в ограде ``` – моноширинным блоком, остальное – как model_text."""
314
+ source, out, pos = str(text or ""), [], 0
315
+ for m in _FENCE_BLOCK.finditer(source):
316
+ out.append(str(model_text(source[pos:m.start()], shown)))
317
+ out.append(f'<pre class="fix-code"><code>{mark_invisible(m.group(1))}</code></pre>')
318
+ pos = m.end()
319
+ out.append(str(model_text(source[pos:], shown)))
320
+ return Markup("".join(out))
321
+
322
+
323
+ # ============================================================================ ссылки справочников
324
+
325
+ def cwe_href(value: Any) -> str:
326
+ """Адрес карточки класса CWE по номеру из любого поля находки или справочника ("89", "CWE-89", "CWE-89, CWE-79"
327
+ берётся первый номер). Пусто – номера нет, ссылку показывать не на что."""
328
+ key = cwe_key(value)
329
+ return f"/cwe/{key}" if key else ""
330
+
331
+
332
+ def cwe_number(value: Any) -> str:
333
+ """Номер класса CWE в виде CWE-89 из любого значения; пусто – номера нет."""
334
+ return cwe_key(value)
335
+
336
+
337
+ # ============================================================================ шаблоны
338
+
339
+ def json_text(value, indent: int = 2):
340
+ """JSON для чтения в <pre>: кириллица и знаки как есть, безопасность – автоэкранированием шаблона
341
+ (иначе тело PUT шло бы кодами символов)."""
342
+ import html
343
+ import json
344
+ from markupsafe import Markup
345
+ # содержимое элемента: экранируются & < >, кавычки остаются как в JSON
346
+ return Markup(html.escape(json.dumps(value, ensure_ascii=False, indent=indent, sort_keys=True, default=str),
347
+ quote=False))
348
+
349
+
350
+ def hub_text(value) -> str:
351
+ """Описание дефекта Hub (HTML) – строками текста для чтения оператором (как «Описание в Hub»)."""
352
+ from app.hub_defects import description_for_reading
353
+ return "\n".join(description_for_reading(value))
354
+
355
+
356
+ TEXT_CHANGES_MAX_LINES = 2000
357
+ TEXT_CHANGES_TOO_LONG = "Описание слишком длинное, перечень не построен: сравните колонки «Было» и «Станет»."
358
+
359
+
360
+ def text_changes(before, after) -> list[str]:
361
+ """Изменённые строки описания дефекта для предпросмотра: «− было», «+ станет». Колонки «Было» и «Станет» – окна с
362
+ прокруткой, и правка в конце длинного текста без прокрутки не видна."""
363
+ from difflib import SequenceMatcher
364
+
365
+ def lines(value) -> list[str]:
366
+ return [" ".join(line.split()) for line in hub_text(value).splitlines() if line.strip()]
367
+ if not isinstance(before, str) or not isinstance(after, str):
368
+ return []
369
+ # сравнение целых строк, без посимвольного разбора; страница строится при каждом открытии, поэтому объём ограничен
370
+ old, new = lines(before), lines(after)
371
+ if len(old) + len(new) > TEXT_CHANGES_MAX_LINES:
372
+ return [TEXT_CHANGES_TOO_LONG]
373
+ out: list[str] = []
374
+ for tag, i1, i2, j1, j2 in SequenceMatcher(None, old, new, autojunk=False).get_opcodes():
375
+ if tag != "equal":
376
+ out += ["− " + line for line in old[i1:i2]] + ["+ " + line for line in new[j1:j2]]
377
+ return out
378
+
379
+
380
+ def number_key(key: str) -> str:
381
+ """Ключ номера дефекта словами: «sca:v3|[…]» – экосистема · компонент · версия (и набор), «sast:<ID>» – находка."""
382
+ text = str(key or "")
383
+ if text.startswith("sast:"):
384
+ return "находка " + text[5:]
385
+ if text.startswith("sca:") and "|" in text:
386
+ body, _, set_no = text.split("|", 1)[1].partition("#")
387
+ try:
388
+ parts = json.loads(body)
389
+ except ValueError:
390
+ return text
391
+ return " · ".join(str(p) for p in parts) + (f" · набор {set_no}" if set_no else "")
392
+ return text
393
+
394
+
395
+ def make_templates() -> Jinja2Templates:
396
+ """Шаблоны с автоэкранированием, фильтрами оформления и подписями. Общие шаблоны (base.html, macros.html,
397
+ error.html) лежат в корне папки templates, страницы разделов – в её подпапках (projects/, findings/, runs/,
398
+ settings/, sca/)."""
399
+ env = Environment(loader=FileSystemLoader(str(TEMPLATES_DIR)), autoescape=True, trim_blocks=True,
400
+ lstrip_blocks=True)
401
+ from app.worklists import list_anchor # якорь таблицы у видимой ссылки «К списку» (dev28)
402
+ env.filters.update(num=fmt_num, size=fmt_size, mib=fmt_mib, duration=fmt_duration, ts=fmt_ts,
403
+ model_option=model_option, list_anchor=list_anchor,
404
+ report_date=fmt_report_date, model_text=model_text, fix_text=fix_text,
405
+ reveal_labels=reveal_labels,
406
+ masked_summary=masked_summary, plural=plural,
407
+ code_text=mark_invisible, norm_link=norm_link, hub_text=hub_text,
408
+ json_text=json_text, number_key=number_key, text_changes=text_changes,
409
+ prerelease_versions=prerelease_versions)
410
+ env.globals.update(VERDICT_LABELS=VERDICT_LABELS, DECISION_LABELS=DECISION_LABELS,
411
+ SEVERITY_LABELS=SEVERITY_LABELS, KIND_LABELS=KIND_LABELS, RUN_STATE_LABELS=RUN_STATE_LABELS,
412
+ SCOPE_LABELS=SCOPE_LABELS, ITEM_STATE_LABELS=ITEM_STATE_LABELS,
413
+ CONTEXT_LABELS=CONTEXT_LABELS, PHASE_LABELS=PHASE_LABELS, asset_version=asset_version(), code_reason=code_reason,
414
+ CODE_REASON_KEY_LABELS=CODE_REASON_KEY_LABELS,
415
+ BUILD=build_info(), STAND=stand_mode(), # «npm» – учебный стенд (ADR-0155): подсказки о нём
416
+ cwe_href=cwe_href, cwe_number=cwe_number, work_link=lambda value: value, is_test_path=is_test_path,
417
+ GOST_STATUS_NOTES=GOST_STATUS_NOTES, GOST_STATUS_BASIS=GOST_STATUS_BASIS)
418
+ # tojson – без экранирования кириллицы: значения полей Hub читает оператор (<>&' Jinja экранирует всё равно)
419
+ env.policies["json.dumps_kwargs"] = {"sort_keys": True, "ensure_ascii": False}
420
+ return Jinja2Templates(env=env)
421
+
422
+
423
+ def review_json(review: dict | None) -> dict:
424
+ """Отметки решения для скрипта карточки."""
425
+ review = review or {}
426
+ return {"revision": int(review.get("revision") or 0), "decision": review.get("decision") or "",
427
+ "reviewed": bool(review.get("reviewed")), "reviewed_at": review.get("reviewed_at"),
428
+ "copied_at": review.get("copied_at"), "entered": bool(review.get("entered_hub")),
429
+ "kapo_state": review.get("kapo_state") or "", "decided_at": review.get("decided_at"),
430
+ "entered_at": review.get("entered_hub_at")}
@@ -0,0 +1,204 @@
1
+ """Обзор групп и навигация рабочих таблиц. Только представление, без изменения записей."""
2
+ from __future__ import annotations
3
+
4
+ import hashlib
5
+ import json
6
+ import re
7
+ from urllib.parse import urlencode, urlsplit
8
+
9
+ from app.db import hub_verdict
10
+
11
+ SIZES = (25, 50, 100, 200)
12
+
13
+
14
+ def options(params, sorts):
15
+ """Только параметры представления, допустимые для конкретной страницы."""
16
+ return {"page": str(params.get("page", ""))[:12],
17
+ "page_size": str(params.get("page_size", ""))[:4],
18
+ "group_by": "family" if params.get("group_by") == "family" else "",
19
+ "family": params.get("family", "") if re.fullmatch(r"[0-9a-f]{24}", params.get("family", "")) else "",
20
+ "sort": params.get("sort", "") if params.get("sort") in sorts else ""}
21
+
22
+
23
+ def return_url(request, fallback):
24
+ """Возврат только в ту же таблицу проекта, без произвольного адреса."""
25
+ value = request.query_params.get("back", "")[:2000]
26
+ try:
27
+ parts = urlsplit(value)
28
+ except ValueError:
29
+ return fallback
30
+ return value if not parts.netloc and not parts.scheme and parts.path == fallback else fallback
31
+
32
+
33
+ _LIST_ANCHORS = {"sca": "#components", "components": "#component-list"}
34
+
35
+
36
+ def list_anchor(url: str) -> str:
37
+ """Адрес списка SCA или компонентов – с якорем таблицы, чтобы возврат и открытая группа не начинались с верха
38
+ страницы. Другие адреса и адреса с якорем – как есть."""
39
+ if "#" in url:
40
+ return url
41
+ m = re.fullmatch(r"/projects/\d+/(sca|components)", urlsplit(url).path)
42
+ return url + _LIST_ANCHORS[m.group(1)] if m else url
43
+
44
+
45
+ def integer(value, fallback=1):
46
+ try:
47
+ return int(str(value)[:12])
48
+ except (ValueError, TypeError):
49
+ return fallback
50
+
51
+
52
+ def family(row, kind):
53
+ if kind == "findings":
54
+ data = row["data"]
55
+ if row["kind"] in ("SCA", "SCA-license"):
56
+ from app import package_identity
57
+ eco, name, _ = package_identity.of(data) # эффективная тройка (план dev17, п. 4.3)
58
+ key = (row["kind"], eco, name)
59
+ else:
60
+ name = data.get("rule", "")
61
+ key = (row["kind"], data.get("tool", ""), name)
62
+ scope = " · ".join(str(x) for x in key[:-1] if x)
63
+ else:
64
+ name = row.get("name", row.get("component", ""))
65
+ key = (row.get("ecosystem", ""), name)
66
+ scope = key[0]
67
+ if not name:
68
+ key += (str(row.get("id", row.get("input_ref", ""))),)
69
+ token = hashlib.sha256(json.dumps(key, ensure_ascii=False).encode()).hexdigest()[:24]
70
+ return token, str(name or "Имя не указано"), scope
71
+
72
+
73
+ def severity_key(row):
74
+ score = row.get("cvss") if row.get("kind") in ("SCA", "SCA-license") else None
75
+ if score is not None:
76
+ from app.cvss import version_of
77
+ if version_of(row.get("data")) == "2.0":
78
+ rank = 3 if score >= 7 else 2 if score >= 4 else 1
79
+ else:
80
+ rank = 4 if score >= 9 else 3 if score >= 7 else 2 if score >= 4 else 1 if score > 0 else 0
81
+ return rank, float(score)
82
+ rank = {"critical": 4, "high": 3, "medium": 2, "low": 1, "info": 0}.get(row.get("severity", ""))
83
+ return (rank, 0) if rank is not None else None
84
+
85
+
86
+ def sort_findings(rows, sort):
87
+ if sort not in ("severity_desc", "severity_asc"):
88
+ return rows
89
+ # Стабильный исходный порядок для равных значений; неизвестные всегда в конце.
90
+ known = [r for r in rows if severity_key(r) is not None]
91
+ unknown = [r for r in rows if severity_key(r) is None]
92
+ return sorted(known, key=severity_key, reverse=sort == "severity_desc") + unknown
93
+
94
+
95
+ # столбцы обзора групп находок и SCA (план dev7, раздел 3): находка попадает ровно в один, сумма равна «Находок»
96
+ BUCKETS = (("in_defect", "В дефекте", "Находка входит в дефект"),
97
+ ("false_positive", "Ложные", "Решение – ложное срабатывание"),
98
+ ("risk_accepted", "Риск принят", "Решение – риск принят"),
99
+ ("no_defect", "Подтверждено, без дефекта", "Находка подтверждена, дефекта нет"),
100
+ ("undecided", "Без решения", "Решения нет, находка отложена или вывод «неясно»"))
101
+
102
+
103
+ def finding_bucket(decision, final_verdict, in_defect: bool) -> str:
104
+ """Столбец находки: дефект важнее решения – у находки в дефекте работа уже идёт через него."""
105
+ if in_defect:
106
+ return "in_defect"
107
+ if not decision and not final_verdict:
108
+ return "undecided"
109
+ return {"false_positive": "false_positive", "risk_accepted": "risk_accepted",
110
+ "true_positive": "no_defect"}.get(hub_verdict(decision or "", final_verdict or ""), "undecided")
111
+
112
+
113
+ def table(rows, params, *, path, default_size=200, kind="", sorts=None):
114
+ """Отбор группы и пагинация после предметной фильтрации/сортировки всей выборки."""
115
+ # кортеж значений (многозначный отбор, бэклог 99) сохраняется и кодируется по одному параметру на значение
116
+ params = {k: (tuple(str(x) for x in v) if isinstance(v, (list, tuple)) else str(v))
117
+ for k, v in params.items() if v and k not in ("ok", "err", "n")}
118
+ size = integer(params.get("page_size"), default_size)
119
+ size = size if size in SIZES else default_size
120
+ params["page_size"] = str(size)
121
+ grouped = bool(kind and params.get("group_by") == "family")
122
+ selected = params.get("family", "") if kind else ""
123
+ groups = {}
124
+ for row in rows if kind else []:
125
+ token, name, scope = family(row, kind)
126
+ group = groups.setdefault(token, {"token": token, "name": name, "scope": scope, "rows": [], "versions": set(), "findings": 0, "decided": 0, "buckets": None, "entered": 0, "score": None, "severity": None,
127
+ "defect_map": {}, "versions_with_defect": set(), "versions_closed": set(),
128
+ "versions_done": set()})
129
+ group["rows"].append(row)
130
+ version = row.get("version") or row.get("data", {}).get("version")
131
+ if version:
132
+ group["versions"].add(version)
133
+ for item in row.get("defects") or []: # дефекты приложения по записям группы
134
+ group["defect_map"].setdefault(item["id"], item)
135
+ if version and item.get("bound"): # подготовка (заготовка, предпросмотр) версию «в дефекте» не делает
136
+ group["versions_with_defect"].add(version)
137
+ if version and row.get("closed_without_defect"): # закрыта в Hub статусом без дефекта
138
+ group["versions_closed"].add(version)
139
+ if version and row.get("all_findings_closed"): # у каждой находки версии подтверждённый дефект или статус
140
+ group["versions_done"].add(version)
141
+ findings = row.get("finding_count", row.get("findings", 1))
142
+ group["findings"] += len(findings) if isinstance(findings, list) else int(findings)
143
+ group["decided"] += int(bool(row.get("decided", row.get("decision"))))
144
+ if row.get("buckets") is not None: # у компонентов столбцов нет: там по-прежнему «С решением»
145
+ group["buckets"] = group["buckets"] or dict.fromkeys((b[0] for b in BUCKETS), 0)
146
+ for name, value in row["buckets"].items():
147
+ group["buckets"][name] += value
148
+ group["entered"] += int(row.get("entered") or 0)
149
+ score = row.get("cvss")
150
+ if score is not None:
151
+ group["score"] = max(group["score"] or 0, score)
152
+ level = severity_key(row)
153
+ if level is not None and (group["severity"] is None or level > group["severity"]):
154
+ group["severity"] = level
155
+ all_total = len(rows)
156
+ active = groups.get(selected)
157
+ if selected:
158
+ rows = active["rows"] if active else []
159
+ overview = grouped and not selected
160
+ units = list(groups.values()) if overview else rows
161
+ pages = max(1, (len(units) + size - 1) // size)
162
+ page = min(max(1, integer(params.get("page"))), pages)
163
+
164
+ def url(**changes):
165
+ values = {**params, **changes}
166
+ return path + "?" + urlencode({k: v for k, v in values.items() if v != "" and v != () and v is not None},
167
+ doseq=True)
168
+
169
+ shown = units[(page - 1) * size:page * size]
170
+ numbers = sorted({1, pages, *range(max(1, page - 2), min(pages, page + 2) + 1)})
171
+ links = []
172
+ for n in numbers:
173
+ if links and n > links[-1]["number"] + 1:
174
+ links.append({"number": n - 1, "gap": True})
175
+ links.append({"number": n, "url": url(page=n), "gap": False})
176
+ for g in groups.values():
177
+ g.update(count=len(g["rows"]), version_count=len(g["versions"]),
178
+ defects=[g["defect_map"][k] for k in sorted(g["defect_map"])],
179
+ versions_closed=sorted(g["versions_closed"] - g["versions_with_defect"]),
180
+ # «без дефекта» – только когда у группы уже есть дефект или закрытая версия: нетронутая группа подсказки не получает
181
+ versions_without_defect=sorted(g["versions"] - g["versions_with_defect"] - g["versions_closed"])
182
+ if g["versions_with_defect"] or g["versions_closed"] else [],
183
+ # «все версии закрыты» – только по подтверждённому закрытию каждой находки (ревью dev27: незавершённый
184
+ # дефект и находка без решения рядом с дефектом группу не закрывают)
185
+ all_closed=bool(g["versions"]) and g["versions"] <= g["versions_done"],
186
+ severity_label=({4: "критическая", 3: "высокая", 2: "средняя", 1: "низкая", 0: "информация"}.get(g["severity"][0], "–") if g["severity"] else "–"),
187
+ versions_preview=sorted(g["versions"])[:5],
188
+ # открытая группа – сразу у таблицы, а не в начале страницы
189
+ url=list_anchor(url(family=g["token"], group_by="family", page=1)))
190
+ sort = params.get("sort", "")
191
+ return {"rows": [] if overview else shown, "groups": shown if overview else [], "buckets": BUCKETS,
192
+ "overview": overview, "grouped": grouped, "can_group": bool(kind), "active": active,
193
+ "family_selected": bool(selected), "all_total": all_total, "total": len(units),
194
+ "row_total": len(rows), "group_total": len(groups), "page": page, "pages": pages,
195
+ "start": (page - 1) * size + 1 if units else 0, "end": min(page * size, len(units)),
196
+ "size": size, "sizes": SIZES, "path": path, "params": params,
197
+ "hidden": [(k, item) for k, v in params.items() if k not in ("page", "page_size")
198
+ for item in (v if isinstance(v, tuple) else (v,))],
199
+ "links": links, "prev": url(page=page - 1) if page > 1 else "",
200
+ "next": url(page=page + 1) if page < pages else "",
201
+ "flat_url": url(group_by="", family="", page=1),
202
+ "group_url": url(group_by="family", family="", page=1),
203
+ "sort": sort, "sorts": [{"key": k, "label": v, "url": url(sort=k, page=1)} for k, v in (sorts or {}).items()],
204
+ "sort_url": lambda key: url(sort=key, page=1), "url": url}