local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/app/sca_text.py
ADDED
|
@@ -0,0 +1,965 @@
|
|
|
1
|
+
"""Дефект SCA по шаблону команды (ADR-0091): уязвимости набора, Объяснение, целевая версия и её проверка, источники,
|
|
2
|
+
текст «Описание → Объяснение → Рекомендации → Источники».
|
|
3
|
+
|
|
4
|
+
Функции модуля – чистые: всё нужное передаётся аргументами (находки набора, соответствия идентификаторов, исследование
|
|
5
|
+
компонента формата 2, записи БДУ, прежний ответ агента, запись текста набора). База и сеть здесь не читаются – данные
|
|
6
|
+
собирает маршрут из одного снимка пакета (ADR-0060, ADR-0091 п. 20).
|
|
7
|
+
"""
|
|
8
|
+
|
|
9
|
+
from __future__ import annotations
|
|
10
|
+
|
|
11
|
+
import re
|
|
12
|
+
from collections.abc import Iterable, Mapping
|
|
13
|
+
from dataclasses import dataclass, field
|
|
14
|
+
from typing import Any
|
|
15
|
+
|
|
16
|
+
from app.sca_contract import compare_versions, range_contains
|
|
17
|
+
|
|
18
|
+
NVD = "https://nvd.nist.gov/vuln/detail/{}"
|
|
19
|
+
GHSA = "https://github.com/advisories/{}"
|
|
20
|
+
BDU = "https://bdu.fstec.ru/vul/{}"
|
|
21
|
+
SOURCE_TYPES = ("advisory", "release_notes", "registry", "issue_tracker")
|
|
22
|
+
SOURCE_LEVELS = ("primary", "corroborated")
|
|
23
|
+
MIN_EXPLANATION_LETTERS = 20
|
|
24
|
+
_CVE = re.compile(r"^CVE-\d{4}-\d{4,}$", re.I)
|
|
25
|
+
_GHSA = re.compile(r"^GHSA(?:-[0-9a-z]{4}){3}$", re.I)
|
|
26
|
+
_BDU = re.compile(r"^BDU:\d{4}-\d{5}$", re.I)
|
|
27
|
+
_LETTER = re.compile(r"[A-Za-zА-Яа-яЁё]")
|
|
28
|
+
_CYRILLIC = re.compile(r"[А-Яа-яЁё]")
|
|
29
|
+
# внутренний номер уязвимости поставщика анализатора (AST-2026-000101): команда разработки его не знает, в тексты для Hub он не
|
|
30
|
+
# входит (ADR-0101)
|
|
31
|
+
_AST = re.compile(r"\bAST-\d{4}-\d+\b", re.I)
|
|
32
|
+
_AST_THIS = re.compile(r"\b(?:это|это же|он же|она же)\s+(?=AST-\d{4}-\d+\b)", re.I)
|
|
33
|
+
_AST_URL = re.compile(r"https?://\S*?AST-\d{4}-\d+\S*", re.I) # адрес с внутренним номером – целиком
|
|
34
|
+
|
|
35
|
+
|
|
36
|
+
def has_internal_id(text: str) -> bool:
|
|
37
|
+
"""В тексте или адресе есть внутренний номер AST (ADR-0101)."""
|
|
38
|
+
return bool(_AST.search(str(text or "")))
|
|
39
|
+
|
|
40
|
+
|
|
41
|
+
def kind_of(vuln_id: str) -> str:
|
|
42
|
+
"""cve, ghsa, bdu или other (AST и прочие внутренние идентификаторы)."""
|
|
43
|
+
text = str(vuln_id or "").strip()
|
|
44
|
+
if _CVE.match(text):
|
|
45
|
+
return "cve"
|
|
46
|
+
if _GHSA.match(text):
|
|
47
|
+
return "ghsa"
|
|
48
|
+
if _BDU.match(text):
|
|
49
|
+
return "bdu"
|
|
50
|
+
return "other"
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
def link_of(vuln_id: str) -> str:
|
|
54
|
+
"""Каноническая ссылка идентификатора или "" (внутренние идентификаторы ссылки не имеют)."""
|
|
55
|
+
kind, text = kind_of(vuln_id), str(vuln_id).strip()
|
|
56
|
+
if kind == "cve":
|
|
57
|
+
return NVD.format(text.upper())
|
|
58
|
+
if kind == "ghsa":
|
|
59
|
+
return GHSA.format("GHSA" + text[4:].lower())
|
|
60
|
+
if kind == "bdu":
|
|
61
|
+
return BDU.format(text.split(":", 1)[1])
|
|
62
|
+
return ""
|
|
63
|
+
|
|
64
|
+
|
|
65
|
+
def _norm(vuln_id: str) -> str:
|
|
66
|
+
text = str(vuln_id or "").strip()
|
|
67
|
+
return text.upper() if kind_of(text) in ("cve", "bdu") else (text if kind_of(text) != "ghsa" else
|
|
68
|
+
"GHSA" + text[4:].lower())
|
|
69
|
+
|
|
70
|
+
|
|
71
|
+
@dataclass
|
|
72
|
+
class Vuln:
|
|
73
|
+
"""Уязвимость – класс объединённых идентификаторов (ADR-0091 п. 8)."""
|
|
74
|
+
|
|
75
|
+
ids: list[str]
|
|
76
|
+
hub_members: list[str] = field(default_factory=list) # находки набора, связанные с уязвимостью
|
|
77
|
+
research: list[Mapping[str, Any]] = field(default_factory=list) # находки исследования (public_findings)
|
|
78
|
+
|
|
79
|
+
@property
|
|
80
|
+
def main(self) -> str:
|
|
81
|
+
"""Идентификатор для текста: CVE, затем GHSA, затем БДУ, иначе первый (AST)."""
|
|
82
|
+
for kind in ("cve", "ghsa", "bdu"):
|
|
83
|
+
found = sorted(i for i in self.ids if kind_of(i) == kind)
|
|
84
|
+
if found:
|
|
85
|
+
return found[0]
|
|
86
|
+
return self.ids[0]
|
|
87
|
+
|
|
88
|
+
@property
|
|
89
|
+
def public(self) -> bool:
|
|
90
|
+
return kind_of(self.main) != "other"
|
|
91
|
+
|
|
92
|
+
@property
|
|
93
|
+
def public_ids(self) -> list[str]:
|
|
94
|
+
"""Публичные идентификаторы класса (CVE, GHSA, БДУ): по ним строки Объяснения узнаются и проверяются."""
|
|
95
|
+
return [i for i in self.ids if kind_of(i) != "other"]
|
|
96
|
+
|
|
97
|
+
|
|
98
|
+
def strip_internal_ids(text: str) -> str:
|
|
99
|
+
"""Текст без внутренних номеров AST (ADR-0101): из заготовок по ответам агента («CVE-… (это AST-…): …») и из
|
|
100
|
+
сохранённых до 0.9.11 текстов. Номер убирается вместе с «это» перед ним; пустые скобки и лишние запятые и пробелы,
|
|
101
|
+
оставшиеся после него, – тоже. Перевод строки сохраняется."""
|
|
102
|
+
out = []
|
|
103
|
+
for line in str(text or "").split("\n"):
|
|
104
|
+
if not _AST.search(line):
|
|
105
|
+
out.append(line)
|
|
106
|
+
continue
|
|
107
|
+
line = _AST_URL.sub("", line) # ссылку с номером не обрезаем до домена, а убираем целиком
|
|
108
|
+
line = _AST_THIS.sub("", line)
|
|
109
|
+
line = _AST.sub("", line)
|
|
110
|
+
line = re.sub(r"\(\s*(?:[,;]\s*)*\)", "", line) # «()», «(, )»
|
|
111
|
+
line = re.sub(r"\(\s*[,;]\s*", "(", line)
|
|
112
|
+
line = re.sub(r"\s*[,;]\s*\)", ")", line)
|
|
113
|
+
line = re.sub(r"(?:\s*,){2,}", ",", line)
|
|
114
|
+
line = re.sub(r"[ \t]{2,}", " ", line)
|
|
115
|
+
line = re.sub(r"[ \t]+([,.;:)])", r"\1", line)
|
|
116
|
+
line = re.sub(r"^([^:]*?):\s*,\s*", r"\1: ", line)
|
|
117
|
+
line = re.sub(r"^\s*[:,;]\s*", "", line) # «AST-…: описание» – без двоеточия в начале
|
|
118
|
+
out.append(line.strip(" \t,;") if line.strip(" \t,;") else "")
|
|
119
|
+
return "\n".join(out)
|
|
120
|
+
|
|
121
|
+
|
|
122
|
+
def _union(groups: Iterable[Iterable[str]]) -> dict[str, str]:
|
|
123
|
+
"""Транзитивное объединение идентификаторов: {идентификатор: представитель класса}."""
|
|
124
|
+
parent: dict[str, str] = {}
|
|
125
|
+
|
|
126
|
+
def find(x: str) -> str:
|
|
127
|
+
parent.setdefault(x, x)
|
|
128
|
+
while parent[x] != x:
|
|
129
|
+
parent[x] = parent[parent[x]]
|
|
130
|
+
x = parent[x]
|
|
131
|
+
return x
|
|
132
|
+
|
|
133
|
+
for group in groups:
|
|
134
|
+
items = [_norm(i) for i in group if str(i or "").strip()]
|
|
135
|
+
for item in items:
|
|
136
|
+
find(item)
|
|
137
|
+
for a, b in zip(items, items[1:], strict=False):
|
|
138
|
+
ra, rb = find(a), find(b)
|
|
139
|
+
if ra != rb:
|
|
140
|
+
parent[max(ra, rb)] = min(ra, rb)
|
|
141
|
+
return {x: find(x) for x in parent}
|
|
142
|
+
|
|
143
|
+
|
|
144
|
+
def set_vulns(members: Mapping[str, Iterable[str]], others: Mapping[str, Iterable[str]],
|
|
145
|
+
aliases: Mapping[str, Iterable[str]], research: Iterable[Mapping[str, Any]],
|
|
146
|
+
excluded: Iterable[str] = (), default_set: bool = True, rep: Mapping[str, str] | None = None,
|
|
147
|
+
applicability: Mapping[str, str] | None = None) -> list[Vuln]:
|
|
148
|
+
"""Уязвимости набора (ADR-0091 п. 9).
|
|
149
|
+
|
|
150
|
+
members – {номер находки набора: её идентификаторы}; others – то же для находок пакета с другим исходом или из
|
|
151
|
+
других наборов; aliases – известные соответствия {идентификатор: соответствующие}; research – находки исследования
|
|
152
|
+
(`public_findings`); excluded – идентификаторы, исключённые оператором; rep – общая карта классов пакета
|
|
153
|
+
(class_groups), иначе строится по этим данным; applicability – действующие решения оператора {корень класса:
|
|
154
|
+
решение} (ADR-0094 Р3): меняют применимость находки исследования, правила области – прежние. Порядок: по первому
|
|
155
|
+
появлению у находок набора, затем уязвимости исследования."""
|
|
156
|
+
research = list(research)
|
|
157
|
+
if rep is None:
|
|
158
|
+
groups: list[list[str]] = []
|
|
159
|
+
for ids in (*members.values(), *others.values()): # каждый идентификатор находки – сам по себе: совместное
|
|
160
|
+
groups += [[i] for i in ids] # присутствие в находке соответствием не является
|
|
161
|
+
for key, values in aliases.items():
|
|
162
|
+
groups.append([key, *values])
|
|
163
|
+
for item in research:
|
|
164
|
+
groups.append([str(item.get("id") or ""), *[str(a) for a in item.get("aliases") or []]])
|
|
165
|
+
rep = _union(groups)
|
|
166
|
+
classes: dict[str, Vuln] = {}
|
|
167
|
+
order: list[str] = []
|
|
168
|
+
|
|
169
|
+
def touch(root: str) -> Vuln:
|
|
170
|
+
if root not in classes:
|
|
171
|
+
classes[root] = Vuln(ids=sorted(x for x, r in rep.items() if r == root))
|
|
172
|
+
order.append(root)
|
|
173
|
+
return classes[root]
|
|
174
|
+
|
|
175
|
+
member_roots, other_roots = set(), set()
|
|
176
|
+
for hub_id, ids in members.items():
|
|
177
|
+
for i in ids:
|
|
178
|
+
if str(i or "").strip():
|
|
179
|
+
vuln = touch(rep[_norm(i)])
|
|
180
|
+
member_roots.add(rep[_norm(i)])
|
|
181
|
+
if hub_id not in vuln.hub_members:
|
|
182
|
+
vuln.hub_members.append(hub_id)
|
|
183
|
+
for ids in others.values():
|
|
184
|
+
for i in ids:
|
|
185
|
+
if str(i or "").strip():
|
|
186
|
+
other_roots.add(rep[_norm(i)])
|
|
187
|
+
for item in research:
|
|
188
|
+
root = rep.get(_norm(str(item.get("id") or "")))
|
|
189
|
+
if root is None:
|
|
190
|
+
continue
|
|
191
|
+
applies = effective_applies(item, (applicability or {}).get(root, ""))
|
|
192
|
+
if root in member_roots or (default_set and applies == "yes" and root not in other_roots):
|
|
193
|
+
touch(root).research.append(item)
|
|
194
|
+
excluded_roots = {rep[_norm(x)] for x in excluded_ids(excluded) if _norm(x) in rep}
|
|
195
|
+
return [classes[r] for r in order if r not in excluded_roots]
|
|
196
|
+
|
|
197
|
+
|
|
198
|
+
def update_comment(component: str, target: str, payload: Mapping[str, Any] | None, members: Mapping[str, Iterable[str]],
|
|
199
|
+
others: Mapping[str, Iterable[str]], decisions: Iterable[Mapping[str, Any]], research_revision: int,
|
|
200
|
+
excluded: Iterable[Any], mapping: Mapping[str, Iterable[str]] | None = None, default_set: bool = True) -> str:
|
|
201
|
+
"""Заготовка комментария к выводу «обновить» (план dev7, раздел 6): целевая версия и применимые уязвимости по тем же правилам, что
|
|
202
|
+
текст набора (set_vulns): решения о применимости действуют, исключённые из набора и уязвимости других наборов не называются. Цели или
|
|
203
|
+
применимых уязвимостей нет – ""."""
|
|
204
|
+
findings = [x for x in (payload or {}).get("public_findings") or [] if isinstance(x, Mapping) and str(x.get("id") or "").strip()]
|
|
205
|
+
if not target or not findings:
|
|
206
|
+
return ""
|
|
207
|
+
rep = union_classes(class_groups([*members.values(), *others.values()], mapping or {}, payload))
|
|
208
|
+
decided = {root: info["decision"] for root, info in applicability(decisions, rep, research_revision).items() if info["decision"]}
|
|
209
|
+
vulns = set_vulns(members, others, mapping or {}, findings, excluded=excluded, default_set=default_set, rep=rep, applicability=decided)
|
|
210
|
+
ids = [str(item["id"]).strip() for vuln in vulns for item in vuln.research
|
|
211
|
+
if effective_applies(item, decided.get(rep.get(_norm(str(item.get("id") or "")), ""), "")) == "yes"]
|
|
212
|
+
if not ids:
|
|
213
|
+
return ""
|
|
214
|
+
return f"Обновить {component} до версии {target}. Применимые уязвимости: {', '.join(dict.fromkeys(ids))}."
|
|
215
|
+
|
|
216
|
+
|
|
217
|
+
def excluded_ids(items: Iterable[Any]) -> list[str]:
|
|
218
|
+
"""Идентификаторы исключённых из текста набора уязвимостей: элемент – {"id", "ids", "reason"} (с обоснованием,
|
|
219
|
+
ADR-0091 п. 9) или строка-идентификатор."""
|
|
220
|
+
out: list[str] = []
|
|
221
|
+
for item in items or []:
|
|
222
|
+
if isinstance(item, Mapping):
|
|
223
|
+
out += [str(i) for i in item.get("ids") or [item.get("id")] if str(i or "").strip()]
|
|
224
|
+
elif str(item or "").strip():
|
|
225
|
+
out.append(str(item))
|
|
226
|
+
return out
|
|
227
|
+
|
|
228
|
+
|
|
229
|
+
def explanation_draft(vulns: Iterable[Vuln], bdu: Mapping[str, list[Mapping[str, Any]]],
|
|
230
|
+
legacy: str = "") -> str:
|
|
231
|
+
"""Заготовка Объяснения – строка на публичную уязвимость (ADR-0091 п. 13): русское описание БДУ ФСТЭК России,
|
|
232
|
+
иначе описание и условия из исследования, иначе объяснение прежнего ответа агента (только если уязвимость одна).
|
|
233
|
+
Строка без найденного текста остаётся «<идентификатор>: » – её дописывает оператор."""
|
|
234
|
+
vulns = [v for v in vulns if v.public]
|
|
235
|
+
lines = []
|
|
236
|
+
for vuln in vulns:
|
|
237
|
+
text = ""
|
|
238
|
+
for vuln_id in vuln.ids:
|
|
239
|
+
for record in bdu.get(vuln_id) or []:
|
|
240
|
+
text = str(record.get("description") or record.get("name") or "").strip()
|
|
241
|
+
if text:
|
|
242
|
+
break
|
|
243
|
+
if text:
|
|
244
|
+
break
|
|
245
|
+
if not text:
|
|
246
|
+
for item in vuln.research:
|
|
247
|
+
text = str(item.get("description") or "").strip()
|
|
248
|
+
conditions = str(item.get("conditions") or "").strip()
|
|
249
|
+
if conditions:
|
|
250
|
+
text = f"{text} Условия: {conditions}".strip()
|
|
251
|
+
if text:
|
|
252
|
+
break
|
|
253
|
+
if not text and len(vulns) == 1:
|
|
254
|
+
text = " ".join(str(legacy or "").split())
|
|
255
|
+
lines.append(f"{vuln.main}: {' '.join(strip_internal_ids(text).split())}".rstrip())
|
|
256
|
+
return "\n".join(lines)
|
|
257
|
+
|
|
258
|
+
|
|
259
|
+
def explanation_problems(text: str, vulns: Iterable[Vuln]) -> list[str]:
|
|
260
|
+
"""Публичные уязвимости, для которых в Объяснении нет строки «<идентификатор>: <не меньше 20 букв>»."""
|
|
261
|
+
lines = [line.strip() for line in str(text or "").replace("\r\n", "\n").split("\n")]
|
|
262
|
+
missing = []
|
|
263
|
+
for vuln in vulns:
|
|
264
|
+
if not vuln.public:
|
|
265
|
+
continue
|
|
266
|
+
ok = False
|
|
267
|
+
for line in lines:
|
|
268
|
+
for vuln_id in vuln.public_ids: # строка «AST-…: …» объяснением публичной уязвимости не считается
|
|
269
|
+
if line.upper().startswith(vuln_id.upper() + ":"):
|
|
270
|
+
rest = line[len(vuln_id) + 1:]
|
|
271
|
+
if len(_LETTER.findall(rest)) >= MIN_EXPLANATION_LETTERS:
|
|
272
|
+
ok = True
|
|
273
|
+
if not ok:
|
|
274
|
+
missing.append(vuln.main)
|
|
275
|
+
return missing
|
|
276
|
+
|
|
277
|
+
|
|
278
|
+
def cyrillic_share(text: str) -> float:
|
|
279
|
+
"""Доля кириллицы среди букв (0 – букв нет)."""
|
|
280
|
+
letters = _LETTER.findall(str(text or ""))
|
|
281
|
+
return len(_CYRILLIC.findall(str(text or ""))) / len(letters) if letters else 0.0
|
|
282
|
+
|
|
283
|
+
|
|
284
|
+
def free_text(text: str, vulns: Iterable[Vuln]) -> str:
|
|
285
|
+
"""Строки Объяснения, которые не начинаются с идентификатора публичной уязвимости набора (свободный текст)."""
|
|
286
|
+
ids = [i.upper() + ":" for v in vulns if v.public for i in v.public_ids]
|
|
287
|
+
lines = [line.strip() for line in str(text or "").replace("\r\n", "\n").split("\n")]
|
|
288
|
+
return "\n".join(line for line in lines if line and not any(line.upper().startswith(i) for i in ids))
|
|
289
|
+
|
|
290
|
+
|
|
291
|
+
def non_russian_lines(text: str, vulns: Iterable[Vuln]) -> list[str]:
|
|
292
|
+
"""Публичные уязвимости, строка Объяснения которых не на русском (кириллица – меньше трети букв после
|
|
293
|
+
идентификатора). Проверяется каждая строка: длинная русская строка не прячет английскую (Г12)."""
|
|
294
|
+
lines = [line.strip() for line in str(text or "").replace("\r\n", "\n").split("\n")]
|
|
295
|
+
out = []
|
|
296
|
+
for vuln in vulns:
|
|
297
|
+
if not vuln.public:
|
|
298
|
+
continue
|
|
299
|
+
for line in lines:
|
|
300
|
+
vuln_id = next((i for i in vuln.public_ids if line.upper().startswith(i.upper() + ":")), None)
|
|
301
|
+
if vuln_id is not None and cyrillic_share(line[len(vuln_id) + 1:]) < 1 / 3:
|
|
302
|
+
out.append(vuln.main)
|
|
303
|
+
break
|
|
304
|
+
return out
|
|
305
|
+
|
|
306
|
+
|
|
307
|
+
# ---------------------------------------------------------------------------- целевая версия
|
|
308
|
+
|
|
309
|
+
@dataclass
|
|
310
|
+
class Target:
|
|
311
|
+
version: str = ""
|
|
312
|
+
basis: str = "" # manual, component, research, legacy
|
|
313
|
+
problem: str = "" # причина, по которой выдача невозможна
|
|
314
|
+
|
|
315
|
+
|
|
316
|
+
BASIS_LABELS = {"manual": "указана оператором", "component": "решение по компоненту",
|
|
317
|
+
"research": "совет исследования компонента", "legacy": "ответ внешнего агента (формат 1)",
|
|
318
|
+
"no_fix": "исправленной версии нет – меры оператора вместо обновления"}
|
|
319
|
+
TARGET_BASES = ("", "manual", "no_fix") # что форма текста набора может записать в target_basis (ADR-0101 п. 4);
|
|
320
|
+
# при записи db.save_sca_package_text проверяет полный перечень STORED_TARGET_BASES
|
|
321
|
+
|
|
322
|
+
|
|
323
|
+
def resolve_target(manual: str, component: Mapping[str, Any] | None, research: Mapping[str, Any] | None,
|
|
324
|
+
legacy: Mapping[str, Any] | None, today: str) -> Target:
|
|
325
|
+
"""Основание целевой версии по приоритету (ADR-0091 п. 14). component – текущее решение по компоненту
|
|
326
|
+
(sca2_decisions: action, target_version, review_at); research – строка исследования (`payload`); legacy – прежний
|
|
327
|
+
ответ агента, уже проверенный маршрутом на «Согласен», актуальность и охват (иначе None); today – дата YYYY-MM-DD."""
|
|
328
|
+
manual = str(manual or "").strip()
|
|
329
|
+
if manual:
|
|
330
|
+
return Target(manual, "manual")
|
|
331
|
+
if component:
|
|
332
|
+
action = str(component.get("action") or "")
|
|
333
|
+
review_at = str(component.get("review_at") or "")[:10]
|
|
334
|
+
expired = bool(review_at) and review_at <= today
|
|
335
|
+
if not expired:
|
|
336
|
+
if action == "update" and str(component.get("target_version") or "").strip():
|
|
337
|
+
return Target(str(component["target_version"]).strip(), "component")
|
|
338
|
+
if action in ("keep", "replace", "remove", "accept_risk", "investigate"):
|
|
339
|
+
return Target(problem=f"Решение по компоненту – «{action}»: оно противоречит исходу «Обновить». "
|
|
340
|
+
"Укажите целевую версию вручную или измените решение по компоненту.")
|
|
341
|
+
advice = (research or {}).get("package_advice") or {}
|
|
342
|
+
if str(advice.get("target_version") or "").strip():
|
|
343
|
+
return Target(str(advice["target_version"]).strip(), "research")
|
|
344
|
+
if legacy and str(legacy.get("recommended_version") or "").strip():
|
|
345
|
+
return Target(str(legacy["recommended_version"]).strip(), "legacy")
|
|
346
|
+
return Target(problem="Нет проверенной целевой версии: исследуйте компонент, загрузите ответ агента или "
|
|
347
|
+
"укажите версию.")
|
|
348
|
+
|
|
349
|
+
|
|
350
|
+
@dataclass
|
|
351
|
+
class VersionCheck:
|
|
352
|
+
state: str # verified, unverified, affected, not_newer
|
|
353
|
+
detail: str = ""
|
|
354
|
+
affected: list[str] = field(default_factory=list)
|
|
355
|
+
# остаточные уязвимости цели (ADR-0094 Р1): исправления нет или оно не установлено в исследованном охвате;
|
|
356
|
+
# хранятся при любом состоянии, кроме «не новее текущей»
|
|
357
|
+
residual: list[dict] = field(default_factory=list)
|
|
358
|
+
|
|
359
|
+
|
|
360
|
+
RESIDUAL_STATUSES = ("no_fix_published", "fix_not_found")
|
|
361
|
+
|
|
362
|
+
|
|
363
|
+
def severity_label(records: Iterable[Mapping[str, Any]]) -> str:
|
|
364
|
+
"""Важность по наибольшей оценке CVSS записей класса (ADR-0094 Р1.5)."""
|
|
365
|
+
scores = [float(r.get("cvss", {}).get("score")) for r in records
|
|
366
|
+
if isinstance(r.get("cvss"), Mapping) and isinstance(r["cvss"].get("score"), (int, float))]
|
|
367
|
+
if not scores:
|
|
368
|
+
return "важность не указана"
|
|
369
|
+
top = max(scores)
|
|
370
|
+
return "низкая" if top < 4 else "средняя" if top < 7 else "высокая" if top < 9 else "критическая"
|
|
371
|
+
|
|
372
|
+
|
|
373
|
+
def research_records(research: Mapping[str, Any] | None) -> list[Mapping[str, Any]]:
|
|
374
|
+
"""Все записи об уязвимостях исследования: находки текущей версии и находки всех проверок версий (ADR-0094)."""
|
|
375
|
+
out = [r for r in (research or {}).get("public_findings") or [] if isinstance(r, Mapping)]
|
|
376
|
+
for check in (research or {}).get("version_checks") or []:
|
|
377
|
+
if isinstance(check, Mapping):
|
|
378
|
+
out += [r for r in check.get("findings") or [] if isinstance(r, Mapping)]
|
|
379
|
+
return out
|
|
380
|
+
|
|
381
|
+
|
|
382
|
+
def class_groups(hub_ids: Iterable[Iterable[str]], aliases: Mapping[str, Iterable[str]],
|
|
383
|
+
research: Mapping[str, Any] | None) -> list[list[str]]:
|
|
384
|
+
"""Группы объединения идентификаторов (ADR-0091 п. 8) – одни на область набора, проверку цели, пояснение о версии
|
|
385
|
+
Hub и решения о применимости (ADR-0094): идентификаторы находок Hub пакета (каждый сам по себе: совместное
|
|
386
|
+
присутствие в находке соответствием не является), известные соответствия (AST → CVE, прежний ответ агента),
|
|
387
|
+
находки исследования и всех проверок версий с их псевдонимами."""
|
|
388
|
+
groups = [[i] for ids in hub_ids for i in ids]
|
|
389
|
+
groups += [[key, *values] for key, values in aliases.items()]
|
|
390
|
+
groups += [[str(r.get("id") or ""), *[str(a) for a in r.get("aliases") or []]] for r in research_records(research)]
|
|
391
|
+
return groups
|
|
392
|
+
|
|
393
|
+
|
|
394
|
+
def union_classes(groups: Iterable[Iterable[str]]) -> dict[str, str]:
|
|
395
|
+
"""Карта классов {идентификатор: корень класса} по группам class_groups."""
|
|
396
|
+
return _union(groups)
|
|
397
|
+
|
|
398
|
+
|
|
399
|
+
def class_root(rep: Mapping[str, str], vuln_id: Any) -> str:
|
|
400
|
+
key = _norm(str(vuln_id or ""))
|
|
401
|
+
return rep.get(key, key)
|
|
402
|
+
|
|
403
|
+
|
|
404
|
+
def class_ids(rep: Mapping[str, str], root: str) -> list[str]:
|
|
405
|
+
return sorted({x for x, r in rep.items() if r == root} or {root})
|
|
406
|
+
|
|
407
|
+
|
|
408
|
+
def target_records(research: Mapping[str, Any], target: str) -> list[Mapping[str, Any]]:
|
|
409
|
+
"""Записи об уязвимостях для проверки цели: находки исследования текущей версии и находки проверки точно этой
|
|
410
|
+
целевой версии (ADR-0094 Р1.1)."""
|
|
411
|
+
out = [r for r in research.get("public_findings") or [] if isinstance(r, Mapping)]
|
|
412
|
+
for check in research.get("version_checks") or []:
|
|
413
|
+
if isinstance(check, Mapping) and check.get("role") == "target" and str(check.get("version") or "") == target:
|
|
414
|
+
out += [r for r in check.get("findings") or [] if isinstance(r, Mapping)]
|
|
415
|
+
return out
|
|
416
|
+
|
|
417
|
+
|
|
418
|
+
def record_intervals(record: Mapping[str, Any]) -> list[Mapping[str, Any]]:
|
|
419
|
+
"""Интервалы записи: общие диапазоны и диапазоны позиций источников (ADR-0094 Р1.1, Р3.1). Источники противоречат
|
|
420
|
+
друг другу – учитываются все: попадание цели хотя бы в один означает «затрагивает»."""
|
|
421
|
+
out = [i for i in record.get("ranges") or [] if isinstance(i, Mapping)]
|
|
422
|
+
for position in record.get("source_positions") or []:
|
|
423
|
+
if isinstance(position, Mapping):
|
|
424
|
+
out += [i for i in position.get("ranges") or [] if isinstance(i, Mapping)]
|
|
425
|
+
return out
|
|
426
|
+
|
|
427
|
+
|
|
428
|
+
def record_refs(record: Mapping[str, Any]) -> list[str]:
|
|
429
|
+
"""Ссылки на доказательства записи: свои и позиций источников, диапазоны которых участвуют в проверке."""
|
|
430
|
+
refs = [str(x) for x in record.get("source_refs") or []]
|
|
431
|
+
for position in record.get("source_positions") or []:
|
|
432
|
+
if isinstance(position, Mapping):
|
|
433
|
+
refs += [str(x) for x in position.get("source_refs") or []]
|
|
434
|
+
return list(dict.fromkeys(refs))
|
|
435
|
+
|
|
436
|
+
|
|
437
|
+
def _vulnerability_coverage_complete(check: Mapping[str, Any]) -> bool:
|
|
438
|
+
"""Полный поиск уязвимостей в проверке версии: есть записи охвата purpose = vulnerabilities, и все они полные.
|
|
439
|
+
Полнота другого вида охвата (релизы, идентичность) поиск уязвимостей не заменяет."""
|
|
440
|
+
own = [c for c in check.get("coverage") or [] if isinstance(c, Mapping) and c.get("purpose") == "vulnerabilities"]
|
|
441
|
+
return bool(own) and all(c.get("complete") and c.get("status") == "ok" for c in own)
|
|
442
|
+
|
|
443
|
+
|
|
444
|
+
def _no_ranges(record: Mapping[str, Any]) -> bool:
|
|
445
|
+
"""Диапазонов нет: пусты общие или их нет у позиции источника «затрагивает»/«неясно». Позиция «не затрагивает» без
|
|
446
|
+
диапазонов о других версиях ничего не говорит и не учитывается."""
|
|
447
|
+
if not (record.get("ranges") or []):
|
|
448
|
+
return True
|
|
449
|
+
return any(isinstance(p, Mapping) and p.get("affects") != "no" and not (p.get("ranges") or [])
|
|
450
|
+
for p in record.get("source_positions") or [])
|
|
451
|
+
|
|
452
|
+
|
|
453
|
+
def _branch_matches(target: str, branch: str) -> bool:
|
|
454
|
+
return bool(branch) and (target == branch or target.startswith(branch + "."))
|
|
455
|
+
|
|
456
|
+
|
|
457
|
+
def fix_status(ecosystem: str, target: str, records: list[Mapping[str, Any]], research: Mapping[str, Any],
|
|
458
|
+
research_date: str = "") -> dict:
|
|
459
|
+
"""Статус исправления класса уязвимости для цели (ADR-0094 Р1.2) – по всем записям класса и позициям их
|
|
460
|
+
источников, сверху вниз: fixed_beyond (есть версия исправления новее цели), no_fix_published (доказанное
|
|
461
|
+
«исправления нет» без противоречащих записей), fix_not_found (исправлений нет ни в одной записи, наибольшая
|
|
462
|
+
стабильная в диапазоне), unknown."""
|
|
463
|
+
fixes = []
|
|
464
|
+
for r in records:
|
|
465
|
+
fixes += [str(v) for v in r.get("fixed_versions") or [] if str(v or "").strip()]
|
|
466
|
+
fixes += [str(i.get("fixed")) for i in record_intervals(r) if i.get("fixed")]
|
|
467
|
+
if any(compare_versions(ecosystem, v, target) == 1 for v in fixes):
|
|
468
|
+
return {"status": "fixed_beyond"}
|
|
469
|
+
declared = [r.get("fix_status") for r in records if isinstance(r.get("fix_status"), Mapping)]
|
|
470
|
+
evidence = {str(e.get("evidence_ref")): e for e in research.get("evidence") or [] if isinstance(e, Mapping)}
|
|
471
|
+
proofs = [d for d in declared if d.get("status") == "no_fix_published"
|
|
472
|
+
and (d.get("scope") == "package" or _branch_matches(target, str(d.get("branch") or "")))]
|
|
473
|
+
if proofs and not fixes and not any(d.get("status") == "fixed" for d in declared):
|
|
474
|
+
# сначала область утверждения (весь пакет перекрывает ветку), затем доказательства и дата только этой
|
|
475
|
+
# области: доказательству ветки не приписывается утверждение обо всём пакете (ревью c7a4341/01b1d90)
|
|
476
|
+
scope = "package" if any(d.get("scope") == "package" for d in proofs) else "branch"
|
|
477
|
+
if scope == "package":
|
|
478
|
+
chosen = [d for d in proofs if d.get("scope") == "package"]
|
|
479
|
+
else: # несколько веток цели («1» и «1.5»): утверждение – о самой узкой, доказательства – только её
|
|
480
|
+
branch = max((str(d.get("branch") or "") for d in proofs if d.get("scope") == "branch"), key=len)
|
|
481
|
+
chosen = [d for d in proofs if d.get("scope") == "branch" and str(d.get("branch") or "") == branch]
|
|
482
|
+
dates = [str(evidence.get(str(ref), {}).get("checked_at") or "")[:10]
|
|
483
|
+
for d in chosen for ref in d.get("source_refs") or []]
|
|
484
|
+
proof_refs = list(dict.fromkeys(str(ref) for d in chosen for ref in d.get("source_refs") or []))
|
|
485
|
+
return {"status": "no_fix_published", "scope": scope,
|
|
486
|
+
"branch": "" if scope == "package" else str(chosen[0].get("branch") or ""),
|
|
487
|
+
"date": max([d for d in dates if d] or [research_date]),
|
|
488
|
+
# доказательства утверждения «исправления нет» (proof_refs – источник в скобках строки) и, отдельно,
|
|
489
|
+
# доказательства попадания цели – записей класса и позиций источников (Р1.5)
|
|
490
|
+
"proof_refs": proof_refs,
|
|
491
|
+
"refs": list(dict.fromkeys(proof_refs + [ref for r in records for ref in record_refs(r)]))}
|
|
492
|
+
latest = str((research.get("latest_stable_release") or {}).get("version") or "")
|
|
493
|
+
if (not fixes and not any(d.get("status") == "fixed" for d in declared) and latest
|
|
494
|
+
and any(range_contains(ecosystem, latest, i) is True for r in records for i in record_intervals(r))):
|
|
495
|
+
return {"status": "fix_not_found", "date": research_date,
|
|
496
|
+
"refs": sorted({ref for r in records for ref in record_refs(r)})}
|
|
497
|
+
return {"status": "unknown"}
|
|
498
|
+
|
|
499
|
+
|
|
500
|
+
def check_version(ecosystem: str, current: str, target: str, research: Mapping[str, Any] | None,
|
|
501
|
+
research_date: str = "", rep: Mapping[str, str] | None = None,
|
|
502
|
+
not_applicable: Iterable[str] = ()) -> VersionCheck:
|
|
503
|
+
"""Проверка целевой версии (ADR-0091 пп. 15–16, ADR-0094 Р1): цель не новее текущей – запрет; затем классы
|
|
504
|
+
уязвимостей, затрагивающих цель (находки исследования и проверки цели, с позициями источников), делятся на
|
|
505
|
+
остаточные (исправления нет или оно не установлено) и прочие (блокируют); затем порядок версий, неизвестные
|
|
506
|
+
попадания, диапазоны, охват исследования и проверки цели, публикация. Остаточные возвращаются при любом исходе,
|
|
507
|
+
кроме «не новее текущей».
|
|
508
|
+
|
|
509
|
+
rep – общая карта классов пакета (class_groups), иначе строится по записям исследования; not_applicable –
|
|
510
|
+
идентификаторы классов с действующим решением оператора «не применима к продукту» (ADR-0094 Р3): такие классы
|
|
511
|
+
исключаются до всех проверок."""
|
|
512
|
+
order = compare_versions(ecosystem, target, current)
|
|
513
|
+
if order is not None and order <= 0:
|
|
514
|
+
return VersionCheck("not_newer", "целевая версия не новее текущей: обновлять нечего")
|
|
515
|
+
if not research:
|
|
516
|
+
return VersionCheck("unverified", "исследования компонента нет")
|
|
517
|
+
records = target_records(research, target)
|
|
518
|
+
if rep is None:
|
|
519
|
+
rep = _union([[str(r.get("id") or ""), *[str(a) for a in r.get("aliases") or []]] for r in records])
|
|
520
|
+
dropped = {class_root(rep, x) for x in not_applicable}
|
|
521
|
+
classes: dict[str, list[Mapping[str, Any]]] = {}
|
|
522
|
+
for r in records:
|
|
523
|
+
root = class_root(rep, r.get("id"))
|
|
524
|
+
if root and root not in dropped:
|
|
525
|
+
classes.setdefault(root, []).append(r)
|
|
526
|
+
records = [r for items in classes.values() for r in items]
|
|
527
|
+
hit_roots, unknown = [], False
|
|
528
|
+
for root, items in classes.items():
|
|
529
|
+
hits = [range_contains(ecosystem, target, i) for r in items for i in record_intervals(r)]
|
|
530
|
+
if True in hits:
|
|
531
|
+
hit_roots.append(root)
|
|
532
|
+
if None in hits: # неизвестное сравнение не скрывается известным попаданием того же класса
|
|
533
|
+
unknown = True
|
|
534
|
+
affected, residual = [], []
|
|
535
|
+
for root in hit_roots:
|
|
536
|
+
items = classes[root]
|
|
537
|
+
ids = class_ids(rep, root)
|
|
538
|
+
main = Vuln(ids=ids).main
|
|
539
|
+
status = fix_status(ecosystem, target, items, research, research_date)
|
|
540
|
+
if status["status"] in RESIDUAL_STATUSES:
|
|
541
|
+
residual.append({"id": main, "ids": ids, "severity": severity_label(items), **status})
|
|
542
|
+
else:
|
|
543
|
+
affected.append(main)
|
|
544
|
+
residual.sort(key=lambda r: r["id"])
|
|
545
|
+
if affected:
|
|
546
|
+
return VersionCheck("affected", "целевая версия входит в диапазон уязвимости", sorted(set(affected)),
|
|
547
|
+
residual=residual)
|
|
548
|
+
if order is None:
|
|
549
|
+
return VersionCheck("unverified", "порядок версий не установлен", residual=residual)
|
|
550
|
+
if unknown:
|
|
551
|
+
return VersionCheck("unverified", "попадание в диапазон уязвимости не установлено", residual=residual)
|
|
552
|
+
if any(_no_ranges(r) for r in records):
|
|
553
|
+
return VersionCheck("unverified", "у уязвимости нет диапазонов версий", residual=residual)
|
|
554
|
+
coverage = [c for c in research.get("research_coverage") or [] if c.get("purpose") == "vulnerabilities"]
|
|
555
|
+
if not coverage or not all(c.get("complete") and c.get("status") == "ok" for c in coverage):
|
|
556
|
+
return VersionCheck("unverified", "поиск уязвимостей в исследовании неполный", residual=residual)
|
|
557
|
+
# проверка точно этой целевой версии (ответ 2.1) – со своим охватом: неполный поиск по цели не даёт «проверена»
|
|
558
|
+
target_check = next((c for c in research.get("version_checks") or [] if isinstance(c, Mapping)
|
|
559
|
+
and c.get("role") == "target" and str(c.get("version") or "") == target), None)
|
|
560
|
+
if target_check is not None and not _vulnerability_coverage_complete(target_check):
|
|
561
|
+
return VersionCheck("unverified", "поиск уязвимостей целевой версии неполный", residual=residual)
|
|
562
|
+
if not published(target, research):
|
|
563
|
+
return VersionCheck("unverified", "публикация целевой версии не подтверждена", residual=residual)
|
|
564
|
+
return VersionCheck("verified", f"проверена по исследованию от {research_date}".strip(), residual=residual)
|
|
565
|
+
|
|
566
|
+
|
|
567
|
+
@dataclass
|
|
568
|
+
class NoFixCheck:
|
|
569
|
+
"""Проверка режима «Исправленной версии нет» (ADR-0101): items – уязвимости «Описания»
|
|
570
|
+
без исправления для текущей версии (как остаточные ADR-0094 Р1.2: id, ids, severity, status, date, refs,
|
|
571
|
+
proof_refs); problems – почему режим недоступен; fixed – уязвимости, у которых исследование нашло исправление
|
|
572
|
+
новее текущей версии: это предупреждение, а не запрет (бэклог 126: исправление
|
|
573
|
+
бывает выпущено под другими координатами, и под текущими обновлять некуда)."""
|
|
574
|
+
items: list[dict] = field(default_factory=list)
|
|
575
|
+
problems: list[str] = field(default_factory=list)
|
|
576
|
+
fixed: list[str] = field(default_factory=list)
|
|
577
|
+
|
|
578
|
+
|
|
579
|
+
def _fix_versions(records: list[Mapping[str, Any]]) -> list[str]:
|
|
580
|
+
fixes: list[str] = []
|
|
581
|
+
for r in records:
|
|
582
|
+
fixes += [str(v) for v in r.get("fixed_versions") or [] if str(v or "").strip()]
|
|
583
|
+
fixes += [str(i.get("fixed")) for i in record_intervals(r) if i.get("fixed")]
|
|
584
|
+
return list(dict.fromkeys(fixes))
|
|
585
|
+
|
|
586
|
+
|
|
587
|
+
def _lowest_fix_above(ecosystem: str, current: str, records: list[Mapping[str, Any]]) -> str:
|
|
588
|
+
"""Наименьшая версия исправления новее текущей; порядок хоть одной не установлен – "" (версия не называется)."""
|
|
589
|
+
newer = []
|
|
590
|
+
for version in _fix_versions(records):
|
|
591
|
+
order = compare_versions(ecosystem, version, current)
|
|
592
|
+
if order is None:
|
|
593
|
+
return ""
|
|
594
|
+
if order == 1:
|
|
595
|
+
newer.append(version)
|
|
596
|
+
best = ""
|
|
597
|
+
for version in newer:
|
|
598
|
+
if not best:
|
|
599
|
+
best = version
|
|
600
|
+
continue
|
|
601
|
+
order = compare_versions(ecosystem, version, best)
|
|
602
|
+
if order is None:
|
|
603
|
+
return ""
|
|
604
|
+
if order == -1:
|
|
605
|
+
best = version
|
|
606
|
+
return best
|
|
607
|
+
|
|
608
|
+
|
|
609
|
+
def no_fix_check(ecosystem: str, current: str, research: Mapping[str, Any] | None, research_date: str,
|
|
610
|
+
vulns: Iterable[Vuln], rep: Mapping[str, str], not_applicable: Iterable[str] = ()) -> NoFixCheck:
|
|
611
|
+
"""Режим «Исправленной версии нет» (ADR-0101): обновлять некуда, если по исследованию у каждой публичной уязвимости
|
|
612
|
+
«Описания» нет исправления для текущей версии – статус no_fix_published (утверждение обо всём пакете или о ветке,
|
|
613
|
+
в которой и наибольшая стабильная версия) или fix_not_found (ADR-0094 Р1.2). Уязвимость без записи в исследовании
|
|
614
|
+
или с неизвестным статусом – режим недоступен, причина называет её (problems). Уязвимость с исправлением новее
|
|
615
|
+
текущей (fixed_beyond) режим не отменяет: она идёт в список fixed, оператор подтверждает её отметкой (ADR-0151).
|
|
616
|
+
Классы с решением оператора «не применима к продукту» (ADR-0094 Р3) проверку не проходят и строки не получают."""
|
|
617
|
+
if not research:
|
|
618
|
+
return NoFixCheck(problems=["Режим «Исправленной версии нет» доступен только по исследованию компонента: по нему "
|
|
619
|
+
"проверяется, что исправления действительно нет. Исследуйте компонент или укажите "
|
|
620
|
+
"целевую версию."])
|
|
621
|
+
# все записи класса – находки текущей версии и всех проверок версий (ревью шага 8): версия исправления, известная
|
|
622
|
+
# по проверке другой версии, тоже значит «обновлять есть куда»
|
|
623
|
+
records = research_records(research)
|
|
624
|
+
dropped = {class_root(rep, x) for x in not_applicable}
|
|
625
|
+
classes: dict[str, list[Mapping[str, Any]]] = {}
|
|
626
|
+
for r in records:
|
|
627
|
+
root = class_root(rep, r.get("id"))
|
|
628
|
+
if root and root not in dropped:
|
|
629
|
+
classes.setdefault(root, []).append(r)
|
|
630
|
+
latest = str((research.get("latest_stable_release") or {}).get("version") or "")
|
|
631
|
+
out = NoFixCheck()
|
|
632
|
+
for vuln in vulns:
|
|
633
|
+
if not vuln.public:
|
|
634
|
+
continue
|
|
635
|
+
root = class_root(rep, vuln.ids[0])
|
|
636
|
+
if root in dropped:
|
|
637
|
+
continue
|
|
638
|
+
items = classes.get(root) or []
|
|
639
|
+
if not items:
|
|
640
|
+
out.problems.append(f"{vuln.main}: в исследовании компонента нет сведений об этой уязвимости – что исправления "
|
|
641
|
+
"нет, не установлено. Укажите целевую версию или исследуйте компонент заново.")
|
|
642
|
+
continue
|
|
643
|
+
status = fix_status(ecosystem, current, items, research, research_date)
|
|
644
|
+
if status["status"] == "fixed_beyond":
|
|
645
|
+
version = _lowest_fix_above(ecosystem, current, items)
|
|
646
|
+
out.fixed.append(f"{vuln.main}: по исследованию есть исправление"
|
|
647
|
+
+ (f" в версии {version}" if version else "") + ".")
|
|
648
|
+
elif (status["status"] == "no_fix_published" and status.get("scope") == "branch"
|
|
649
|
+
and not (latest and _branch_matches(latest, str(status.get("branch") or "")))):
|
|
650
|
+
out.problems.append(f"{vuln.main}: исправления нет только в ветке {status.get('branch')}"
|
|
651
|
+
+ (f", а наибольшая стабильная версия {latest} – в другой ветке: проверьте её"
|
|
652
|
+
if latest else ", наибольшая стабильная версия не установлена")
|
|
653
|
+
+ " и укажите целевую версию.")
|
|
654
|
+
elif status["status"] in RESIDUAL_STATUSES:
|
|
655
|
+
out.items.append({"id": vuln.main, "ids": class_ids(rep, root), "severity": severity_label(items), **status})
|
|
656
|
+
else:
|
|
657
|
+
out.problems.append(f"{vuln.main}: статус исправления не установлен – исследуйте компонент или укажите "
|
|
658
|
+
"целевую версию.")
|
|
659
|
+
out.items.sort(key=lambda r: r["id"])
|
|
660
|
+
return out
|
|
661
|
+
|
|
662
|
+
|
|
663
|
+
def published(target: str, research: Mapping[str, Any]) -> bool:
|
|
664
|
+
"""Публикация версии подтверждена доказательством registry или release_notes (ADR-0091 п. 16)."""
|
|
665
|
+
evidence = {str(e.get("evidence_ref")): e for e in research.get("evidence") or []}
|
|
666
|
+
for part in (research.get("latest_stable_release") or {}, research.get("package_advice") or {}):
|
|
667
|
+
version = str(part.get("version") or part.get("target_version") or "").strip()
|
|
668
|
+
if version != target:
|
|
669
|
+
continue
|
|
670
|
+
for ref in part.get("source_refs") or []:
|
|
671
|
+
if str((evidence.get(str(ref)) or {}).get("source_type") or "") in ("registry", "release_notes"):
|
|
672
|
+
return True
|
|
673
|
+
return False
|
|
674
|
+
|
|
675
|
+
|
|
676
|
+
def _version_key(version: str) -> list[tuple[int, Any]]:
|
|
677
|
+
return [(0, int(p)) if p.isdigit() else (1, p) for p in re.split(r"[.\-]", version)]
|
|
678
|
+
|
|
679
|
+
|
|
680
|
+
def hub_explanation(ecosystem: str, hub_versions: Iterable[str], target: str, research: Mapping[str, Any] | None,
|
|
681
|
+
rep: Mapping[str, str] | None = None, not_applicable: Iterable[str] = ()) -> tuple[str, list[str]]:
|
|
682
|
+
"""Пояснение «почему не версия Hub» (ADR-0094 Р2.7) и ссылки на его доказательства (Р1.5) – одно на набор, по
|
|
683
|
+
версиям Hub находок набора: называется уязвимость из проверки точно этой версии Hub (ответ 2.1), только если она
|
|
684
|
+
затрагивает версию Hub и доказанно не затрагивает цель – проверка цели есть, её охват полный, у всех записей класса
|
|
685
|
+
(находки исследования, проверок версий, позиции источников) есть диапазоны и цель не попадает ни в один. Иначе –
|
|
686
|
+
ничего: строка, называющая не ту уязвимость, хуже её отсутствия. rep – общая карта классов пакета;
|
|
687
|
+
not_applicable – классы с действующим решением «не применима к продукту»: они не называются."""
|
|
688
|
+
if not research or not target:
|
|
689
|
+
return "", []
|
|
690
|
+
checks = [c for c in research.get("version_checks") or [] if isinstance(c, Mapping)]
|
|
691
|
+
target_check = next((c for c in checks if c.get("role") == "target" and str(c.get("version") or "") == target), None)
|
|
692
|
+
if target_check is None or not _vulnerability_coverage_complete(target_check):
|
|
693
|
+
return "", []
|
|
694
|
+
coverage = [c for c in target_check.get("coverage") or [] if isinstance(c, Mapping)
|
|
695
|
+
and c.get("purpose") == "vulnerabilities"]
|
|
696
|
+
records = research_records(research)
|
|
697
|
+
if rep is None:
|
|
698
|
+
rep = _union([[str(r.get("id") or ""), *[str(a) for a in r.get("aliases") or []]] for r in records])
|
|
699
|
+
by_root: dict[str, list[Mapping[str, Any]]] = {}
|
|
700
|
+
for r in records:
|
|
701
|
+
by_root.setdefault(class_root(rep, r.get("id")), []).append(r)
|
|
702
|
+
dropped = {class_root(rep, x) for x in not_applicable}
|
|
703
|
+
lines, refs = [], []
|
|
704
|
+
for hub in sorted({str(v) for v in hub_versions if str(v or "").strip() and str(v) != target}, key=_version_key):
|
|
705
|
+
hub_check = next((c for c in checks if c.get("role") == "hub" and str(c.get("version") or "") == hub), None)
|
|
706
|
+
if hub_check is None:
|
|
707
|
+
continue
|
|
708
|
+
named = []
|
|
709
|
+
for finding in hub_check.get("findings") or []:
|
|
710
|
+
root = class_root(rep, finding.get("id"))
|
|
711
|
+
items = by_root.get(root, [])
|
|
712
|
+
intervals = [i for r in items for i in record_intervals(r)]
|
|
713
|
+
if not items or root in dropped or any(_no_ranges(r) for r in items):
|
|
714
|
+
continue
|
|
715
|
+
own_refs = list(dict.fromkeys(ref for r in items for ref in record_refs(r)))
|
|
716
|
+
# утверждение в тексте – только с подходящим доказательством именно этой уязвимости (Р1.5)
|
|
717
|
+
if all(range_contains(ecosystem, target, i) is False for i in intervals) and any(
|
|
718
|
+
range_contains(ecosystem, hub, i) is True for i in intervals) and evidence_urls(own_refs, research):
|
|
719
|
+
named.append(f"{Vuln(ids=class_ids(rep, root)).main} ({severity_label(items)})")
|
|
720
|
+
refs += own_refs
|
|
721
|
+
if named:
|
|
722
|
+
refs += [str(x) for c in coverage for x in c.get("source_refs") or []]
|
|
723
|
+
lines.append(f"Версия {hub}, указанная в Hub, затронута {', '.join(named)}; по исследованным диапазонам "
|
|
724
|
+
f"версия {target} не затронута.")
|
|
725
|
+
return "\n".join(lines), list(dict.fromkeys(refs))
|
|
726
|
+
|
|
727
|
+
|
|
728
|
+
def hub_note(ecosystem: str, hub_versions: Iterable[str], target: str, research: Mapping[str, Any] | None,
|
|
729
|
+
rep: Mapping[str, str] | None = None) -> str:
|
|
730
|
+
"""Текст пояснения «почему не версия Hub» (hub_explanation без ссылок)."""
|
|
731
|
+
return hub_explanation(ecosystem, hub_versions, target, research, rep)[0]
|
|
732
|
+
|
|
733
|
+
|
|
734
|
+
# ---------------------------------------------------------------------------- решения оператора о применимости
|
|
735
|
+
|
|
736
|
+
APPLICABILITY_LABELS = {"applies": "применима", "not_current": "не затрагивает текущую версию",
|
|
737
|
+
"not_product": "не применима к продукту"}
|
|
738
|
+
|
|
739
|
+
|
|
740
|
+
def effective_applies(item: Mapping[str, Any], decision: str = "") -> str:
|
|
741
|
+
"""Применимость находки исследования с учётом действующего решения оператора (ADR-0094 Р3.2)."""
|
|
742
|
+
if decision == "applies":
|
|
743
|
+
return "yes"
|
|
744
|
+
if decision in ("not_current", "not_product"):
|
|
745
|
+
return "no"
|
|
746
|
+
return str(item.get("applies") or "")
|
|
747
|
+
|
|
748
|
+
|
|
749
|
+
def applicability(decisions: Iterable[Mapping[str, Any]], rep: Mapping[str, str],
|
|
750
|
+
research_revision: int) -> dict[str, dict]:
|
|
751
|
+
"""Решения оператора о применимости по классам уязвимостей (ADR-0094 Р3.3): {корень класса: {"decision" –
|
|
752
|
+
действующее решение или "", "rows" – сохранённые решения, чьи идентификаторы попали в класс, "stale" – почему
|
|
753
|
+
решение не действует}}. Решение действует, только если оно в классе одно, его идентификаторы совпадают с текущим
|
|
754
|
+
составом класса и оно принято на текущей ревизии исследования. Решение сопоставляется по сохранённым
|
|
755
|
+
идентификаторам, а не по ключу: основной идентификатор класса сдвигается, когда к нему присоединяется CVE."""
|
|
756
|
+
out: dict[str, dict] = {}
|
|
757
|
+
for row in decisions:
|
|
758
|
+
if not str(row.get("decision") or ""): # решение снято: строка хранит только редакцию
|
|
759
|
+
continue
|
|
760
|
+
ids = sorted({_norm(i) for i in row.get("ids") or [] if str(i or "").strip()})
|
|
761
|
+
for root in sorted({rep[i] for i in ids if i in rep}):
|
|
762
|
+
out.setdefault(root, {"decision": "", "rows": [], "stale": ""})["rows"].append(row)
|
|
763
|
+
for root, info in out.items():
|
|
764
|
+
rows = info["rows"]
|
|
765
|
+
if len(rows) > 1:
|
|
766
|
+
info["stale"] = ("противоположные решения в одном классе уязвимости"
|
|
767
|
+
if len({r.get("decision") for r in rows}) > 1 else "состав уязвимости изменился")
|
|
768
|
+
continue
|
|
769
|
+
ids = sorted({_norm(i) for i in rows[0].get("ids") or [] if str(i or "").strip()})
|
|
770
|
+
if ids != class_ids(rep, root):
|
|
771
|
+
info["stale"] = "состав уязвимости изменился"
|
|
772
|
+
elif int(rows[0].get("research_revision") or 0) != int(research_revision or 0):
|
|
773
|
+
info["stale"] = "исследование компонента обновлено"
|
|
774
|
+
else:
|
|
775
|
+
info["decision"] = str(rows[0].get("decision") or "")
|
|
776
|
+
return out
|
|
777
|
+
|
|
778
|
+
|
|
779
|
+
# ---------------------------------------------------------------------------- источники и текст
|
|
780
|
+
|
|
781
|
+
TEXT_SOURCE_TYPES = ("advisory", "release_notes", "issue_tracker") # в «Источники» – страницы для человека (Г7)
|
|
782
|
+
|
|
783
|
+
|
|
784
|
+
def human_url(url: str) -> bool:
|
|
785
|
+
"""Адрес страницы для человека: не запрос к API (хост api.*, путь /api/, строка запроса) и не файл метаданных
|
|
786
|
+
реестра (maven-metadata.xml, .pom)."""
|
|
787
|
+
from urllib.parse import urlsplit
|
|
788
|
+
parts = urlsplit(str(url or ""))
|
|
789
|
+
host, path = parts.netloc.lower(), parts.path.lower()
|
|
790
|
+
# строка запроса сама по себе не признак API: у трекеров ошибок страница записи – show_bug.cgi?id=…
|
|
791
|
+
return bool(parts.scheme in ("http", "https") and host and not host.startswith("api.") and "/api/" not in path
|
|
792
|
+
and not path.endswith(("maven-metadata.xml", ".pom", ".json")))
|
|
793
|
+
|
|
794
|
+
|
|
795
|
+
def research_sources(vulns: Iterable[Vuln], research: Mapping[str, Any] | None, target: str) -> list[str]:
|
|
796
|
+
"""Ссылки доказательств исследования по уязвимостям набора (ADR-0091 п. 19, уточнение dev7: ссылки совета и условий перехода к целевой версии про другое, в «Источники» не идут) – только страницы
|
|
797
|
+
для человека: реестры и адреса API служат доказательством публикации, но в текст для команды разработки не идут (Г7)."""
|
|
798
|
+
if not research:
|
|
799
|
+
return []
|
|
800
|
+
refs: list[str] = []
|
|
801
|
+
for vuln in vulns:
|
|
802
|
+
for item in vuln.research:
|
|
803
|
+
refs += [str(r) for r in item.get("source_refs") or []]
|
|
804
|
+
return evidence_urls(refs, research)
|
|
805
|
+
|
|
806
|
+
|
|
807
|
+
def evidence_urls(refs: Iterable[str], research: Mapping[str, Any] | None) -> list[str]:
|
|
808
|
+
"""Адреса доказательств для «Источников» (ADR-0091 п. 19) – одни правила для всех автоматических утверждений
|
|
809
|
+
текста: бюллетень, заметки о релизе или трекер, уровень primary или corroborated, страница для человека (Г7)."""
|
|
810
|
+
evidence = {str(e.get("evidence_ref")): e for e in (research or {}).get("evidence") or [] if isinstance(e, Mapping)}
|
|
811
|
+
out = []
|
|
812
|
+
for ref in refs:
|
|
813
|
+
item = evidence.get(str(ref)) or {}
|
|
814
|
+
url = str(item.get("url") or "")
|
|
815
|
+
if (url and item.get("source_type") in TEXT_SOURCE_TYPES and item.get("level") in SOURCE_LEVELS
|
|
816
|
+
and human_url(url) and url not in out):
|
|
817
|
+
out.append(url)
|
|
818
|
+
return out
|
|
819
|
+
|
|
820
|
+
|
|
821
|
+
def residual_line(item: Mapping[str, Any], target: str, research: Mapping[str, Any] | None) -> str:
|
|
822
|
+
"""Строка «Рекомендаций» об остаточной уязвимости цели (ADR-0094 Р1.5): слова – по статусу исправления."""
|
|
823
|
+
return f"{residual_lead(item, research)}: {item.get('id')} ({item.get('severity')}) – обновление до {target} её не закрывает."
|
|
824
|
+
|
|
825
|
+
|
|
826
|
+
def no_fix_line(item: Mapping[str, Any], research: Mapping[str, Any] | None) -> str:
|
|
827
|
+
"""Строка «Рекомендаций» режима «Исправленной версии нет» (ADR-0101): те же слова по статусу, что у остаточного
|
|
828
|
+
риска, без «обновление до … её не закрывает». fix_not_found – «не установлено в исследованном охвате», а не «нет»:
|
|
829
|
+
отсутствие исправления не доказано."""
|
|
830
|
+
return f"{residual_lead(item, research)}: {item.get('id')} ({item.get('severity')})."
|
|
831
|
+
|
|
832
|
+
|
|
833
|
+
def residual_lead(item: Mapping[str, Any], research: Mapping[str, Any] | None) -> str:
|
|
834
|
+
"""Начало строки о статусе исправления: «Исправления нет ни в одной опубликованной версии на <дата> (<источник>)»,
|
|
835
|
+
«В ветке <ветка> исправления нет на …» или «Исправление не установлено в исследованном охвате на <дата>»."""
|
|
836
|
+
from urllib.parse import urlsplit
|
|
837
|
+
# источник в скобках – только доказательство самого утверждения «исправления нет», не диапазонов (ревью c7a4341)
|
|
838
|
+
hosts = [urlsplit(url).netloc for url in evidence_urls(item.get("proof_refs") or [], research)]
|
|
839
|
+
source = next((h for h in hosts if h), "")
|
|
840
|
+
date = str(item.get("date") or "")
|
|
841
|
+
if item.get("status") == "no_fix_published" and item.get("scope") == "branch":
|
|
842
|
+
lead = f"В ветке {item.get('branch')} исправления нет на {date}" + (f" ({source})" if source else "")
|
|
843
|
+
elif item.get("status") == "no_fix_published":
|
|
844
|
+
lead = f"Исправления нет ни в одной опубликованной версии на {date}" + (f" ({source})" if source else "")
|
|
845
|
+
else:
|
|
846
|
+
lead = f"Исправление не установлено в исследованном охвате на {date}"
|
|
847
|
+
return lead
|
|
848
|
+
|
|
849
|
+
|
|
850
|
+
ALSO_AFFECTED = "Также затрагивают эту версию:"
|
|
851
|
+
|
|
852
|
+
|
|
853
|
+
def description_lines(vulns: Iterable[Vuln]) -> tuple[list[str], list[str]]:
|
|
854
|
+
"""Строки «Описания» (ADR-0101 п. 3): уязвимости находок Hub набора и применимые по исследованию, которых Hub не
|
|
855
|
+
нашёл (их генератор ставит после ALSO_AFFECTED), – только публичные, «<идентификатор> (<ссылка>)». Те же строки
|
|
856
|
+
сверяет проверка текста перед Hub (ADR-0123 п. 4.2)."""
|
|
857
|
+
vulns = list(vulns)
|
|
858
|
+
found = [f"{v.main} ({link_of(v.main)})" for v in vulns if v.public and v.hub_members]
|
|
859
|
+
extra = [f"{v.main} ({link_of(v.main)})" for v in vulns if v.public and not v.hub_members]
|
|
860
|
+
return found, extra
|
|
861
|
+
|
|
862
|
+
|
|
863
|
+
def body_v0910(component: str, vulns: list[Vuln], explanation: str, target: str, sources: Iterable[str],
|
|
864
|
+
hub_note: str = "", ast_shown: Iterable[str] = (), residual_lines: Iterable[str] = (),
|
|
865
|
+
recommendation_note: str = "") -> str:
|
|
866
|
+
"""Текст дефекта набора в формате 0.9.8–0.9.10 (строки AST в «Описании», без «Также затрагивают эту версию:»,
|
|
867
|
+
без очистки от AST) – только для узнавания отметок «Дефект создан в Hub», поставленных до 0.9.11: карточка
|
|
868
|
+
называет причину, по которой текст изменился (ADR-0101). Не меняется."""
|
|
869
|
+
lines = ["Описание"]
|
|
870
|
+
for vuln in vulns:
|
|
871
|
+
if vuln.public:
|
|
872
|
+
lines.append(f"{vuln.main} ({link_of(vuln.main)})")
|
|
873
|
+
for ast in ast_shown:
|
|
874
|
+
lines.append(f"{ast} – публичный идентификатор не установлен")
|
|
875
|
+
lines += ["", "Объяснение", *[x.rstrip() for x in str(explanation or "").strip().split("\n")], "",
|
|
876
|
+
"Рекомендации"]
|
|
877
|
+
if hub_note:
|
|
878
|
+
lines.append(hub_note)
|
|
879
|
+
lines += [str(x) for x in residual_lines if str(x).strip()]
|
|
880
|
+
lines += [x.rstrip() for x in str(recommendation_note or "").strip().split("\n") if x.strip()]
|
|
881
|
+
lines.append(f"Обновление {component} до версии {target}")
|
|
882
|
+
links = []
|
|
883
|
+
for vuln in vulns:
|
|
884
|
+
if vuln.public and link_of(vuln.main) not in links:
|
|
885
|
+
links.append(link_of(vuln.main))
|
|
886
|
+
for url in sources:
|
|
887
|
+
if url not in links:
|
|
888
|
+
links.append(url)
|
|
889
|
+
lines += ["", "Источники", *links]
|
|
890
|
+
return "\n".join(lines).strip() + "\n"
|
|
891
|
+
|
|
892
|
+
|
|
893
|
+
def strip_ids_keep_indent(text: str) -> str:
|
|
894
|
+
"""strip_internal_ids для текста оператора в нынешнем формате (ADR-0149 п. 5): внутренний номер AST убирается,
|
|
895
|
+
отступ строки остаётся – сама чистка схлопывает пробелы и срезает края строки, где был номер (ревью Kimi круга
|
|
896
|
+
5). Строка, от которой остался один номер, – пустая. Прежние форматы – strip_internal_ids как был."""
|
|
897
|
+
out = []
|
|
898
|
+
for line in str(text or "").split("\n"):
|
|
899
|
+
body = line.lstrip(" \t")
|
|
900
|
+
cleaned = strip_internal_ids(body)
|
|
901
|
+
out.append(line[:len(line) - len(body)] + cleaned if cleaned.strip() else cleaned)
|
|
902
|
+
return "\n".join(out)
|
|
903
|
+
|
|
904
|
+
|
|
905
|
+
def note_lines(note: str, *, legacy: bool = False) -> list[str]:
|
|
906
|
+
"""Строки «Добавления к «Рекомендациям»» для тела дефекта: как написал оператор – с пустыми строками между
|
|
907
|
+
абзацами, без внутренних номеров AST (ADR-0101 п. 1); строка, от которой после удаления
|
|
908
|
+
номера ничего не осталось, не входит. legacy=True – правила до 0.10.0.dev21: пустые строки не входят (только для
|
|
909
|
+
узнавания прежних подписей текста)."""
|
|
910
|
+
if legacy: # в точности как до 0.10.0.dev21: края срезаны целиком, пустые строки не входят (ревью Codex круга 5)
|
|
911
|
+
return [x.rstrip() for x in strip_internal_ids(str(note or "").strip()).split("\n") if x.strip()]
|
|
912
|
+
from app.defect import edges
|
|
913
|
+
text = edges(note) # пустые строки по краям не уходят, отступ первой строки остаётся (ADR-0149 п. 5)
|
|
914
|
+
if not text.strip():
|
|
915
|
+
return []
|
|
916
|
+
out = []
|
|
917
|
+
for raw in text.split("\n"):
|
|
918
|
+
if not raw.strip():
|
|
919
|
+
out.append("")
|
|
920
|
+
continue
|
|
921
|
+
line = strip_ids_keep_indent(raw).rstrip()
|
|
922
|
+
if line.strip():
|
|
923
|
+
out.append(line)
|
|
924
|
+
return out
|
|
925
|
+
|
|
926
|
+
|
|
927
|
+
def body(component: str, vulns: list[Vuln], explanation: str, target: str, sources: Iterable[str],
|
|
928
|
+
hub_note: str = "", residual_lines: Iterable[str] = (), recommendation_note: str = "", *,
|
|
929
|
+
legacy_note: bool = False) -> str:
|
|
930
|
+
"""Текст дефекта по шаблону команды (ADR-0091 п. 12; ADR-0094: строки остаточного риска и добавление оператора
|
|
931
|
+
– перед строкой обновления). Внутренних номеров AST в тексте нет (ADR-0101): уязвимость без публичного
|
|
932
|
+
идентификатора в «Описание» не входит, из Объяснения и добавления оператора номера убираются. Добавление
|
|
933
|
+
оператора – с его пустыми строками (note_lines); legacy_note=True – без них, как до 0.10.0.dev21 (узнавание
|
|
934
|
+
прежних подписей «Текст проверен», «Версию проверил сам», «Остаточный риск проверил» и отметок)."""
|
|
935
|
+
# «Описание» (ADR-0101): сначала уязвимости находок Hub этого набора, затем – после строки
|
|
936
|
+
# «Также затрагивают эту версию:» – применимые по исследованию, которых Hub не нашёл; заголовок – только если над
|
|
937
|
+
# ним есть уязвимости Hub
|
|
938
|
+
found, extra = description_lines(vulns)
|
|
939
|
+
lines = ["Описание", *found]
|
|
940
|
+
if extra:
|
|
941
|
+
if found:
|
|
942
|
+
lines.append(ALSO_AFFECTED)
|
|
943
|
+
lines += extra
|
|
944
|
+
from app.defect import edges
|
|
945
|
+
if legacy_note: # прежние правила – как были: края текста срезаны целиком
|
|
946
|
+
explanation = strip_internal_ids(str(explanation or "").strip())
|
|
947
|
+
lines += ["", "Объяснение", *[x.rstrip() for x in explanation.split("\n")], "", "Рекомендации"]
|
|
948
|
+
else: # отступ первой строки оператора остаётся (ADR-0149 п. 5)
|
|
949
|
+
explanation = edges(strip_ids_keep_indent(edges(explanation)))
|
|
950
|
+
lines += ["", "Объяснение", *explanation.split("\n"), "", "Рекомендации"]
|
|
951
|
+
if hub_note:
|
|
952
|
+
lines.append(strip_internal_ids(hub_note))
|
|
953
|
+
lines += [strip_internal_ids(str(x)) for x in residual_lines if str(x).strip()]
|
|
954
|
+
lines += note_lines(recommendation_note, legacy=legacy_note)
|
|
955
|
+
if target: # режим «Исправленной версии нет» (ADR-0101): вместо строки обновления – меры оператора выше
|
|
956
|
+
lines.append(f"Обновление {component} до версии {target}")
|
|
957
|
+
links = []
|
|
958
|
+
for vuln in vulns:
|
|
959
|
+
if vuln.public and link_of(vuln.main) not in links:
|
|
960
|
+
links.append(link_of(vuln.main))
|
|
961
|
+
for url in sources:
|
|
962
|
+
if url not in links and not has_internal_id(url): # адрес с внутренним номером – не источник для получателя дефекта
|
|
963
|
+
links.append(url)
|
|
964
|
+
lines += ["", "Источники", *links]
|
|
965
|
+
return "\n".join(lines).strip() + "\n"
|