local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
|
@@ -0,0 +1,323 @@
|
|
|
1
|
+
"""Проверка формы текста дефекта перед Hub по требованиям команды (ADR-0123).
|
|
2
|
+
|
|
3
|
+
Программа проверяет форму текста команды – тело дефекта, которое приложение ставит в начало описания дефекта в Hub
|
|
4
|
+
(без блока Hub): каркас, запрещённые служебные блоки, внутренние номера, служебные адреса. Смысл обоснования, точность
|
|
5
|
+
объяснений и выбор версии проверяет оператор (ADR-0123 п. 1); данные набора SCA (целевая версия, объяснения,
|
|
6
|
+
подтверждения) уже проверяет sca_defect – здесь они не повторяются.
|
|
7
|
+
|
|
8
|
+
Функции чистые: номера находок Hub проекта и ожидания по набору SCA передаёт вызывающий. Нарушение – строка по-русски
|
|
9
|
+
с номером требования команды (S – SAST, A – SCA) в начале. Проверяется нормализованная копия (п. 2), сам текст не
|
|
10
|
+
меняется.
|
|
11
|
+
"""
|
|
12
|
+
|
|
13
|
+
from __future__ import annotations
|
|
14
|
+
|
|
15
|
+
import re
|
|
16
|
+
from collections.abc import Iterable
|
|
17
|
+
|
|
18
|
+
from app import defect_where, sca_text
|
|
19
|
+
|
|
20
|
+
# Требования команды, которые проверяет программа (ADR-0123 пп. 3–4; S3, S11 и смысл объяснений – у оператора)
|
|
21
|
+
REQUIREMENTS = {
|
|
22
|
+
"S1": "дефект SAST – только каркас команды: стандартная фраза, «Обоснование:», «Рекомендация:» с пунктами «1)», «2)»",
|
|
23
|
+
"S2": "первая строка – стандартная фраза с названием команды из «Настроек»",
|
|
24
|
+
"S4": "рекомендация – меры по пунктам «1)», «2)»",
|
|
25
|
+
"S5": "без внутренних номеров находок Hub",
|
|
26
|
+
"S6": "без требований ГОСТ к конвейеру: тест, условие закрытия, срок",
|
|
27
|
+
"S8": "без перечня номеров находок: находки группируются в Hub",
|
|
28
|
+
"A1": "дефект SCA – разделы «Описание», «Объяснение», «Рекомендации», «Источники» по порядку, ничего сверх",
|
|
29
|
+
"A3": "«Описание» – публичные идентификаторы уязвимостей набора со ссылкой; без внутренних номеров AST",
|
|
30
|
+
"A4": "«Объяснение» не пусто",
|
|
31
|
+
"A7": "одна рекомендация «Обновление <компонент> до версии <версия>»",
|
|
32
|
+
"A8": "«Источники» – только адреса страниц для человека",
|
|
33
|
+
}
|
|
34
|
+
|
|
35
|
+
# п. 3.5 (S6): требования к конвейеру – в любом месте обоснования и пунктов, без учёта регистра
|
|
36
|
+
PIPELINE_PHRASES = ("добавить тест", "написать тест", "тест, подтверждающий исправление", "дефект закрывается",
|
|
37
|
+
"проверить срабатывания того же правила", "срок устранения", "рабочих дней после разметки",
|
|
38
|
+
"гост р 71207", "гост р 56939")
|
|
39
|
+
# п. 3.6: служебные строки прежнего формата SAST (начало строки после снятия маркера списка); «Срок –» – заголовок
|
|
40
|
+
# срока (S6), «Срок жизни буфера…» – не нарушение
|
|
41
|
+
SAST_LEGACY_STARTS = (("Итог:", "S1"), ("Область:", "S1"), ("Что это значит:", "S1"),
|
|
42
|
+
("Требуется от разработчика", "S1"), ("Справочно (", "S1"),
|
|
43
|
+
("Если вы считаете срабатывание ложным", "S1"), ("Срок –", "S6"), ("Срок -", "S6"))
|
|
44
|
+
# п. 4.6: служебные строки прежнего формата SCA (начало строки)
|
|
45
|
+
SCA_LEGACY_STARTS = ("Заключение AppSec", "Критичность:", "Область:", "Что не установлено", "Требуется от разработчика",
|
|
46
|
+
"Обоснование неактуальности", "Нормативная опора", "Справочно (", "В колонке «Серьёзность»",
|
|
47
|
+
"Сводка по уязвимостям", "Детальная информация по уязвимостям")
|
|
48
|
+
|
|
49
|
+
REASON_HEAD = "Обоснование:"
|
|
50
|
+
RECOMMENDATION_HEAD = "Рекомендация:"
|
|
51
|
+
SECTIONS = ("Описание", "Объяснение", "Рекомендации", "Источники")
|
|
52
|
+
REFUSAL = "Текст не по требованиям команды: "
|
|
53
|
+
MAX_LISTED = 3 # нарушений в тексте отказа; остальные – числом (длинный перечень занимал полэкрана)
|
|
54
|
+
|
|
55
|
+
_SPACES = re.compile(r"\s+")
|
|
56
|
+
_MARKER = re.compile(r"^(?:\d{1,3}\)\s*|\d{1,3}\.\s+|-\s+)") # маркер списка «N)», «N.», «-»
|
|
57
|
+
_ITEM = re.compile(r"^(\d{1,3})\)\s*(.*)$")
|
|
58
|
+
# п. 3.7: явные ссылки на находку Hub – реквизит «ID: <число>», «ID <число>», «№ <число>»; перечень из трёх и более
|
|
59
|
+
# чисел через запятую. Число – целым идентификатором: за ним не буква, цифра, «_» или дефис («ID: 12345abc» – не
|
|
60
|
+
# ссылка); перечень не продолжает слово, число с точкой или запятой и идентификатор с дефисом («item12345, …»,
|
|
61
|
+
# «CWE-79, 80, 81» – не перечень номеров); дробное число – не номер: «ID: 12345.6», «…, 12347.5» (точка конца
|
|
62
|
+
# предложения после номера допустима)
|
|
63
|
+
_REF = re.compile(r"(?<![\w-])(?:ID\s*:\s*|ID\s+|№\s*)(\d+)(?![\w-]|[.,]\d)", re.I)
|
|
64
|
+
# перечень берётся максимальным справа: «12344, 12345, 12346, 12347.5» – не три номера и дробь, а перечень с дробью
|
|
65
|
+
# (не номера); цена в _REF: «ID: 12345,12346» без пробела читается как десятичная запятая и ссылкой не считается
|
|
66
|
+
_LIST = re.compile(r"(?<![\w.,-])\d+(?:\s*,\s*\d+){2,}(?![\w-]|[.,]\d|\s*,\s*\d)")
|
|
67
|
+
_URL = re.compile(r"^https?://\S+$", re.I)
|
|
68
|
+
|
|
69
|
+
|
|
70
|
+
# ---------------------------------------------------------------------------- нормализация и общее
|
|
71
|
+
|
|
72
|
+
|
|
73
|
+
def norm_line(line: str) -> str:
|
|
74
|
+
"""Строка после нормализации (п. 2): пробелы по краям сняты, подряд идущие – один."""
|
|
75
|
+
return _SPACES.sub(" ", str(line or "")).strip()
|
|
76
|
+
|
|
77
|
+
|
|
78
|
+
def normalize(text: str) -> list[str]:
|
|
79
|
+
"""Строки нормализованной копии текста (п. 2): переводы строк \\r\\n – \\n, пробелы по краям строк сняты, подряд
|
|
80
|
+
идущие – один; пустые строки остаются пустыми (разделители)."""
|
|
81
|
+
return [norm_line(line) for line in str(text or "").replace("\r\n", "\n").split("\n")]
|
|
82
|
+
|
|
83
|
+
|
|
84
|
+
def _num(value: str) -> str:
|
|
85
|
+
text = str(value or "").strip()
|
|
86
|
+
return str(int(text)) if text.isdigit() else text
|
|
87
|
+
|
|
88
|
+
|
|
89
|
+
def number_candidates(text: str) -> set[str]:
|
|
90
|
+
"""Числа, которые п. 3.7 сверяет с номерами находок Hub проекта: из реквизитов «ID: N», «ID N», «№ N» и из
|
|
91
|
+
перечней через запятую. Вызывающий по ним читает номера находок проекта (Database.hub_ids_among)."""
|
|
92
|
+
out: set[str] = set()
|
|
93
|
+
for line in normalize(text):
|
|
94
|
+
out |= {m.group(1) for m in _REF.finditer(line)}
|
|
95
|
+
for m in _LIST.finditer(line):
|
|
96
|
+
out |= set(re.findall(r"\d+", m.group(0)))
|
|
97
|
+
return out | {_num(x) for x in out}
|
|
98
|
+
|
|
99
|
+
|
|
100
|
+
def _quote(line: str, limit: int = 90) -> str:
|
|
101
|
+
text = str(line or "")
|
|
102
|
+
return "«" + (text if len(text) <= limit else text[: limit - 1] + "…") + "»"
|
|
103
|
+
|
|
104
|
+
|
|
105
|
+
def _problem(code: str, detail: str) -> str:
|
|
106
|
+
return f"{code}: {detail}"
|
|
107
|
+
|
|
108
|
+
|
|
109
|
+
def _unique(items: Iterable[str]) -> list[str]:
|
|
110
|
+
return list(dict.fromkeys(items))
|
|
111
|
+
|
|
112
|
+
|
|
113
|
+
def _hub_refs(lines: Iterable[str], finding_ids: Iterable[str], ref_code: str, list_code: str) -> list[str]:
|
|
114
|
+
"""п. 3.7 (и 4.6 для SCA): реквизит «ID: N» / «ID N» / «№ N» с номером находки Hub проекта; перечень из трёх и
|
|
115
|
+
более чисел через запятую, каждое – номер находки проекта. Отдельное число в тексте – не нарушение."""
|
|
116
|
+
ids = {_num(x) for x in finding_ids}
|
|
117
|
+
if not ids:
|
|
118
|
+
return []
|
|
119
|
+
out = []
|
|
120
|
+
for line in lines:
|
|
121
|
+
for m in _REF.finditer(line):
|
|
122
|
+
if _num(m.group(1)) in ids:
|
|
123
|
+
out.append(_problem(ref_code, f"внутренний номер находки Hub {_quote(m.group(0).strip())} – {_quote(line)}"))
|
|
124
|
+
for m in _LIST.finditer(line):
|
|
125
|
+
numbers = re.findall(r"\d+", m.group(0))
|
|
126
|
+
if all(_num(n) in ids for n in numbers):
|
|
127
|
+
out.append(_problem(list_code, f"перечень номеров находок Hub {_quote(m.group(0))} – {_quote(line)}"))
|
|
128
|
+
return out
|
|
129
|
+
|
|
130
|
+
|
|
131
|
+
def refusal(problems: list[str], at_create: bool = False) -> str:
|
|
132
|
+
"""Текст отказа «Подготовить дефект» и «Создать» (ADR-0123 п. 5). at_create – отказ «Создать»: у находки открыт
|
|
133
|
+
предпросмотр, новую заготовку не запросить, пока его не отменили, а текст мог разойтись с названием команды."""
|
|
134
|
+
shown = "; ".join(problems[:MAX_LISTED])
|
|
135
|
+
more = f"; и ещё {len(problems) - MAX_LISTED}" if len(problems) > MAX_LISTED else ""
|
|
136
|
+
if at_create:
|
|
137
|
+
return (REFUSAL + shown + more + ". Нажмите «Отменить предпросмотр», поправьте решение (или название команды) и "
|
|
138
|
+
"запросите заготовку заново.")
|
|
139
|
+
return (REFUSAL + shown + more + ". Поправьте решение в карточке (обоснование, рекомендацию или текст набора), "
|
|
140
|
+
"сохраните его и запросите заготовку заново.")
|
|
141
|
+
|
|
142
|
+
|
|
143
|
+
# ---------------------------------------------------------------------------- SAST (п. 3)
|
|
144
|
+
|
|
145
|
+
|
|
146
|
+
def sast_problems(text: str, *, team_phrase: str, finding_ids: Iterable[str] = ()) -> list[str]:
|
|
147
|
+
"""Нарушения требований команды в тексте дефекта SAST (ADR-0123 п. 3): первая непустая строка – team_phrase
|
|
148
|
+
(стандартная фраза из настройки названия команды, defect.sast_phrase), затем ровно одна «Обоснование:» с непустым
|
|
149
|
+
текстом (на той же строке или следующими строками), ровно одна «Рекомендация:» и под ней пункты «1)», «2)», … по
|
|
150
|
+
порядку – и ничего больше. В обосновании и пунктах – без требований к конвейеру, служебных строк прежнего формата и
|
|
151
|
+
ссылок на находки Hub проекта (finding_ids – номера находок проекта, хотя бы те, что упомянуты в тексте). [] – текст
|
|
152
|
+
по требованиям."""
|
|
153
|
+
# раздел «Где исправлять» – сведения для разработчиков, не часть шаблона команды (план dev7, раздел 11)
|
|
154
|
+
lines = [line for line in normalize(defect_where.split(text)[0]) if line]
|
|
155
|
+
if not lines:
|
|
156
|
+
return [_problem("S1", "текст дефекта пуст")]
|
|
157
|
+
out: list[str] = []
|
|
158
|
+
phrase = norm_line(team_phrase)
|
|
159
|
+
body = lines[1:]
|
|
160
|
+
if lines[0] != phrase: # п. 3.1
|
|
161
|
+
out.append(_problem("S2", f"первая строка – не стандартная фраза команды {_quote(phrase, 160)}: "
|
|
162
|
+
f"{_quote(lines[0])}"))
|
|
163
|
+
if lines[0].startswith(REASON_HEAD): # фразы нет вовсе: первая строка – уже «Обоснование:»
|
|
164
|
+
body = lines
|
|
165
|
+
reason_at = [i for i, line in enumerate(body) if line.startswith(REASON_HEAD)]
|
|
166
|
+
rec_at = [i for i, line in enumerate(body) if line == RECOMMENDATION_HEAD]
|
|
167
|
+
for head, found in ((REASON_HEAD, reason_at), (RECOMMENDATION_HEAD, rec_at)): # пп. 3.2, 3.3
|
|
168
|
+
if len(found) != 1:
|
|
169
|
+
out.append(_problem("S1", f"строка {_quote(head)} должна быть ровно одна, а "
|
|
170
|
+
+ ("её нет" if not found else f"их {len(found)}")))
|
|
171
|
+
if len(reason_at) == 1 and len(rec_at) == 1:
|
|
172
|
+
r, k = reason_at[0], rec_at[0]
|
|
173
|
+
out += [_problem("S1", f"строка сверх шаблона команды до «Обоснование:» – {_quote(line)}") for line in body[:r]]
|
|
174
|
+
if k < r:
|
|
175
|
+
out.append(_problem("S1", "«Рекомендация:» стоит раньше «Обоснование:»"))
|
|
176
|
+
else:
|
|
177
|
+
reason = [body[r][len(REASON_HEAD):].strip(), *body[r + 1:k]]
|
|
178
|
+
if not any(reason):
|
|
179
|
+
out.append(_problem("S1", "обоснование пустое"))
|
|
180
|
+
items = body[k + 1:]
|
|
181
|
+
if not items:
|
|
182
|
+
out.append(_problem("S4", "под «Рекомендация:» нет ни одного пункта «1) …»"))
|
|
183
|
+
number = 1
|
|
184
|
+
for line in items:
|
|
185
|
+
m = _ITEM.match(line)
|
|
186
|
+
if m is None or not m.group(2).strip():
|
|
187
|
+
out.append(_problem("S1", f"после «Рекомендация:» – строка не пункт «N) …»: {_quote(line)}"))
|
|
188
|
+
continue
|
|
189
|
+
if int(m.group(1)) != number:
|
|
190
|
+
out.append(_problem("S1", f"пункты рекомендации не по порядку: {_quote(line)} вместо «{number})»"))
|
|
191
|
+
number += 1
|
|
192
|
+
for line in body:
|
|
193
|
+
low = line.casefold()
|
|
194
|
+
out += [_problem("S6", f"требование ГОСТ к конвейеру («{p}») – {_quote(line)}") for p in PIPELINE_PHRASES
|
|
195
|
+
if p in low] # п. 3.5
|
|
196
|
+
bare = _MARKER.sub("", line, count=1).casefold()
|
|
197
|
+
out += [_problem(code, f"служебная строка прежнего формата – {_quote(line)}") for start, code in
|
|
198
|
+
SAST_LEGACY_STARTS if bare.startswith(start.casefold())] # п. 3.6
|
|
199
|
+
out += _hub_refs(body, finding_ids, "S5", "S8") # п. 3.7
|
|
200
|
+
return _unique(out)
|
|
201
|
+
|
|
202
|
+
|
|
203
|
+
# ---------------------------------------------------------------------------- SCA (п. 4)
|
|
204
|
+
|
|
205
|
+
|
|
206
|
+
def _description(lines: list[str], hub: list[str], research: list[str]) -> list[str]:
|
|
207
|
+
"""п. 4.2 (A3): каждая ожидаемая строка «<идентификатор> (<ссылка>)» – ровно один раз, посторонних нет; разделитель
|
|
208
|
+
«Также затрагивают эту версию:» – между уязвимостями находок Hub и применимыми по исследованию, только если есть
|
|
209
|
+
и те и другие (так его ставит генератор, sca_text.body)."""
|
|
210
|
+
hub, research = [norm_line(x) for x in hub], [norm_line(x) for x in research]
|
|
211
|
+
expected = _unique([*hub, *research])
|
|
212
|
+
sep = sca_text.ALSO_AFFECTED
|
|
213
|
+
out: list[str] = []
|
|
214
|
+
seps = [i for i, line in enumerate(lines) if line == sep]
|
|
215
|
+
if hub and research and len(seps) != 1:
|
|
216
|
+
out.append(_problem("A3", f"строка {_quote(sep)} нужна ровно одна – между уязвимостями находок Hub и "
|
|
217
|
+
"применимыми по исследованию"))
|
|
218
|
+
elif not (hub and research) and seps:
|
|
219
|
+
out.append(_problem("A3", f"строка {_quote(sep)} – только между уязвимостями находок Hub и применимыми по "
|
|
220
|
+
"исследованию" + ("" if hub else ": уязвимостей находок Hub в наборе нет")))
|
|
221
|
+
for line in expected:
|
|
222
|
+
count = lines.count(line)
|
|
223
|
+
if count == 0:
|
|
224
|
+
out.append(_problem("A3", f"в «Описании» нет строки {_quote(line)}"))
|
|
225
|
+
elif count > 1:
|
|
226
|
+
out.append(_problem("A3", f"строка {_quote(line)} в «Описании» повторяется"))
|
|
227
|
+
out += [_problem("A3", f"посторонняя строка в «Описании» – {_quote(line)}") for line in lines
|
|
228
|
+
if line != sep and line not in expected]
|
|
229
|
+
if hub and research and len(seps) == 1:
|
|
230
|
+
at = seps[0]
|
|
231
|
+
for i, line in enumerate(lines):
|
|
232
|
+
if line in hub and line not in research and i > at:
|
|
233
|
+
out.append(_problem("A3", f"уязвимость находок Hub {_quote(line)} стоит после {_quote(sep)}"))
|
|
234
|
+
elif line in research and line not in hub and i < at:
|
|
235
|
+
out.append(_problem("A3", f"уязвимость по исследованию {_quote(line)} стоит до {_quote(sep)}"))
|
|
236
|
+
return out
|
|
237
|
+
|
|
238
|
+
|
|
239
|
+
def _recommendations(lines: list[str], component: str, target: str, no_fix: bool) -> list[str]:
|
|
240
|
+
"""п. 4.4 (A7): обновление – ровно одна строка «Обновление <компонент> до версии <версия>» последней, перед ней –
|
|
241
|
+
пояснение версии Hub, остаточный риск и добавление оператора; «Исправленной версии нет» (ADR-0101) – строки
|
|
242
|
+
обновления нет, есть меры. Строка обновления – только полная форма «Обновление <компонент набора> до версии
|
|
243
|
+
<версия>» (одно слово версии): строки про другие компоненты и строки оператора, которые продолжают фразу («… до
|
|
244
|
+
версии 2.0 потребует миграции API»), – добавление оператора и меры. Цена: «… до версии 3.0 или новее» в режиме без
|
|
245
|
+
исправления строкой обновления не считается."""
|
|
246
|
+
head = norm_line(f"Обновление {component} до версии")
|
|
247
|
+
full = re.compile(re.escape(head) + r" \S+")
|
|
248
|
+
updates = [line for line in lines if full.fullmatch(line)]
|
|
249
|
+
if no_fix:
|
|
250
|
+
out = [_problem("A7", f"в режиме «Исправленной версии нет» строки обновления нет – {_quote(line)}")
|
|
251
|
+
for line in updates]
|
|
252
|
+
if not lines:
|
|
253
|
+
out.append(_problem("A7", "в режиме «Исправленной версии нет» в «Рекомендациях» нет мер"))
|
|
254
|
+
return out
|
|
255
|
+
expected = norm_line(f"Обновление {component} до версии {target}")
|
|
256
|
+
if not updates:
|
|
257
|
+
return [_problem("A7", f"в «Рекомендациях» нет строки {_quote(expected, 160)}")]
|
|
258
|
+
if len(updates) > 1:
|
|
259
|
+
return [_problem("A7", f"строк обновления {len(updates)} – нужна одна {_quote(expected, 160)}")]
|
|
260
|
+
if updates[0] != expected:
|
|
261
|
+
return [_problem("A7", f"строка обновления {_quote(updates[0])} не совпадает с набором: нужна "
|
|
262
|
+
f"{_quote(expected, 160)}")]
|
|
263
|
+
if lines[-1] != updates[0]:
|
|
264
|
+
return [_problem("A7", "после строки обновления – другие строки: строка обновления последняя в «Рекомендациях»")]
|
|
265
|
+
return []
|
|
266
|
+
|
|
267
|
+
|
|
268
|
+
def _sources(lines: list[str]) -> list[str]:
|
|
269
|
+
"""п. 4.5 (A8): только адреса страниц для человека (sca_text.human_url) без внутреннего номера (has_internal_id)."""
|
|
270
|
+
out = []
|
|
271
|
+
for line in lines:
|
|
272
|
+
if not _URL.match(line):
|
|
273
|
+
out.append(_problem("A8", f"в «Источниках» – не адрес: {_quote(line)}"))
|
|
274
|
+
elif not sca_text.human_url(line):
|
|
275
|
+
out.append(_problem("A8", f"служебный адрес (запрос к API или файл метаданных реестра) – {_quote(line)}"))
|
|
276
|
+
elif sca_text.has_internal_id(line):
|
|
277
|
+
out.append(_problem("A8", f"адрес с внутренним номером уязвимости (AST) – {_quote(line)}"))
|
|
278
|
+
return out
|
|
279
|
+
|
|
280
|
+
|
|
281
|
+
def sca_problems(text: str, *, expected_hub: Iterable[str], expected_research: Iterable[str], component: str,
|
|
282
|
+
target: str, no_fix: bool, finding_ids: Iterable[str] = ()) -> list[str]:
|
|
283
|
+
"""Нарушения требований команды в тексте дефекта SCA (ADR-0123 п. 4): разделы «Описание», «Объяснение»,
|
|
284
|
+
«Рекомендации», «Источники» – каждый один раз, по порядку, до «Описания» ничего; «Описание» сверяется со строками
|
|
285
|
+
набора (expected_hub – уязвимости находок Hub, expected_research – применимые по исследованию; то же представление,
|
|
286
|
+
что у генератора, sca_text.description_lines, из того же снимка набора); «Объяснение» не пусто; «Рекомендации» –
|
|
287
|
+
строка обновления компонента до целевой версии (component, target) или, при no_fix, меры без неё; «Источники» –
|
|
288
|
+
только адреса для человека. Во всём тексте – без номеров AST, ссылок на находки Hub проекта (finding_ids) и
|
|
289
|
+
служебных строк прежнего формата. Данные набора (целевая версия, объяснения, подтверждения) проверяет sca_defect.
|
|
290
|
+
[] – текст по требованиям."""
|
|
291
|
+
lines = [line for line in normalize(defect_where.split(text)[0]) if line] # раздел «Где исправлять» – не часть шаблона
|
|
292
|
+
out: list[str] = []
|
|
293
|
+
at = {name: [i for i, line in enumerate(lines) if line == name] for name in SECTIONS}
|
|
294
|
+
for name in SECTIONS: # п. 4.1
|
|
295
|
+
if not at[name]:
|
|
296
|
+
out.append(_problem("A1", f"нет раздела «{name}»"))
|
|
297
|
+
elif len(at[name]) > 1:
|
|
298
|
+
out.append(_problem("A1", f"раздел «{name}» повторяется ({len(at[name])} раза)"))
|
|
299
|
+
first = at["Описание"][0] if at["Описание"] else len(lines)
|
|
300
|
+
out += [_problem("A1", f"строка до «Описания» – {_quote(line)}") for line in lines[:first]]
|
|
301
|
+
parts: dict[str, list[str]] | None = None
|
|
302
|
+
if all(len(at[name]) == 1 for name in SECTIONS):
|
|
303
|
+
starts = [at[name][0] for name in SECTIONS]
|
|
304
|
+
if starts != sorted(starts):
|
|
305
|
+
out.append(_problem("A1", "разделы не по порядку: нужно «Описание», «Объяснение», «Рекомендации», "
|
|
306
|
+
"«Источники»"))
|
|
307
|
+
else:
|
|
308
|
+
ends = [*starts[1:], len(lines)]
|
|
309
|
+
parts = {name: lines[s + 1:e] for name, s, e in zip(SECTIONS, starts, ends, strict=True)}
|
|
310
|
+
if parts is not None:
|
|
311
|
+
out += _description(parts["Описание"], list(expected_hub), list(expected_research))
|
|
312
|
+
if not parts["Объяснение"]: # п. 4.3
|
|
313
|
+
out.append(_problem("A4", "раздел «Объяснение» пуст"))
|
|
314
|
+
out += _recommendations(parts["Рекомендации"], component, target, no_fix)
|
|
315
|
+
out += _sources(parts["Источники"])
|
|
316
|
+
sources = set(parts["Источники"]) if parts is not None else set()
|
|
317
|
+
for line in lines: # п. 4.6
|
|
318
|
+
if sca_text.has_internal_id(line) and line not in sources: # адрес в «Источниках» назван выше (A8)
|
|
319
|
+
out.append(_problem("A3", f"внутренний номер уязвимости (AST) – {_quote(line)}"))
|
|
320
|
+
out += [_problem("A1", f"служебная строка прежнего формата – {_quote(line)}") for start in SCA_LEGACY_STARTS
|
|
321
|
+
if line.casefold().startswith(start.casefold())]
|
|
322
|
+
out += _hub_refs(lines, finding_ids, "A1", "A1")
|
|
323
|
+
return _unique(out)
|