local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/app/osv.py
ADDED
|
@@ -0,0 +1,279 @@
|
|
|
1
|
+
"""Точный запрос OSV (https://api.osv.dev/v1/query) по паре «экосистема, имя, версия» перед обращением к модели
|
|
2
|
+
(ADR-0112, бэклог п. 23). Исследование провайдером получает ответ OSV в первом сообщении (поле osv), а не ищет его
|
|
3
|
+
через инструменты: поисковый API провайдера делает GET, а OSV принимает только POST.
|
|
4
|
+
|
|
5
|
+
Что уходит в OSV – ровно то, что и провайдеру по ADR-0105 п. 1: экосистема, имя и версия компонента, ничего больше.
|
|
6
|
+
Адрес и сам факт запроса – часть текста инструкций согласия (строка «адрес запроса OSV: …», sca_research_net.
|
|
7
|
+
instructions/osv_url_from): получение по согласию без этой строки OSV не запрашивает, смена адреса – новое согласие.
|
|
8
|
+
Запрос идёт под теми же допуском (согласие действует, получение не остановлено, профиль включён, состав тот же) и
|
|
9
|
+
блокировками, что и обращение к модели (исполнитель настраивает клиент OSV так же, как клиент модели), по тем же
|
|
10
|
+
правилам адреса: https – класс external (глобальный адрес, закреплённое соединение), http – только адреса этого
|
|
11
|
+
компьютера (тесты). Обмен пишется в журнал обмена байт в байт (purpose research:osv). Ответ урезается: не больше
|
|
12
|
+
MAX_VULNS уязвимостей и MAX_CHARS знаков, у каждой – id, aliases, summary, published, modified, severity, affected
|
|
13
|
+
только по этому пакету (ranges; versions опущены), до MAX_REFS ссылок. Сбой запроса или ответ не по формату –
|
|
14
|
+
status error с причиной, строка исследуется дальше; повтора нет. Отказ допуска (SendNotAllowed) – наружу, как у
|
|
15
|
+
модели: получение останавливается. Запрос OSV бесплатен и не считается отправкой провайдеру: признак outcome.sent
|
|
16
|
+
он не ставит (строка после одного лишь запроса OSV при остановке возвращается в очередь)."""
|
|
17
|
+
from __future__ import annotations
|
|
18
|
+
|
|
19
|
+
import json
|
|
20
|
+
import re
|
|
21
|
+
import time
|
|
22
|
+
import urllib.parse
|
|
23
|
+
from typing import Any
|
|
24
|
+
|
|
25
|
+
from app.llm import LlmError, SendNotAllowed
|
|
26
|
+
from app.llm_http import track_sent
|
|
27
|
+
|
|
28
|
+
OSV_PATH = "/v1/query"
|
|
29
|
+
TIMEOUT_S = 20.0
|
|
30
|
+
MAX_VULNS = 40
|
|
31
|
+
MAX_REFS = 5
|
|
32
|
+
MAX_CHARS = 24_000
|
|
33
|
+
|
|
34
|
+
# экосистемы выгрузки (app/sca.py ECOSYSTEMS) → имена экосистем OSV; нет в словаре – unsupported. SwiftURL и Go
|
|
35
|
+
# требуют от OSV имени в виде адреса репозитория – короткие имена этих экосистем не поддерживаются (identity_kind).
|
|
36
|
+
OSV_ECOSYSTEMS: dict[str, str] = {
|
|
37
|
+
"maven": "Maven", "gradle": "Maven", "sbt": "Maven", "ivy": "Maven",
|
|
38
|
+
"npm": "npm", "yarn": "npm", "pnpm": "npm",
|
|
39
|
+
"pypi": "PyPI", "pip": "PyPI", "poetry": "PyPI",
|
|
40
|
+
"nuget": "NuGet", "go": "Go", "golang": "Go", "cargo": "crates.io", "crates": "crates.io",
|
|
41
|
+
"rubygems": "RubyGems", "gem": "RubyGems", "bundler": "RubyGems", "composer": "Packagist", "packagist": "Packagist",
|
|
42
|
+
"hex": "Hex", "pub": "Pub", "cran": "CRAN", "conan": "ConanCenter",
|
|
43
|
+
}
|
|
44
|
+
PREVIEW = {"status": "pending", "note": "ответ OSV на пару координаты/версия этой строки приложение запросит при "
|
|
45
|
+
"получении, до обращения к модели, и положит сюда"}
|
|
46
|
+
STATUSES = ("ok", "empty", "partial", "unsupported", "error")
|
|
47
|
+
|
|
48
|
+
|
|
49
|
+
def osv_ecosystem(ecosystem: Any) -> str | None:
|
|
50
|
+
return OSV_ECOSYSTEMS.get(str(ecosystem or "").strip().casefold())
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
def normalize_name(eco: str, name: str) -> str:
|
|
54
|
+
"""Имя пакета для сравнения по правилам экосистемы OSV: PyPI – нормализация PEP 503 (регистр, «-_.» → «-»);
|
|
55
|
+
crates.io – «_» и «-» равнозначны; NuGet – без учёта регистра; остальные – точное совпадение."""
|
|
56
|
+
text = str(name or "").strip()
|
|
57
|
+
if eco == "PyPI":
|
|
58
|
+
return re.sub(r"[-_.]+", "-", text).lower()
|
|
59
|
+
if eco == "crates.io":
|
|
60
|
+
return text.replace("_", "-")
|
|
61
|
+
if eco == "NuGet":
|
|
62
|
+
return text.lower()
|
|
63
|
+
return text
|
|
64
|
+
|
|
65
|
+
|
|
66
|
+
def query_for(row: dict[str, Any]) -> tuple[dict[str, Any] | None, str]:
|
|
67
|
+
"""Тело запроса OSV для строки задания и примечание. None – запрос не делается: экосистема вне перечня OSV,
|
|
68
|
+
координаты не разрешены (короткое имя Maven – identity_kind short_name) или нет имени/версии."""
|
|
69
|
+
eco = osv_ecosystem(row.get("ecosystem"))
|
|
70
|
+
name, version = str(row.get("component") or row.get("name") or "").strip(), str(row.get("version") or "").strip()
|
|
71
|
+
if eco is None:
|
|
72
|
+
return None, f"экосистема «{row.get('ecosystem')}» в OSV не поддерживается – запрос не делался"
|
|
73
|
+
if not name or not version:
|
|
74
|
+
return None, "нет имени или версии компонента – запрос не делался"
|
|
75
|
+
if str(row.get("identity_kind") or "") == "short_name":
|
|
76
|
+
return None, ("координаты не разрешены (короткое имя без groupId): точный запрос OSV до разрешения идентичности "
|
|
77
|
+
"не делался – пустой ответ по короткому имени ничего бы не доказывал")
|
|
78
|
+
note = ""
|
|
79
|
+
if eco == "Maven" and name.count(":") > 1:
|
|
80
|
+
name = ":".join(name.split(":")[:2])
|
|
81
|
+
note = "классификатор или тип артефакта отброшены: OSV ждёт groupId:artifactId"
|
|
82
|
+
return {"package": {"ecosystem": eco, "name": name}, "version": version}, note
|
|
83
|
+
|
|
84
|
+
|
|
85
|
+
def _same_package(affected: Any, eco: str, name: str) -> bool:
|
|
86
|
+
"""Относится ли блок affected к запрошенному пакету. Координаты пакета обязательны: нет объекта package или
|
|
87
|
+
в нём нет строковых ecosystem и name – принадлежность не установлена, это ошибка структуры записи (ValueError),
|
|
88
|
+
а не «другой пакет»."""
|
|
89
|
+
package = affected.get("package") if isinstance(affected, dict) else None
|
|
90
|
+
if not isinstance(package, dict) or not isinstance(package.get("ecosystem"), str) \
|
|
91
|
+
or not isinstance(package.get("name"), str) or not package["ecosystem"].strip() or not package["name"].strip():
|
|
92
|
+
raise ValueError("affected без координат пакета") # пустые координаты – не «другой пакет», а неизвестно чей
|
|
93
|
+
return package["ecosystem"].strip() == eco and normalize_name(eco, package["name"]) == normalize_name(eco, name)
|
|
94
|
+
|
|
95
|
+
|
|
96
|
+
def _str_list(value: Any, what: str) -> list[str]:
|
|
97
|
+
if value is None:
|
|
98
|
+
return []
|
|
99
|
+
if not isinstance(value, list) or not all(isinstance(x, str) for x in value):
|
|
100
|
+
raise ValueError(f"{what} – не список строк")
|
|
101
|
+
return value
|
|
102
|
+
|
|
103
|
+
|
|
104
|
+
def _entry(v: Any, eco: str, name: str) -> dict[str, Any]:
|
|
105
|
+
"""Урезанная запись уязвимости; неверная структура сохраняемых полей – ValueError (запись пропускается, это
|
|
106
|
+
считается потерей данных – статус partial)."""
|
|
107
|
+
if not isinstance(v, dict) or not isinstance(v.get("id"), str) or not v["id"].strip():
|
|
108
|
+
raise ValueError("запись без id")
|
|
109
|
+
aliases = _str_list(v.get("aliases"), "aliases")
|
|
110
|
+
affected_all = v.get("affected")
|
|
111
|
+
references = v.get("references")
|
|
112
|
+
if affected_all is None:
|
|
113
|
+
affected_all = []
|
|
114
|
+
if references is None:
|
|
115
|
+
references = []
|
|
116
|
+
if not isinstance(affected_all, list) or not all(isinstance(a, dict) for a in affected_all):
|
|
117
|
+
raise ValueError("affected – не список объектов")
|
|
118
|
+
if not isinstance(references, list) or not all(isinstance(r, dict) for r in references):
|
|
119
|
+
raise ValueError("references – не список объектов")
|
|
120
|
+
item: dict[str, Any] = {"id": v["id"], "aliases": aliases, "summary": str(v.get("summary") or "")}
|
|
121
|
+
for key in ("published", "modified"):
|
|
122
|
+
if v.get(key) is not None:
|
|
123
|
+
if not isinstance(v[key], str):
|
|
124
|
+
raise ValueError(f"{key} – не строка")
|
|
125
|
+
item[key] = v[key]
|
|
126
|
+
severity = v.get("severity")
|
|
127
|
+
if severity is not None:
|
|
128
|
+
if not isinstance(severity, list) or not all(
|
|
129
|
+
isinstance(x, dict) and isinstance(x.get("type"), str) and isinstance(x.get("score"), str) for x in severity):
|
|
130
|
+
raise ValueError("severity – не список объектов {type, score}")
|
|
131
|
+
item["severity"] = [{"type": x["type"], "score": x["score"]} for x in severity]
|
|
132
|
+
affected = []
|
|
133
|
+
for a in affected_all:
|
|
134
|
+
if not _same_package(a, eco, name):
|
|
135
|
+
continue
|
|
136
|
+
ranges = a.get("ranges")
|
|
137
|
+
if ranges is None:
|
|
138
|
+
ranges = []
|
|
139
|
+
if not isinstance(ranges, list):
|
|
140
|
+
raise ValueError("ranges – не список")
|
|
141
|
+
kept_ranges = []
|
|
142
|
+
for r in ranges: # по схеме OSV: {type, events: [{introduced|fixed|last_affected|limit: версия}], repo?}
|
|
143
|
+
events = r.get("events") if isinstance(r, dict) else None
|
|
144
|
+
if not isinstance(r, dict) or not isinstance(r.get("type"), str) or not isinstance(events, list) \
|
|
145
|
+
or not all(isinstance(e, dict) and all(isinstance(k, str) and isinstance(val, str) for k, val in e.items())
|
|
146
|
+
for e in events):
|
|
147
|
+
raise ValueError("ranges[] – не объект {type, events[]}")
|
|
148
|
+
entry = {"type": r["type"], "events": events}
|
|
149
|
+
if "repo" in r and r["repo"] is not None:
|
|
150
|
+
if not isinstance(r["repo"], str):
|
|
151
|
+
raise ValueError("ranges[].repo – не строка")
|
|
152
|
+
entry["repo"] = r["repo"]
|
|
153
|
+
kept_ranges.append(entry)
|
|
154
|
+
affected.append({"ranges": kept_ranges})
|
|
155
|
+
item["affected"] = affected
|
|
156
|
+
refs = []
|
|
157
|
+
for r in references:
|
|
158
|
+
url = r.get("url")
|
|
159
|
+
if url is not None and not isinstance(url, str):
|
|
160
|
+
raise ValueError("references[].url – не строка")
|
|
161
|
+
if url:
|
|
162
|
+
refs.append(url)
|
|
163
|
+
item["references"] = refs[:MAX_REFS]
|
|
164
|
+
return item
|
|
165
|
+
|
|
166
|
+
|
|
167
|
+
def _size(items: list[dict[str, Any]]) -> int:
|
|
168
|
+
return len(json.dumps(items, ensure_ascii=False))
|
|
169
|
+
|
|
170
|
+
|
|
171
|
+
def _fit(items: list[dict[str, Any]]) -> tuple[list[dict[str, Any]], bool]:
|
|
172
|
+
"""Отрезать хвост списка, пока сериализация не уложится в MAX_CHARS: размер каждой записи считается один раз,
|
|
173
|
+
сумма – арифметикой (скобки и запятые), без повторной сериализации на каждом шаге."""
|
|
174
|
+
sizes = [len(json.dumps(item, ensure_ascii=False)) for item in items]
|
|
175
|
+
keep = len(items)
|
|
176
|
+
# сериализация списка: «[» + записи через «, » (два знака) + «]» – ровно как json.dumps без separators
|
|
177
|
+
while keep and sum(sizes[:keep]) + 2 + 2 * max(0, keep - 1) > MAX_CHARS:
|
|
178
|
+
keep -= 1
|
|
179
|
+
return items[:keep], keep < len(items)
|
|
180
|
+
|
|
181
|
+
|
|
182
|
+
def trim(data: Any, eco: str, name: str) -> dict[str, Any]:
|
|
183
|
+
"""Разбор ответа OSV: {"status": ok|empty|partial, "vulns": урезанный список, "total": сколько прислал OSV,
|
|
184
|
+
"skipped": записей с неверной структурой, "partial": есть продолжение (next_page_token), "note": примечание}.
|
|
185
|
+
empty – только чистый пустой ответ ({} или пустой vulns); любая потеря (пропущенные записи, предел числа или
|
|
186
|
+
размера, продолжение) – partial. Ответ не по формату (не объект, объект без vulns, но с другими полями, vulns не
|
|
187
|
+
список, все записи негодные) – ValueError."""
|
|
188
|
+
if not isinstance(data, dict):
|
|
189
|
+
raise ValueError("ответ OSV – не объект JSON")
|
|
190
|
+
if "vulns" not in data and set(data) - {"next_page_token"}:
|
|
191
|
+
raise ValueError("в ответе OSV нет поля vulns") # {} и страница только с токеном продолжения – допустимы
|
|
192
|
+
raw = data.get("vulns")
|
|
193
|
+
if raw is None:
|
|
194
|
+
raw = []
|
|
195
|
+
if not isinstance(raw, list):
|
|
196
|
+
raise ValueError("поле vulns ответа OSV – не список")
|
|
197
|
+
total = len(raw)
|
|
198
|
+
valid: list[dict[str, Any]] = []
|
|
199
|
+
skipped = 0
|
|
200
|
+
for v in raw[:MAX_VULNS]:
|
|
201
|
+
try:
|
|
202
|
+
valid.append(_entry(v, eco, name))
|
|
203
|
+
except ValueError:
|
|
204
|
+
skipped += 1
|
|
205
|
+
if total and not valid:
|
|
206
|
+
raise ValueError(f"все просмотренные записи ответа OSV не по формату ({skipped} из {total})")
|
|
207
|
+
out, cut_by_size = _fit(list(valid))
|
|
208
|
+
ids_only = False
|
|
209
|
+
if not out and valid: # ни одна полная запись не помещается – идентификаторы проверенных записей, тоже под предел
|
|
210
|
+
ids_only = True
|
|
211
|
+
out, _ = _fit([{"id": v["id"], "aliases": v["aliases"][:10]} for v in valid])
|
|
212
|
+
if not out:
|
|
213
|
+
out, _ = _fit([{"id": valid[0]["id"]}])
|
|
214
|
+
if not out: # даже один идентификатор не помещается: обрезать его нельзя – это другое значение
|
|
215
|
+
raise ValueError(f"идентификатор первой записи длиннее предела {MAX_CHARS} знаков")
|
|
216
|
+
token = data.get("next_page_token")
|
|
217
|
+
if token is not None and not isinstance(token, str):
|
|
218
|
+
raise ValueError("next_page_token – не строка") # неверный тип – не «нет продолжения», а ответ не по формату
|
|
219
|
+
partial_page = bool(token)
|
|
220
|
+
notes: list[str] = []
|
|
221
|
+
if len(out) < total:
|
|
222
|
+
reason = " (остальные не помещаются в предел размера)" if cut_by_size or ids_only else ""
|
|
223
|
+
notes.append(f"показаны {len(out)} из {total} уязвимостей{reason}")
|
|
224
|
+
if ids_only:
|
|
225
|
+
notes.append(f"показаны только идентификаторы: подробности не помещаются в {MAX_CHARS} знаков")
|
|
226
|
+
if skipped:
|
|
227
|
+
notes.append(f"записей с неверной структурой пропущено: {skipped}")
|
|
228
|
+
if partial_page:
|
|
229
|
+
notes.append("у OSV есть продолжение ответа (next_page_token), показана первая страница")
|
|
230
|
+
lossy = skipped > 0 or len(out) < total or ids_only or partial_page
|
|
231
|
+
status = "partial" if lossy else ("ok" if out else "empty")
|
|
232
|
+
return {"status": status, "vulns": out, "total": total, "skipped": skipped, "partial": partial_page,
|
|
233
|
+
"note": "; ".join(notes)}
|
|
234
|
+
|
|
235
|
+
|
|
236
|
+
def make_client(url: str) -> Any:
|
|
237
|
+
"""Клиент OSV: тот же транспорт, что у внешних провайдеров (закреплённое соединение, правила адресов); класс
|
|
238
|
+
доверия – по адресу: https – external (глобальный адрес), иначе local (адреса этого компьютера, тесты). Допуск
|
|
239
|
+
(admission, before_send) и блокировки (gate) исполнитель ставит те же, что у клиента модели."""
|
|
240
|
+
from app.llm_chat import ChatCompletionsClient
|
|
241
|
+
client = ChatCompletionsClient(url, timeout=TIMEOUT_S)
|
|
242
|
+
client.trust = "external" if urllib.parse.urlsplit(url).scheme.lower() == "https" else "local"
|
|
243
|
+
client.provider = {"name": "OSV", "trust": client.trust}
|
|
244
|
+
client.strict_body = True # пустое тело ответа – сбой (status error), а не «OSV уязвимостей не знает»
|
|
245
|
+
client.affiliation_mask = False # OSV – не модель: имена пакетов уходят как есть (ADR-0118)
|
|
246
|
+
return client
|
|
247
|
+
|
|
248
|
+
|
|
249
|
+
def lookup(url: str, row: dict[str, Any], client: Any = None) -> dict[str, Any]:
|
|
250
|
+
"""Ответ OSV для строки: {"status": ok|empty|partial|unsupported|error, "query", "vulns", "note", "sent",
|
|
251
|
+
"seconds"}. Сети нет при unsupported; ошибка или ответ не по формату – error без повтора; отказ допуска
|
|
252
|
+
(SendNotAllowed) – наружу."""
|
|
253
|
+
started = time.monotonic()
|
|
254
|
+
query, note = query_for(row)
|
|
255
|
+
if query is None:
|
|
256
|
+
return {"status": "unsupported", "query": None, "vulns": [], "note": note, "sent": False, "seconds": 0.0}
|
|
257
|
+
result: dict[str, Any] = {"status": "error", "query": query, "vulns": [], "note": note, "sent": False, "seconds": 0.0}
|
|
258
|
+
try:
|
|
259
|
+
client = client or make_client(url)
|
|
260
|
+
with track_sent() as tracker:
|
|
261
|
+
try:
|
|
262
|
+
data = client.post_json(OSV_PATH, query, TIMEOUT_S)
|
|
263
|
+
finally:
|
|
264
|
+
result["sent"] = bool(tracker.sent)
|
|
265
|
+
parsed = trim(data, query["package"]["ecosystem"], query["package"]["name"])
|
|
266
|
+
status = parsed["status"]
|
|
267
|
+
notes = [n for n in (note, parsed["note"]) if n]
|
|
268
|
+
if status == "empty":
|
|
269
|
+
notes.append("уязвимостей для этой пары OSV не знает")
|
|
270
|
+
result.update(status=status, vulns=parsed["vulns"], note="; ".join(notes))
|
|
271
|
+
except SendNotAllowed:
|
|
272
|
+
raise
|
|
273
|
+
except LlmError as e:
|
|
274
|
+
result["note"] = "; ".join(n for n in (note, f"запрос OSV не удался: {e}"[:500]) if n)
|
|
275
|
+
except (ValueError, TypeError, AttributeError) as e:
|
|
276
|
+
result["note"] = "; ".join(n for n in (note, f"ответ OSV не по формату: {e}"[:300]) if n)
|
|
277
|
+
finally:
|
|
278
|
+
result["seconds"] = round(time.monotonic() - started, 3)
|
|
279
|
+
return result
|
|
@@ -0,0 +1,189 @@
|
|
|
1
|
+
"""Идентичность пакета SCA – из сведений Hub о библиотеке (бэклог 92, план dev17, п. 3 и 4.2).
|
|
2
|
+
|
|
3
|
+
Эффективная идентичность пакета – тройка (экосистема, имя, версия). Экосистема и имя определяются по объекту
|
|
4
|
+
`detail.library = {groupId, name, version, …}` из принятого состояния Hub текущего назначения; колонка Type и имя
|
|
5
|
+
компонента выгрузки – запасной источник. Версия всегда из находки: она входит в ключи и задание, расхождение с
|
|
6
|
+
`library.version` только отмечается.
|
|
7
|
+
|
|
8
|
+
Правило – чистая функция `resolve`. Строки таблицы правила (T – экосистема по Type, G – groupId с раскрытым `%40`,
|
|
9
|
+
N – library.name, C – компонент выгрузки):
|
|
10
|
+
|
|
11
|
+
1. нет `library` – (T, C), источник `file`;
|
|
12
|
+
2. N пусто – (T, C), `file`, пометка `no_name`;
|
|
13
|
+
3. T ∈ {пусто, maven, npm}, G – область npm (`@…`) – npm: N без области → G/N; N с той же областью → N; с другой
|
|
14
|
+
областью → N как есть и `scope_conflict:G`;
|
|
15
|
+
4. T ∈ {пусто, maven, npm}, G непусто и не область – maven: N без «:» → G:N; N, начинающееся с «G:», → N; N с
|
|
16
|
+
другой группой → N как есть и `group_conflict:G`;
|
|
17
|
+
5. T ∈ {пусто, maven, npm}, G пусто – (T, N), `hub`; при N ≠ C – `name_replaced:C`;
|
|
18
|
+
6. T – другая известная экосистема – (T, C), `file`; при непустом G – `rule_missing:T:G`;
|
|
19
|
+
у всех строк с `library`: непустая `library.version`, не равная версии находки, – `version_mismatch:<версия>`.
|
|
20
|
+
|
|
21
|
+
Пустое имя не синтезируется в `@scope/` или `G:`; имя, уже содержащее область или группу, повторно не дополняется.
|
|
22
|
+
"""
|
|
23
|
+
|
|
24
|
+
from __future__ import annotations
|
|
25
|
+
|
|
26
|
+
import json
|
|
27
|
+
from dataclasses import dataclass, field
|
|
28
|
+
from typing import Any, Mapping
|
|
29
|
+
from urllib.parse import unquote
|
|
30
|
+
|
|
31
|
+
from app.ecosystem import canon_ecosystem
|
|
32
|
+
|
|
33
|
+
SOURCES = ("", "file", "hub")
|
|
34
|
+
# экосистемы, для которых правило проверено на данных (план dev17, п. 2)
|
|
35
|
+
RULED = frozenset(("", "maven", "npm"))
|
|
36
|
+
|
|
37
|
+
|
|
38
|
+
@dataclass(frozen=True)
|
|
39
|
+
class Package:
|
|
40
|
+
"""Итог правила: экосистема и имя пакета, источник (`file` | `hub`) и пометки (коды, порядок – по правилу)."""
|
|
41
|
+
|
|
42
|
+
ecosystem: str
|
|
43
|
+
name: str
|
|
44
|
+
source: str
|
|
45
|
+
notes: tuple[str, ...] = field(default_factory=tuple)
|
|
46
|
+
|
|
47
|
+
@property
|
|
48
|
+
def note(self) -> str:
|
|
49
|
+
"""Пометки для колонки `findings.pkg_note` – через «;»."""
|
|
50
|
+
return ";".join(self.notes)
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
def _text(value: Any) -> str:
|
|
54
|
+
return str(value).strip() if value is not None else ""
|
|
55
|
+
|
|
56
|
+
|
|
57
|
+
def resolve(build_type: Any, component: Any, version: Any, library: Mapping[str, Any] | None) -> Package:
|
|
58
|
+
"""Правило п. 3 плана dev17 – по Type выгрузки, компоненту и версии находки и объекту `library` Hub (или None)."""
|
|
59
|
+
t = canon_ecosystem(build_type)
|
|
60
|
+
c = _text(component)
|
|
61
|
+
if not isinstance(library, Mapping):
|
|
62
|
+
return Package(t, c, "file")
|
|
63
|
+
g = unquote(_text(library.get("groupId")))
|
|
64
|
+
n = _text(library.get("name"))
|
|
65
|
+
lib_version = _text(library.get("version"))
|
|
66
|
+
tail = (f"version_mismatch:{lib_version}",) if lib_version and lib_version != _text(version) else ()
|
|
67
|
+
if not n:
|
|
68
|
+
return Package(t, c, "file", ("no_name",) + tail)
|
|
69
|
+
if t not in RULED:
|
|
70
|
+
return Package(t, c, "file", ((f"rule_missing:{t}:{g}",) if g else ()) + tail)
|
|
71
|
+
if g.startswith("@"):
|
|
72
|
+
if not n.startswith("@"):
|
|
73
|
+
return Package("npm", f"{g}/{n}", "hub", tail)
|
|
74
|
+
if n.split("/", 1)[0] == g:
|
|
75
|
+
return Package("npm", n, "hub", tail)
|
|
76
|
+
return Package("npm", n, "hub", (f"scope_conflict:{g}",) + tail)
|
|
77
|
+
if g:
|
|
78
|
+
if ":" not in n:
|
|
79
|
+
return Package("maven", f"{g}:{n}", "hub", tail)
|
|
80
|
+
if n.startswith(f"{g}:"):
|
|
81
|
+
return Package("maven", n, "hub", tail)
|
|
82
|
+
return Package("maven", n, "hub", (f"group_conflict:{g}",) + tail)
|
|
83
|
+
return Package(t, n, "hub", ((f"name_replaced:{c}",) if n != c else ()) + tail)
|
|
84
|
+
|
|
85
|
+
|
|
86
|
+
def of(data: Mapping[str, Any] | None) -> tuple[str, str, str]:
|
|
87
|
+
"""Эффективная тройка (экосистема, имя, версия) по данным находки с ключом `package` (`with_package`): источник
|
|
88
|
+
`hub` – колонки `pkg_*`; иначе – Type и компонент выгрузки."""
|
|
89
|
+
data = data or {}
|
|
90
|
+
pkg = data.get("package") or {}
|
|
91
|
+
# строки выгрузки – как их читал прежний код (str без обрезки): без сведений Hub тройка, ключи и отпечатки
|
|
92
|
+
# байт в байт прежние (ревью Kimi, шаг 3)
|
|
93
|
+
version = str(data.get("version") or "")
|
|
94
|
+
if pkg.get("source") == "hub":
|
|
95
|
+
return _text(pkg.get("ecosystem")), _text(pkg.get("name")), version
|
|
96
|
+
return canon_ecosystem(data.get("build_type")), str(data.get("component") or ""), version
|
|
97
|
+
|
|
98
|
+
|
|
99
|
+
def name_of(data: Mapping[str, Any] | None) -> str:
|
|
100
|
+
"""Эффективное имя пакета."""
|
|
101
|
+
return of(data)[1]
|
|
102
|
+
|
|
103
|
+
|
|
104
|
+
def marks(data: Mapping[str, Any] | None) -> list[str]:
|
|
105
|
+
"""Коды пометок `pkg_note` находки (пусто – пометок нет)."""
|
|
106
|
+
note = _text(((data or {}).get("package") or {}).get("note"))
|
|
107
|
+
return [part for part in note.split(";") if part]
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
MARK_LABELS = {"ecosystem": "экосистема уточнена по Hub", "coordinates": "координаты дополнены по Hub",
|
|
111
|
+
"name": "имя по Hub", "conflict": "область (группа) не совпадает с groupId Hub",
|
|
112
|
+
"rule_missing": "правило для экосистемы не задано", "no_name": "нет имени библиотеки",
|
|
113
|
+
"version": "версия по Hub другая"}
|
|
114
|
+
|
|
115
|
+
|
|
116
|
+
def mark_items(data: Mapping[str, Any] | None) -> list[tuple[str, str]]:
|
|
117
|
+
"""Пометки для оператора (план dev17, п. 4.6) – пары (вид из MARK_LABELS, текст): чем эффективная идентичность
|
|
118
|
+
отличается от выгрузки и что сказано в `pkg_note`. Без сведений Hub и без пометок – пустой список."""
|
|
119
|
+
data = data or {}
|
|
120
|
+
pkg = data.get("package") or {}
|
|
121
|
+
codes = marks(data)
|
|
122
|
+
out: list[tuple[str, str]] = []
|
|
123
|
+
if pkg.get("source") == "hub":
|
|
124
|
+
exported_eco, exported = canon_ecosystem(data.get("build_type")), _text(data.get("component"))
|
|
125
|
+
eco, name = _text(pkg.get("ecosystem")), _text(pkg.get("name"))
|
|
126
|
+
if eco != exported_eco:
|
|
127
|
+
out.append(("ecosystem", f"экосистема уточнена по Hub: в выгрузке – {exported_eco or 'не указана'}"))
|
|
128
|
+
replaced = any(code.startswith("name_replaced:") for code in codes)
|
|
129
|
+
if name != exported and not replaced:
|
|
130
|
+
if exported and name.endswith((f":{exported}", f"/{exported}")):
|
|
131
|
+
out.append(("coordinates", f"координаты дополнены по Hub: в выгрузке – {exported}"))
|
|
132
|
+
else: # имя по Hub другое и при непустом groupId (ревью Codex, круг 3)
|
|
133
|
+
out.append(("name", f"имя по Hub: в выгрузке – {exported or 'не указано'}"))
|
|
134
|
+
for code in codes:
|
|
135
|
+
kind, _, rest = code.partition(":")
|
|
136
|
+
if kind == "name_replaced":
|
|
137
|
+
out.append(("name", f"имя по Hub: в выгрузке – {rest}"))
|
|
138
|
+
elif kind in ("scope_conflict", "group_conflict"):
|
|
139
|
+
out.append(("conflict", f"область (группа) в имени не совпадает с groupId Hub ({rest})"))
|
|
140
|
+
elif kind == "rule_missing":
|
|
141
|
+
eco, _, group = rest.partition(":")
|
|
142
|
+
out.append(("rule_missing", f"у Hub есть groupId ({group}), правило для {eco} не задано"))
|
|
143
|
+
elif kind == "no_name":
|
|
144
|
+
out.append(("no_name", "в сведениях Hub нет имени библиотеки"))
|
|
145
|
+
elif kind == "version_mismatch":
|
|
146
|
+
out.append(("version", f"версия по Hub – {rest}"))
|
|
147
|
+
return out
|
|
148
|
+
|
|
149
|
+
|
|
150
|
+
def mark_texts(data: Mapping[str, Any] | None) -> list[str]:
|
|
151
|
+
"""Тексты пометок для оператора (план dev17, п. 4.6)."""
|
|
152
|
+
return [text for _, text in mark_items(data)]
|
|
153
|
+
|
|
154
|
+
|
|
155
|
+
PKG_COLUMNS = ("pkg_ecosystem", "pkg_name", "pkg_source", "pkg_note", "pkg_scope")
|
|
156
|
+
|
|
157
|
+
|
|
158
|
+
def package_of_row(row: Mapping[str, Any]) -> dict[str, str]:
|
|
159
|
+
"""Колонки `pkg_*` строки `findings` -> словарь `package` (ключи без префикса); колонок нет – пустые значения."""
|
|
160
|
+
return {col[len("pkg_"):]: _text(row.get(col)) for col in PKG_COLUMNS}
|
|
161
|
+
|
|
162
|
+
|
|
163
|
+
def with_package(row: Mapping[str, Any], data: Mapping[str, Any] | None = None) -> dict[str, Any]:
|
|
164
|
+
"""Данные находки с ключом `package` по колонкам `pkg_*` строки (план dev17, п. 4.2: `with_package(row) -> data`):
|
|
165
|
+
для чтений с явным SELECT. Данные – `data`, иначе разобранный `row["data"]` или `row["data_json"]`. Исходные
|
|
166
|
+
словари не меняются."""
|
|
167
|
+
if data is None:
|
|
168
|
+
raw = row.get("data")
|
|
169
|
+
if raw is None:
|
|
170
|
+
raw = row.get("data_json")
|
|
171
|
+
if isinstance(raw, str):
|
|
172
|
+
try:
|
|
173
|
+
raw = json.loads(raw)
|
|
174
|
+
except ValueError:
|
|
175
|
+
raw = {}
|
|
176
|
+
data = raw if isinstance(raw, Mapping) else {}
|
|
177
|
+
return {**data, "package": package_of_row(row)}
|
|
178
|
+
|
|
179
|
+
|
|
180
|
+
def display_name(data: Mapping[str, Any] | None) -> str:
|
|
181
|
+
"""Короткое имя для текстов Hub (заголовок дефекта – прежний): у Maven с
|
|
182
|
+
координатами – artifactId без группы (`spring-core`), у остальных – эффективное имя (`@angular/core`)."""
|
|
183
|
+
ecosystem, name, _ = of(data)
|
|
184
|
+
# без сведений Hub – компонент выгрузки как есть: заголовки и тексты существующих дефектов не меняются
|
|
185
|
+
if ((data or {}).get("package") or {}).get("source") != "hub":
|
|
186
|
+
return name
|
|
187
|
+
if ecosystem == "maven" and ":" in name:
|
|
188
|
+
return name.rsplit(":", 1)[1] or name
|
|
189
|
+
return name
|