local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/app/config.py
ADDED
|
@@ -0,0 +1,411 @@
|
|
|
1
|
+
"""Настройки приложения.
|
|
2
|
+
|
|
3
|
+
Переменные окружения задают то, что относится к запуску: папки данных и репозиториев, порт, имена хоста, пределы.
|
|
4
|
+
Настройки работы (адрес Ollama, модель по умолчанию, статусы Hub, порог срочности SCA) меняются в интерфейсе
|
|
5
|
+
и хранятся в базе (таблица settings): переменные окружения дают им только начальные значения при первом запуске
|
|
6
|
+
(Database.seed_settings), а действующие значения – Settings.with_stored(значения из базы).
|
|
7
|
+
|
|
8
|
+
Значения по умолчанию рассчитаны на запуск в контейнере (docker-compose.yml): данные в /data, клоны
|
|
9
|
+
репозиториев в /repos (только чтение), Ollama на хосте через host.docker.internal.
|
|
10
|
+
"""
|
|
11
|
+
|
|
12
|
+
from __future__ import annotations
|
|
13
|
+
|
|
14
|
+
import dataclasses
|
|
15
|
+
import json
|
|
16
|
+
import math
|
|
17
|
+
import os
|
|
18
|
+
import urllib.parse
|
|
19
|
+
import re
|
|
20
|
+
from collections.abc import Mapping
|
|
21
|
+
from dataclasses import dataclass, field
|
|
22
|
+
from pathlib import Path
|
|
23
|
+
from typing import Any
|
|
24
|
+
|
|
25
|
+
VERDICTS = ("true_positive", "false_positive", "uncertain")
|
|
26
|
+
# Итоги разбора, у которых есть статус Hub: вердикты и отдельное решение человека «Риск принят» (модель его
|
|
27
|
+
# не предлагает, ADR 0024)
|
|
28
|
+
HUB_OUTCOMES = (*VERDICTS, "risk_accepted")
|
|
29
|
+
|
|
30
|
+
# Статусы AppSec.Hub по итогу разбора – так, как их показывает интерфейс Hub. Значения по умолчанию; меняются
|
|
31
|
+
# на странице «Настройки». «Открыто» и «Исправлено» – жизненный цикл находки, при триаже не выбираются.
|
|
32
|
+
DEFAULT_STATUS_MAP = {
|
|
33
|
+
"true_positive": "Подтверждено",
|
|
34
|
+
"false_positive": "Ложное срабатывание",
|
|
35
|
+
"uncertain": "Не подтверждено",
|
|
36
|
+
"risk_accepted": "Риск принят",
|
|
37
|
+
}
|
|
38
|
+
# Модель по умолчанию – по замеру на наборе с известными ответами (ADR 0026, docs/model-benchmark.md). Режим
|
|
39
|
+
# рассуждения low приложение передаёт gpt-oss само (llm.is_gpt_oss).
|
|
40
|
+
DEFAULT_MODEL = "gpt-oss:20b"
|
|
41
|
+
# Единственное место выбора режима по умолчанию после замера модели.
|
|
42
|
+
DEFAULT_MODEL_JSON_SCHEMA = "always"
|
|
43
|
+
# Модель по умолчанию версий до 0.3.5: остаётся в базах установок, где её выбрали
|
|
44
|
+
LEGACY_DEFAULT_MODEL = "qwen2.5-coder:14b"
|
|
45
|
+
|
|
46
|
+
# Имена хостов, по которым открывается интерфейс (защита от подмены DNS). Порт опубликован только на 127.0.0.1.
|
|
47
|
+
DEFAULT_TRUSTED_HOSTS = ("127.0.0.1", "localhost", "::1")
|
|
48
|
+
|
|
49
|
+
# Настройки, которые меняются в интерфейсе и хранятся в базе (ключи таблицы settings)
|
|
50
|
+
EDITABLE_SETTINGS = ("ollama_url", "default_model", "hub_status_map", "sca_urgent_cvss", "team_name",
|
|
51
|
+
"sca_internal_prefixes", "hub_url", "affiliation_words")
|
|
52
|
+
# Настройки, которые хранятся в базе, но не заполняются из окружения при первом запуске: профили провайдеров по
|
|
53
|
+
# умолчанию для двух назначений (ADR-0102) – их создаёт db.ensure_default_profile вместе с профилем 1
|
|
54
|
+
STORED_SETTINGS = ("default_provider_id", "default_research_provider_id")
|
|
55
|
+
MAX_URL = 300
|
|
56
|
+
MAX_MODEL_NAME = 200
|
|
57
|
+
MAX_STATUS = 100
|
|
58
|
+
MAX_TEAM_NAME = 100
|
|
59
|
+
MAX_PREFIXES = 50 # префиксов внутренних компонентов SCA
|
|
60
|
+
MAX_PREFIX = 100
|
|
61
|
+
MAX_AFFILIATION_WORDS = 200 # слов принадлежности (ADR-0118)
|
|
62
|
+
# слово принадлежности: буквы любого алфавита, 2–50, в конце допустима «*» (совпадение по началу слова)
|
|
63
|
+
AFFILIATION_WORD = re.compile(r"[^\W\d_]{2,50}\*?")
|
|
64
|
+
|
|
65
|
+
|
|
66
|
+
class ConfigError(ValueError):
|
|
67
|
+
"""Неверное значение настройки или переменной окружения. Текст – по-русски, с именем настройки."""
|
|
68
|
+
|
|
69
|
+
|
|
70
|
+
@dataclass(frozen=True)
|
|
71
|
+
class Settings:
|
|
72
|
+
data_dir: Path = Path("/data")
|
|
73
|
+
tmp_root: Path | None = None
|
|
74
|
+
repos_root: Path = Path("/repos")
|
|
75
|
+
ollama_url: str = "http://host.docker.internal:11434"
|
|
76
|
+
default_model: str = DEFAULT_MODEL
|
|
77
|
+
max_upload_mb: int = 50
|
|
78
|
+
hub_status_map: dict[str, str] = field(default_factory=lambda: dict(DEFAULT_STATUS_MAP))
|
|
79
|
+
sca_urgent_cvss: float = 9.0
|
|
80
|
+
num_ctx: int = 16384 # окно контекста модели, токенов (MODEL_NUM_CTX)
|
|
81
|
+
trusted_hosts: tuple[str, ...] = DEFAULT_TRUSTED_HOSTS
|
|
82
|
+
# Та же папка с репозиториями, как её видит пользователь на своём компьютере (REPOS_ROOT_HOST): в контейнере
|
|
83
|
+
# она подключена как /repos, а подсказки «куда клонировать» нужны с путём хоста. Пусто – показывается repos_root.
|
|
84
|
+
repos_root_host: str = ""
|
|
85
|
+
# Подключена ли демо-папка приложения examples/demo/repos (REPOS_ROOT_IS_DEMO от start.ps1, бэклог 94): "1" – да,
|
|
86
|
+
# "0" – нет, "" – источник не определён (запуск без скрипта). Только по нему – предупреждение «Демонстрационные
|
|
87
|
+
# репозитории»: папки демо-комплекта в рабочем корне признаком демо не считаются.
|
|
88
|
+
repos_root_is_demo: str = ""
|
|
89
|
+
# Название команды в тексте дефекта для Hub («команда <название> приняла решение…»); пусто – без названия
|
|
90
|
+
team_name: str = ""
|
|
91
|
+
# Префиксы имён внутренних компонентов SCA (свои библиотеки организации): в пакет для внешних агентов
|
|
92
|
+
# они не попадают
|
|
93
|
+
sca_internal_prefixes: tuple[str, ...] = ()
|
|
94
|
+
# Журнал обмена с моделью (MODEL_TRAFFIC_LOG): «on» – писать в папку model_traffic_dir, «off» – не писать
|
|
95
|
+
model_traffic_log: str = "on"
|
|
96
|
+
model_json_schema: str = DEFAULT_MODEL_JSON_SCHEMA
|
|
97
|
+
osv_url: str = "https://api.osv.dev" # точный запрос OSV перед исследованием провайдером (ADR-0112); «» – выключен
|
|
98
|
+
# Слова принадлежности (ADR-0118): название организации, сокращение, город, домен – перед отправкой модели
|
|
99
|
+
# заменяются на «org»/«орг» в любом запросе (app/affiliation.py); «*» в конце – совпадение по началу слова
|
|
100
|
+
affiliation_words: tuple[str, ...] = ()
|
|
101
|
+
# Адрес AppSec.Hub (https://host) для исполнителя и ссылок на дефекты (ADR-0114); «» – запись в Hub выключена.
|
|
102
|
+
# Сейчас запросы выполняет исполнитель там, где Hub виден; прямой режим (основной,
|
|
103
|
+
# ADR-0129) ещё не сделан
|
|
104
|
+
hub_url: str = ""
|
|
105
|
+
|
|
106
|
+
# Режим обслуживания (TRIAGE_MAINTENANCE=1, ADR-0128, п. 6.6): чтение без фоновых обработчиков и записей
|
|
107
|
+
maintenance: bool = False
|
|
108
|
+
|
|
109
|
+
# Учебный стенд, поставленный через npm (TRIAGE_STAND=npm, ADR-0155): приложение запущено обёрткой без Docker,
|
|
110
|
+
# Hub выключен на стороне сервера; «» – обычная установка (Docker или режим разработки). TRIAGE_STAND_TOKEN –
|
|
111
|
+
# идентификатор запуска стенда для /healthz: по нему обёртка узнаёт свой процесс на порту
|
|
112
|
+
stand: str = ""
|
|
113
|
+
stand_token: str = ""
|
|
114
|
+
|
|
115
|
+
# Профили провайдеров по умолчанию (ADR-0102): разбор кода и исследование компонентов; 1 – профиль из
|
|
116
|
+
# «Адреса Ollama» и «Модели по умолчанию»
|
|
117
|
+
default_provider_id: int = 1
|
|
118
|
+
default_research_provider_id: int = 1
|
|
119
|
+
|
|
120
|
+
@property
|
|
121
|
+
def db_path(self) -> Path:
|
|
122
|
+
return self.data_dir / "triage.db"
|
|
123
|
+
|
|
124
|
+
@property
|
|
125
|
+
def tmp_dir(self) -> Path:
|
|
126
|
+
"""Копии загрузок на время разбора: вне папки данных (ADR-0133). В контейнере – том /scratch (TMP_DIR)."""
|
|
127
|
+
return self.tmp_root or self.data_dir.parent / f"{self.data_dir.name}-tmp"
|
|
128
|
+
|
|
129
|
+
@property
|
|
130
|
+
def model_traffic_dir(self) -> Path:
|
|
131
|
+
return self.data_dir / "model-traffic"
|
|
132
|
+
|
|
133
|
+
@property
|
|
134
|
+
def max_upload_bytes(self) -> int:
|
|
135
|
+
return self.max_upload_mb * 1024 * 1024
|
|
136
|
+
|
|
137
|
+
def editable(self) -> dict[str, Any]:
|
|
138
|
+
"""Настройки из интерфейса (EDITABLE_SETTINGS) с текущими значениями – для первого заполнения базы."""
|
|
139
|
+
return {"ollama_url": self.ollama_url, "default_model": self.default_model,
|
|
140
|
+
"hub_status_map": dict(self.hub_status_map), "sca_urgent_cvss": self.sca_urgent_cvss,
|
|
141
|
+
"team_name": self.team_name, "sca_internal_prefixes": list(self.sca_internal_prefixes),
|
|
142
|
+
"hub_url": self.hub_url, "affiliation_words": list(self.affiliation_words)}
|
|
143
|
+
|
|
144
|
+
def with_stored(self, stored: Mapping[str, Any]) -> Settings:
|
|
145
|
+
"""Действующие настройки: сохранённые в базе значения поверх значений из переменных окружения.
|
|
146
|
+
Испорченное значение в базе пропускается – действует значение из окружения."""
|
|
147
|
+
changes = {}
|
|
148
|
+
for key in EDITABLE_SETTINGS + STORED_SETTINGS:
|
|
149
|
+
if key not in stored:
|
|
150
|
+
continue
|
|
151
|
+
try:
|
|
152
|
+
changes[key] = normalize_setting(key, stored[key])
|
|
153
|
+
except ConfigError:
|
|
154
|
+
continue
|
|
155
|
+
return dataclasses.replace(self, **changes) if changes else self
|
|
156
|
+
|
|
157
|
+
@classmethod
|
|
158
|
+
def from_env(cls, env: Mapping[str, str] | None = None) -> Settings:
|
|
159
|
+
"""Настройки из переменных окружения; пустая переменная – значение по умолчанию."""
|
|
160
|
+
env = os.environ if env is None else env
|
|
161
|
+
|
|
162
|
+
def get(name: str) -> str:
|
|
163
|
+
return (env.get(name) or "").strip()
|
|
164
|
+
|
|
165
|
+
defaults = cls()
|
|
166
|
+
return cls(
|
|
167
|
+
data_dir=Path(get("DATA_DIR")) if get("DATA_DIR") else defaults.data_dir,
|
|
168
|
+
tmp_root=Path(get("TMP_DIR")) if get("TMP_DIR") else None,
|
|
169
|
+
repos_root=Path(get("REPOS_ROOT")) if get("REPOS_ROOT") else defaults.repos_root,
|
|
170
|
+
ollama_url=get("OLLAMA_URL").rstrip("/") or defaults.ollama_url,
|
|
171
|
+
default_model=get("DEFAULT_MODEL") or defaults.default_model,
|
|
172
|
+
max_upload_mb=_positive_int("MAX_UPLOAD_MB", get("MAX_UPLOAD_MB"), defaults.max_upload_mb, 1, 1024),
|
|
173
|
+
hub_status_map=_status_map(get("HUB_STATUS_MAP")),
|
|
174
|
+
sca_urgent_cvss=_cvss("SCA_URGENT_CVSS", get("SCA_URGENT_CVSS"), defaults.sca_urgent_cvss),
|
|
175
|
+
# меньше 4096 не поместятся системные указания, срез кода и ответ модели вместе
|
|
176
|
+
num_ctx=_positive_int("MODEL_NUM_CTX", get("MODEL_NUM_CTX"), defaults.num_ctx, 4096, 262144),
|
|
177
|
+
trusted_hosts=_hosts(get("TRUSTED_HOSTS")),
|
|
178
|
+
repos_root_host=get("REPOS_ROOT_HOST").replace("\\", "/").rstrip("/"),
|
|
179
|
+
repos_root_is_demo=get("REPOS_ROOT_IS_DEMO") if get("REPOS_ROOT_IS_DEMO") in ("0", "1") else "",
|
|
180
|
+
model_traffic_log=_traffic_log(get("MODEL_TRAFFIC_LOG")),
|
|
181
|
+
model_json_schema=model_json_schema_mode(get("MODEL_JSON_SCHEMA")),
|
|
182
|
+
osv_url=osv_url_value(get("OSV_URL"), defaults.osv_url),
|
|
183
|
+
maintenance=get("TRIAGE_MAINTENANCE").lower() in ("1", "true", "on", "yes"),
|
|
184
|
+
stand=_stand(get("TRIAGE_STAND")),
|
|
185
|
+
stand_token=_stand_token(get("TRIAGE_STAND_TOKEN")) if _stand(get("TRIAGE_STAND")) == "npm" else "",
|
|
186
|
+
)
|
|
187
|
+
|
|
188
|
+
@property
|
|
189
|
+
def hub_disabled(self) -> bool:
|
|
190
|
+
"""В учебном стенде npm Hub выключен на стороне сервера (ADR-0155): исполнителя в стенде нет."""
|
|
191
|
+
return self.stand == "npm"
|
|
192
|
+
|
|
193
|
+
|
|
194
|
+
STAND_TOKEN = re.compile(r"[0-9a-f]{16,64}")
|
|
195
|
+
|
|
196
|
+
|
|
197
|
+
def stand_mode(env: Mapping[str, str] | None = None) -> str:
|
|
198
|
+
"""«npm» – учебный стенд, «» – обычная установка: для текстов модулей без доступа к настройкам (замок папки данных,
|
|
199
|
+
подсказки страниц). Неверное значение здесь – «»: его отвергает Settings.from_env при запуске."""
|
|
200
|
+
value = ((os.environ if env is None else env).get("TRIAGE_STAND") or "").strip().lower()
|
|
201
|
+
return "npm" if value == "npm" else ""
|
|
202
|
+
|
|
203
|
+
|
|
204
|
+
def _stand(raw: str) -> str:
|
|
205
|
+
"""TRIAGE_STAND: пусто – обычная установка; npm – учебный стенд из npm-пакета (ADR-0155)."""
|
|
206
|
+
value = raw.strip().lower()
|
|
207
|
+
if value not in ("", "npm"):
|
|
208
|
+
raise ConfigError("TRIAGE_STAND: допустимо только значение npm (учебный стенд) или пустое значение.")
|
|
209
|
+
return value
|
|
210
|
+
|
|
211
|
+
|
|
212
|
+
def _stand_token(raw: str) -> str:
|
|
213
|
+
value = raw.strip().lower()
|
|
214
|
+
if value and not STAND_TOKEN.fullmatch(value):
|
|
215
|
+
raise ConfigError("TRIAGE_STAND_TOKEN: нужны от 16 до 64 шестнадцатеричных знаков.")
|
|
216
|
+
return value
|
|
217
|
+
|
|
218
|
+
|
|
219
|
+
def osv_url_value(raw: str, default: str) -> str:
|
|
220
|
+
"""OSV_URL: пусто – адрес по умолчанию; off – запрос OSV выключен; иначе адрес http(s) без пути и параметров."""
|
|
221
|
+
value = (raw or "").strip().rstrip("/")
|
|
222
|
+
if not value:
|
|
223
|
+
return default
|
|
224
|
+
if value.casefold() == "off":
|
|
225
|
+
return ""
|
|
226
|
+
hint = "OSV_URL: нужен адрес вида https://api.osv.dev (схема и узел, при необходимости порт; без пути, параметров, якоря и имени пользователя) или off."
|
|
227
|
+
if any(ch.isspace() for ch in value) or "#" in value or "@" in value:
|
|
228
|
+
raise ConfigError(hint)
|
|
229
|
+
try:
|
|
230
|
+
parts = urllib.parse.urlsplit(value)
|
|
231
|
+
port = parts.port
|
|
232
|
+
except ValueError:
|
|
233
|
+
raise ConfigError(hint) from None
|
|
234
|
+
if parts.scheme.lower() not in ("http", "https") or not parts.hostname or parts.path not in ("", "/") or parts.query:
|
|
235
|
+
raise ConfigError(hint)
|
|
236
|
+
if port is not None and not 1 <= port <= 65535:
|
|
237
|
+
raise ConfigError(hint)
|
|
238
|
+
return value
|
|
239
|
+
|
|
240
|
+
|
|
241
|
+
def model_json_schema_mode(raw: str) -> str:
|
|
242
|
+
"""Режим схемы ответа; пустое значение использует общий выбор по умолчанию."""
|
|
243
|
+
value = raw.strip().casefold() or DEFAULT_MODEL_JSON_SCHEMA
|
|
244
|
+
if value not in ("retry", "always", "off"):
|
|
245
|
+
raise ConfigError("MODEL_JSON_SCHEMA: допустимы retry, always или off")
|
|
246
|
+
return value
|
|
247
|
+
|
|
248
|
+
|
|
249
|
+
def _positive_int(name: str, raw: str, default: int, low: int, high: int) -> int:
|
|
250
|
+
if not raw:
|
|
251
|
+
return default
|
|
252
|
+
try:
|
|
253
|
+
value = int(raw)
|
|
254
|
+
except ValueError:
|
|
255
|
+
raise ConfigError(f"{name}: ожидается целое число, получено «{raw}»") from None
|
|
256
|
+
if not low <= value <= high:
|
|
257
|
+
raise ConfigError(f"{name}: допустимо от {low} до {high}, получено {value}")
|
|
258
|
+
return value
|
|
259
|
+
|
|
260
|
+
|
|
261
|
+
def _cvss(name: str, raw: str, default: float) -> float:
|
|
262
|
+
if not raw:
|
|
263
|
+
return default
|
|
264
|
+
try:
|
|
265
|
+
value = float(raw.replace(",", "."))
|
|
266
|
+
except ValueError:
|
|
267
|
+
raise ConfigError(f"{name}: ожидается число от 0 до 10, получено «{raw}»") from None
|
|
268
|
+
if not 0.0 <= value <= 10.0:
|
|
269
|
+
raise ConfigError(f"{name}: ожидается число от 0 до 10, получено {value}")
|
|
270
|
+
return value
|
|
271
|
+
|
|
272
|
+
|
|
273
|
+
def _status_map(raw: str) -> dict[str, str]:
|
|
274
|
+
"""HUB_STATUS_MAP – JSON-объект итог разбора (вердикт или risk_accepted) → статус Hub; заданные ключи заменяют
|
|
275
|
+
значения по умолчанию."""
|
|
276
|
+
result = dict(DEFAULT_STATUS_MAP)
|
|
277
|
+
if not raw:
|
|
278
|
+
return result
|
|
279
|
+
try:
|
|
280
|
+
data = json.loads(raw)
|
|
281
|
+
except ValueError:
|
|
282
|
+
raise ConfigError("HUB_STATUS_MAP: ожидается JSON-объект, например "
|
|
283
|
+
'{"false_positive": "Ложное срабатывание"}') from None
|
|
284
|
+
if not isinstance(data, dict):
|
|
285
|
+
raise ConfigError("HUB_STATUS_MAP: ожидается JSON-объект «вердикт: статус»")
|
|
286
|
+
for key, value in data.items():
|
|
287
|
+
if key not in HUB_OUTCOMES:
|
|
288
|
+
raise ConfigError(f"HUB_STATUS_MAP: неизвестный вердикт «{key}», допустимы: {', '.join(HUB_OUTCOMES)}")
|
|
289
|
+
if not isinstance(value, str):
|
|
290
|
+
raise ConfigError(f"HUB_STATUS_MAP: статус для «{key}» должен быть строкой")
|
|
291
|
+
result[key] = value.strip()
|
|
292
|
+
return result
|
|
293
|
+
|
|
294
|
+
|
|
295
|
+
def normalize_setting(key: str, value: Any) -> Any:
|
|
296
|
+
"""Проверка и приведение значения настройки из интерфейса (EDITABLE_SETTINGS); ConfigError – с понятным текстом.
|
|
297
|
+
|
|
298
|
+
ollama_url – адрес http или https без пробелов (какие хосты разрешены, проверяет клиент Ollama перед каждым
|
|
299
|
+
запросом); default_model – имя модели или "" (первая модель из списка Ollama); hub_status_map – статусы Hub
|
|
300
|
+
по итогам разбора (вердикты и risk_accepted), недостающие берутся по умолчанию; sca_urgent_cvss – число от 0
|
|
301
|
+
до 10 (запятая допустима); team_name – одна строка до 100 знаков ("" – без названия); sca_internal_prefixes –
|
|
302
|
+
список префиксов или строка, где они разделены запятыми, точками с запятой или переводами строк;
|
|
303
|
+
affiliation_words – список слов принадлежности (ADR-0118) или такая же строка: буквы, 2–50, «*» в конце."""
|
|
304
|
+
if key == "ollama_url":
|
|
305
|
+
text = str(value or "").strip().rstrip("/")
|
|
306
|
+
if not text.startswith(("http://", "https://")) or len(text) > MAX_URL or any(ch.isspace() for ch in text):
|
|
307
|
+
raise ConfigError("Адрес Ollama: ожидается адрес вида http://127.0.0.1:11434")
|
|
308
|
+
return text
|
|
309
|
+
if key == "default_model":
|
|
310
|
+
text = str(value or "").strip()
|
|
311
|
+
if len(text) > MAX_MODEL_NAME or any(ord(ch) < 32 for ch in text):
|
|
312
|
+
raise ConfigError("Модель по умолчанию: слишком длинное или неверное имя модели")
|
|
313
|
+
return text
|
|
314
|
+
if key == "hub_status_map":
|
|
315
|
+
if not isinstance(value, Mapping):
|
|
316
|
+
raise ConfigError("Статусы Hub: ожидаются статусы для вердиктов «истинная», «ложная», «неясно»")
|
|
317
|
+
result = dict(DEFAULT_STATUS_MAP)
|
|
318
|
+
for verdict, status in value.items():
|
|
319
|
+
if verdict not in HUB_OUTCOMES:
|
|
320
|
+
raise ConfigError(f"Статусы Hub: неизвестный вердикт «{verdict}»")
|
|
321
|
+
text = str(status or "").strip()
|
|
322
|
+
if len(text) > MAX_STATUS or any(ord(ch) < 32 for ch in text):
|
|
323
|
+
raise ConfigError("Статусы Hub: статус – одна строка до 100 знаков")
|
|
324
|
+
result[verdict] = text
|
|
325
|
+
return result
|
|
326
|
+
if key == "sca_urgent_cvss":
|
|
327
|
+
try:
|
|
328
|
+
number = float(str(value).strip().replace(",", ".")) if isinstance(value, str) else float(value)
|
|
329
|
+
except (TypeError, ValueError):
|
|
330
|
+
raise ConfigError("Порог срочности SCA: ожидается число от 0 до 10") from None
|
|
331
|
+
if isinstance(value, bool) or not math.isfinite(number) or not 0.0 <= number <= 10.0:
|
|
332
|
+
raise ConfigError("Порог срочности SCA: ожидается число от 0 до 10")
|
|
333
|
+
return number
|
|
334
|
+
if key in STORED_SETTINGS:
|
|
335
|
+
# номер профиля: целое 1–999999999 или строка из цифр ASCII («²» и прочие «цифры» Юникода – нет)
|
|
336
|
+
if isinstance(value, bool) or not (isinstance(value, int) or isinstance(value, str)
|
|
337
|
+
and re.fullmatch(r"[0-9]{1,9}", value.strip())):
|
|
338
|
+
raise ConfigError("Профиль провайдера по умолчанию: ожидается номер профиля")
|
|
339
|
+
number = int(value)
|
|
340
|
+
if not 1 <= number <= 999_999_999:
|
|
341
|
+
raise ConfigError("Профиль провайдера по умолчанию: ожидается номер профиля")
|
|
342
|
+
return number
|
|
343
|
+
if key == "team_name":
|
|
344
|
+
text = " ".join(str(value or "").split())
|
|
345
|
+
if len(text) > MAX_TEAM_NAME or any(ord(ch) < 32 for ch in text):
|
|
346
|
+
raise ConfigError(f"Название команды: одна строка до {MAX_TEAM_NAME} знаков")
|
|
347
|
+
return text
|
|
348
|
+
if key == "sca_internal_prefixes":
|
|
349
|
+
items = value if isinstance(value, (list, tuple)) else re.split(r"[,;\s]+", str(value or ""))
|
|
350
|
+
result: list[str] = []
|
|
351
|
+
for item in items:
|
|
352
|
+
text = str(item or "").strip()
|
|
353
|
+
if not text:
|
|
354
|
+
continue
|
|
355
|
+
if len(text) > MAX_PREFIX or any(ord(ch) < 32 or ch.isspace() for ch in text):
|
|
356
|
+
raise ConfigError(f"Префиксы внутренних компонентов: «{text[:40]}» – без пробелов, до {MAX_PREFIX} "
|
|
357
|
+
"знаков")
|
|
358
|
+
if text not in result:
|
|
359
|
+
result.append(text)
|
|
360
|
+
if len(result) > MAX_PREFIXES:
|
|
361
|
+
raise ConfigError(f"Префиксы внутренних компонентов: не больше {MAX_PREFIXES}")
|
|
362
|
+
return tuple(result)
|
|
363
|
+
if key == "affiliation_words":
|
|
364
|
+
items = value if isinstance(value, (list, tuple)) else re.split(r"[,;\s]+", str(value or ""))
|
|
365
|
+
found: list[str] = []
|
|
366
|
+
seen: set[str] = set()
|
|
367
|
+
for item in items:
|
|
368
|
+
text = str(item or "").strip()
|
|
369
|
+
if not text:
|
|
370
|
+
continue
|
|
371
|
+
if not AFFILIATION_WORD.fullmatch(text):
|
|
372
|
+
raise ConfigError(f"Слова принадлежности: «{text[:40]}» – слово из букв (от 2 до 50), в конце "
|
|
373
|
+
"допустима «*»")
|
|
374
|
+
if text.casefold() not in seen:
|
|
375
|
+
seen.add(text.casefold())
|
|
376
|
+
found.append(text)
|
|
377
|
+
if len(found) > MAX_AFFILIATION_WORDS:
|
|
378
|
+
raise ConfigError(f"Слова принадлежности: не больше {MAX_AFFILIATION_WORDS}")
|
|
379
|
+
return tuple(found)
|
|
380
|
+
if key == "hub_url":
|
|
381
|
+
text = str(value or "").strip().rstrip("/")
|
|
382
|
+
if not text:
|
|
383
|
+
return ""
|
|
384
|
+
hint = "Адрес Hub: нужен адрес вида https://hub.example.org (только https, без пути, параметров и #)."
|
|
385
|
+
if len(text) > MAX_URL or any(ch.isspace() for ch in text) or "#" in text or "@" in text:
|
|
386
|
+
raise ConfigError(hint)
|
|
387
|
+
try:
|
|
388
|
+
parts = urllib.parse.urlsplit(text)
|
|
389
|
+
port = parts.port
|
|
390
|
+
except ValueError:
|
|
391
|
+
raise ConfigError(hint) from None
|
|
392
|
+
if parts.scheme != "https" or not parts.hostname or parts.path not in ("", "/") or parts.query:
|
|
393
|
+
raise ConfigError(hint)
|
|
394
|
+
if port is not None and not 1 <= port <= 65535:
|
|
395
|
+
raise ConfigError(hint)
|
|
396
|
+
return f"https://{parts.netloc}"
|
|
397
|
+
raise ConfigError(f"Неизвестная настройка «{key}»")
|
|
398
|
+
|
|
399
|
+
|
|
400
|
+
def _hosts(raw: str) -> tuple[str, ...]:
|
|
401
|
+
"""TRUSTED_HOSTS – дополнительные имена хоста через запятую (к 127.0.0.1, localhost, ::1)."""
|
|
402
|
+
extra = [h.strip().lower().strip("[]") for h in raw.split(",") if h.strip()]
|
|
403
|
+
return tuple(dict.fromkeys([*DEFAULT_TRUSTED_HOSTS, *extra]))
|
|
404
|
+
|
|
405
|
+
|
|
406
|
+
def _traffic_log(raw: str) -> str:
|
|
407
|
+
"""MODEL_TRAFFIC_LOG – журнал обмена с моделью: «on» (по умолчанию) или «off»."""
|
|
408
|
+
value = raw.strip().casefold() if raw else "on"
|
|
409
|
+
if value not in ("on", "off"):
|
|
410
|
+
raise ConfigError(f"MODEL_TRAFFIC_LOG: ожидается «on» или «off», получено «{raw}»")
|
|
411
|
+
return value
|