local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/app/serve.py
ADDED
|
@@ -0,0 +1,70 @@
|
|
|
1
|
+
"""Запуск приложения учебным стендом npm (ADR-0155): uvicorn с параметрами образа и остановка по закрытию stdin.
|
|
2
|
+
|
|
3
|
+
Обёртка npm на Windows не может послать процессу Python сигнал остановки: kill() из Node завершает процесс, не дав
|
|
4
|
+
выполниться ни одной строке, и lifespan не закрыл бы базу и не отпустил бы замок папки данных. Поэтому канал
|
|
5
|
+
остановки – stdin: держатель стенда закрывает его, и сервер останавливается штатно, как по Ctrl+C.
|
|
6
|
+
|
|
7
|
+
python -E -s -X utf8 -m app.serve --host 127.0.0.1 --port 8765
|
|
8
|
+
|
|
9
|
+
Параметры сервера – как у CMD в Dockerfile: фабрика app.main:create_app, без заголовка Server и журнала запросов,
|
|
10
|
+
3 секунды на закрытие потоков событий. Порт uvicorn занимает сам, как в образе: на Windows без SO_REUSEADDR, поэтому
|
|
11
|
+
порт, который уже слушает другая программа, не перехватывается. Коды выхода: 0 – штатная остановка; 75 – замок папки
|
|
12
|
+
данных держит другой экземпляр со свежей отметкой (LockBusy; после аварии отметка прежнего процесса ещё свежая –
|
|
13
|
+
держатель повторит запуск, когда она устареет); 76 – приложение запустилось, а порт занят (держатель возьмёт
|
|
14
|
+
следующий); 1 – прочие ошибки запуска. uvicorn завершает неудавшийся запуск через sys.exit(3): код уточняется здесь.
|
|
15
|
+
"""
|
|
16
|
+
|
|
17
|
+
from __future__ import annotations
|
|
18
|
+
|
|
19
|
+
import argparse
|
|
20
|
+
import sys
|
|
21
|
+
import threading
|
|
22
|
+
|
|
23
|
+
EXIT_OK = 0
|
|
24
|
+
EXIT_FAILED = 1
|
|
25
|
+
EXIT_LOCK_BUSY = 75
|
|
26
|
+
EXIT_PORT_BUSY = 76
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
def watch_stdin(server, stream=None) -> None:
|
|
30
|
+
"""Читает stdin до конца и просит сервер остановиться: держатель закрыл канал или сам завершился."""
|
|
31
|
+
stream = stream if stream is not None else sys.stdin
|
|
32
|
+
try:
|
|
33
|
+
source = getattr(stream, "buffer", stream)
|
|
34
|
+
while source.read(65536):
|
|
35
|
+
pass
|
|
36
|
+
except (OSError, ValueError):
|
|
37
|
+
pass
|
|
38
|
+
server.should_exit = True
|
|
39
|
+
|
|
40
|
+
|
|
41
|
+
def build_server(host: str, port: int):
|
|
42
|
+
import uvicorn
|
|
43
|
+
config = uvicorn.Config("app.main:create_app", factory=True, host=host, port=port, server_header=False,
|
|
44
|
+
access_log=False, timeout_graceful_shutdown=3)
|
|
45
|
+
return uvicorn.Server(config)
|
|
46
|
+
|
|
47
|
+
|
|
48
|
+
def main(argv: list[str] | None = None) -> int:
|
|
49
|
+
parser = argparse.ArgumentParser(prog="python -m app.serve", description=(__doc__ or "").splitlines()[0])
|
|
50
|
+
parser.add_argument("--host", default="127.0.0.1", choices=["127.0.0.1"],
|
|
51
|
+
help="адрес прослушивания: только 127.0.0.1 – защита проверяет заголовок Host, а не адрес клиента")
|
|
52
|
+
parser.add_argument("--port", type=int, default=8765)
|
|
53
|
+
args = parser.parse_args(argv)
|
|
54
|
+
server = build_server(args.host, args.port)
|
|
55
|
+
threading.Thread(target=watch_stdin, args=(server,), name="stdin-stop", daemon=True).start()
|
|
56
|
+
failed = False
|
|
57
|
+
try:
|
|
58
|
+
server.run()
|
|
59
|
+
except SystemExit: # uvicorn: запуск не удался (sys.exit(3) после неудачного lifespan или занятого порта)
|
|
60
|
+
failed = True
|
|
61
|
+
from app.main import STARTUP_COMPLETE, STARTUP_LOCK_BUSY
|
|
62
|
+
if STARTUP_LOCK_BUSY.is_set():
|
|
63
|
+
return EXIT_LOCK_BUSY
|
|
64
|
+
if failed or not server.started:
|
|
65
|
+
return EXIT_PORT_BUSY if STARTUP_COMPLETE.is_set() and not server.started else EXIT_FAILED
|
|
66
|
+
return EXIT_OK
|
|
67
|
+
|
|
68
|
+
|
|
69
|
+
if __name__ == "__main__":
|
|
70
|
+
sys.exit(main())
|
|
@@ -0,0 +1,262 @@
|
|
|
1
|
+
"""Настройки из интерфейса: форма страницы «Настройки» (разбор и проверка), сохранение, состояние Ollama и то,
|
|
2
|
+
что видно приложению (корень папок с репозиториями, папка данных).
|
|
3
|
+
|
|
4
|
+
Значения хранятся в базе (таблица settings: Database.get_settings, set_settings). Переменные окружения дают им
|
|
5
|
+
только начальные значения при первом запуске (Database.seed_settings в main.py); действующие настройки –
|
|
6
|
+
Settings.with_stored(значения из базы), см. routes.common.settings_of.
|
|
7
|
+
"""
|
|
8
|
+
|
|
9
|
+
from __future__ import annotations
|
|
10
|
+
|
|
11
|
+
import os
|
|
12
|
+
import re
|
|
13
|
+
from collections.abc import Callable, Mapping
|
|
14
|
+
from dataclasses import dataclass, field
|
|
15
|
+
from pathlib import Path
|
|
16
|
+
from typing import Any
|
|
17
|
+
|
|
18
|
+
from app import model_traffic
|
|
19
|
+
from app.config import DEFAULT_STATUS_MAP, EDITABLE_SETTINGS, MAX_STATUS, ConfigError, Settings, normalize_setting
|
|
20
|
+
from app.db import Database
|
|
21
|
+
from app.llm import LlmError, norm_model_name
|
|
22
|
+
from app.llm_net import in_container
|
|
23
|
+
from app.llm_ollama import OllamaClient
|
|
24
|
+
from app.triage import reorder_project
|
|
25
|
+
|
|
26
|
+
# Поля статусов Hub в форме: (итог разбора, имя поля, подпись)
|
|
27
|
+
STATUS_FIELDS = (
|
|
28
|
+
("true_positive", "status_true_positive", "истинная"),
|
|
29
|
+
("false_positive", "status_false_positive", "ложная"),
|
|
30
|
+
("uncertain", "status_uncertain", "неясно"),
|
|
31
|
+
("risk_accepted", "status_risk_accepted", "риск принят"),
|
|
32
|
+
)
|
|
33
|
+
FORM_FIELDS = ("ollama_url", "default_model", *(name for _, name, _ in STATUS_FIELDS), "sca_urgent_cvss",
|
|
34
|
+
"team_name", "sca_internal_prefixes", "hub_url", "affiliation_words")
|
|
35
|
+
MAX_FIELD = 1000 # знаков в поле формы: длиннее не бывает ни адреса, ни модели, ни статуса
|
|
36
|
+
MAX_WORDS_FIELD = 12000 # поле «Слова принадлежности»: 200 слов по 50 букв с «*» и разделителями (ADR-0118)
|
|
37
|
+
MAX_LISTED = 2000 # сколько папок корня считать для сведений на странице
|
|
38
|
+
|
|
39
|
+
_DRIVE_ONLY = re.compile(r"[A-Za-z]:")
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
# ============================================================================ форма
|
|
43
|
+
|
|
44
|
+
@dataclass
|
|
45
|
+
class SettingsForm:
|
|
46
|
+
"""Разобранная форма: values – что ввёл человек (для повторного показа), clean – проверенные значения
|
|
47
|
+
для базы (ключи EDITABLE_SETTINGS), errors – {поле формы: текст ошибки}."""
|
|
48
|
+
|
|
49
|
+
values: dict[str, str]
|
|
50
|
+
clean: dict[str, Any] = field(default_factory=dict)
|
|
51
|
+
errors: dict[str, str] = field(default_factory=dict)
|
|
52
|
+
|
|
53
|
+
|
|
54
|
+
def fmt_cvss(value: Any) -> str:
|
|
55
|
+
"""Порог CVSS для поля формы: 9.0 -> «9,0»."""
|
|
56
|
+
try:
|
|
57
|
+
return f"{float(value):.1f}".replace(".", ",")
|
|
58
|
+
except (TypeError, ValueError):
|
|
59
|
+
return str(value or "")
|
|
60
|
+
|
|
61
|
+
|
|
62
|
+
def form_values(settings: Settings) -> dict[str, str]:
|
|
63
|
+
"""Значения полей формы из действующих настроек."""
|
|
64
|
+
values = {"ollama_url": settings.ollama_url, "default_model": settings.default_model,
|
|
65
|
+
"sca_urgent_cvss": fmt_cvss(settings.sca_urgent_cvss), "team_name": settings.team_name,
|
|
66
|
+
"sca_internal_prefixes": ", ".join(settings.sca_internal_prefixes), "hub_url": settings.hub_url,
|
|
67
|
+
"affiliation_words": ", ".join(settings.affiliation_words)}
|
|
68
|
+
for verdict, name, _ in STATUS_FIELDS:
|
|
69
|
+
values[name] = settings.hub_status_map.get(verdict, DEFAULT_STATUS_MAP[verdict])
|
|
70
|
+
return values
|
|
71
|
+
|
|
72
|
+
|
|
73
|
+
def check_ollama_url(value: str) -> str:
|
|
74
|
+
"""Адрес Ollama из формы -> адрес для базы; ConfigError с понятным текстом. Кроме вида адреса проверяется
|
|
75
|
+
и хост: адрес, на который приложение не отправит ни одного запроса (чужой хост), не сохраняется. Сеть
|
|
76
|
+
не нужна – куда указывает имя, клиент Ollama проверяет при каждом запросе."""
|
|
77
|
+
url = normalize_setting("ollama_url", value)
|
|
78
|
+
try:
|
|
79
|
+
OllamaClient(url).check_url()
|
|
80
|
+
except LlmError as e:
|
|
81
|
+
raise ConfigError(str(e)) from None
|
|
82
|
+
return url
|
|
83
|
+
|
|
84
|
+
|
|
85
|
+
def read_form(form: Mapping[str, Any]) -> SettingsForm:
|
|
86
|
+
"""Форма страницы «Настройки» -> SettingsForm. Пустой статус Hub – ошибка: текст для Hub без статуса
|
|
87
|
+
вставлять бессмысленно (значение по умолчанию подсказано рядом с полем)."""
|
|
88
|
+
values = {name: " ".join(str(form.get(name) or "").split())[:MAX_FIELD] for name in FORM_FIELDS}
|
|
89
|
+
values["ollama_url"] = str(form.get("ollama_url") or "").strip()[:MAX_FIELD]
|
|
90
|
+
# список слов длиннее обычного поля: свой предел, превышение – ошибка, а не молчаливое усечение
|
|
91
|
+
words_text = " ".join(str(form.get("affiliation_words") or "").split())
|
|
92
|
+
values["affiliation_words"] = words_text[:MAX_WORDS_FIELD]
|
|
93
|
+
result = SettingsForm(values=values)
|
|
94
|
+
if len(words_text) > MAX_WORDS_FIELD:
|
|
95
|
+
result.errors["affiliation_words"] = f"Слова принадлежности: не больше {MAX_WORDS_FIELD} знаков"
|
|
96
|
+
try:
|
|
97
|
+
result.clean["ollama_url"] = check_ollama_url(values["ollama_url"])
|
|
98
|
+
except ConfigError as e:
|
|
99
|
+
result.errors["ollama_url"] = str(e)
|
|
100
|
+
try:
|
|
101
|
+
model = normalize_setting("default_model", values["default_model"])
|
|
102
|
+
if not model:
|
|
103
|
+
raise ConfigError("Модель по умолчанию: выберите модель из списка или впишите её имя")
|
|
104
|
+
result.clean["default_model"] = model
|
|
105
|
+
except ConfigError as e:
|
|
106
|
+
result.errors["default_model"] = str(e)
|
|
107
|
+
statuses = {}
|
|
108
|
+
for verdict, name, label in STATUS_FIELDS:
|
|
109
|
+
text = values[name]
|
|
110
|
+
if not text:
|
|
111
|
+
result.errors[name] = f"Укажите статус Hub для вердикта «{label}»"
|
|
112
|
+
elif len(text) > MAX_STATUS:
|
|
113
|
+
result.errors[name] = f"Статус Hub – до {MAX_STATUS} знаков"
|
|
114
|
+
else:
|
|
115
|
+
statuses[verdict] = text
|
|
116
|
+
if len(statuses) == len(STATUS_FIELDS):
|
|
117
|
+
try:
|
|
118
|
+
result.clean["hub_status_map"] = normalize_setting("hub_status_map", statuses)
|
|
119
|
+
except ConfigError as e:
|
|
120
|
+
result.errors[STATUS_FIELDS[0][1]] = str(e)
|
|
121
|
+
try:
|
|
122
|
+
result.clean["sca_urgent_cvss"] = normalize_setting("sca_urgent_cvss", values["sca_urgent_cvss"])
|
|
123
|
+
except ConfigError as e:
|
|
124
|
+
result.errors["sca_urgent_cvss"] = str(e)
|
|
125
|
+
for name in ("team_name", "sca_internal_prefixes", "hub_url", "affiliation_words"): # необязательные
|
|
126
|
+
if name in result.errors:
|
|
127
|
+
continue
|
|
128
|
+
try:
|
|
129
|
+
result.clean[name] = normalize_setting(name, values[name])
|
|
130
|
+
except ConfigError as e:
|
|
131
|
+
result.errors[name] = str(e)
|
|
132
|
+
return result
|
|
133
|
+
|
|
134
|
+
|
|
135
|
+
def save(db: Database, current: Settings, clean: Mapping[str, Any]) -> dict:
|
|
136
|
+
"""Сохраняет проверенные настройки одной транзакцией. Если сменился порог срочности SCA, заново
|
|
137
|
+
упорядочивает находки всех проектов, в том числе архивных: срочность SCA зависит от порога.
|
|
138
|
+
Возвращает {"changed": [ключи изменившихся настроек], "reordered": у скольких находок сменились порядок или
|
|
139
|
+
срочность}."""
|
|
140
|
+
values = {key: clean[key] for key in EDITABLE_SETTINGS if key in clean}
|
|
141
|
+
changed = [key for key, value in values.items() if value != getattr(current, key)]
|
|
142
|
+
if "ollama_url" in values or "default_model" in values:
|
|
143
|
+
# «Адрес Ollama» и «Модель» – представление профиля 1 (ADR-0102, П23): запись – под блокировкой профиля 1,
|
|
144
|
+
# сменился ли адрес – по профилю в базе внутри блокировки (не по снимку настроек до неё); сменился – ключ
|
|
145
|
+
# профиля 1 (если задан) удаляется до записи
|
|
146
|
+
from app import profile_gate
|
|
147
|
+
from app.db import DEFAULT_PROVIDER_ID
|
|
148
|
+
from app.provider_keys import delete_key
|
|
149
|
+
with profile_gate.gate(DEFAULT_PROVIDER_ID).write():
|
|
150
|
+
stored = db.get_provider(DEFAULT_PROVIDER_ID)
|
|
151
|
+
if "ollama_url" in values and stored is not None and str(stored["base_url"]) != str(values["ollama_url"]):
|
|
152
|
+
delete_key(db, DEFAULT_PROVIDER_ID)
|
|
153
|
+
db.set_settings(values)
|
|
154
|
+
else:
|
|
155
|
+
db.set_settings(values)
|
|
156
|
+
if "affiliation_words" in values: # маска принадлежности действует сразу (ADR-0118)
|
|
157
|
+
from app import affiliation
|
|
158
|
+
affiliation.configure(values["affiliation_words"])
|
|
159
|
+
reordered = 0
|
|
160
|
+
if "sca_urgent_cvss" in changed:
|
|
161
|
+
for project in db.list_projects(archived=None):
|
|
162
|
+
reordered += reorder_project(db, project["id"], values["sca_urgent_cvss"])
|
|
163
|
+
return {"changed": changed, "reordered": reordered}
|
|
164
|
+
|
|
165
|
+
|
|
166
|
+
# ============================================================================ Ollama
|
|
167
|
+
|
|
168
|
+
def check_ollama(make_client: Callable[[str], OllamaClient], url: str) -> dict:
|
|
169
|
+
"""Проверка адреса Ollama: {"url", "version", "models" (как OllamaClient.list_models), "error"}. Запросы –
|
|
170
|
+
только если адрес проходит проверку хоста; ошибка – текстом по-русски."""
|
|
171
|
+
client = make_client(url)
|
|
172
|
+
try:
|
|
173
|
+
client.check_url()
|
|
174
|
+
# Назначения в журнале обмена с моделью: опрос версии и списка моделей помечается отдельно от прогона.
|
|
175
|
+
with model_traffic.context(purpose="version"):
|
|
176
|
+
version = client.version()
|
|
177
|
+
with model_traffic.context(purpose="models"):
|
|
178
|
+
models = client.list_models()
|
|
179
|
+
except LlmError as e:
|
|
180
|
+
return {"url": url, "version": "", "models": [], "error": str(e)}
|
|
181
|
+
return {"url": url, "version": version, "models": models, "error": ""}
|
|
182
|
+
|
|
183
|
+
|
|
184
|
+
def model_found(name: str, models: list[dict]) -> bool:
|
|
185
|
+
"""Модель есть в списке Ollama (имена сравниваются так, как их понимает Ollama: без тега – «:latest»)."""
|
|
186
|
+
wanted = norm_model_name(name)
|
|
187
|
+
return bool(wanted) and any(norm_model_name(m.get("name")) == wanted for m in models)
|
|
188
|
+
|
|
189
|
+
|
|
190
|
+
def ollama_report(settings: Settings, state: Mapping[str, Any], profile: Mapping[str, Any] | None = None) -> dict:
|
|
191
|
+
"""Ответ GET /api/ollama: что видит приложение на сервере профиля по умолчанию для разбора кода (ADR-0102; без
|
|
192
|
+
профиля – по адресу Ollama из настроек). state – {"models", "version", "error"} (routes.common.models_of).
|
|
193
|
+
profile – {name, trust, where}: start.ps1 говорит, кто разбирает код. Сценарий запуска сам имена моделей не
|
|
194
|
+
сравнивает: default_model_found считается здесь."""
|
|
195
|
+
error = str(state.get("error") or "")
|
|
196
|
+
models = [] if error else list(state.get("models") or [])
|
|
197
|
+
url = str((profile or {}).get("base_url") or settings.ollama_url)
|
|
198
|
+
model = str((profile or {}).get("default_model") or settings.default_model)
|
|
199
|
+
trust = str((profile or {}).get("trust") or "local")
|
|
200
|
+
return {"url": url, "version": "" if error else str(state.get("version") or ""),
|
|
201
|
+
"models": [str(m.get("name") or "") for m in models], "default_model": model,
|
|
202
|
+
"default_model_found": False if error else model_found(model, models), "error": error,
|
|
203
|
+
"profile": {"name": str((profile or {}).get("name") or "Ollama из «Настроек»"), "trust": trust,
|
|
204
|
+
"where": "этот компьютер" if trust == "local" else "сеть организации"}}
|
|
205
|
+
|
|
206
|
+
|
|
207
|
+
# ============================================================================ что видно приложению
|
|
208
|
+
|
|
209
|
+
def repos_display(settings: Settings) -> str:
|
|
210
|
+
"""Корень папок с репозиториями так, как его видит пользователь: путь на его компьютере (REPOS_ROOT_HOST),
|
|
211
|
+
если он известен, иначе путь внутри приложения. Прямые слэши; диск целиком – «D:/», а не «D:»."""
|
|
212
|
+
text = (settings.repos_root_host or str(settings.repos_root)).replace("\\", "/")
|
|
213
|
+
if len(text) > 1:
|
|
214
|
+
text = text.rstrip("/")
|
|
215
|
+
return text + "/" if _DRIVE_ONLY.fullmatch(text) else text
|
|
216
|
+
|
|
217
|
+
|
|
218
|
+
def folder_display(settings: Settings, rel: str) -> str:
|
|
219
|
+
"""Папка внутри корня так, как её видит пользователь: «D:/work/team»."""
|
|
220
|
+
root = repos_display(settings)
|
|
221
|
+
rel = str(rel or "").strip("/")
|
|
222
|
+
if not rel:
|
|
223
|
+
return root
|
|
224
|
+
return f"{root}{rel}" if root.endswith("/") else f"{root}/{rel}"
|
|
225
|
+
|
|
226
|
+
|
|
227
|
+
def environment(settings: Settings) -> dict:
|
|
228
|
+
"""Сведения для страницы «Настройки»: корень папок с репозиториями (путь у пользователя и внутри приложения,
|
|
229
|
+
найден ли, только ли для чтения, сколько в нём папок), папка данных, запущено ли приложение в контейнере."""
|
|
230
|
+
root = settings.repos_root
|
|
231
|
+
exists = root.is_dir()
|
|
232
|
+
folders, more = 0, False
|
|
233
|
+
if exists:
|
|
234
|
+
try:
|
|
235
|
+
with os.scandir(root) as entries:
|
|
236
|
+
for entry in entries:
|
|
237
|
+
if entry.name.startswith("."):
|
|
238
|
+
continue
|
|
239
|
+
try:
|
|
240
|
+
is_dir = entry.is_dir(follow_symlinks=False)
|
|
241
|
+
except OSError:
|
|
242
|
+
continue
|
|
243
|
+
if is_dir:
|
|
244
|
+
folders += 1
|
|
245
|
+
if folders >= MAX_LISTED:
|
|
246
|
+
more = True
|
|
247
|
+
break
|
|
248
|
+
except OSError:
|
|
249
|
+
exists = False
|
|
250
|
+
container = in_container()
|
|
251
|
+
return {
|
|
252
|
+
"repos_display": repos_display(settings),
|
|
253
|
+
"repos_inside": str(root).replace("\\", "/"),
|
|
254
|
+
"repos_exists": exists,
|
|
255
|
+
"repos_readonly": exists and not os.access(root, os.W_OK),
|
|
256
|
+
"repos_folders": folders,
|
|
257
|
+
"repos_more": more,
|
|
258
|
+
"in_container": container,
|
|
259
|
+
"data_dir": str(Path(settings.data_dir)).replace("\\", "/"),
|
|
260
|
+
"max_upload_mb": settings.max_upload_mb,
|
|
261
|
+
"num_ctx": settings.num_ctx,
|
|
262
|
+
}
|