local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
|
@@ -0,0 +1,407 @@
|
|
|
1
|
+
"""Общее для разделов интерфейса: состояние приложения, действующие настройки, отрисовка страниц, переходы, кэши
|
|
2
|
+
списка моделей и метрик.
|
|
3
|
+
|
|
4
|
+
Состояние приложения лежит в request.app.state: db, runner и mask_key создаются при запуске (main.py, lifespan),
|
|
5
|
+
web – WebState: настройки из переменных окружения, фабрика клиента Ollama, шаблоны, кэши. Разделы обращаются
|
|
6
|
+
к нему через функции этого модуля: db_of, runner_of, settings_of (действующие настройки – из базы поверх
|
|
7
|
+
окружения), client_of, models_of, metrics_of.
|
|
8
|
+
"""
|
|
9
|
+
|
|
10
|
+
from __future__ import annotations
|
|
11
|
+
|
|
12
|
+
import logging
|
|
13
|
+
import math
|
|
14
|
+
import re
|
|
15
|
+
import threading
|
|
16
|
+
import time
|
|
17
|
+
from collections.abc import Callable
|
|
18
|
+
from dataclasses import dataclass
|
|
19
|
+
from typing import Any
|
|
20
|
+
from urllib.parse import urlencode
|
|
21
|
+
|
|
22
|
+
from fastapi import HTTPException, Request
|
|
23
|
+
from fastapi.responses import HTMLResponse, JSONResponse, RedirectResponse
|
|
24
|
+
from fastapi.templating import Jinja2Templates
|
|
25
|
+
|
|
26
|
+
from app import metrics, model_traffic
|
|
27
|
+
from app.navigation import page_context
|
|
28
|
+
from app.config import Settings
|
|
29
|
+
from app.db import Database
|
|
30
|
+
from app.executors import Server, server_of, service_client
|
|
31
|
+
from app.llm import LlmError
|
|
32
|
+
from app.llm_ollama import OllamaClient
|
|
33
|
+
from app.triage import TriageRunner
|
|
34
|
+
from app.view import VERDICT_LABELS, num, reopened_note
|
|
35
|
+
|
|
36
|
+
log = logging.getLogger("local_triage.web")
|
|
37
|
+
|
|
38
|
+
MAX_NAME = 200
|
|
39
|
+
MODELS_TTL_S = 15.0
|
|
40
|
+
METRICS_TTL_S = 1.5
|
|
41
|
+
COUNT = re.compile(r"[0-9]{1,6}") # число из адреса: только цифры ASCII, без «²» и подобного
|
|
42
|
+
|
|
43
|
+
# Сообщения после действий (?ok=ключ): каждый раздел добавляет свои через register_messages
|
|
44
|
+
OK_MESSAGES: dict[str, str] = {}
|
|
45
|
+
# ключи ?ok=, сообщающие о неудаче (например, модель не ответила): строка над страницей – плашкой ошибки
|
|
46
|
+
OK_ERRORS: set[str] = set()
|
|
47
|
+
|
|
48
|
+
# Стандартные ошибки HTTP – по-русски
|
|
49
|
+
HTTP_ERRORS = {
|
|
50
|
+
400: "Неверный запрос.",
|
|
51
|
+
403: "Доступ запрещён.",
|
|
52
|
+
404: "Страница не найдена.",
|
|
53
|
+
405: "Такой запрос здесь не поддерживается.",
|
|
54
|
+
409: "Данные изменились: обновите страницу.",
|
|
55
|
+
413: "Слишком большой запрос.",
|
|
56
|
+
422: "Неверный адрес или параметры запроса.",
|
|
57
|
+
500: "Внутренняя ошибка приложения.",
|
|
58
|
+
}
|
|
59
|
+
|
|
60
|
+
|
|
61
|
+
def copy_missing_message(prior: dict | None) -> str:
|
|
62
|
+
"""Находки нет в текущей выгрузке, текст для Hub не копируется. Запрос при этом ничего не записывает: введённое в форме не
|
|
63
|
+
сохранено, а то, что было сохранено раньше (prior – прежняя запись решения), осталось как есть."""
|
|
64
|
+
kept = bool(prior and (prior.get("decision") or prior.get("final_verdict") or prior.get("final_comment")))
|
|
65
|
+
tail = ("Решение, сохранённое раньше, осталось в истории без изменений." if kept
|
|
66
|
+
else "Раньше сохранённого решения по этой находке нет.")
|
|
67
|
+
return ("Находки нет в текущей выгрузке: текст для Hub не копируется, а введённое в форме не сохранено. " + tail)
|
|
68
|
+
|
|
69
|
+
|
|
70
|
+
class CommentNeedsCheck(Exception):
|
|
71
|
+
"""Текст для Hub с комментарием модели, написанным к другому вердикту: копирование требует правки текста или
|
|
72
|
+
явного подтверждения (поле comment_confirmed)."""
|
|
73
|
+
|
|
74
|
+
|
|
75
|
+
CONFIRM_STALE = ("Решение изменилось после того, как вы отметили «Текст проверен» (например, в другой вкладке): "
|
|
76
|
+
"обновите карточку, проверьте обоснование и отметьте ещё раз.")
|
|
77
|
+
|
|
78
|
+
|
|
79
|
+
def form_int(value: Any) -> int | None:
|
|
80
|
+
"""Целое из поля формы (только цифры ASCII); нет поля или не число – None."""
|
|
81
|
+
text = str(value or "").strip()
|
|
82
|
+
return int(text) if text.isascii() and text.isdigit() and len(text) <= 9 else None
|
|
83
|
+
|
|
84
|
+
|
|
85
|
+
def comment_confirm_valid(form, review: dict | None, strict: bool = True) -> bool:
|
|
86
|
+
"""«Текст проверен» из формы относится к решению, которое человек видел: редакция из формы совпадает с текущей.
|
|
87
|
+
Одно правило для всех путей выдачи текста SAST и SCA – сохранения, короткого текста, дефекта и отметок. Без поля
|
|
88
|
+
редакции (страница до обновления приложения) или с прежней редакцией подтверждение не принимается: strict –
|
|
89
|
+
отказ CommentNeedsCheck с просьбой обновить карточку, иначе просто False (сохранение без выдачи текста)."""
|
|
90
|
+
if str(form.get("comment_confirmed") or "") != "1":
|
|
91
|
+
return False
|
|
92
|
+
shown = form_int(form.get("review_revision"))
|
|
93
|
+
if shown is None or int((review or {}).get("revision") or 0) != shown:
|
|
94
|
+
if strict:
|
|
95
|
+
raise CommentNeedsCheck(CONFIRM_STALE)
|
|
96
|
+
return False
|
|
97
|
+
return True
|
|
98
|
+
|
|
99
|
+
|
|
100
|
+
def comment_check_text(origin: str, target: str) -> str:
|
|
101
|
+
return (f"Комментарий написан моделью к вердикту «{VERDICT_LABELS.get(origin, origin)}», а в Hub уйдёт вердикт "
|
|
102
|
+
f"«{VERDICT_LABELS.get(target, target)}». Поправьте текст или отметьте «Текст проверен» – и скопируйте "
|
|
103
|
+
"ещё раз.")
|
|
104
|
+
|
|
105
|
+
|
|
106
|
+
def entered_check_text(origin: str, target: str) -> str:
|
|
107
|
+
return (f"Комментарий написан моделью к вердикту «{VERDICT_LABELS.get(origin, origin)}», а в Hub уйдёт вердикт "
|
|
108
|
+
f"«{VERDICT_LABELS.get(target, target)}». Поправьте текст и сохраните решение или отметьте «Текст проверен» – "
|
|
109
|
+
"и поставьте отметку ещё раз.")
|
|
110
|
+
|
|
111
|
+
|
|
112
|
+
def register_messages(messages: dict[str, str], errors: tuple[str, ...] = ()) -> None:
|
|
113
|
+
"""Сообщения раздела для строки над страницей после действия: {ключ из ?ok=: текст}; errors – ключи, которые
|
|
114
|
+
сообщают о неудаче и показываются плашкой ошибки, а не успеха."""
|
|
115
|
+
OK_MESSAGES.update(messages)
|
|
116
|
+
OK_ERRORS.update(errors)
|
|
117
|
+
|
|
118
|
+
|
|
119
|
+
# ============================================================================ кэши и метрики
|
|
120
|
+
|
|
121
|
+
class Cached:
|
|
122
|
+
"""Значения по ключу (профиль и адрес сервера модели, ADR-0102), каждое пересчитывается не чаще раза в ttl
|
|
123
|
+
секунд; ключей – не больше max_keys (старые вытесняются); потокобезопасно."""
|
|
124
|
+
|
|
125
|
+
def __init__(self, ttl: float, compute: Callable[[Any], Any], max_keys: int = 8) -> None:
|
|
126
|
+
self.ttl = ttl
|
|
127
|
+
self.compute = compute
|
|
128
|
+
self.max_keys = max_keys
|
|
129
|
+
self._lock = threading.Lock()
|
|
130
|
+
self._items: dict[Any, tuple[float, Any]] = {}
|
|
131
|
+
self._busy: dict[Any, threading.Lock] = {} # один опрос на ключ; другие ключи им не задерживаются
|
|
132
|
+
|
|
133
|
+
def get(self, key: Any = None, fresh: bool = False) -> Any:
|
|
134
|
+
with self._lock:
|
|
135
|
+
at, value = self._items.get(key, (-math.inf, None))
|
|
136
|
+
if not fresh and time.monotonic() - at < self.ttl:
|
|
137
|
+
return value
|
|
138
|
+
busy = self._busy.setdefault(key, threading.Lock())
|
|
139
|
+
with busy: # опрос сервера – без общего замка: медленный сервер не задерживает страницы других
|
|
140
|
+
with self._lock:
|
|
141
|
+
at, value = self._items.get(key, (-math.inf, None))
|
|
142
|
+
if not fresh and time.monotonic() - at < self.ttl: # пока ждали, значение посчитал другой
|
|
143
|
+
return value
|
|
144
|
+
value = self.compute(key)
|
|
145
|
+
with self._lock:
|
|
146
|
+
self._items.pop(key, None)
|
|
147
|
+
self._items[key] = (time.monotonic(), value)
|
|
148
|
+
while len(self._items) > self.max_keys:
|
|
149
|
+
old = next(iter(self._items))
|
|
150
|
+
self._items.pop(old)
|
|
151
|
+
self._busy.pop(old, None)
|
|
152
|
+
return value
|
|
153
|
+
|
|
154
|
+
|
|
155
|
+
def metrics_view(snapshot: Any) -> dict:
|
|
156
|
+
"""Снимок metrics.snapshot -> вид для страницы прогона и /api/metrics.
|
|
157
|
+
|
|
158
|
+
{"gpu": {name, mem_used_mb, mem_total_mb, temp_c, util_pct, power_w} | None,
|
|
159
|
+
"models": [{name, size_mb, vram_mb, vram_pct, context}], "vram_used_mb", "vram_total_mb",
|
|
160
|
+
"vram_source": "nvidia-smi" | "ollama" | "", "error": текст или None}
|
|
161
|
+
"""
|
|
162
|
+
snap = snapshot if isinstance(snapshot, dict) else {}
|
|
163
|
+
raw_gpu = snap.get("gpu")
|
|
164
|
+
gpu = None
|
|
165
|
+
if isinstance(raw_gpu, dict):
|
|
166
|
+
gpu = {"name": str(raw_gpu.get("name") or ""), "mem_used_mb": num(raw_gpu.get("memory_used_mb")),
|
|
167
|
+
"mem_total_mb": num(raw_gpu.get("memory_total_mb")), "temp_c": num(raw_gpu.get("temperature_c")),
|
|
168
|
+
"util_pct": num(raw_gpu.get("utilization_pct")), "power_w": num(raw_gpu.get("power_w")),
|
|
169
|
+
"gpus": raw_gpu.get("gpus", [])}
|
|
170
|
+
models = []
|
|
171
|
+
for m in snap.get("models") or []:
|
|
172
|
+
if isinstance(m, dict):
|
|
173
|
+
share = num(m.get("vram_share"))
|
|
174
|
+
models.append({"name": str(m.get("name") or ""), "size_mb": num(m.get("size_mb")),
|
|
175
|
+
"vram_mb": num(m.get("vram_mb")), "context": m.get("context"),
|
|
176
|
+
"vram_pct": round(100 * share) if share is not None else None})
|
|
177
|
+
return {"gpu": gpu, "models": models, "vram_used_mb": num(snap.get("vram_used_mb")),
|
|
178
|
+
"vram_total_mb": num(snap.get("vram_total_mb")), "vram_source": str(snap.get("vram_source") or ""),
|
|
179
|
+
"error": str(snap.get("ollama_error") or snap.get("error") or "") or None}
|
|
180
|
+
|
|
181
|
+
|
|
182
|
+
def compute_models(make_client: Callable[[str], OllamaClient], key: Any, db: Any = None) -> dict:
|
|
183
|
+
"""Версия Ollama и список моделей: {"models", "version", "error"} (error – текст по-русски или ""). key – адрес
|
|
184
|
+
сервера или Server профиля: служебный клиент по правилам профиля (executors.service_client – класс доверия,
|
|
185
|
+
действующие подтверждения из db, ключ из базы, допуск, граница правки профиля)."""
|
|
186
|
+
if isinstance(key, Server):
|
|
187
|
+
c = service_client(make_client, key, db() if callable(db) else db)
|
|
188
|
+
else:
|
|
189
|
+
c = make_client(key[-1] if isinstance(key, tuple) else key)
|
|
190
|
+
try:
|
|
191
|
+
# Назначения в журнале обмена с моделью: опрос версии и списка моделей помечается отдельно от прогона.
|
|
192
|
+
with model_traffic.context(purpose="version"):
|
|
193
|
+
version = c.version()
|
|
194
|
+
with model_traffic.context(purpose="models"):
|
|
195
|
+
models = c.list_models()
|
|
196
|
+
except LlmError as e:
|
|
197
|
+
return {"models": [], "version": "", "error": str(e)}
|
|
198
|
+
return {"models": models, "version": version, "error": ""}
|
|
199
|
+
|
|
200
|
+
|
|
201
|
+
def compute_metrics(make_client: Callable[[str], OllamaClient], key: Any, db: Any = None) -> dict:
|
|
202
|
+
"""Метрики видеокарты и загруженных моделей (metrics_view); сбой метрик страницу не ломает. key – адрес сервера
|
|
203
|
+
или (адрес, данные хоста): видеокарта этого компьютера – только у профиля local (ADR-0102 п. 9)."""
|
|
204
|
+
url, host = (key[0], bool(key[1])) if isinstance(key, tuple) else (key, True)
|
|
205
|
+
try:
|
|
206
|
+
client = (service_client(make_client, key, db() if callable(db) else db) if isinstance(key, Server)
|
|
207
|
+
else make_client(url))
|
|
208
|
+
with model_traffic.context(purpose="status"):
|
|
209
|
+
snap = metrics.snapshot(client, host=host)
|
|
210
|
+
except Exception as e:
|
|
211
|
+
log.warning("метрики недоступны: %s", type(e).__name__)
|
|
212
|
+
snap = {"gpu": None, "models": [], "error": f"Метрики недоступны: {type(e).__name__}"}
|
|
213
|
+
# server – чей это снимок: наблюдение и страницы не выдают метрики одного сервера за метрики другого
|
|
214
|
+
return {**metrics_view(snap), "measured_at": time.time(), "server": server_identity((str(url), bool(host)))}
|
|
215
|
+
|
|
216
|
+
|
|
217
|
+
# ============================================================================ состояние приложения
|
|
218
|
+
|
|
219
|
+
@dataclass
|
|
220
|
+
class WebState:
|
|
221
|
+
"""Общее для всех запросов (request.app.state.web)."""
|
|
222
|
+
|
|
223
|
+
base: Settings # настройки из переменных окружения
|
|
224
|
+
make_client: Callable[[str], OllamaClient]
|
|
225
|
+
templates: Jinja2Templates
|
|
226
|
+
models_cache: Cached
|
|
227
|
+
metrics_cache: Cached
|
|
228
|
+
|
|
229
|
+
|
|
230
|
+
def web_of(request: Request) -> WebState:
|
|
231
|
+
return request.app.state.web
|
|
232
|
+
|
|
233
|
+
|
|
234
|
+
def db_of(request: Request) -> Database:
|
|
235
|
+
return request.app.state.db
|
|
236
|
+
|
|
237
|
+
|
|
238
|
+
def runner_of(request: Request) -> TriageRunner:
|
|
239
|
+
return request.app.state.runner
|
|
240
|
+
|
|
241
|
+
|
|
242
|
+
def mask_key_of(request: Request) -> bytes:
|
|
243
|
+
return request.app.state.mask_key
|
|
244
|
+
|
|
245
|
+
|
|
246
|
+
def settings_of(request: Request) -> Settings:
|
|
247
|
+
"""Действующие настройки: сохранённые в интерфейсе (таблица settings) поверх переменных окружения."""
|
|
248
|
+
return web_of(request).base.with_stored(db_of(request).get_settings())
|
|
249
|
+
|
|
250
|
+
|
|
251
|
+
def client_of(request: Request) -> OllamaClient:
|
|
252
|
+
return web_of(request).make_client(settings_of(request).ollama_url)
|
|
253
|
+
|
|
254
|
+
|
|
255
|
+
def profile_for(request: Request, project: dict | None = None) -> dict:
|
|
256
|
+
"""Профиль, которым пойдёт разбор кода (ADR-0102): профиль проекта или приложения; профиль 1 создаётся, если его
|
|
257
|
+
ещё нет. Для показа – и выключенный (страница скажет об этом), постановка прогона его отклонит."""
|
|
258
|
+
from app.db import DEFAULT_PROVIDER_ID
|
|
259
|
+
db, settings = db_of(request), settings_of(request)
|
|
260
|
+
chosen = (project or {}).get("provider_id") or settings.default_provider_id or DEFAULT_PROVIDER_ID
|
|
261
|
+
profile = db.get_provider(int(chosen))
|
|
262
|
+
if profile is None:
|
|
263
|
+
profile = db.get_provider(DEFAULT_PROVIDER_ID) or db.ensure_default_profile(settings.ollama_url,
|
|
264
|
+
settings.default_model)
|
|
265
|
+
return profile
|
|
266
|
+
|
|
267
|
+
|
|
268
|
+
def models_of(request: Request, fresh: bool = False, profile: dict | None = None) -> dict:
|
|
269
|
+
"""Версия сервера и список моделей профиля (по умолчанию – профиля приложения); кэш на MODELS_TTL_S секунд по
|
|
270
|
+
профилю, его версии и адресу: разные серверы не делят список."""
|
|
271
|
+
profile = profile or profile_for(request)
|
|
272
|
+
return web_of(request).models_cache.get(server_of(profile), fresh)
|
|
273
|
+
|
|
274
|
+
|
|
275
|
+
def server_identity(server: tuple[str, bool]) -> dict:
|
|
276
|
+
"""Метка сервера в снимке метрик (поле server)."""
|
|
277
|
+
return {"base_url": str(server[0]), "local": bool(server[1])}
|
|
278
|
+
|
|
279
|
+
|
|
280
|
+
def metrics_of(request: Request, executor: dict | None = None) -> dict:
|
|
281
|
+
"""Метрики видеокарты и загруженных моделей. executor – профиль или снимок исполнителя прогона. Сервер тот же, что
|
|
282
|
+
у профиля приложения (или executor не задан), – снимок фонового наблюдения; другой сервер – его метрики (кэш на
|
|
283
|
+
METRICS_TTL_S) с теми же служебными полями: время измерения, свежесть, данные хоста (у lan – «remote»: видеокарты
|
|
284
|
+
и памяти этого компьютера на странице нет, ADR-0102 п. 9)."""
|
|
285
|
+
observer = getattr(request.app.state, 'telemetry', None)
|
|
286
|
+
server = server_of(executor or profile_for(request))
|
|
287
|
+
if observer:
|
|
288
|
+
snap = observer.snapshot()
|
|
289
|
+
# снимок наблюдения – только если он этого же сервера: после смены профиля приложения прежний снимок
|
|
290
|
+
# чужой, пока наблюдение не измерило новый сервер
|
|
291
|
+
if snap.get("server") == server_identity(server):
|
|
292
|
+
return snap
|
|
293
|
+
remembered = observer.server_snapshot(server) # сервер идущего прогона, измеренный наблюдением
|
|
294
|
+
if remembered is not None:
|
|
295
|
+
return remembered
|
|
296
|
+
# наблюдение этот сервер ещё не измерило: оно измерит его в ближайший цикл, страница сеть не ждёт
|
|
297
|
+
observer.want(server)
|
|
298
|
+
return observer.pending(server, metrics_view({}))
|
|
299
|
+
return dict(web_of(request).metrics_cache.get(server))
|
|
300
|
+
|
|
301
|
+
|
|
302
|
+
def default_model(settings: Settings, models: list[dict], project: dict | None = None,
|
|
303
|
+
profile: dict | None = None) -> str:
|
|
304
|
+
"""Модель, выбранная в списке по умолчанию: модель проекта, иначе модель профиля, которым пойдёт запрос
|
|
305
|
+
(ADR-0102), иначе модель из настроек – первая из них, что есть на сервере; иначе первая из списка."""
|
|
306
|
+
names = [m["name"] for m in models]
|
|
307
|
+
for wanted in ((project or {}).get("model") or "", (profile or {}).get("default_model") or "",
|
|
308
|
+
settings.default_model):
|
|
309
|
+
if wanted and wanted in names:
|
|
310
|
+
return wanted
|
|
311
|
+
return names[0] if names else ""
|
|
312
|
+
|
|
313
|
+
|
|
314
|
+
# ============================================================================ страницы и переходы
|
|
315
|
+
|
|
316
|
+
def external_enabled() -> bool:
|
|
317
|
+
from app import llm_net
|
|
318
|
+
return llm_net.external_enabled()
|
|
319
|
+
|
|
320
|
+
|
|
321
|
+
def collector_of(request: Request) -> dict:
|
|
322
|
+
"""Состояние сборщика метрик компьютера для предупреждений на страницах (telemetry.collector_state)."""
|
|
323
|
+
from app import llm_net
|
|
324
|
+
from app.telemetry import collector_state
|
|
325
|
+
return collector_state(settings_of(request).data_dir / "telemetry" / "host.json", llm_net.in_container())
|
|
326
|
+
|
|
327
|
+
|
|
328
|
+
def render(request: Request, name: str, context: dict, status_code: int = 200) -> HTMLResponse:
|
|
329
|
+
"""Страница по шаблону: сообщение после действия (?ok=…, ?reopened=N), действующие настройки, контекст."""
|
|
330
|
+
ok = request.query_params.get("ok", "")
|
|
331
|
+
message = OK_MESSAGES.get(ok, "")
|
|
332
|
+
reopened = request.query_params.get("reopened", "")
|
|
333
|
+
if message and COUNT.fullmatch(reopened) and int(reopened) > 0:
|
|
334
|
+
message += " " + reopened_note(int(reopened))
|
|
335
|
+
db = db_of(request)
|
|
336
|
+
providers = db.list_providers()
|
|
337
|
+
base = {"ok_message": message, "ok_error": bool(message) and ok in OK_ERRORS, "error": "",
|
|
338
|
+
"settings": settings_of(request),
|
|
339
|
+
# подвал говорит правду о том, куда уходит код (ADR-0102): есть включённый сервер в сети – и туда
|
|
340
|
+
"lan_in_use": any(p.get("enabled") and p.get("trust") == "lan" for p in providers),
|
|
341
|
+
# ...а есть включённый внешний профиль – и об интернете: код уходит ему только у проектов с отметкой «код не
|
|
342
|
+
# секретный» (ADR-0104); прежний текст «внешних запросов интерфейс не делает» был неправдой
|
|
343
|
+
"external_in_use": any(p.get("enabled") and p.get("trust") == "external" for p in providers),
|
|
344
|
+
# сборщик метрик компьютера: предупреждение с инструкцией там, где без него что-то не работает (HOSTCOL-01)
|
|
345
|
+
"collector": context.get("collector") or collector_of(request), "external_on": external_enabled()}
|
|
346
|
+
base.update(page_context(request, context, db))
|
|
347
|
+
if name in ("findings/card.html", "sca/card.html", "projects/defect_card.html"):
|
|
348
|
+
from app import hub_pull
|
|
349
|
+
from app.hub_ops import hub_base
|
|
350
|
+
from app.hub_status import HUB_ISSUE_TYPE
|
|
351
|
+
project = context["project"]
|
|
352
|
+
kind = "defect" if name == "projects/defect_card.html" else "issue"
|
|
353
|
+
key = (str(context["row"]["hub_defect_id"]) if kind == "defect" else
|
|
354
|
+
f"{HUB_ISSUE_TYPE.get(context['f'].kind, 'UNMAPPED')}:{context['f'].hub_id}")
|
|
355
|
+
base["pull_state"] = hub_pull.card_context(db, project["id"], hub_base(base["settings"].hub_url),
|
|
356
|
+
project.get("hub_app_id"), kind, key)
|
|
357
|
+
reference_cache = {}
|
|
358
|
+
|
|
359
|
+
def reference_status(kind, key):
|
|
360
|
+
pair = (kind, key)
|
|
361
|
+
if pair not in reference_cache:
|
|
362
|
+
reference_cache[pair] = request.app.state.feeds.reference_status(kind, key)
|
|
363
|
+
return reference_cache[pair]
|
|
364
|
+
|
|
365
|
+
base["reference_status"] = reference_status
|
|
366
|
+
return web_of(request).templates.TemplateResponse(request, name, {**base, **context}, status_code=status_code)
|
|
367
|
+
|
|
368
|
+
|
|
369
|
+
def redirect(url: str) -> RedirectResponse:
|
|
370
|
+
return RedirectResponse(url, status_code=303)
|
|
371
|
+
|
|
372
|
+
|
|
373
|
+
def project_or_404(request: Request, project_id: int) -> dict:
|
|
374
|
+
project = db_of(request).get_project(project_id)
|
|
375
|
+
if project is None:
|
|
376
|
+
raise HTTPException(status_code=404, detail="Проект не найден.")
|
|
377
|
+
return project
|
|
378
|
+
|
|
379
|
+
|
|
380
|
+
def with_reopened(url: str, count: int) -> str:
|
|
381
|
+
"""Адрес перехода после сохранения: добавляет reopened=N перед якорем, если отметки снимались."""
|
|
382
|
+
if count <= 0:
|
|
383
|
+
return url
|
|
384
|
+
path, _, anchor = url.partition("#")
|
|
385
|
+
return f"{path}&reopened={count}" + (f"#{anchor}" if anchor else "")
|
|
386
|
+
|
|
387
|
+
|
|
388
|
+
def query(params: dict[str, Any], **changes: Any) -> str:
|
|
389
|
+
"""Строка параметров адреса без пустых значений."""
|
|
390
|
+
merged = {**params, **changes}
|
|
391
|
+
# повторяющиеся параметры (кортеж значений, бэклог 99) – по одному на значение
|
|
392
|
+
return urlencode({k: v for k, v in merged.items() if v not in (None, "", False, ())}, doseq=True)
|
|
393
|
+
|
|
394
|
+
|
|
395
|
+
def error_response(request: Request, status_code: int, detail: str, headers: dict | None = None,
|
|
396
|
+
settings: Any = None):
|
|
397
|
+
"""Ошибка по-русски: страница для браузера, JSON для запросов из скрипта. settings – готовые настройки для
|
|
398
|
+
страницы: при занятой базе их передаёт обработчик (чтение настроек из базы в цикле событий ждало бы соединение)."""
|
|
399
|
+
if "text/html" in request.headers.get("accept", ""):
|
|
400
|
+
try:
|
|
401
|
+
settings = settings or settings_of(request)
|
|
402
|
+
except Exception: # база недоступна – страница ошибки всё равно нужна
|
|
403
|
+
settings = web_of(request).base
|
|
404
|
+
return web_of(request).templates.TemplateResponse(
|
|
405
|
+
request, "error.html", {"status": status_code, "message": detail, "settings": settings,
|
|
406
|
+
"ok_message": "", "error": ""}, status_code=status_code, headers=headers)
|
|
407
|
+
return JSONResponse({"detail": detail}, status_code=status_code, headers=headers)
|