local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/app/main.py
ADDED
|
@@ -0,0 +1,367 @@
|
|
|
1
|
+
"""Веб-интерфейс локального триажа: сборка приложения FastAPI.
|
|
2
|
+
|
|
3
|
+
Запуск: uvicorn app.main:create_app --factory --host 0.0.0.0 --port 8765 (в контейнере порт опубликован только
|
|
4
|
+
на 127.0.0.1). Здесь – только сборка: замок папки данных, база и очередь триажа на время работы, защита запросов,
|
|
5
|
+
статические файлы, шаблоны, разделы интерфейса (app/routes/*) и страницы ошибок по-русски.
|
|
6
|
+
|
|
7
|
+
Защита: имя хоста – только из разрешённых (подмена DNS), POST – только со страниц этого же приложения
|
|
8
|
+
(Origin или Referer), предел размера тела запроса, строгая политика CSP (никаких внешних адресов и встроенных
|
|
9
|
+
скриптов), экранирование всего вывода, пути к репозиториям – только внутри REPOS_ROOT.
|
|
10
|
+
"""
|
|
11
|
+
|
|
12
|
+
from __future__ import annotations
|
|
13
|
+
|
|
14
|
+
import functools
|
|
15
|
+
import logging
|
|
16
|
+
import secrets
|
|
17
|
+
import re
|
|
18
|
+
import threading
|
|
19
|
+
from collections.abc import Callable
|
|
20
|
+
from contextlib import asynccontextmanager
|
|
21
|
+
from pathlib import Path
|
|
22
|
+
|
|
23
|
+
from fastapi import FastAPI, Request
|
|
24
|
+
from fastapi.exceptions import RequestValidationError
|
|
25
|
+
from fastapi.staticfiles import StaticFiles
|
|
26
|
+
from starlette.exceptions import HTTPException as StarletteHTTPException
|
|
27
|
+
|
|
28
|
+
from app import __version__, hub_ops
|
|
29
|
+
from app.config import Settings
|
|
30
|
+
from app.db import Database, DatabaseBusy
|
|
31
|
+
from app.storage.postgresql import MAINTENANCE_TEXT, PAGE_VIEW, CommitUnknown, MaintenanceMode
|
|
32
|
+
from app.feeds import FeedStore
|
|
33
|
+
from app.storage import local_state
|
|
34
|
+
from app.guard import GuardMiddleware
|
|
35
|
+
from app.llm_ollama import OllamaClient
|
|
36
|
+
from app.lockfile import InstanceLock, LockBusy, LockLost, LockUnsure
|
|
37
|
+
from app.logsafe import log_failure
|
|
38
|
+
from app.model_traffic import Recorder, set_recorder
|
|
39
|
+
from app.routes import (api, capec, components, cwe, feeds, findings, hub, hub_bulk, hub_defect_routes, defect_card_routes,
|
|
40
|
+
hub_status_routes, hub_sync_routes, journal, projects, decision_selected, defect_add, defect_selected,
|
|
41
|
+
providers, runs, sca)
|
|
42
|
+
from app.routes import settings as settings_routes
|
|
43
|
+
from app.routes.common import (HTTP_ERRORS, METRICS_TTL_S, MODELS_TTL_S, Cached, WebState, compute_metrics,
|
|
44
|
+
compute_models, error_response)
|
|
45
|
+
from app.triage import TriageRunner, sync_revisions
|
|
46
|
+
from app.telemetry import Telemetry
|
|
47
|
+
from app.view import make_templates
|
|
48
|
+
|
|
49
|
+
# Прежние имена для импорта из app.main
|
|
50
|
+
from app.routes.projects import auto_folder, list_codebase_dirs, list_project_dirs # noqa: F401
|
|
51
|
+
from app.view import fix_text, fmt_report_date, model_text # noqa: F401
|
|
52
|
+
|
|
53
|
+
log = logging.getLogger("local_triage.web")
|
|
54
|
+
|
|
55
|
+
# Запуск не взял замок папки данных из-за свежего чужого замка (LockBusy): app/serve.py отвечает обёртке стенда npm
|
|
56
|
+
# отдельным кодом выхода, и она повторяет запуск, когда отметка прежнего процесса устареет (ADR-0155)
|
|
57
|
+
STARTUP_LOCK_BUSY = threading.Event()
|
|
58
|
+
# Запуск приложения (lifespan) прошёл: если после этого uvicorn не запустился, порт занят – app/serve.py отвечает своим
|
|
59
|
+
# кодом, и обёртка берёт следующий свободный порт
|
|
60
|
+
STARTUP_COMPLETE = threading.Event()
|
|
61
|
+
|
|
62
|
+
STATIC_DIR = Path(__file__).resolve().parent / "static"
|
|
63
|
+
BODY_OVERHEAD = 256 * 1024 # запас на служебные части multipart сверх MAX_UPLOAD_MB
|
|
64
|
+
|
|
65
|
+
_CYRILLIC = re.compile(r"[А-Яа-яЁё]")
|
|
66
|
+
|
|
67
|
+
|
|
68
|
+
def clear_tmp(tmp_dir: Path) -> int:
|
|
69
|
+
"""Удаляет копии выгрузок, оставшиеся в DATA_DIR/tmp после сбоя (процесс завершён посреди разбора). Вызывается
|
|
70
|
+
сразу после замка папки данных: других разборов в этот момент нет. Возвращает, сколько файлов удалено."""
|
|
71
|
+
removed = 0
|
|
72
|
+
try:
|
|
73
|
+
entries = list(tmp_dir.iterdir())
|
|
74
|
+
except OSError:
|
|
75
|
+
return 0
|
|
76
|
+
for entry in entries:
|
|
77
|
+
try:
|
|
78
|
+
if entry.is_file() and not entry.is_symlink():
|
|
79
|
+
entry.unlink()
|
|
80
|
+
removed += 1
|
|
81
|
+
except OSError:
|
|
82
|
+
continue
|
|
83
|
+
if removed:
|
|
84
|
+
log.info("удалено временных файлов выгрузок после прошлого запуска: %d", removed)
|
|
85
|
+
return removed
|
|
86
|
+
|
|
87
|
+
|
|
88
|
+
def create_app(settings: Settings | None = None,
|
|
89
|
+
client_factory: Callable[[str], OllamaClient] | None = None) -> FastAPI:
|
|
90
|
+
"""Приложение. settings – по умолчанию из переменных окружения; client_factory – клиент Ollama по адресу."""
|
|
91
|
+
settings = settings or Settings.from_env()
|
|
92
|
+
make_client = client_factory or OllamaClient
|
|
93
|
+
# свежие адреса компьютера-хоста от сборщика метрик: внешний профиль модели не ведёт на сам компьютер (ADR-0104)
|
|
94
|
+
from app import llm_net
|
|
95
|
+
from app.telemetry import host_addresses_from
|
|
96
|
+
host_file = settings.data_dir / "telemetry" / "host.json"
|
|
97
|
+
llm_net.HOST_SOURCE = lambda: host_addresses_from(host_file)
|
|
98
|
+
|
|
99
|
+
def maintenance_guard() -> None:
|
|
100
|
+
raise MaintenanceMode(MAINTENANCE_TEXT)
|
|
101
|
+
|
|
102
|
+
@asynccontextmanager
|
|
103
|
+
async def lifespan(app: FastAPI):
|
|
104
|
+
# Замок папки данных – до любых записей в базу: второй экземпляр на той же папке (например, запуск без
|
|
105
|
+
# Docker рядом с работающим контейнером) не стартует, а не теряет чужие записи.
|
|
106
|
+
who = "текущему пользователю" if settings.stand == "npm" else "пользователю контейнера"
|
|
107
|
+
no_access = (f"Нет доступа к папке данных DATA_DIR={settings.data_dir}. Проверьте, что папка существует и "
|
|
108
|
+
f"доступна на запись {who}.")
|
|
109
|
+
# замок охраняет то, что осталось в папке данных: телеметрию (ADR-0133); базу охраняет замок базы
|
|
110
|
+
lock = InstanceLock(settings.data_dir / "telemetry")
|
|
111
|
+
try:
|
|
112
|
+
(settings.data_dir / "telemetry").mkdir(parents=True, exist_ok=True)
|
|
113
|
+
lock.acquire()
|
|
114
|
+
except LockBusy:
|
|
115
|
+
STARTUP_LOCK_BUSY.set()
|
|
116
|
+
raise
|
|
117
|
+
except OSError as e:
|
|
118
|
+
raise RuntimeError(no_access) from e
|
|
119
|
+
db: Database | None = None
|
|
120
|
+
store: FeedStore | None = None
|
|
121
|
+
runner: TriageRunner | None = None
|
|
122
|
+
try:
|
|
123
|
+
settings.tmp_dir.mkdir(parents=True, exist_ok=True)
|
|
124
|
+
clear_tmp(settings.tmp_dir)
|
|
125
|
+
# Журнал обмена с моделью (model_traffic): пока регистратор задан, каждое обращение к Ollama
|
|
126
|
+
# записывается до отправки; сбой записи не останавливает запрос, а показывается оператору (ADR-0083).
|
|
127
|
+
# MODEL_TRAFFIC_LOG=off выключает журнал целиком; без регистратора работа не меняется.
|
|
128
|
+
if settings.model_traffic_log == "on":
|
|
129
|
+
set_recorder(Recorder(settings.model_traffic_dir))
|
|
130
|
+
else:
|
|
131
|
+
set_recorder(None)
|
|
132
|
+
db = Database(settings.db_path, write_guard=maintenance_guard if settings.maintenance else lock.check)
|
|
133
|
+
db.read_only = settings.maintenance
|
|
134
|
+
db.hub_disabled = settings.hub_disabled # учебный стенд npm: Hub выключен на стороне сервера (ADR-0155)
|
|
135
|
+
db.hold_instance() # вторая установка на ту же базу с другой папкой данных не стартует (ADR-0128, п. 6.5)
|
|
136
|
+
# Справочники уязвимостей – в своей базе: долгая загрузка не держит основную
|
|
137
|
+
local_state.require_imported(db, settings.data_dir)
|
|
138
|
+
store = FeedStore(db.store, write_guard=maintenance_guard if settings.maintenance else lock.check)
|
|
139
|
+
if not settings.maintenance:
|
|
140
|
+
# Настройки из интерфейса: переменные окружения дают им значения только при первом запуске
|
|
141
|
+
db.seed_settings(settings.editable())
|
|
142
|
+
# Профиль 1 (ADR-0102, П11): по действующим «Адресу Ollama» и «Модели по умолчанию» – один раз, вместе
|
|
143
|
+
# с умолчаниями назначений; дальше их правка в «Настройках» меняет профиль (П23)
|
|
144
|
+
seeded = settings.with_stored(db.get_settings())
|
|
145
|
+
db.ensure_default_profile(seeded.ollama_url, seeded.default_model)
|
|
146
|
+
mask_key = db.mask_key()
|
|
147
|
+
# ключ исполнителя записи в Hub (ADR-0114): создаётся один раз, показывается в «Настройках»; испорченный
|
|
148
|
+
# файл запуск не останавливает – «Настройки» покажут причину и выпустят ключ заново
|
|
149
|
+
if settings.hub_disabled: # учебный стенд npm (ADR-0155): исполнителя нет, ключ не создаётся
|
|
150
|
+
from app.db import HUB_DISABLED_TEXT
|
|
151
|
+
app.state.hub_worker_key_error = HUB_DISABLED_TEXT
|
|
152
|
+
else:
|
|
153
|
+
try:
|
|
154
|
+
app.state.hub_worker_key = hub_ops.load_or_create_worker_key(db)
|
|
155
|
+
except (OSError, ValueError) as e:
|
|
156
|
+
app.state.hub_worker_key_error = str(e)
|
|
157
|
+
log_failure(log, "ключ исполнителя записи в Hub не прочитан", e)
|
|
158
|
+
current = settings.with_stored(db.get_settings())
|
|
159
|
+
from app import affiliation
|
|
160
|
+
affiliation.configure(current.affiliation_words) # маска принадлежности (ADR-0118) – до первого запроса
|
|
161
|
+
# Клоны могли обновить или подменить, пока приложение было остановлено (git pull, другая папка
|
|
162
|
+
# REPOS_ROOT с теми же именами): решения по прежнему коду не должны остаться «проверенными».
|
|
163
|
+
for project in ([] if settings.maintenance else db.list_projects(archived=None)):
|
|
164
|
+
try:
|
|
165
|
+
changed = sync_revisions(db, current, project)["changed"]
|
|
166
|
+
if changed: # имена кодовых баз в журнал не пишутся: журнал пересылают при сбоях
|
|
167
|
+
log.info("проект %s: сменилась ревизия клонов у %d кодовых баз", project["id"], len(changed))
|
|
168
|
+
except Exception as e:
|
|
169
|
+
log_failure(log, "ревизии клонов проекта %s не сверены", e, project["id"])
|
|
170
|
+
# исследование провайдером (ADR-0105, К11): получения, шедшие в момент остановки, – «прервано», их
|
|
171
|
+
# строки «отправлено» – «результат неизвестен»; повторной отправки при старте нет
|
|
172
|
+
interrupted = 0 if settings.maintenance else db.interrupt_research_runs()
|
|
173
|
+
if interrupted:
|
|
174
|
+
log.info("исследование провайдером: прервано получений при остановке – %d", interrupted)
|
|
175
|
+
runner = TriageRunner(db, settings, client_factory=make_client, mask_key=mask_key)
|
|
176
|
+
if not settings.maintenance: # обслуживание: очередь не идёт и прерванные прогоны не трогаются
|
|
177
|
+
runner.start()
|
|
178
|
+
from app.executors import client_for
|
|
179
|
+
from app.sca_research_net import ResearchRunner
|
|
180
|
+
app.state.research = ResearchRunner(
|
|
181
|
+
db, lambda execution: client_for(make_client, execution, db=db))
|
|
182
|
+
app.state.research_secret = secrets.token_bytes(32) # метки предпросмотра согласия – на время работы
|
|
183
|
+
except BaseException as e: # запуск не удался: всё, что успели открыть, закрывается, замок отпускается
|
|
184
|
+
try:
|
|
185
|
+
if runner is not None:
|
|
186
|
+
runner.shutdown()
|
|
187
|
+
finally:
|
|
188
|
+
try:
|
|
189
|
+
lock.revoke()
|
|
190
|
+
if db is not None:
|
|
191
|
+
db.close()
|
|
192
|
+
if store is not None:
|
|
193
|
+
store.close()
|
|
194
|
+
finally:
|
|
195
|
+
set_recorder(None)
|
|
196
|
+
lock.release()
|
|
197
|
+
if isinstance(e, OSError):
|
|
198
|
+
raise RuntimeError(no_access) from e
|
|
199
|
+
raise
|
|
200
|
+
if not settings.maintenance and not settings.hub_disabled: # в стенде npm операций Hub нет (ADR-0155)
|
|
201
|
+
from app.hub_sync import recover
|
|
202
|
+
recover(db)
|
|
203
|
+
from app.hub_effects import recover_chains
|
|
204
|
+
recover_chains(db) # незавершённые цепочки замены комментария (ADR-0130)
|
|
205
|
+
app.state.db = db
|
|
206
|
+
app.state.feeds = store
|
|
207
|
+
app.state.feed_job = feeds.FeedJob()
|
|
208
|
+
app.state.runner = runner
|
|
209
|
+
app.state.mask_key = mask_key
|
|
210
|
+
def observed_metrics():
|
|
211
|
+
"""Метрики профиля приложения для страниц и ресурсы каждого идущего прогона – по серверу его снимка
|
|
212
|
+
исполнителя (ADR-0102): прогон с профилем проекта не получает чужих ресурсов, данные этого компьютера –
|
|
213
|
+
только у профиля local."""
|
|
214
|
+
from app.db import DEFAULT_PROVIDER_ID
|
|
215
|
+
from app.journal import resources
|
|
216
|
+
from app.routes.common import server_of
|
|
217
|
+
from app.telemetry import host_snapshot
|
|
218
|
+
current = settings.with_stored(db.get_settings())
|
|
219
|
+
profile = db.get_provider(current.default_provider_id or DEFAULT_PROVIDER_ID) or {
|
|
220
|
+
"base_url": current.ollama_url, "trust": "local"}
|
|
221
|
+
key_of = server_of
|
|
222
|
+
measured = {key_of(profile): compute_metrics(make_client, key_of(profile), db)}
|
|
223
|
+
data = measured[key_of(profile)]
|
|
224
|
+
try:
|
|
225
|
+
host = host_snapshot(settings.data_dir / 'telemetry' / 'host.json')
|
|
226
|
+
groups: dict = {}
|
|
227
|
+
for run in db.active_runs():
|
|
228
|
+
execution = db.get_execution(run.get("execution_id")) if run["state"] == "running" else None
|
|
229
|
+
if execution is not None:
|
|
230
|
+
groups.setdefault(key_of(execution), []).append(run["id"])
|
|
231
|
+
watcher = getattr(app.state, 'telemetry', None)
|
|
232
|
+
# ряд истории сервера – одна точка за цикл: ряд сервера приложения пишет record, остальные – первый
|
|
233
|
+
# из профилей этого сервера
|
|
234
|
+
from app.telemetry import Telemetry
|
|
235
|
+
pointed = {Telemetry.server_tag(key_of(profile))}
|
|
236
|
+
|
|
237
|
+
def point_for(key) -> bool:
|
|
238
|
+
tag = Telemetry.server_tag(key)
|
|
239
|
+
fresh = tag not in pointed
|
|
240
|
+
pointed.add(tag)
|
|
241
|
+
return fresh
|
|
242
|
+
# серверы, метрики которых попросили страницы (прогон на паузе, профиль проекта) – тоже измеряются
|
|
243
|
+
for key in (watcher.wanted() if watcher is not None else []):
|
|
244
|
+
if key not in measured and key not in groups:
|
|
245
|
+
measured[key] = compute_metrics(make_client, key, db)
|
|
246
|
+
watcher.remember(key, measured[key], point=point_for(key))
|
|
247
|
+
for key, run_ids in groups.items():
|
|
248
|
+
if key not in measured:
|
|
249
|
+
measured[key] = compute_metrics(make_client, key, db)
|
|
250
|
+
if watcher is not None: # страница прогона берёт этот снимок, а не опрашивает сервер сама
|
|
251
|
+
# ряд истории сервера профиля приложения пишет record – здесь только снимок
|
|
252
|
+
watcher.remember(key, measured[key], point=point_for(key))
|
|
253
|
+
resources(db, measured[key], host if key[1] else {'status': 'remote'}, run_ids)
|
|
254
|
+
except Exception as e:
|
|
255
|
+
log_failure(log, 'Статистика ресурсов прогона не сохранена', e)
|
|
256
|
+
return data
|
|
257
|
+
observer = Telemetry(settings.data_dir, observed_metrics)
|
|
258
|
+
app.state.telemetry = observer
|
|
259
|
+
if not settings.maintenance:
|
|
260
|
+
observer.start()
|
|
261
|
+
STARTUP_COMPLETE.set() # для app/serve.py: дальше запуск может сорваться только на занятом порту
|
|
262
|
+
try:
|
|
263
|
+
yield
|
|
264
|
+
finally:
|
|
265
|
+
observer.close()
|
|
266
|
+
try:
|
|
267
|
+
if not runner.shutdown(): # поток ждёт ответа модели: результат не запишется, прогон станет «на паузе»
|
|
268
|
+
log.warning("поток триажа не завершился за отведённое время")
|
|
269
|
+
finally:
|
|
270
|
+
# Замок отпускается, только когда писать в базу этот экземпляр уже не может: сначала запрет записей,
|
|
271
|
+
# затем закрытие базы (дожидается начатой транзакции).
|
|
272
|
+
try:
|
|
273
|
+
lock.revoke()
|
|
274
|
+
db.close()
|
|
275
|
+
store.close() # идущая загрузка справочника прервётся: временные таблицы уберёт следующий запуск
|
|
276
|
+
finally:
|
|
277
|
+
set_recorder(None)
|
|
278
|
+
lock.release()
|
|
279
|
+
|
|
280
|
+
async def internal_error_page(scope: dict, eid: str):
|
|
281
|
+
"""Страница необработанной ошибки: текст по-русски и номер записи в журнале (GuardMiddleware)."""
|
|
282
|
+
return error_response(Request(scope), 500, f"{HTTP_ERRORS[500]} Подробности – в журнале контейнера, "
|
|
283
|
+
f"номер ошибки {eid}.")
|
|
284
|
+
|
|
285
|
+
app = FastAPI(title="Локальный триаж", version=__version__, lifespan=lifespan,
|
|
286
|
+
docs_url=None, redoc_url=None, openapi_url=None)
|
|
287
|
+
if settings.maintenance: # добавленный позже слой – внешний: защита запросов снаружи этого
|
|
288
|
+
@app.middleware("http")
|
|
289
|
+
async def page_view(request: Request, call_next):
|
|
290
|
+
# любая форма отклоняется сразу: запись идёт не только в основную базу (файл ключа исполнителя, справочники). Запросы
|
|
291
|
+
# исполнителя (/api/hub/) отвечают сами: заданий нет, результат доставится позже
|
|
292
|
+
if request.method not in ("GET", "HEAD", "OPTIONS") and not request.url.path.startswith("/api/hub/"):
|
|
293
|
+
return error_response(request, 503, MAINTENANCE_TEXT, {"Retry-After": "5"}, settings=request.app.state.web.base)
|
|
294
|
+
token = PAGE_VIEW.set(request.method in ("GET", "HEAD"))
|
|
295
|
+
try:
|
|
296
|
+
return await call_next(request)
|
|
297
|
+
finally:
|
|
298
|
+
PAGE_VIEW.reset(token)
|
|
299
|
+
app.add_middleware(GuardMiddleware, trusted_hosts=settings.trusted_hosts,
|
|
300
|
+
max_body=settings.max_upload_bytes + BODY_OVERHEAD, on_error=internal_error_page)
|
|
301
|
+
from app.timing import TimingMiddleware
|
|
302
|
+
# снаружи GuardMiddleware: замер видит окончательный ответ, в том числе страницу ошибки (бэклог 123)
|
|
303
|
+
app.add_middleware(TimingMiddleware)
|
|
304
|
+
app.mount("/static", StaticFiles(directory=str(STATIC_DIR)), name="static")
|
|
305
|
+
app.state.settings = settings
|
|
306
|
+
app.state.hub_workers = {} # исполнители записи в Hub: последнее обращение, кто вошёл (ADR-0114)
|
|
307
|
+
app.state.web = WebState(base=settings, make_client=make_client, templates=make_templates(),
|
|
308
|
+
# база открывается при запуске (lifespan) – кэшам она передаётся функцией
|
|
309
|
+
models_cache=Cached(MODELS_TTL_S, functools.partial(
|
|
310
|
+
compute_models, make_client,
|
|
311
|
+
db=lambda: getattr(app.state, "db", None))),
|
|
312
|
+
metrics_cache=Cached(METRICS_TTL_S, functools.partial(
|
|
313
|
+
compute_metrics, make_client,
|
|
314
|
+
db=lambda: getattr(app.state, "db", None))))
|
|
315
|
+
for section in (api, projects, findings, runs, settings_routes, providers, sca, components, feeds, cwe, capec,
|
|
316
|
+
journal, hub, hub_status_routes, hub_sync_routes, hub_bulk, hub_defect_routes, defect_card_routes,
|
|
317
|
+
defect_selected, decision_selected, defect_add):
|
|
318
|
+
app.include_router(section.router)
|
|
319
|
+
|
|
320
|
+
@app.exception_handler(StarletteHTTPException)
|
|
321
|
+
async def http_error(request: Request, exc: StarletteHTTPException):
|
|
322
|
+
detail = exc.detail if isinstance(exc.detail, str) else ""
|
|
323
|
+
if not _CYRILLIC.search(detail): # служебные английские тексты фреймворка заменяются русскими
|
|
324
|
+
if detail:
|
|
325
|
+
log.info("ошибка запроса %s: %s", exc.status_code, detail[:200])
|
|
326
|
+
detail = HTTP_ERRORS.get(exc.status_code, "Ошибка запроса.")
|
|
327
|
+
return error_response(request, exc.status_code, detail, getattr(exc, "headers", None))
|
|
328
|
+
|
|
329
|
+
@app.exception_handler(DatabaseBusy)
|
|
330
|
+
async def database_busy(request: Request, exc: DatabaseBusy):
|
|
331
|
+
# база занята (запрос слишком долго ждёт соединение из пула или замок писателя) или недоступна: данные не
|
|
332
|
+
# изменились; это не конфликт версии решения (409), а временный отказ с советом повторить
|
|
333
|
+
log.warning("база занята: %s", type(exc).__name__)
|
|
334
|
+
# настройки – без базы: иначе страница ошибки сама ждала бы занятое соединение в цикле событий
|
|
335
|
+
return error_response(request, 503, str(exc), {"Retry-After": "5"}, settings=request.app.state.web.base)
|
|
336
|
+
|
|
337
|
+
@app.exception_handler(CommitUnknown)
|
|
338
|
+
async def commit_unknown(request: Request, exc: CommitUnknown):
|
|
339
|
+
# соединение оборвалось на COMMIT: повторять запись нельзя, состояние нужно перечитать (ADR-0128, п. 6.4)
|
|
340
|
+
log.warning("результат записи неизвестен: %s", type(exc).__name__)
|
|
341
|
+
return error_response(request, 503, str(exc), settings=request.app.state.web.base)
|
|
342
|
+
|
|
343
|
+
@app.exception_handler(LockUnsure)
|
|
344
|
+
async def lock_unsure(request: Request, exc: LockUnsure):
|
|
345
|
+
# файл замка папки данных на миг не прочитался: запись не выполнена, данные не изменились – повторить
|
|
346
|
+
log.warning("запись отложена: владелец папки данных не установлен")
|
|
347
|
+
return error_response(request, 503, str(exc), {"Retry-After": "5"})
|
|
348
|
+
|
|
349
|
+
@app.exception_handler(LockLost)
|
|
350
|
+
async def lock_lost(request: Request, exc: LockLost):
|
|
351
|
+
# папку забрал другой экземпляр (или приложение останавливается): записи этого экземпляра прекращены
|
|
352
|
+
log.error("запись отклонена: %s", exc)
|
|
353
|
+
return error_response(request, 503, str(exc))
|
|
354
|
+
|
|
355
|
+
@app.exception_handler(RequestValidationError)
|
|
356
|
+
async def validation_error(request: Request, exc: RequestValidationError):
|
|
357
|
+
return error_response(request, 422, HTTP_ERRORS[422])
|
|
358
|
+
|
|
359
|
+
@app.exception_handler(Exception)
|
|
360
|
+
async def internal_error(request: Request, exc: Exception):
|
|
361
|
+
# Запасной путь: ошибки запросов перехватывает GuardMiddleware (без текста исключения в журнале сервера);
|
|
362
|
+
# сюда попадает только сбой самой защиты запросов
|
|
363
|
+
eid = log_failure(log, "необработанная ошибка вне разделов", exc)
|
|
364
|
+
return error_response(request, 500, f"{HTTP_ERRORS[500]} Подробности – в журнале контейнера, номер ошибки "
|
|
365
|
+
f"{eid}.")
|
|
366
|
+
|
|
367
|
+
return app
|
|
@@ -0,0 +1,132 @@
|
|
|
1
|
+
"""Показ кода, строки выгрузки и полей по выбору оператора (0.10.0.dev14, ADR-0141).
|
|
2
|
+
|
|
3
|
+
Маски мешают проверить находки о жёстко заданных учётных данных, а за маскированием отвечает оператор: решать
|
|
4
|
+
за человека приложение не должно. Выбран вариант «только показ»: флажок проекта `mask_secrets`
|
|
5
|
+
управляет тем, что видит человек в приложении. Модели код уходит с масками всегда (ADR-0003), сохранённые срезы,
|
|
6
|
+
отпечатки и решения от флажка не зависят – переключение в любой момент ничего не пересчитывает.
|
|
7
|
+
|
|
8
|
+
Здесь только функции показа; промпт, вопрос модели и предпросмотр внешней отправки их не используют.
|
|
9
|
+
"""
|
|
10
|
+
|
|
11
|
+
from __future__ import annotations
|
|
12
|
+
|
|
13
|
+
import html
|
|
14
|
+
from collections.abc import Callable, Iterable
|
|
15
|
+
from typing import Any
|
|
16
|
+
|
|
17
|
+
from app import masking
|
|
18
|
+
from app.context import build_context
|
|
19
|
+
from app.models import CodeContext, Finding
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
def masked(project: dict | None) -> bool:
|
|
23
|
+
"""Показывать с масками: флажок проекта; нет проекта или поля (база до схемы 35) – как раньше, с масками."""
|
|
24
|
+
if not project:
|
|
25
|
+
return True
|
|
26
|
+
return bool(project.get("mask_secrets", 1))
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
def export_line(f: Finding, mask_key: bytes | None, project: dict | None) -> str:
|
|
30
|
+
"""Строка срабатывания из выгрузки для карточки: с маской – как в промпте; без маски – исходная, свёрнутая в строку
|
|
31
|
+
с тем же ограничением длины."""
|
|
32
|
+
from app.prompts import _one_line, masked_export_line
|
|
33
|
+
if masked(project):
|
|
34
|
+
return masked_export_line(f, mask_key)
|
|
35
|
+
raw = str(f.snippet or "").strip("\n")
|
|
36
|
+
return _one_line(html.unescape(raw)) if raw.strip() else ""
|
|
37
|
+
|
|
38
|
+
|
|
39
|
+
def plain_context(project: dict | None, repo_dir, f: Finding, why: str) -> CodeContext | None:
|
|
40
|
+
"""«Текущий файл в клоне, без масок» – только при снятом флажке и только SAST: строки вокруг строки находки из
|
|
41
|
+
текущего файла клона, без маски. Это не срез разбора и ничего о нём не утверждает. Флажок включён или не SAST –
|
|
42
|
+
None; иначе срез как есть: при status != 'ok' карточка показывает его причину (note), а не строки (ревью dev14)."""
|
|
43
|
+
if masked(project) or f.kind != "SAST":
|
|
44
|
+
return None
|
|
45
|
+
if repo_dir is None:
|
|
46
|
+
return CodeContext(status="no_repo", file=f.file, language=f.language or "", start_line=0, end_line=0,
|
|
47
|
+
target_line=None, lines=[], note=why or "клона нет")
|
|
48
|
+
from app.triage import CONTEXT_CHARS
|
|
49
|
+
return build_context(repo_dir, f, max_chars=CONTEXT_CHARS, mask_key=None, no_repo_note=why)
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
# поля вердикта модели, которые карточка показывает человеку в «Подробностях разбора»: у вердикта с разбором по
|
|
53
|
+
# шагам – одни, у прежнего формата – другие (тот же признак, что is_v3 в карточке)
|
|
54
|
+
MODEL_TEXT_FIELDS = {True: ("what_code_does", "why", "data_flow"), False: ("explanation", "data_flow")}
|
|
55
|
+
|
|
56
|
+
|
|
57
|
+
def label_values(project: dict | None, repo_dir, f: Finding, mask_key: bytes | None, why: str = "",
|
|
58
|
+
also: Iterable[Callable[[], Any]] = ()) -> dict[str, str]:
|
|
59
|
+
"""Значения меток маскирования для показа текстов модели без масок (бэклог 111) – только при снятом флажке и
|
|
60
|
+
только SAST. Модель видела код с метками (ADR-0003), её ответ хранится с метками. Значение восстанавливается, когда
|
|
61
|
+
его даёт то же маскирование тем же ключом: строка выгрузки, прочие колонки выгрузки (also – функции, которые их
|
|
62
|
+
маскируют) и текущий файл клона. Метка, которой там нет (код изменился, клон отвязан), остаётся меткой. Словарь
|
|
63
|
+
живёт в ответе на запрос карточки и никуда не сохраняется."""
|
|
64
|
+
if masked(project) or f.kind != "SAST" or not mask_key:
|
|
65
|
+
return {}
|
|
66
|
+
from app.prompts import masked_export_line
|
|
67
|
+
from app.triage import CONTEXT_CHARS
|
|
68
|
+
with masking.recording() as book:
|
|
69
|
+
masked_export_line(f, mask_key)
|
|
70
|
+
for extra in also:
|
|
71
|
+
extra()
|
|
72
|
+
if repo_dir is not None:
|
|
73
|
+
build_context(repo_dir, f, max_chars=CONTEXT_CHARS, mask_key=mask_key, no_repo_note=why)
|
|
74
|
+
return {label: value for label, value in book.items() if value is not None}
|
|
75
|
+
|
|
76
|
+
|
|
77
|
+
def reveal(text: Any, values: dict[str, str] | None) -> str:
|
|
78
|
+
"""Текст модели для показа: метки, значение которых известно, заменены значением; остальные остаются метками."""
|
|
79
|
+
text = str(text or "")
|
|
80
|
+
if not values:
|
|
81
|
+
return text
|
|
82
|
+
return masking.PLACEHOLDER_RE.sub(lambda m: values.get(m.group(0), m.group(0)), text)
|
|
83
|
+
|
|
84
|
+
|
|
85
|
+
def labels_note(project: dict | None, verdict: Any, values: dict[str, str]) -> dict | None:
|
|
86
|
+
"""Что сказать под текстами модели при снятом флажке: сколько разных меток заменено значением (revealed) и какие
|
|
87
|
+
остались метками (left) – по тем полям, которые карточка показывает. Флажок включён, вердикта нет или меток в
|
|
88
|
+
показанных текстах нет – None."""
|
|
89
|
+
if masked(project) or verdict is None:
|
|
90
|
+
return None
|
|
91
|
+
stepwise = any(getattr(verdict, name, None) for name in ("why", "what_code_does", "check_by_eye", "terms"))
|
|
92
|
+
found: set[str] = set()
|
|
93
|
+
for name in MODEL_TEXT_FIELDS[bool(stepwise)]:
|
|
94
|
+
value = getattr(verdict, name, None)
|
|
95
|
+
for part in (value if isinstance(value, (list, tuple)) else [value]):
|
|
96
|
+
found.update(m.group(0) for m in masking.PLACEHOLDER_RE.finditer(str(part or "")))
|
|
97
|
+
if not found:
|
|
98
|
+
return None
|
|
99
|
+
return {"revealed": len(found & set(values)), "left": sorted(found - set(values))}
|
|
100
|
+
|
|
101
|
+
|
|
102
|
+
def _ranges(numbers: list[int]) -> str:
|
|
103
|
+
"""Номера строк подряд – диапазонами: [3, 4, 5, 9] -> «3–5, 9»."""
|
|
104
|
+
out: list[str] = []
|
|
105
|
+
for n in numbers:
|
|
106
|
+
if out and isinstance(out[-1], list) and out[-1][1] == n - 1:
|
|
107
|
+
out[-1][1] = n
|
|
108
|
+
else:
|
|
109
|
+
out.append([n, n]) # type: ignore[arg-type]
|
|
110
|
+
return ", ".join(str(a) if a == b else f"{a}–{b}" for a, b in out) # type: ignore[misc]
|
|
111
|
+
|
|
112
|
+
|
|
113
|
+
def current_slice(model_ctx: CodeContext | None, current: CodeContext | None) -> dict | None:
|
|
114
|
+
"""Текущий срез клона рядом со срезом модели (бэклог 112): когда разбор устарел, оператор видит и код, который
|
|
115
|
+
сейчас в клоне, – с теми же масками, что и срез модели. rows – строки текущего среза с пометкой changed (строки нет
|
|
116
|
+
в срезе модели или она другая; сопоставление – по содержимому, сдвиг номеров отличием не считается), changed –
|
|
117
|
+
их номера диапазонами, removed – сколько строк среза модели в текущем срезе нет. Текущего кода нет – None."""
|
|
118
|
+
if model_ctx is None or current is None or current.status != "ok" or not current.lines:
|
|
119
|
+
return None
|
|
120
|
+
import difflib
|
|
121
|
+
old, new = list(model_ctx.lines or []), list(current.lines)
|
|
122
|
+
same_new: set[int] = set()
|
|
123
|
+
kept_old = 0
|
|
124
|
+
for block in difflib.SequenceMatcher(a=old, b=new, autojunk=False).get_matching_blocks():
|
|
125
|
+
same_new.update(range(block.b, block.b + block.size))
|
|
126
|
+
kept_old += block.size
|
|
127
|
+
start = int(current.start_line or 1)
|
|
128
|
+
rows = [{"n": start + i, "text": line, "changed": i not in same_new, "target": start + i == current.target_line}
|
|
129
|
+
for i, line in enumerate(new)]
|
|
130
|
+
return {"rows": rows, "start": start, "end": start + len(new) - 1,
|
|
131
|
+
"changed": _ranges([r["n"] for r in rows if r["changed"]]), "removed": len(old) - kept_old,
|
|
132
|
+
"masked": bool(getattr(current, "masked", None))}
|