local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
package/app/main.py ADDED
@@ -0,0 +1,367 @@
1
+ """Веб-интерфейс локального триажа: сборка приложения FastAPI.
2
+
3
+ Запуск: uvicorn app.main:create_app --factory --host 0.0.0.0 --port 8765 (в контейнере порт опубликован только
4
+ на 127.0.0.1). Здесь – только сборка: замок папки данных, база и очередь триажа на время работы, защита запросов,
5
+ статические файлы, шаблоны, разделы интерфейса (app/routes/*) и страницы ошибок по-русски.
6
+
7
+ Защита: имя хоста – только из разрешённых (подмена DNS), POST – только со страниц этого же приложения
8
+ (Origin или Referer), предел размера тела запроса, строгая политика CSP (никаких внешних адресов и встроенных
9
+ скриптов), экранирование всего вывода, пути к репозиториям – только внутри REPOS_ROOT.
10
+ """
11
+
12
+ from __future__ import annotations
13
+
14
+ import functools
15
+ import logging
16
+ import secrets
17
+ import re
18
+ import threading
19
+ from collections.abc import Callable
20
+ from contextlib import asynccontextmanager
21
+ from pathlib import Path
22
+
23
+ from fastapi import FastAPI, Request
24
+ from fastapi.exceptions import RequestValidationError
25
+ from fastapi.staticfiles import StaticFiles
26
+ from starlette.exceptions import HTTPException as StarletteHTTPException
27
+
28
+ from app import __version__, hub_ops
29
+ from app.config import Settings
30
+ from app.db import Database, DatabaseBusy
31
+ from app.storage.postgresql import MAINTENANCE_TEXT, PAGE_VIEW, CommitUnknown, MaintenanceMode
32
+ from app.feeds import FeedStore
33
+ from app.storage import local_state
34
+ from app.guard import GuardMiddleware
35
+ from app.llm_ollama import OllamaClient
36
+ from app.lockfile import InstanceLock, LockBusy, LockLost, LockUnsure
37
+ from app.logsafe import log_failure
38
+ from app.model_traffic import Recorder, set_recorder
39
+ from app.routes import (api, capec, components, cwe, feeds, findings, hub, hub_bulk, hub_defect_routes, defect_card_routes,
40
+ hub_status_routes, hub_sync_routes, journal, projects, decision_selected, defect_add, defect_selected,
41
+ providers, runs, sca)
42
+ from app.routes import settings as settings_routes
43
+ from app.routes.common import (HTTP_ERRORS, METRICS_TTL_S, MODELS_TTL_S, Cached, WebState, compute_metrics,
44
+ compute_models, error_response)
45
+ from app.triage import TriageRunner, sync_revisions
46
+ from app.telemetry import Telemetry
47
+ from app.view import make_templates
48
+
49
+ # Прежние имена для импорта из app.main
50
+ from app.routes.projects import auto_folder, list_codebase_dirs, list_project_dirs # noqa: F401
51
+ from app.view import fix_text, fmt_report_date, model_text # noqa: F401
52
+
53
+ log = logging.getLogger("local_triage.web")
54
+
55
+ # Запуск не взял замок папки данных из-за свежего чужого замка (LockBusy): app/serve.py отвечает обёртке стенда npm
56
+ # отдельным кодом выхода, и она повторяет запуск, когда отметка прежнего процесса устареет (ADR-0155)
57
+ STARTUP_LOCK_BUSY = threading.Event()
58
+ # Запуск приложения (lifespan) прошёл: если после этого uvicorn не запустился, порт занят – app/serve.py отвечает своим
59
+ # кодом, и обёртка берёт следующий свободный порт
60
+ STARTUP_COMPLETE = threading.Event()
61
+
62
+ STATIC_DIR = Path(__file__).resolve().parent / "static"
63
+ BODY_OVERHEAD = 256 * 1024 # запас на служебные части multipart сверх MAX_UPLOAD_MB
64
+
65
+ _CYRILLIC = re.compile(r"[А-Яа-яЁё]")
66
+
67
+
68
+ def clear_tmp(tmp_dir: Path) -> int:
69
+ """Удаляет копии выгрузок, оставшиеся в DATA_DIR/tmp после сбоя (процесс завершён посреди разбора). Вызывается
70
+ сразу после замка папки данных: других разборов в этот момент нет. Возвращает, сколько файлов удалено."""
71
+ removed = 0
72
+ try:
73
+ entries = list(tmp_dir.iterdir())
74
+ except OSError:
75
+ return 0
76
+ for entry in entries:
77
+ try:
78
+ if entry.is_file() and not entry.is_symlink():
79
+ entry.unlink()
80
+ removed += 1
81
+ except OSError:
82
+ continue
83
+ if removed:
84
+ log.info("удалено временных файлов выгрузок после прошлого запуска: %d", removed)
85
+ return removed
86
+
87
+
88
+ def create_app(settings: Settings | None = None,
89
+ client_factory: Callable[[str], OllamaClient] | None = None) -> FastAPI:
90
+ """Приложение. settings – по умолчанию из переменных окружения; client_factory – клиент Ollama по адресу."""
91
+ settings = settings or Settings.from_env()
92
+ make_client = client_factory or OllamaClient
93
+ # свежие адреса компьютера-хоста от сборщика метрик: внешний профиль модели не ведёт на сам компьютер (ADR-0104)
94
+ from app import llm_net
95
+ from app.telemetry import host_addresses_from
96
+ host_file = settings.data_dir / "telemetry" / "host.json"
97
+ llm_net.HOST_SOURCE = lambda: host_addresses_from(host_file)
98
+
99
+ def maintenance_guard() -> None:
100
+ raise MaintenanceMode(MAINTENANCE_TEXT)
101
+
102
+ @asynccontextmanager
103
+ async def lifespan(app: FastAPI):
104
+ # Замок папки данных – до любых записей в базу: второй экземпляр на той же папке (например, запуск без
105
+ # Docker рядом с работающим контейнером) не стартует, а не теряет чужие записи.
106
+ who = "текущему пользователю" if settings.stand == "npm" else "пользователю контейнера"
107
+ no_access = (f"Нет доступа к папке данных DATA_DIR={settings.data_dir}. Проверьте, что папка существует и "
108
+ f"доступна на запись {who}.")
109
+ # замок охраняет то, что осталось в папке данных: телеметрию (ADR-0133); базу охраняет замок базы
110
+ lock = InstanceLock(settings.data_dir / "telemetry")
111
+ try:
112
+ (settings.data_dir / "telemetry").mkdir(parents=True, exist_ok=True)
113
+ lock.acquire()
114
+ except LockBusy:
115
+ STARTUP_LOCK_BUSY.set()
116
+ raise
117
+ except OSError as e:
118
+ raise RuntimeError(no_access) from e
119
+ db: Database | None = None
120
+ store: FeedStore | None = None
121
+ runner: TriageRunner | None = None
122
+ try:
123
+ settings.tmp_dir.mkdir(parents=True, exist_ok=True)
124
+ clear_tmp(settings.tmp_dir)
125
+ # Журнал обмена с моделью (model_traffic): пока регистратор задан, каждое обращение к Ollama
126
+ # записывается до отправки; сбой записи не останавливает запрос, а показывается оператору (ADR-0083).
127
+ # MODEL_TRAFFIC_LOG=off выключает журнал целиком; без регистратора работа не меняется.
128
+ if settings.model_traffic_log == "on":
129
+ set_recorder(Recorder(settings.model_traffic_dir))
130
+ else:
131
+ set_recorder(None)
132
+ db = Database(settings.db_path, write_guard=maintenance_guard if settings.maintenance else lock.check)
133
+ db.read_only = settings.maintenance
134
+ db.hub_disabled = settings.hub_disabled # учебный стенд npm: Hub выключен на стороне сервера (ADR-0155)
135
+ db.hold_instance() # вторая установка на ту же базу с другой папкой данных не стартует (ADR-0128, п. 6.5)
136
+ # Справочники уязвимостей – в своей базе: долгая загрузка не держит основную
137
+ local_state.require_imported(db, settings.data_dir)
138
+ store = FeedStore(db.store, write_guard=maintenance_guard if settings.maintenance else lock.check)
139
+ if not settings.maintenance:
140
+ # Настройки из интерфейса: переменные окружения дают им значения только при первом запуске
141
+ db.seed_settings(settings.editable())
142
+ # Профиль 1 (ADR-0102, П11): по действующим «Адресу Ollama» и «Модели по умолчанию» – один раз, вместе
143
+ # с умолчаниями назначений; дальше их правка в «Настройках» меняет профиль (П23)
144
+ seeded = settings.with_stored(db.get_settings())
145
+ db.ensure_default_profile(seeded.ollama_url, seeded.default_model)
146
+ mask_key = db.mask_key()
147
+ # ключ исполнителя записи в Hub (ADR-0114): создаётся один раз, показывается в «Настройках»; испорченный
148
+ # файл запуск не останавливает – «Настройки» покажут причину и выпустят ключ заново
149
+ if settings.hub_disabled: # учебный стенд npm (ADR-0155): исполнителя нет, ключ не создаётся
150
+ from app.db import HUB_DISABLED_TEXT
151
+ app.state.hub_worker_key_error = HUB_DISABLED_TEXT
152
+ else:
153
+ try:
154
+ app.state.hub_worker_key = hub_ops.load_or_create_worker_key(db)
155
+ except (OSError, ValueError) as e:
156
+ app.state.hub_worker_key_error = str(e)
157
+ log_failure(log, "ключ исполнителя записи в Hub не прочитан", e)
158
+ current = settings.with_stored(db.get_settings())
159
+ from app import affiliation
160
+ affiliation.configure(current.affiliation_words) # маска принадлежности (ADR-0118) – до первого запроса
161
+ # Клоны могли обновить или подменить, пока приложение было остановлено (git pull, другая папка
162
+ # REPOS_ROOT с теми же именами): решения по прежнему коду не должны остаться «проверенными».
163
+ for project in ([] if settings.maintenance else db.list_projects(archived=None)):
164
+ try:
165
+ changed = sync_revisions(db, current, project)["changed"]
166
+ if changed: # имена кодовых баз в журнал не пишутся: журнал пересылают при сбоях
167
+ log.info("проект %s: сменилась ревизия клонов у %d кодовых баз", project["id"], len(changed))
168
+ except Exception as e:
169
+ log_failure(log, "ревизии клонов проекта %s не сверены", e, project["id"])
170
+ # исследование провайдером (ADR-0105, К11): получения, шедшие в момент остановки, – «прервано», их
171
+ # строки «отправлено» – «результат неизвестен»; повторной отправки при старте нет
172
+ interrupted = 0 if settings.maintenance else db.interrupt_research_runs()
173
+ if interrupted:
174
+ log.info("исследование провайдером: прервано получений при остановке – %d", interrupted)
175
+ runner = TriageRunner(db, settings, client_factory=make_client, mask_key=mask_key)
176
+ if not settings.maintenance: # обслуживание: очередь не идёт и прерванные прогоны не трогаются
177
+ runner.start()
178
+ from app.executors import client_for
179
+ from app.sca_research_net import ResearchRunner
180
+ app.state.research = ResearchRunner(
181
+ db, lambda execution: client_for(make_client, execution, db=db))
182
+ app.state.research_secret = secrets.token_bytes(32) # метки предпросмотра согласия – на время работы
183
+ except BaseException as e: # запуск не удался: всё, что успели открыть, закрывается, замок отпускается
184
+ try:
185
+ if runner is not None:
186
+ runner.shutdown()
187
+ finally:
188
+ try:
189
+ lock.revoke()
190
+ if db is not None:
191
+ db.close()
192
+ if store is not None:
193
+ store.close()
194
+ finally:
195
+ set_recorder(None)
196
+ lock.release()
197
+ if isinstance(e, OSError):
198
+ raise RuntimeError(no_access) from e
199
+ raise
200
+ if not settings.maintenance and not settings.hub_disabled: # в стенде npm операций Hub нет (ADR-0155)
201
+ from app.hub_sync import recover
202
+ recover(db)
203
+ from app.hub_effects import recover_chains
204
+ recover_chains(db) # незавершённые цепочки замены комментария (ADR-0130)
205
+ app.state.db = db
206
+ app.state.feeds = store
207
+ app.state.feed_job = feeds.FeedJob()
208
+ app.state.runner = runner
209
+ app.state.mask_key = mask_key
210
+ def observed_metrics():
211
+ """Метрики профиля приложения для страниц и ресурсы каждого идущего прогона – по серверу его снимка
212
+ исполнителя (ADR-0102): прогон с профилем проекта не получает чужих ресурсов, данные этого компьютера –
213
+ только у профиля local."""
214
+ from app.db import DEFAULT_PROVIDER_ID
215
+ from app.journal import resources
216
+ from app.routes.common import server_of
217
+ from app.telemetry import host_snapshot
218
+ current = settings.with_stored(db.get_settings())
219
+ profile = db.get_provider(current.default_provider_id or DEFAULT_PROVIDER_ID) or {
220
+ "base_url": current.ollama_url, "trust": "local"}
221
+ key_of = server_of
222
+ measured = {key_of(profile): compute_metrics(make_client, key_of(profile), db)}
223
+ data = measured[key_of(profile)]
224
+ try:
225
+ host = host_snapshot(settings.data_dir / 'telemetry' / 'host.json')
226
+ groups: dict = {}
227
+ for run in db.active_runs():
228
+ execution = db.get_execution(run.get("execution_id")) if run["state"] == "running" else None
229
+ if execution is not None:
230
+ groups.setdefault(key_of(execution), []).append(run["id"])
231
+ watcher = getattr(app.state, 'telemetry', None)
232
+ # ряд истории сервера – одна точка за цикл: ряд сервера приложения пишет record, остальные – первый
233
+ # из профилей этого сервера
234
+ from app.telemetry import Telemetry
235
+ pointed = {Telemetry.server_tag(key_of(profile))}
236
+
237
+ def point_for(key) -> bool:
238
+ tag = Telemetry.server_tag(key)
239
+ fresh = tag not in pointed
240
+ pointed.add(tag)
241
+ return fresh
242
+ # серверы, метрики которых попросили страницы (прогон на паузе, профиль проекта) – тоже измеряются
243
+ for key in (watcher.wanted() if watcher is not None else []):
244
+ if key not in measured and key not in groups:
245
+ measured[key] = compute_metrics(make_client, key, db)
246
+ watcher.remember(key, measured[key], point=point_for(key))
247
+ for key, run_ids in groups.items():
248
+ if key not in measured:
249
+ measured[key] = compute_metrics(make_client, key, db)
250
+ if watcher is not None: # страница прогона берёт этот снимок, а не опрашивает сервер сама
251
+ # ряд истории сервера профиля приложения пишет record – здесь только снимок
252
+ watcher.remember(key, measured[key], point=point_for(key))
253
+ resources(db, measured[key], host if key[1] else {'status': 'remote'}, run_ids)
254
+ except Exception as e:
255
+ log_failure(log, 'Статистика ресурсов прогона не сохранена', e)
256
+ return data
257
+ observer = Telemetry(settings.data_dir, observed_metrics)
258
+ app.state.telemetry = observer
259
+ if not settings.maintenance:
260
+ observer.start()
261
+ STARTUP_COMPLETE.set() # для app/serve.py: дальше запуск может сорваться только на занятом порту
262
+ try:
263
+ yield
264
+ finally:
265
+ observer.close()
266
+ try:
267
+ if not runner.shutdown(): # поток ждёт ответа модели: результат не запишется, прогон станет «на паузе»
268
+ log.warning("поток триажа не завершился за отведённое время")
269
+ finally:
270
+ # Замок отпускается, только когда писать в базу этот экземпляр уже не может: сначала запрет записей,
271
+ # затем закрытие базы (дожидается начатой транзакции).
272
+ try:
273
+ lock.revoke()
274
+ db.close()
275
+ store.close() # идущая загрузка справочника прервётся: временные таблицы уберёт следующий запуск
276
+ finally:
277
+ set_recorder(None)
278
+ lock.release()
279
+
280
+ async def internal_error_page(scope: dict, eid: str):
281
+ """Страница необработанной ошибки: текст по-русски и номер записи в журнале (GuardMiddleware)."""
282
+ return error_response(Request(scope), 500, f"{HTTP_ERRORS[500]} Подробности – в журнале контейнера, "
283
+ f"номер ошибки {eid}.")
284
+
285
+ app = FastAPI(title="Локальный триаж", version=__version__, lifespan=lifespan,
286
+ docs_url=None, redoc_url=None, openapi_url=None)
287
+ if settings.maintenance: # добавленный позже слой – внешний: защита запросов снаружи этого
288
+ @app.middleware("http")
289
+ async def page_view(request: Request, call_next):
290
+ # любая форма отклоняется сразу: запись идёт не только в основную базу (файл ключа исполнителя, справочники). Запросы
291
+ # исполнителя (/api/hub/) отвечают сами: заданий нет, результат доставится позже
292
+ if request.method not in ("GET", "HEAD", "OPTIONS") and not request.url.path.startswith("/api/hub/"):
293
+ return error_response(request, 503, MAINTENANCE_TEXT, {"Retry-After": "5"}, settings=request.app.state.web.base)
294
+ token = PAGE_VIEW.set(request.method in ("GET", "HEAD"))
295
+ try:
296
+ return await call_next(request)
297
+ finally:
298
+ PAGE_VIEW.reset(token)
299
+ app.add_middleware(GuardMiddleware, trusted_hosts=settings.trusted_hosts,
300
+ max_body=settings.max_upload_bytes + BODY_OVERHEAD, on_error=internal_error_page)
301
+ from app.timing import TimingMiddleware
302
+ # снаружи GuardMiddleware: замер видит окончательный ответ, в том числе страницу ошибки (бэклог 123)
303
+ app.add_middleware(TimingMiddleware)
304
+ app.mount("/static", StaticFiles(directory=str(STATIC_DIR)), name="static")
305
+ app.state.settings = settings
306
+ app.state.hub_workers = {} # исполнители записи в Hub: последнее обращение, кто вошёл (ADR-0114)
307
+ app.state.web = WebState(base=settings, make_client=make_client, templates=make_templates(),
308
+ # база открывается при запуске (lifespan) – кэшам она передаётся функцией
309
+ models_cache=Cached(MODELS_TTL_S, functools.partial(
310
+ compute_models, make_client,
311
+ db=lambda: getattr(app.state, "db", None))),
312
+ metrics_cache=Cached(METRICS_TTL_S, functools.partial(
313
+ compute_metrics, make_client,
314
+ db=lambda: getattr(app.state, "db", None))))
315
+ for section in (api, projects, findings, runs, settings_routes, providers, sca, components, feeds, cwe, capec,
316
+ journal, hub, hub_status_routes, hub_sync_routes, hub_bulk, hub_defect_routes, defect_card_routes,
317
+ defect_selected, decision_selected, defect_add):
318
+ app.include_router(section.router)
319
+
320
+ @app.exception_handler(StarletteHTTPException)
321
+ async def http_error(request: Request, exc: StarletteHTTPException):
322
+ detail = exc.detail if isinstance(exc.detail, str) else ""
323
+ if not _CYRILLIC.search(detail): # служебные английские тексты фреймворка заменяются русскими
324
+ if detail:
325
+ log.info("ошибка запроса %s: %s", exc.status_code, detail[:200])
326
+ detail = HTTP_ERRORS.get(exc.status_code, "Ошибка запроса.")
327
+ return error_response(request, exc.status_code, detail, getattr(exc, "headers", None))
328
+
329
+ @app.exception_handler(DatabaseBusy)
330
+ async def database_busy(request: Request, exc: DatabaseBusy):
331
+ # база занята (запрос слишком долго ждёт соединение из пула или замок писателя) или недоступна: данные не
332
+ # изменились; это не конфликт версии решения (409), а временный отказ с советом повторить
333
+ log.warning("база занята: %s", type(exc).__name__)
334
+ # настройки – без базы: иначе страница ошибки сама ждала бы занятое соединение в цикле событий
335
+ return error_response(request, 503, str(exc), {"Retry-After": "5"}, settings=request.app.state.web.base)
336
+
337
+ @app.exception_handler(CommitUnknown)
338
+ async def commit_unknown(request: Request, exc: CommitUnknown):
339
+ # соединение оборвалось на COMMIT: повторять запись нельзя, состояние нужно перечитать (ADR-0128, п. 6.4)
340
+ log.warning("результат записи неизвестен: %s", type(exc).__name__)
341
+ return error_response(request, 503, str(exc), settings=request.app.state.web.base)
342
+
343
+ @app.exception_handler(LockUnsure)
344
+ async def lock_unsure(request: Request, exc: LockUnsure):
345
+ # файл замка папки данных на миг не прочитался: запись не выполнена, данные не изменились – повторить
346
+ log.warning("запись отложена: владелец папки данных не установлен")
347
+ return error_response(request, 503, str(exc), {"Retry-After": "5"})
348
+
349
+ @app.exception_handler(LockLost)
350
+ async def lock_lost(request: Request, exc: LockLost):
351
+ # папку забрал другой экземпляр (или приложение останавливается): записи этого экземпляра прекращены
352
+ log.error("запись отклонена: %s", exc)
353
+ return error_response(request, 503, str(exc))
354
+
355
+ @app.exception_handler(RequestValidationError)
356
+ async def validation_error(request: Request, exc: RequestValidationError):
357
+ return error_response(request, 422, HTTP_ERRORS[422])
358
+
359
+ @app.exception_handler(Exception)
360
+ async def internal_error(request: Request, exc: Exception):
361
+ # Запасной путь: ошибки запросов перехватывает GuardMiddleware (без текста исключения в журнале сервера);
362
+ # сюда попадает только сбой самой защиты запросов
363
+ eid = log_failure(log, "необработанная ошибка вне разделов", exc)
364
+ return error_response(request, 500, f"{HTTP_ERRORS[500]} Подробности – в журнале контейнера, номер ошибки "
365
+ f"{eid}.")
366
+
367
+ return app
@@ -0,0 +1,132 @@
1
+ """Показ кода, строки выгрузки и полей по выбору оператора (0.10.0.dev14, ADR-0141).
2
+
3
+ Маски мешают проверить находки о жёстко заданных учётных данных, а за маскированием отвечает оператор: решать
4
+ за человека приложение не должно. Выбран вариант «только показ»: флажок проекта `mask_secrets`
5
+ управляет тем, что видит человек в приложении. Модели код уходит с масками всегда (ADR-0003), сохранённые срезы,
6
+ отпечатки и решения от флажка не зависят – переключение в любой момент ничего не пересчитывает.
7
+
8
+ Здесь только функции показа; промпт, вопрос модели и предпросмотр внешней отправки их не используют.
9
+ """
10
+
11
+ from __future__ import annotations
12
+
13
+ import html
14
+ from collections.abc import Callable, Iterable
15
+ from typing import Any
16
+
17
+ from app import masking
18
+ from app.context import build_context
19
+ from app.models import CodeContext, Finding
20
+
21
+
22
+ def masked(project: dict | None) -> bool:
23
+ """Показывать с масками: флажок проекта; нет проекта или поля (база до схемы 35) – как раньше, с масками."""
24
+ if not project:
25
+ return True
26
+ return bool(project.get("mask_secrets", 1))
27
+
28
+
29
+ def export_line(f: Finding, mask_key: bytes | None, project: dict | None) -> str:
30
+ """Строка срабатывания из выгрузки для карточки: с маской – как в промпте; без маски – исходная, свёрнутая в строку
31
+ с тем же ограничением длины."""
32
+ from app.prompts import _one_line, masked_export_line
33
+ if masked(project):
34
+ return masked_export_line(f, mask_key)
35
+ raw = str(f.snippet or "").strip("\n")
36
+ return _one_line(html.unescape(raw)) if raw.strip() else ""
37
+
38
+
39
+ def plain_context(project: dict | None, repo_dir, f: Finding, why: str) -> CodeContext | None:
40
+ """«Текущий файл в клоне, без масок» – только при снятом флажке и только SAST: строки вокруг строки находки из
41
+ текущего файла клона, без маски. Это не срез разбора и ничего о нём не утверждает. Флажок включён или не SAST –
42
+ None; иначе срез как есть: при status != 'ok' карточка показывает его причину (note), а не строки (ревью dev14)."""
43
+ if masked(project) or f.kind != "SAST":
44
+ return None
45
+ if repo_dir is None:
46
+ return CodeContext(status="no_repo", file=f.file, language=f.language or "", start_line=0, end_line=0,
47
+ target_line=None, lines=[], note=why or "клона нет")
48
+ from app.triage import CONTEXT_CHARS
49
+ return build_context(repo_dir, f, max_chars=CONTEXT_CHARS, mask_key=None, no_repo_note=why)
50
+
51
+
52
+ # поля вердикта модели, которые карточка показывает человеку в «Подробностях разбора»: у вердикта с разбором по
53
+ # шагам – одни, у прежнего формата – другие (тот же признак, что is_v3 в карточке)
54
+ MODEL_TEXT_FIELDS = {True: ("what_code_does", "why", "data_flow"), False: ("explanation", "data_flow")}
55
+
56
+
57
+ def label_values(project: dict | None, repo_dir, f: Finding, mask_key: bytes | None, why: str = "",
58
+ also: Iterable[Callable[[], Any]] = ()) -> dict[str, str]:
59
+ """Значения меток маскирования для показа текстов модели без масок (бэклог 111) – только при снятом флажке и
60
+ только SAST. Модель видела код с метками (ADR-0003), её ответ хранится с метками. Значение восстанавливается, когда
61
+ его даёт то же маскирование тем же ключом: строка выгрузки, прочие колонки выгрузки (also – функции, которые их
62
+ маскируют) и текущий файл клона. Метка, которой там нет (код изменился, клон отвязан), остаётся меткой. Словарь
63
+ живёт в ответе на запрос карточки и никуда не сохраняется."""
64
+ if masked(project) or f.kind != "SAST" or not mask_key:
65
+ return {}
66
+ from app.prompts import masked_export_line
67
+ from app.triage import CONTEXT_CHARS
68
+ with masking.recording() as book:
69
+ masked_export_line(f, mask_key)
70
+ for extra in also:
71
+ extra()
72
+ if repo_dir is not None:
73
+ build_context(repo_dir, f, max_chars=CONTEXT_CHARS, mask_key=mask_key, no_repo_note=why)
74
+ return {label: value for label, value in book.items() if value is not None}
75
+
76
+
77
+ def reveal(text: Any, values: dict[str, str] | None) -> str:
78
+ """Текст модели для показа: метки, значение которых известно, заменены значением; остальные остаются метками."""
79
+ text = str(text or "")
80
+ if not values:
81
+ return text
82
+ return masking.PLACEHOLDER_RE.sub(lambda m: values.get(m.group(0), m.group(0)), text)
83
+
84
+
85
+ def labels_note(project: dict | None, verdict: Any, values: dict[str, str]) -> dict | None:
86
+ """Что сказать под текстами модели при снятом флажке: сколько разных меток заменено значением (revealed) и какие
87
+ остались метками (left) – по тем полям, которые карточка показывает. Флажок включён, вердикта нет или меток в
88
+ показанных текстах нет – None."""
89
+ if masked(project) or verdict is None:
90
+ return None
91
+ stepwise = any(getattr(verdict, name, None) for name in ("why", "what_code_does", "check_by_eye", "terms"))
92
+ found: set[str] = set()
93
+ for name in MODEL_TEXT_FIELDS[bool(stepwise)]:
94
+ value = getattr(verdict, name, None)
95
+ for part in (value if isinstance(value, (list, tuple)) else [value]):
96
+ found.update(m.group(0) for m in masking.PLACEHOLDER_RE.finditer(str(part or "")))
97
+ if not found:
98
+ return None
99
+ return {"revealed": len(found & set(values)), "left": sorted(found - set(values))}
100
+
101
+
102
+ def _ranges(numbers: list[int]) -> str:
103
+ """Номера строк подряд – диапазонами: [3, 4, 5, 9] -> «3–5, 9»."""
104
+ out: list[str] = []
105
+ for n in numbers:
106
+ if out and isinstance(out[-1], list) and out[-1][1] == n - 1:
107
+ out[-1][1] = n
108
+ else:
109
+ out.append([n, n]) # type: ignore[arg-type]
110
+ return ", ".join(str(a) if a == b else f"{a}–{b}" for a, b in out) # type: ignore[misc]
111
+
112
+
113
+ def current_slice(model_ctx: CodeContext | None, current: CodeContext | None) -> dict | None:
114
+ """Текущий срез клона рядом со срезом модели (бэклог 112): когда разбор устарел, оператор видит и код, который
115
+ сейчас в клоне, – с теми же масками, что и срез модели. rows – строки текущего среза с пометкой changed (строки нет
116
+ в срезе модели или она другая; сопоставление – по содержимому, сдвиг номеров отличием не считается), changed –
117
+ их номера диапазонами, removed – сколько строк среза модели в текущем срезе нет. Текущего кода нет – None."""
118
+ if model_ctx is None or current is None or current.status != "ok" or not current.lines:
119
+ return None
120
+ import difflib
121
+ old, new = list(model_ctx.lines or []), list(current.lines)
122
+ same_new: set[int] = set()
123
+ kept_old = 0
124
+ for block in difflib.SequenceMatcher(a=old, b=new, autojunk=False).get_matching_blocks():
125
+ same_new.update(range(block.b, block.b + block.size))
126
+ kept_old += block.size
127
+ start = int(current.start_line or 1)
128
+ rows = [{"n": start + i, "text": line, "changed": i not in same_new, "target": start + i == current.target_line}
129
+ for i, line in enumerate(new)]
130
+ return {"rows": rows, "start": start, "end": start + len(new) - 1,
131
+ "changed": _ranges([r["n"] for r in rows if r["changed"]]), "removed": len(old) - kept_old,
132
+ "masked": bool(getattr(current, "masked", None))}