local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/app/timing.py
ADDED
|
@@ -0,0 +1,245 @@
|
|
|
1
|
+
"""Замер времени страниц (бэклог 123): сколько отвечает запрос, сколько из этого – запросы к базе и чьи.
|
|
2
|
+
|
|
3
|
+
Каждый ответ получает заголовок Server-Timing (виден в инструментах разработчика браузера): общее время до начала
|
|
4
|
+
ответа и время обращений к базе с их числом. Запрос дольше SLOW_MS пишется в журнал одной строкой: шаблон маршрута
|
|
5
|
+
(«/projects/{project_id}», без значений и параметров адреса), время, число обращений к базе (executemany – одно) и пять самых долгих мест
|
|
6
|
+
вызова – имена функций приложения («db.sca_snapshot ← projects.project_page»). Текста запросов, значений, путей и
|
|
7
|
+
данных находок в строке нет (app/logsafe.py).
|
|
8
|
+
|
|
9
|
+
Одиночное обращение дольше EXPLAIN_MS – один раз на место вызова за время работы процесса снимается его план
|
|
10
|
+
(EXPLAIN ANALYZE, только для запросов чтения) и пишется строка с самыми долгими узлами: тип узла, имя таблицы, CTE
|
|
11
|
+
или функции, время, число строк. Условий, выражений и значений из плана в журнал не попадает.
|
|
12
|
+
|
|
13
|
+
Замер включается только для запроса страницы: фоновые исполнители и прогоны его не ведут и ничего не тратят.
|
|
14
|
+
"""
|
|
15
|
+
|
|
16
|
+
from __future__ import annotations
|
|
17
|
+
|
|
18
|
+
import contextvars
|
|
19
|
+
import json
|
|
20
|
+
import logging
|
|
21
|
+
import os
|
|
22
|
+
import re
|
|
23
|
+
import sys
|
|
24
|
+
from time import perf_counter
|
|
25
|
+
from typing import Any
|
|
26
|
+
|
|
27
|
+
log = logging.getLogger("local_triage.timing")
|
|
28
|
+
|
|
29
|
+
|
|
30
|
+
def _console() -> None:
|
|
31
|
+
"""Строки замера – в журнал контейнера: Uvicorn не настраивает журналы приложения (уровень WARNING, без
|
|
32
|
+
обработчиков), поэтому у этого журнала свой обработчик в stderr и уровень INFO. Остальные журналы приложения
|
|
33
|
+
не меняются. Повторный вызов обработчик не добавляет."""
|
|
34
|
+
log.setLevel(logging.INFO)
|
|
35
|
+
if not any(getattr(h, "_timing", False) for h in log.handlers):
|
|
36
|
+
handler = logging.StreamHandler()
|
|
37
|
+
handler.setFormatter(logging.Formatter("INFO: %(message)s"))
|
|
38
|
+
handler._timing = True # type: ignore[attr-defined]
|
|
39
|
+
log.addHandler(handler)
|
|
40
|
+
|
|
41
|
+
SLOW_MS = 1000 # запрос дольше – строка в журнал (цель бэклога 123 – страница до 1 с)
|
|
42
|
+
TOP = 5 # сколько мест вызова называть
|
|
43
|
+
_APP = os.path.dirname(os.path.abspath(__file__))
|
|
44
|
+
_STORAGE = os.path.join(_APP, "storage")
|
|
45
|
+
_DEPTH = 60 # глубина поиска места вызова по стеку
|
|
46
|
+
|
|
47
|
+
|
|
48
|
+
class PageTiming:
|
|
49
|
+
"""Счётчики одного запроса: число и время запросов к базе всего и по местам вызова."""
|
|
50
|
+
|
|
51
|
+
__slots__ = ("count", "seconds", "places", "active")
|
|
52
|
+
|
|
53
|
+
def __init__(self) -> None:
|
|
54
|
+
self.active = True # False – замер закрыт (потоковый ответ): обращения больше не учитываются
|
|
55
|
+
self.count = 0
|
|
56
|
+
self.seconds = 0.0
|
|
57
|
+
self.places: dict[str, list[float]] = {}
|
|
58
|
+
|
|
59
|
+
def add(self, place: str, seconds: float) -> None:
|
|
60
|
+
self.count += 1
|
|
61
|
+
self.seconds += seconds
|
|
62
|
+
slot = self.places.setdefault(place, [0, 0.0])
|
|
63
|
+
slot[0] += 1
|
|
64
|
+
slot[1] += seconds
|
|
65
|
+
|
|
66
|
+
def top(self, n: int = TOP) -> list[tuple[str, int, float]]:
|
|
67
|
+
"""Самые долгие места вызова: [(место, число запросов, секунды)]."""
|
|
68
|
+
ranked = sorted(self.places.items(), key=lambda kv: kv[1][1], reverse=True)[:n]
|
|
69
|
+
return [(place, int(c), s) for place, (c, s) in ranked]
|
|
70
|
+
|
|
71
|
+
|
|
72
|
+
CURRENT: contextvars.ContextVar[PageTiming | None] = contextvars.ContextVar("page_timing", default=None)
|
|
73
|
+
|
|
74
|
+
|
|
75
|
+
def current() -> PageTiming | None:
|
|
76
|
+
"""Действующий замер запроса страницы или None (вне запроса или замер закрыт)."""
|
|
77
|
+
page = CURRENT.get()
|
|
78
|
+
return page if page is not None and page.active else None
|
|
79
|
+
|
|
80
|
+
|
|
81
|
+
def _name(frame: Any) -> str:
|
|
82
|
+
path = frame.f_code.co_filename
|
|
83
|
+
module = os.path.splitext(os.path.relpath(path, _APP))[0].replace(os.sep, ".")
|
|
84
|
+
return f"{module}.{frame.f_code.co_name}"
|
|
85
|
+
|
|
86
|
+
|
|
87
|
+
def caller(skip: int = 2) -> str:
|
|
88
|
+
"""Место вызова запроса к базе: внешняя функция первого модуля приложения вне слоя хранения (общие помощники
|
|
89
|
+
вроде db.run пропускаются – называется метод, который их вызвал) с номером строки, откуда пошёл запрос, и
|
|
90
|
+
функция следующего модуля («db.sca_snapshot:1210 ← routes.projects.project_page»). Если запрос пошёл из
|
|
91
|
+
вложенной функции того же модуля, она называется в скобках со своей строкой («hub_state.<lambda>:51
|
|
92
|
+
(hub_state._runs:62) ← …»): разные запросы одной цепочки различаются. Только имена модулей, функций и номера
|
|
93
|
+
строк кода."""
|
|
94
|
+
try:
|
|
95
|
+
frame = sys._getframe(skip)
|
|
96
|
+
except ValueError:
|
|
97
|
+
return "?"
|
|
98
|
+
first = ""
|
|
99
|
+
first_file = ""
|
|
100
|
+
inner = "" # функция модуля, из которой пошёл сам запрос (самый внутренний кадр первого модуля)
|
|
101
|
+
for _ in range(_DEPTH):
|
|
102
|
+
if frame is None:
|
|
103
|
+
break
|
|
104
|
+
path = os.path.abspath(frame.f_code.co_filename)
|
|
105
|
+
if path.startswith(_STORAGE):
|
|
106
|
+
pass # слой хранения (курсор, транзакции, db.read) – не место вызова
|
|
107
|
+
elif path.startswith(_APP):
|
|
108
|
+
if not first_file or path == first_file:
|
|
109
|
+
first, first_file = f"{_name(frame)}:{frame.f_lineno}", path
|
|
110
|
+
inner = inner or first
|
|
111
|
+
else:
|
|
112
|
+
return f"{_label(first, inner)} ← {_name(frame)}"
|
|
113
|
+
elif first_file:
|
|
114
|
+
break # вызов из-за пределов приложения (тест, библиотека): дальше по стеку приложения нет
|
|
115
|
+
frame = frame.f_back
|
|
116
|
+
return _label(first, inner) or "?"
|
|
117
|
+
|
|
118
|
+
|
|
119
|
+
def _label(first: str, inner: str) -> str:
|
|
120
|
+
return first if inner == first else f"{first} ({inner})"
|
|
121
|
+
|
|
122
|
+
|
|
123
|
+
def route_of(scope: dict) -> str:
|
|
124
|
+
"""Шаблон маршрута запроса без значений («/projects/{project_id}/sca»); маршрут не найден – «?»."""
|
|
125
|
+
route = scope.get("route")
|
|
126
|
+
return str(getattr(route, "path", "") or "?")
|
|
127
|
+
|
|
128
|
+
|
|
129
|
+
class TimingMiddleware:
|
|
130
|
+
"""Server-Timing каждому ответу и строка в журнал о медленном запросе. Потоковые ответы (text/event-stream)
|
|
131
|
+
медленными не считаются: они открыты, пока открыта страница, и после заголовка замер закрывается. Запросы
|
|
132
|
+
исполнителя Hub (/api/hub/…) в журнал медленных не пишутся: его долгий опрос ждёт заданий намеренно. Слой – самый внешний (снаружи GuardMiddleware):
|
|
133
|
+
замер видит окончательный ответ, в том числе страницу внутренней ошибки и ранний отказ защиты."""
|
|
134
|
+
|
|
135
|
+
def __init__(self, app: Any, slow_ms: float | None = None) -> None:
|
|
136
|
+
self.app = app
|
|
137
|
+
self.slow_ms = slow_ms
|
|
138
|
+
_console()
|
|
139
|
+
|
|
140
|
+
async def __call__(self, scope: dict, receive: Any, send: Any) -> None:
|
|
141
|
+
if scope["type"] != "http" or str(scope.get("path", "")).startswith("/static/"):
|
|
142
|
+
await self.app(scope, receive, send)
|
|
143
|
+
return
|
|
144
|
+
page = PageTiming()
|
|
145
|
+
token = CURRENT.set(page)
|
|
146
|
+
started = perf_counter()
|
|
147
|
+
state = {"status": 0, "stream": False}
|
|
148
|
+
|
|
149
|
+
async def timed_send(message: dict) -> None:
|
|
150
|
+
if message["type"] == "http.response.start":
|
|
151
|
+
state["status"] = int(message.get("status") or 0)
|
|
152
|
+
headers = list(message.get("headers") or [])
|
|
153
|
+
state["stream"] = any(k.lower() == b"content-type" and v.startswith(b"text/event-stream")
|
|
154
|
+
for k, v in headers)
|
|
155
|
+
if state["stream"]:
|
|
156
|
+
page.active = False # поток открыт, пока открыта страница: дальше не считать
|
|
157
|
+
spent = (perf_counter() - started) * 1000
|
|
158
|
+
headers.append((b"server-timing", (f'app;dur={spent:.0f}, sql;dur={page.seconds * 1000:.0f};'
|
|
159
|
+
f'desc="{page.count}"').encode("ascii")))
|
|
160
|
+
message = {**message, "headers": headers}
|
|
161
|
+
await send(message)
|
|
162
|
+
|
|
163
|
+
try:
|
|
164
|
+
await self.app(scope, receive, timed_send)
|
|
165
|
+
finally:
|
|
166
|
+
CURRENT.reset(token)
|
|
167
|
+
spent = (perf_counter() - started) * 1000
|
|
168
|
+
limit = SLOW_MS if self.slow_ms is None else self.slow_ms
|
|
169
|
+
# исполнитель Hub ждёт задания долгим опросом (/api/hub/jobs) – это не страница и не задержка
|
|
170
|
+
if spent >= limit and not state["stream"] and not route_of(scope).startswith("/api/hub/"):
|
|
171
|
+
places = "; ".join(f"{p} ×{c} {s * 1000:.0f} мс" for p, c, s in page.top())
|
|
172
|
+
log.info("медленный запрос %s %s: %.0f мс, ответ %d; обращений к базе %d, %.0f мс; больше всего: %s",
|
|
173
|
+
scope.get("method", "?"), route_of(scope), spent, state["status"], page.count,
|
|
174
|
+
page.seconds * 1000, places or "–")
|
|
175
|
+
|
|
176
|
+
|
|
177
|
+
# ---------------------------------------------------------------- план медленного обращения (бэклог 123, шаг 2)
|
|
178
|
+
|
|
179
|
+
EXPLAIN_MS = 1000 # одиночное обращение дольше – один раз снять его план (EXPLAIN ANALYZE) и записать в журнал
|
|
180
|
+
PLAN_TOP = 6 # сколько самых долгих узлов плана называть
|
|
181
|
+
_EXPLAINED: set[str] = set() # места вызова, план которых уже снят этим процессом
|
|
182
|
+
_READ_ONLY = re.compile(r"^\s*(SELECT|WITH)\b", re.I)
|
|
183
|
+
_WRITES = re.compile(r"\b(INSERT|UPDATE|DELETE|MERGE|TRUNCATE|COPY|CALL|DO|FOR\s+(NO\s+KEY\s+)?UPDATE|FOR\s+(KEY\s+)?SHARE|"
|
|
184
|
+
r"NEXTVAL|SETVAL|PG_ADVISORY\w*|PG_TRY_ADVISORY\w*|SET_CONFIG|LO_\w+)\b", re.I)
|
|
185
|
+
|
|
186
|
+
|
|
187
|
+
def explain_wanted(place: str, query: Any, seconds: float) -> bool:
|
|
188
|
+
"""Снимать ли план: обращение дольше EXPLAIN_MS, только чтение (SELECT или WITH без записи и блокировок: EXPLAIN
|
|
189
|
+
ANALYZE выполняет запрос ещё раз) и план этого места ещё не снимался. Место отмечается сразу – повтора нет."""
|
|
190
|
+
if seconds * 1000 < EXPLAIN_MS or place in _EXPLAINED or not isinstance(query, str):
|
|
191
|
+
return False
|
|
192
|
+
if not _READ_ONLY.match(query) or _WRITES.search(query):
|
|
193
|
+
return False
|
|
194
|
+
_EXPLAINED.add(place)
|
|
195
|
+
return True
|
|
196
|
+
|
|
197
|
+
|
|
198
|
+
def _nodes(node: dict, depth: int = 0) -> list[tuple[float, str, int, int, int]]:
|
|
199
|
+
"""Узлы плана: (собственная доля – мс при ANALYZE, иначе оценка стоимости; название; строк; повторов; глубина).
|
|
200
|
+
Название – тип узла и имя таблицы, CTE, функции или индекса – части схемы, без условий, выражений и значений."""
|
|
201
|
+
analyzed = "Actual Total Time" in node
|
|
202
|
+
if analyzed:
|
|
203
|
+
loops = int(node.get("Actual Loops") or 0)
|
|
204
|
+
total = float(node.get("Actual Total Time") or 0.0) * max(loops, 1)
|
|
205
|
+
rows = int(node.get("Actual Rows") or 0)
|
|
206
|
+
else:
|
|
207
|
+
loops, total, rows = 1, float(node.get("Total Cost") or 0.0), int(node.get("Plan Rows") or 0)
|
|
208
|
+
children = node.get("Plans") or []
|
|
209
|
+
|
|
210
|
+
def child_total(ch: dict) -> float:
|
|
211
|
+
if analyzed:
|
|
212
|
+
return float(ch.get("Actual Total Time") or 0.0) * max(int(ch.get("Actual Loops") or 0), 1)
|
|
213
|
+
return float(ch.get("Total Cost") or 0.0)
|
|
214
|
+
own = total - sum(child_total(ch) for ch in children)
|
|
215
|
+
name = str(node.get("Node Type") or "?")
|
|
216
|
+
for key in ("Relation Name", "CTE Name", "Function Name", "Index Name"):
|
|
217
|
+
if node.get(key):
|
|
218
|
+
name += f" {node[key]}"
|
|
219
|
+
break
|
|
220
|
+
found = [(max(own, 0.0), name, rows, loops, depth)]
|
|
221
|
+
for ch in children:
|
|
222
|
+
found += _nodes(ch, depth + 1)
|
|
223
|
+
return found
|
|
224
|
+
|
|
225
|
+
|
|
226
|
+
def plan_summary(plan: Any) -> str:
|
|
227
|
+
"""Самые долгие узлы плана EXPLAIN (FORMAT JSON) одной строкой: при ANALYZE – собственное время и строки,
|
|
228
|
+
без него – оценка стоимости и строк (запрос не выполнялся)."""
|
|
229
|
+
data = json.loads(plan) if isinstance(plan, str) else plan
|
|
230
|
+
root = (data[0] if isinstance(data, list) and data else data or {}).get("Plan") or {}
|
|
231
|
+
analyzed = "Actual Total Time" in root
|
|
232
|
+
nodes = sorted(_nodes(root), key=lambda n: n[0], reverse=True)[:PLAN_TOP]
|
|
233
|
+
if analyzed:
|
|
234
|
+
return "; ".join(f"{name} – {own:.0f} мс, строк {rows}×{loops}" for own, name, rows, loops, _ in nodes) or "–"
|
|
235
|
+
return "оценка без выполнения: " + ("; ".join(f"{name} – стоимость {own:.0f}, строк ~{rows}"
|
|
236
|
+
for own, name, rows, _, _ in nodes) or "–")
|
|
237
|
+
|
|
238
|
+
|
|
239
|
+
def log_plan(place: str, seconds: float, plan: Any, spent: float) -> None:
|
|
240
|
+
try:
|
|
241
|
+
summary = plan_summary(plan)
|
|
242
|
+
except (ValueError, TypeError, AttributeError):
|
|
243
|
+
summary = "план не разобран"
|
|
244
|
+
log.info("план медленного обращения %s (%.0f мс; снятие плана %.0f мс): %s", place, seconds * 1000,
|
|
245
|
+
spent * 1000, summary)
|