local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
|
@@ -0,0 +1,573 @@
|
|
|
1
|
+
"""PostgreSQL: пул соединений, транзакция записи, согласованный снимок, строка результата (ADR-0128, раздел 5 и 6).
|
|
2
|
+
|
|
3
|
+
Транзакция записи – READ COMMITTED под транзакционным рекомендательным замком писателя: прикладные записи идут по одной,
|
|
4
|
+
как при единственном соединении прежней базы. Составное чтение – снимок REPEATABLE READ READ ONLY. Контекст привязан к
|
|
5
|
+
потоку: вложенные вызовы того же потока присоединяются к нему и идут тем же соединением."""
|
|
6
|
+
|
|
7
|
+
from __future__ import annotations
|
|
8
|
+
|
|
9
|
+
import contextvars
|
|
10
|
+
import json
|
|
11
|
+
import logging
|
|
12
|
+
import re
|
|
13
|
+
import threading
|
|
14
|
+
import weakref
|
|
15
|
+
from collections.abc import Callable, Iterable, Iterator, Mapping, Sequence
|
|
16
|
+
from contextlib import contextmanager
|
|
17
|
+
from pathlib import Path
|
|
18
|
+
from time import perf_counter
|
|
19
|
+
from typing import Any
|
|
20
|
+
|
|
21
|
+
import psycopg
|
|
22
|
+
from psycopg import ClientCursor, errors, pq
|
|
23
|
+
from psycopg.adapt import Loader
|
|
24
|
+
from psycopg_pool import ConnectionPool, PoolClosed, PoolTimeout
|
|
25
|
+
|
|
26
|
+
from app import timing
|
|
27
|
+
from app.storage.sql import PlaceholderError, translate
|
|
28
|
+
|
|
29
|
+
log = logging.getLogger(__name__)
|
|
30
|
+
|
|
31
|
+
BUSY_TEXT = "База данных занята: запрос не выполнен, данные не изменились. Повторите через несколько секунд."
|
|
32
|
+
MAINTENANCE_TEXT = "Приложение в режиме обслуживания: запись закрыта, данные не изменились."
|
|
33
|
+
DOWN_TEXT = "База данных недоступна: запрос не выполнен. Проверьте, что сервис базы запущен, и повторите."
|
|
34
|
+
|
|
35
|
+
IntegrityError = psycopg.IntegrityError
|
|
36
|
+
SerializationFailure = errors.SerializationFailure
|
|
37
|
+
|
|
38
|
+
WRITER_LOCK = 73_640_128 # транзакционный замок писателя: все записи приложения в этой базе идут по одной
|
|
39
|
+
INSTANCE_LOCK = 73_640_129 # сессионный замок экземпляра: одна база – один работающий экземпляр приложения
|
|
40
|
+
POOL_MAX = 12
|
|
41
|
+
CONNECT_TIMEOUT = 15.0
|
|
42
|
+
STATEMENT_TIMEOUT_MS = 300_000
|
|
43
|
+
CLOSE_WAIT = 10.0
|
|
44
|
+
|
|
45
|
+
|
|
46
|
+
class DatabaseBusy(Exception):
|
|
47
|
+
"""База занята и не освободилась за отведённое время: транзакция достоверно отменена. Это не конфликт версии решения:
|
|
48
|
+
данные не изменились, повторить можно позже."""
|
|
49
|
+
|
|
50
|
+
|
|
51
|
+
class DatabaseUnavailable(DatabaseBusy):
|
|
52
|
+
"""Сервер базы недоступен или соединение оборвалось до подтверждения: транзакция отменена сервером."""
|
|
53
|
+
|
|
54
|
+
|
|
55
|
+
class MaintenanceMode(DatabaseBusy):
|
|
56
|
+
"""Режим обслуживания: запись закрыта до окончания приёмки (TRIAGE_MAINTENANCE, ADR-0128, п. 6.6)."""
|
|
57
|
+
|
|
58
|
+
|
|
59
|
+
class CommitUnknown(Exception):
|
|
60
|
+
"""Соединение оборвалось во время COMMIT: неизвестно, подтвердилась ли транзакция. Повторять можно только запись, безопасную
|
|
61
|
+
при повторе (прогон модели, app/triage.py), остальное перечитывается по устойчивым ключам (ADR-0128, п. 6.4)."""
|
|
62
|
+
|
|
63
|
+
|
|
64
|
+
class Row(tuple):
|
|
65
|
+
"""Строка результата: по индексу, по имени (без учёта регистра) и перебор значений; dict(row) – по именам."""
|
|
66
|
+
|
|
67
|
+
_names: tuple[str, ...]
|
|
68
|
+
_index: dict[str, int]
|
|
69
|
+
|
|
70
|
+
def __new__(cls, values: Iterable[Any], names: tuple[str, ...], index: dict[str, int]) -> Row:
|
|
71
|
+
self = super().__new__(cls, values)
|
|
72
|
+
self._names = names
|
|
73
|
+
self._index = index
|
|
74
|
+
return self
|
|
75
|
+
|
|
76
|
+
def __getitem__(self, key: Any) -> Any:
|
|
77
|
+
if isinstance(key, str):
|
|
78
|
+
try:
|
|
79
|
+
return tuple.__getitem__(self, self._index[key.lower()])
|
|
80
|
+
except KeyError:
|
|
81
|
+
raise IndexError(f"нет колонки {key!r}") from None
|
|
82
|
+
return tuple.__getitem__(self, key)
|
|
83
|
+
|
|
84
|
+
def keys(self) -> list[str]:
|
|
85
|
+
return list(self._names)
|
|
86
|
+
|
|
87
|
+
|
|
88
|
+
def row_factory(cursor: Any) -> Callable[[Sequence[Any]], Any]:
|
|
89
|
+
description = cursor.description
|
|
90
|
+
if description is None:
|
|
91
|
+
return tuple
|
|
92
|
+
names = tuple(col.name for col in description)
|
|
93
|
+
index: dict[str, int] = {}
|
|
94
|
+
for i, name in enumerate(names):
|
|
95
|
+
index.setdefault(name.lower(), i)
|
|
96
|
+
return lambda values: Row(values, names, index)
|
|
97
|
+
|
|
98
|
+
|
|
99
|
+
_JSON_NUL = re.compile(r"(?<!\\)((?:\\\\)*)\\u0000") # нечётное число обратных черт: настоящий NUL; при чётном – обычный текст
|
|
100
|
+
|
|
101
|
+
|
|
102
|
+
def _without_nul(text: str) -> str:
|
|
103
|
+
"""Знак NUL текст PostgreSQL не хранит. Его экранирование внутри документа JSON ломает разбор `->>` всего документа, и одна
|
|
104
|
+
строка закрывала бы страницы проекта. Оба заменяются знаком U+FFFD. Текст вне JSON и экранированная черта (код с символом
|
|
105
|
+
NUL в тексте дефекта) не меняются: они законны, а в рабочих данных встречается только второе."""
|
|
106
|
+
text = text.replace("\x00", "\ufffd")
|
|
107
|
+
if "\\u0000" not in text or not _JSON_NUL.search(text):
|
|
108
|
+
return text
|
|
109
|
+
try:
|
|
110
|
+
json.loads(text)
|
|
111
|
+
except ValueError:
|
|
112
|
+
return text
|
|
113
|
+
return _JSON_NUL.sub(lambda m: m.group(1) + "\\ufffd", text)
|
|
114
|
+
|
|
115
|
+
|
|
116
|
+
def _value(value: Any) -> Any:
|
|
117
|
+
if isinstance(value, bool):
|
|
118
|
+
return int(value)
|
|
119
|
+
if isinstance(value, str) and ("\x00" in value or "\\u0000" in value):
|
|
120
|
+
return _without_nul(value)
|
|
121
|
+
return value
|
|
122
|
+
|
|
123
|
+
|
|
124
|
+
class Cursor(ClientCursor):
|
|
125
|
+
"""Клиентская подстановка параметров: запросы писались без объявления типов, сервер не выводит тип «%s» в выражениях
|
|
126
|
+
вроде COALESCE(?, ''). Позиционные «?» переводит лексер; логическое значение уходит числом (флаги в схеме – целые)."""
|
|
127
|
+
|
|
128
|
+
def execute(self, query: Any, params: Any = None, **kwargs: Any) -> Any:
|
|
129
|
+
page = timing.current() # запрос страницы: время и место вызова – в замер (бэклог 123)
|
|
130
|
+
if page is None:
|
|
131
|
+
return self._execute(query, params, **kwargs)
|
|
132
|
+
started = perf_counter()
|
|
133
|
+
try:
|
|
134
|
+
result = self._execute(query, params, **kwargs)
|
|
135
|
+
finally:
|
|
136
|
+
spent = perf_counter() - started # до обхода стека: время замера во время базы не входит
|
|
137
|
+
place = timing.caller()
|
|
138
|
+
page.add(place, spent)
|
|
139
|
+
if timing.explain_wanted(place, query, spent):
|
|
140
|
+
self._explain(query, params, place, spent)
|
|
141
|
+
return result
|
|
142
|
+
|
|
143
|
+
def _explain(self, query: Any, params: Any, place: str, spent: float) -> None:
|
|
144
|
+
"""План медленного обращения в журнал (app/timing.py) отдельным курсором на том же соединении – результат
|
|
145
|
+
исходного курсора не трогается. Запрос выполняется повторно (EXPLAIN ANALYZE) только в транзакции только для
|
|
146
|
+
чтения, которая затем откатывается: вне транзакции – в своей BEGIN READ ONLY … ROLLBACK, в транзакции только
|
|
147
|
+
для чтения – под точкой сохранения с откатом к ней. В транзакции записи – только оценка плана (EXPLAIN без
|
|
148
|
+
ANALYZE: запрос не выполняется) под точкой сохранения с откатом. Любой сбой – плана нет, страница работает."""
|
|
149
|
+
conn = self.connection
|
|
150
|
+
status = conn.info.transaction_status
|
|
151
|
+
if isinstance(params, Mapping) or status not in (pq.TransactionStatus.IDLE, pq.TransactionStatus.INTRANS):
|
|
152
|
+
return
|
|
153
|
+
text, count = translate(query)
|
|
154
|
+
values = tuple(params) if params is not None else ()
|
|
155
|
+
if len(values) != count:
|
|
156
|
+
return
|
|
157
|
+
inside = status == pq.TransactionStatus.INTRANS
|
|
158
|
+
started = perf_counter()
|
|
159
|
+
cur = ClientCursor(conn)
|
|
160
|
+
row = None
|
|
161
|
+
try:
|
|
162
|
+
if inside:
|
|
163
|
+
cur.execute("SHOW transaction_read_only")
|
|
164
|
+
analyze = str((cur.fetchone() or ["off"])[0]) == "on"
|
|
165
|
+
opening, closing = "SAVEPOINT timing_explain", "ROLLBACK TO SAVEPOINT timing_explain"
|
|
166
|
+
else:
|
|
167
|
+
analyze = True
|
|
168
|
+
opening, closing = "BEGIN READ ONLY", "ROLLBACK"
|
|
169
|
+
cur.execute(opening)
|
|
170
|
+
try:
|
|
171
|
+
cur.execute(("EXPLAIN (ANALYZE, FORMAT JSON) " if analyze else "EXPLAIN (FORMAT JSON) ")
|
|
172
|
+
+ (text if values else query), tuple(_value(v) for v in values) if values else None)
|
|
173
|
+
row = cur.fetchone()
|
|
174
|
+
finally:
|
|
175
|
+
cur.execute(closing) # что бы ни сделал запрос при повторе – откатывается
|
|
176
|
+
except psycopg.Error:
|
|
177
|
+
return
|
|
178
|
+
finally:
|
|
179
|
+
cur.close()
|
|
180
|
+
if row:
|
|
181
|
+
timing.log_plan(place, spent, row[0], perf_counter() - started)
|
|
182
|
+
|
|
183
|
+
def _execute(self, query: Any, params: Any = None, **kwargs: Any) -> Any:
|
|
184
|
+
if isinstance(params, Mapping):
|
|
185
|
+
return super().execute(query, params, **kwargs)
|
|
186
|
+
text, count = translate(query)
|
|
187
|
+
values = tuple(params) if params is not None else ()
|
|
188
|
+
if len(values) != count:
|
|
189
|
+
raise PlaceholderError(f"параметров {len(values)}, а маркеров {count}: {query[:200]}")
|
|
190
|
+
if not values:
|
|
191
|
+
return super().execute(query, None, **kwargs)
|
|
192
|
+
return super().execute(text, tuple(_value(v) for v in values), **kwargs)
|
|
193
|
+
|
|
194
|
+
def executemany(self, query: Any, params_seq: Iterable[Any], **kwargs: Any) -> None:
|
|
195
|
+
page = timing.current()
|
|
196
|
+
if page is None:
|
|
197
|
+
return self._executemany(query, params_seq, **kwargs)
|
|
198
|
+
rows = list(params_seq) # пустой пакет к базе не обращается и в замер не идёт
|
|
199
|
+
if not rows:
|
|
200
|
+
return self._executemany(query, rows, **kwargs)
|
|
201
|
+
started = perf_counter()
|
|
202
|
+
try:
|
|
203
|
+
return self._executemany(query, rows, **kwargs)
|
|
204
|
+
finally:
|
|
205
|
+
spent = perf_counter() - started
|
|
206
|
+
page.add(timing.caller(), spent) # пакет – одно обращение к базе
|
|
207
|
+
|
|
208
|
+
def _executemany(self, query: Any, params_seq: Iterable[Any], **kwargs: Any) -> None:
|
|
209
|
+
text, count = translate(query)
|
|
210
|
+
rows = []
|
|
211
|
+
for params in params_seq:
|
|
212
|
+
values = tuple(params)
|
|
213
|
+
if len(values) != count:
|
|
214
|
+
raise PlaceholderError(f"параметров {len(values)}, а маркеров {count}: {query[:200]}")
|
|
215
|
+
rows.append(tuple(_value(v) for v in values))
|
|
216
|
+
if rows:
|
|
217
|
+
super().executemany(text, rows, **kwargs)
|
|
218
|
+
|
|
219
|
+
|
|
220
|
+
class Connection(psycopg.Connection):
|
|
221
|
+
"""Соединение с executemany на самом соединении: прикладной код пишет c.execute и c.executemany."""
|
|
222
|
+
|
|
223
|
+
@property
|
|
224
|
+
def in_transaction(self) -> bool:
|
|
225
|
+
return self.info.transaction_status != pq.TransactionStatus.IDLE
|
|
226
|
+
|
|
227
|
+
def executemany(self, query: Any, params_seq: Iterable[Any]) -> Any:
|
|
228
|
+
cur = self.cursor()
|
|
229
|
+
cur.executemany(query, params_seq)
|
|
230
|
+
return cur
|
|
231
|
+
|
|
232
|
+
|
|
233
|
+
class _NumberLoader(Loader):
|
|
234
|
+
"""SUM по BIGINT – numeric: целое число, как было; дробное – float."""
|
|
235
|
+
|
|
236
|
+
def load(self, data: Any) -> Any:
|
|
237
|
+
text = bytes(data).decode()
|
|
238
|
+
return int(text) if text.lstrip("-").isdigit() else float(text)
|
|
239
|
+
|
|
240
|
+
|
|
241
|
+
class _FlagLoader(Loader):
|
|
242
|
+
"""Логическое значение выражения – 1 или 0, как в прежней базе: логических колонок в схеме нет."""
|
|
243
|
+
|
|
244
|
+
def load(self, data: Any) -> int:
|
|
245
|
+
return 1 if bytes(data) == b"t" else 0
|
|
246
|
+
|
|
247
|
+
|
|
248
|
+
class _JsonTextLoader(Loader):
|
|
249
|
+
"""JSON-выражение – строкой, как в прежней базе: разбирает прикладной код."""
|
|
250
|
+
|
|
251
|
+
def load(self, data: Any) -> str:
|
|
252
|
+
return bytes(data).decode()
|
|
253
|
+
|
|
254
|
+
|
|
255
|
+
def _configure(conn: psycopg.Connection) -> None:
|
|
256
|
+
conn.adapters.register_loader("numeric", _NumberLoader)
|
|
257
|
+
conn.adapters.register_loader("bool", _FlagLoader)
|
|
258
|
+
conn.adapters.register_loader("json", _JsonTextLoader)
|
|
259
|
+
conn.adapters.register_loader("jsonb", _JsonTextLoader)
|
|
260
|
+
conn.execute(f"SET statement_timeout = {STATEMENT_TIMEOUT_MS}")
|
|
261
|
+
|
|
262
|
+
|
|
263
|
+
# Куда подключаться: цель Database – строка подключения; путь файла – для совместимости вызовов Database(settings.db_path).
|
|
264
|
+
# Рабочее приложение берёт адрес из переменных libpq (PGHOST, PGDATABASE, PGUSER, PGPASSWORD); тесты подставляют свою
|
|
265
|
+
# базу на каждый путь (tests/conftest.py).
|
|
266
|
+
TARGET_RESOLVER: Callable[[Path], str] | None = None
|
|
267
|
+
OPEN_STORES: weakref.WeakSet = weakref.WeakSet()
|
|
268
|
+
|
|
269
|
+
|
|
270
|
+
def conninfo_for(target: Any) -> str:
|
|
271
|
+
if isinstance(target, str) and ("=" in target or target.startswith("postgres")):
|
|
272
|
+
return target
|
|
273
|
+
if TARGET_RESOLVER is not None and target is not None:
|
|
274
|
+
return TARGET_RESOLVER(Path(target))
|
|
275
|
+
return ""
|
|
276
|
+
|
|
277
|
+
|
|
278
|
+
# Просмотр страницы в режиме обслуживания: записи по пути (доведение последствий, сверка ревизий) выполняются и отменяются –
|
|
279
|
+
# страница строится как обычно, база не меняется
|
|
280
|
+
PAGE_VIEW: contextvars.ContextVar[bool] = contextvars.ContextVar("triage_page_view", default=False)
|
|
281
|
+
|
|
282
|
+
|
|
283
|
+
class _State(threading.local):
|
|
284
|
+
conn: psycopg.Connection | None = None
|
|
285
|
+
kind: str = ""
|
|
286
|
+
depth: int = 0
|
|
287
|
+
|
|
288
|
+
|
|
289
|
+
class _Autocommit:
|
|
290
|
+
"""Соединение вне контекста: каждый запрос отдельно, соединение сразу возвращается в пул (служебные проверки и тесты)."""
|
|
291
|
+
|
|
292
|
+
def __init__(self, store: PostgresStore) -> None:
|
|
293
|
+
self._store = store
|
|
294
|
+
|
|
295
|
+
def execute(self, sql: str, params: Any = None) -> Any:
|
|
296
|
+
return self._store.read(lambda c: c.execute(sql, params))
|
|
297
|
+
|
|
298
|
+
def executemany(self, sql: str, rows: Iterable[Any]) -> None:
|
|
299
|
+
self._store.read(lambda c: c.executemany(sql, rows))
|
|
300
|
+
|
|
301
|
+
|
|
302
|
+
def _db_error(e: psycopg.OperationalError, conn: psycopg.Connection) -> Exception | None:
|
|
303
|
+
"""Занятая или недоступная база – ошибка приложения. None – настоящая причина (нет места, нет памяти), она не подменяется."""
|
|
304
|
+
if isinstance(e, (errors.QueryCanceled, errors.LockNotAvailable)):
|
|
305
|
+
return DatabaseBusy(BUSY_TEXT)
|
|
306
|
+
if conn.closed or conn.broken:
|
|
307
|
+
return DatabaseUnavailable(DOWN_TEXT)
|
|
308
|
+
return None
|
|
309
|
+
|
|
310
|
+
|
|
311
|
+
class ReadContext:
|
|
312
|
+
"""`with db._lock:` – согласованное чтение: снимок на весь блок; внутри транзакции записи – её соединение."""
|
|
313
|
+
|
|
314
|
+
def __init__(self, store: PostgresStore) -> None:
|
|
315
|
+
self._store = store
|
|
316
|
+
|
|
317
|
+
def __enter__(self) -> ReadContext:
|
|
318
|
+
self._store.enter_snapshot()
|
|
319
|
+
return self
|
|
320
|
+
|
|
321
|
+
def __exit__(self, exc_type: object, exc: BaseException | None, tb: object) -> None:
|
|
322
|
+
conn = self._store._local.conn # прямой запрос внутри блока (case_input, on_connection) не проходит через _guarded
|
|
323
|
+
mapped = _db_error(exc, conn) if isinstance(exc, psycopg.OperationalError) and conn is not None else None
|
|
324
|
+
self._store.exit_snapshot()
|
|
325
|
+
if mapped is not None:
|
|
326
|
+
raise mapped from exc
|
|
327
|
+
|
|
328
|
+
def owned(self) -> bool:
|
|
329
|
+
return self._store.in_context()
|
|
330
|
+
|
|
331
|
+
|
|
332
|
+
class PostgresStore:
|
|
333
|
+
def __init__(self, conninfo: str, *, lock_timeout: Callable[[], float] = lambda: 30.0) -> None:
|
|
334
|
+
self.conninfo = conninfo
|
|
335
|
+
self._lock_timeout = lock_timeout
|
|
336
|
+
self._local = _State()
|
|
337
|
+
self._instance: psycopg.Connection | None = None
|
|
338
|
+
self._instance_pid = 0
|
|
339
|
+
self._writing = 0
|
|
340
|
+
self._closing = False
|
|
341
|
+
self._writers = threading.Condition()
|
|
342
|
+
self._pool = ConnectionPool(
|
|
343
|
+
conninfo, connection_class=Connection, min_size=1, max_size=POOL_MAX, num_workers=1, open=False,
|
|
344
|
+
configure=_configure,
|
|
345
|
+
kwargs={"autocommit": True, "cursor_factory": Cursor, "row_factory": row_factory,
|
|
346
|
+
"application_name": "local-triage", "connect_timeout": 10},
|
|
347
|
+
reconnect_timeout=30.0)
|
|
348
|
+
try:
|
|
349
|
+
self._pool.open(wait=True, timeout=CONNECT_TIMEOUT)
|
|
350
|
+
except PoolTimeout as e:
|
|
351
|
+
self._pool.close(timeout=0)
|
|
352
|
+
raise DatabaseUnavailable(DOWN_TEXT) from e
|
|
353
|
+
OPEN_STORES.add(self)
|
|
354
|
+
|
|
355
|
+
# ------------------------------------------------------------------ соединения
|
|
356
|
+
|
|
357
|
+
def close(self) -> None:
|
|
358
|
+
"""Новые записи не принимаются, начатые дожидаются конца. Не дождались – замок экземпляра остаётся до выхода процесса:
|
|
359
|
+
подтверждение записи ещё может прийти, а другой экземпляр к базе допускать нельзя."""
|
|
360
|
+
if self._local.kind == "write":
|
|
361
|
+
raise RuntimeError("закрытие базы внутри её транзакции записи")
|
|
362
|
+
with self._writers:
|
|
363
|
+
self._closing = True
|
|
364
|
+
finished = self._writers.wait_for(lambda: self._writing == 0, timeout=CLOSE_WAIT)
|
|
365
|
+
if not finished:
|
|
366
|
+
log.warning("База закрывается при незавершённой записи: замок экземпляра снимется с выходом процесса")
|
|
367
|
+
return
|
|
368
|
+
self.release_instance()
|
|
369
|
+
self._pool.close(timeout=5)
|
|
370
|
+
OPEN_STORES.discard(self)
|
|
371
|
+
|
|
372
|
+
def _server_answers(self) -> bool:
|
|
373
|
+
"""Счётчики пула включают соединения, которые ещё создаются, поэтому упавший сервер от занятых соединений отличает только
|
|
374
|
+
новое подключение."""
|
|
375
|
+
try:
|
|
376
|
+
psycopg.connect(self.conninfo, autocommit=True, connect_timeout=2).close()
|
|
377
|
+
return True
|
|
378
|
+
except psycopg.Error:
|
|
379
|
+
return False
|
|
380
|
+
|
|
381
|
+
def _get(self, timeout: float | None = None) -> psycopg.Connection:
|
|
382
|
+
try:
|
|
383
|
+
return self._pool.getconn(timeout=timeout if timeout is not None else max(float(self._lock_timeout()), 0.05))
|
|
384
|
+
except PoolTimeout as e:
|
|
385
|
+
if not self._server_answers():
|
|
386
|
+
raise DatabaseUnavailable(DOWN_TEXT) from e
|
|
387
|
+
raise DatabaseBusy(BUSY_TEXT) from e
|
|
388
|
+
except PoolClosed as e:
|
|
389
|
+
raise DatabaseUnavailable(DOWN_TEXT) from e
|
|
390
|
+
|
|
391
|
+
def _put(self, conn: psycopg.Connection) -> None:
|
|
392
|
+
self._pool.putconn(conn)
|
|
393
|
+
|
|
394
|
+
def _start(self, statement: str) -> psycopg.Connection:
|
|
395
|
+
"""Соединение с начатой транзакцией. После перезапуска сервера в пуле остаются мёртвые соединения: первая ошибка
|
|
396
|
+
связи – проверка всего пула и одна повторная попытка (транзакция ещё не начата, повтор безопасен)."""
|
|
397
|
+
for attempt in (1, 2):
|
|
398
|
+
conn = self._get()
|
|
399
|
+
try:
|
|
400
|
+
conn.execute(statement)
|
|
401
|
+
return conn
|
|
402
|
+
except psycopg.OperationalError as e:
|
|
403
|
+
self._put(conn)
|
|
404
|
+
if attempt == 2:
|
|
405
|
+
raise DatabaseUnavailable(DOWN_TEXT) from e
|
|
406
|
+
self._pool.check()
|
|
407
|
+
except BaseException:
|
|
408
|
+
self._put(conn)
|
|
409
|
+
raise
|
|
410
|
+
raise DatabaseUnavailable(DOWN_TEXT)
|
|
411
|
+
|
|
412
|
+
def in_context(self) -> bool:
|
|
413
|
+
return self._local.conn is not None
|
|
414
|
+
|
|
415
|
+
def current(self) -> Any:
|
|
416
|
+
"""Соединение текущего контекста; вне контекста – отдельные запросы без транзакции."""
|
|
417
|
+
return self._local.conn if self._local.conn is not None else _Autocommit(self)
|
|
418
|
+
|
|
419
|
+
def read(self, fn: Callable[[psycopg.Connection], Any], *, timeout: float | None = None) -> Any:
|
|
420
|
+
"""Один запрос: в открытом контексте – его соединением, иначе отдельным соединением без транзакции. Обрыв связи
|
|
421
|
+
на чтении без контекста повторяется один раз."""
|
|
422
|
+
if self._local.conn is not None:
|
|
423
|
+
return self._guarded(fn, self._local.conn)
|
|
424
|
+
for attempt in (1, 2):
|
|
425
|
+
conn = self._get(timeout)
|
|
426
|
+
try:
|
|
427
|
+
return self._guarded(fn, conn)
|
|
428
|
+
except DatabaseUnavailable:
|
|
429
|
+
if attempt == 2:
|
|
430
|
+
raise
|
|
431
|
+
self._pool.check()
|
|
432
|
+
finally:
|
|
433
|
+
self._put(conn)
|
|
434
|
+
raise DatabaseUnavailable(DOWN_TEXT)
|
|
435
|
+
|
|
436
|
+
@staticmethod
|
|
437
|
+
def _guarded(fn: Callable[[psycopg.Connection], Any], conn: psycopg.Connection) -> Any:
|
|
438
|
+
try:
|
|
439
|
+
return fn(conn)
|
|
440
|
+
except psycopg.OperationalError as e:
|
|
441
|
+
mapped = _db_error(e, conn)
|
|
442
|
+
if mapped is None:
|
|
443
|
+
raise
|
|
444
|
+
raise mapped from e
|
|
445
|
+
|
|
446
|
+
# ------------------------------------------------------------------ снимок
|
|
447
|
+
|
|
448
|
+
def enter_snapshot(self) -> None:
|
|
449
|
+
state = self._local
|
|
450
|
+
if state.conn is not None:
|
|
451
|
+
state.depth += 1
|
|
452
|
+
return
|
|
453
|
+
state.conn = self._start("BEGIN ISOLATION LEVEL REPEATABLE READ READ ONLY")
|
|
454
|
+
state.kind = "snapshot"
|
|
455
|
+
state.depth = 1
|
|
456
|
+
|
|
457
|
+
def exit_snapshot(self) -> None:
|
|
458
|
+
state = self._local
|
|
459
|
+
state.depth -= 1
|
|
460
|
+
if state.depth > 0:
|
|
461
|
+
return
|
|
462
|
+
conn, state.conn, state.kind = state.conn, None, ""
|
|
463
|
+
try:
|
|
464
|
+
conn.execute("ROLLBACK")
|
|
465
|
+
except psycopg.Error:
|
|
466
|
+
pass # соединение негодно: пул его заменит
|
|
467
|
+
finally:
|
|
468
|
+
self._put(conn)
|
|
469
|
+
|
|
470
|
+
# ------------------------------------------------------------------ запись
|
|
471
|
+
|
|
472
|
+
@contextmanager
|
|
473
|
+
def transaction(self, guard: Callable[[], None] | None = None, *, discard: bool = False,
|
|
474
|
+
exclusive: bool = True) -> Iterator[psycopg.Connection]:
|
|
475
|
+
"""Транзакция записи: всё или ничего. Сбой откатывает её целиком, при обрыве на самом COMMIT исход неизвестен (CommitUnknown). Право писать (guard) проверяется после получения
|
|
476
|
+
замка писателя и ещё раз перед COMMIT. discard – в конце отмена вместо подтверждения (просмотр в обслуживании)."""
|
|
477
|
+
state = self._local
|
|
478
|
+
if state.conn is not None:
|
|
479
|
+
raise RuntimeError("транзакция записи внутри открытого контекста: "
|
|
480
|
+
f"{state.kind}; проверка и запись должны идти в одной транзакции записи")
|
|
481
|
+
with self._writers:
|
|
482
|
+
if self._closing:
|
|
483
|
+
raise DatabaseBusy("Приложение останавливается, запись не принята.")
|
|
484
|
+
self._writing += 1
|
|
485
|
+
try:
|
|
486
|
+
conn = self._start("BEGIN")
|
|
487
|
+
except BaseException:
|
|
488
|
+
self._writer_left()
|
|
489
|
+
raise
|
|
490
|
+
state.conn, state.kind, state.depth = conn, "write", 1
|
|
491
|
+
try:
|
|
492
|
+
try:
|
|
493
|
+
conn.execute(f"SET LOCAL lock_timeout = {max(int(float(self._lock_timeout()) * 1000), 1)}")
|
|
494
|
+
if exclusive: # справочники (ADR-0133) не трогают таблиц приложения: их подмена не задерживает операторов
|
|
495
|
+
conn.execute(f"SELECT pg_advisory_xact_lock({WRITER_LOCK})")
|
|
496
|
+
if guard is not None:
|
|
497
|
+
guard()
|
|
498
|
+
self.check_instance()
|
|
499
|
+
yield conn
|
|
500
|
+
if guard is not None:
|
|
501
|
+
guard()
|
|
502
|
+
self.check_instance()
|
|
503
|
+
if conn.info.transaction_status == pq.TransactionStatus.INERROR:
|
|
504
|
+
# ошибка запроса была перехвачена, транзакция уже отменена сервером: COMMIT молча стал бы ROLLBACK
|
|
505
|
+
raise RuntimeError("транзакция отменена ошибкой запроса внутри неё; запись не выполнена")
|
|
506
|
+
except errors.LockNotAvailable as e:
|
|
507
|
+
raise DatabaseBusy(BUSY_TEXT) from e
|
|
508
|
+
except errors.QueryCanceled as e:
|
|
509
|
+
raise DatabaseBusy(BUSY_TEXT) from e
|
|
510
|
+
except psycopg.OperationalError as e:
|
|
511
|
+
if conn.closed or conn.broken:
|
|
512
|
+
raise DatabaseUnavailable(DOWN_TEXT) from e
|
|
513
|
+
raise
|
|
514
|
+
try:
|
|
515
|
+
conn.execute("ROLLBACK" if discard else "COMMIT")
|
|
516
|
+
except (psycopg.OperationalError, psycopg.InterfaceError) as e:
|
|
517
|
+
raise CommitUnknown("Соединение с базой оборвалось во время подтверждения записи: результат неизвестен. "
|
|
518
|
+
"Обновите страницу и проверьте данные.") from e
|
|
519
|
+
except BaseException:
|
|
520
|
+
if not conn.closed and conn.info.transaction_status != pq.TransactionStatus.IDLE:
|
|
521
|
+
try:
|
|
522
|
+
conn.execute("ROLLBACK")
|
|
523
|
+
except psycopg.Error:
|
|
524
|
+
pass # исходная ошибка важнее; пул заменит негодное соединение
|
|
525
|
+
raise
|
|
526
|
+
finally:
|
|
527
|
+
state.conn, state.kind, state.depth = None, "", 0
|
|
528
|
+
self._put(conn)
|
|
529
|
+
self._writer_left()
|
|
530
|
+
|
|
531
|
+
def _writer_left(self) -> None:
|
|
532
|
+
with self._writers:
|
|
533
|
+
self._writing -= 1
|
|
534
|
+
self._writers.notify_all()
|
|
535
|
+
|
|
536
|
+
# ------------------------------------------------------------------ единственный экземпляр
|
|
537
|
+
|
|
538
|
+
def hold_instance(self) -> None:
|
|
539
|
+
"""Замок экземпляра на выделенном соединении: два приложения с разными папками данных не работают с одной базой."""
|
|
540
|
+
conn = psycopg.connect(self.conninfo, autocommit=True, application_name="local-triage-instance",
|
|
541
|
+
connect_timeout=10)
|
|
542
|
+
if not conn.execute(f"SELECT pg_try_advisory_lock({INSTANCE_LOCK})").fetchone()[0]:
|
|
543
|
+
conn.close()
|
|
544
|
+
raise RuntimeError("С этой базой уже работает другой экземпляр приложения. Остановите его и запустите снова.")
|
|
545
|
+
self._instance = conn
|
|
546
|
+
self._instance_pid = conn.info.backend_pid
|
|
547
|
+
|
|
548
|
+
def release_instance(self) -> None:
|
|
549
|
+
conn, self._instance = self._instance, None
|
|
550
|
+
if conn is not None:
|
|
551
|
+
conn.close()
|
|
552
|
+
|
|
553
|
+
def instance_lost(self, timeout: float | None = None) -> bool:
|
|
554
|
+
"""Замка экземпляра на сервере больше нет: чтение работает, запись отказывает до перезапуска. Проверка – по каталогу
|
|
555
|
+
блокировок с обычного соединения: соединение замка может быть занято проверкой писателя, и /healthz ждал бы её."""
|
|
556
|
+
if self._instance is None:
|
|
557
|
+
return False
|
|
558
|
+
row = self.read(lambda c: c.execute(
|
|
559
|
+
"SELECT 1 FROM pg_locks WHERE locktype = 'advisory' AND granted"
|
|
560
|
+
f" AND pid = {int(self._instance_pid)} AND objid = {INSTANCE_LOCK}"
|
|
561
|
+
" AND database = (SELECT oid FROM pg_database WHERE datname = current_database())").fetchone(), timeout=timeout)
|
|
562
|
+
return row is None
|
|
563
|
+
|
|
564
|
+
def check_instance(self) -> None:
|
|
565
|
+
"""Потеря соединения замка – потеря владения базой: дальше писать нельзя."""
|
|
566
|
+
if self._instance is None:
|
|
567
|
+
return
|
|
568
|
+
from app.lockfile import LockLost
|
|
569
|
+
try:
|
|
570
|
+
self._instance.execute("SELECT 1")
|
|
571
|
+
except psycopg.Error as e:
|
|
572
|
+
raise LockLost("Потеряно соединение, которое держит базу за этим экземпляром. Запись остановлена: "
|
|
573
|
+
"перезапустите приложение.") from e
|