local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
@@ -0,0 +1,573 @@
1
+ """PostgreSQL: пул соединений, транзакция записи, согласованный снимок, строка результата (ADR-0128, раздел 5 и 6).
2
+
3
+ Транзакция записи – READ COMMITTED под транзакционным рекомендательным замком писателя: прикладные записи идут по одной,
4
+ как при единственном соединении прежней базы. Составное чтение – снимок REPEATABLE READ READ ONLY. Контекст привязан к
5
+ потоку: вложенные вызовы того же потока присоединяются к нему и идут тем же соединением."""
6
+
7
+ from __future__ import annotations
8
+
9
+ import contextvars
10
+ import json
11
+ import logging
12
+ import re
13
+ import threading
14
+ import weakref
15
+ from collections.abc import Callable, Iterable, Iterator, Mapping, Sequence
16
+ from contextlib import contextmanager
17
+ from pathlib import Path
18
+ from time import perf_counter
19
+ from typing import Any
20
+
21
+ import psycopg
22
+ from psycopg import ClientCursor, errors, pq
23
+ from psycopg.adapt import Loader
24
+ from psycopg_pool import ConnectionPool, PoolClosed, PoolTimeout
25
+
26
+ from app import timing
27
+ from app.storage.sql import PlaceholderError, translate
28
+
29
+ log = logging.getLogger(__name__)
30
+
31
+ BUSY_TEXT = "База данных занята: запрос не выполнен, данные не изменились. Повторите через несколько секунд."
32
+ MAINTENANCE_TEXT = "Приложение в режиме обслуживания: запись закрыта, данные не изменились."
33
+ DOWN_TEXT = "База данных недоступна: запрос не выполнен. Проверьте, что сервис базы запущен, и повторите."
34
+
35
+ IntegrityError = psycopg.IntegrityError
36
+ SerializationFailure = errors.SerializationFailure
37
+
38
+ WRITER_LOCK = 73_640_128 # транзакционный замок писателя: все записи приложения в этой базе идут по одной
39
+ INSTANCE_LOCK = 73_640_129 # сессионный замок экземпляра: одна база – один работающий экземпляр приложения
40
+ POOL_MAX = 12
41
+ CONNECT_TIMEOUT = 15.0
42
+ STATEMENT_TIMEOUT_MS = 300_000
43
+ CLOSE_WAIT = 10.0
44
+
45
+
46
+ class DatabaseBusy(Exception):
47
+ """База занята и не освободилась за отведённое время: транзакция достоверно отменена. Это не конфликт версии решения:
48
+ данные не изменились, повторить можно позже."""
49
+
50
+
51
+ class DatabaseUnavailable(DatabaseBusy):
52
+ """Сервер базы недоступен или соединение оборвалось до подтверждения: транзакция отменена сервером."""
53
+
54
+
55
+ class MaintenanceMode(DatabaseBusy):
56
+ """Режим обслуживания: запись закрыта до окончания приёмки (TRIAGE_MAINTENANCE, ADR-0128, п. 6.6)."""
57
+
58
+
59
+ class CommitUnknown(Exception):
60
+ """Соединение оборвалось во время COMMIT: неизвестно, подтвердилась ли транзакция. Повторять можно только запись, безопасную
61
+ при повторе (прогон модели, app/triage.py), остальное перечитывается по устойчивым ключам (ADR-0128, п. 6.4)."""
62
+
63
+
64
+ class Row(tuple):
65
+ """Строка результата: по индексу, по имени (без учёта регистра) и перебор значений; dict(row) – по именам."""
66
+
67
+ _names: tuple[str, ...]
68
+ _index: dict[str, int]
69
+
70
+ def __new__(cls, values: Iterable[Any], names: tuple[str, ...], index: dict[str, int]) -> Row:
71
+ self = super().__new__(cls, values)
72
+ self._names = names
73
+ self._index = index
74
+ return self
75
+
76
+ def __getitem__(self, key: Any) -> Any:
77
+ if isinstance(key, str):
78
+ try:
79
+ return tuple.__getitem__(self, self._index[key.lower()])
80
+ except KeyError:
81
+ raise IndexError(f"нет колонки {key!r}") from None
82
+ return tuple.__getitem__(self, key)
83
+
84
+ def keys(self) -> list[str]:
85
+ return list(self._names)
86
+
87
+
88
+ def row_factory(cursor: Any) -> Callable[[Sequence[Any]], Any]:
89
+ description = cursor.description
90
+ if description is None:
91
+ return tuple
92
+ names = tuple(col.name for col in description)
93
+ index: dict[str, int] = {}
94
+ for i, name in enumerate(names):
95
+ index.setdefault(name.lower(), i)
96
+ return lambda values: Row(values, names, index)
97
+
98
+
99
+ _JSON_NUL = re.compile(r"(?<!\\)((?:\\\\)*)\\u0000") # нечётное число обратных черт: настоящий NUL; при чётном – обычный текст
100
+
101
+
102
+ def _without_nul(text: str) -> str:
103
+ """Знак NUL текст PostgreSQL не хранит. Его экранирование внутри документа JSON ломает разбор `->>` всего документа, и одна
104
+ строка закрывала бы страницы проекта. Оба заменяются знаком U+FFFD. Текст вне JSON и экранированная черта (код с символом
105
+ NUL в тексте дефекта) не меняются: они законны, а в рабочих данных встречается только второе."""
106
+ text = text.replace("\x00", "\ufffd")
107
+ if "\\u0000" not in text or not _JSON_NUL.search(text):
108
+ return text
109
+ try:
110
+ json.loads(text)
111
+ except ValueError:
112
+ return text
113
+ return _JSON_NUL.sub(lambda m: m.group(1) + "\\ufffd", text)
114
+
115
+
116
+ def _value(value: Any) -> Any:
117
+ if isinstance(value, bool):
118
+ return int(value)
119
+ if isinstance(value, str) and ("\x00" in value or "\\u0000" in value):
120
+ return _without_nul(value)
121
+ return value
122
+
123
+
124
+ class Cursor(ClientCursor):
125
+ """Клиентская подстановка параметров: запросы писались без объявления типов, сервер не выводит тип «%s» в выражениях
126
+ вроде COALESCE(?, ''). Позиционные «?» переводит лексер; логическое значение уходит числом (флаги в схеме – целые)."""
127
+
128
+ def execute(self, query: Any, params: Any = None, **kwargs: Any) -> Any:
129
+ page = timing.current() # запрос страницы: время и место вызова – в замер (бэклог 123)
130
+ if page is None:
131
+ return self._execute(query, params, **kwargs)
132
+ started = perf_counter()
133
+ try:
134
+ result = self._execute(query, params, **kwargs)
135
+ finally:
136
+ spent = perf_counter() - started # до обхода стека: время замера во время базы не входит
137
+ place = timing.caller()
138
+ page.add(place, spent)
139
+ if timing.explain_wanted(place, query, spent):
140
+ self._explain(query, params, place, spent)
141
+ return result
142
+
143
+ def _explain(self, query: Any, params: Any, place: str, spent: float) -> None:
144
+ """План медленного обращения в журнал (app/timing.py) отдельным курсором на том же соединении – результат
145
+ исходного курсора не трогается. Запрос выполняется повторно (EXPLAIN ANALYZE) только в транзакции только для
146
+ чтения, которая затем откатывается: вне транзакции – в своей BEGIN READ ONLY … ROLLBACK, в транзакции только
147
+ для чтения – под точкой сохранения с откатом к ней. В транзакции записи – только оценка плана (EXPLAIN без
148
+ ANALYZE: запрос не выполняется) под точкой сохранения с откатом. Любой сбой – плана нет, страница работает."""
149
+ conn = self.connection
150
+ status = conn.info.transaction_status
151
+ if isinstance(params, Mapping) or status not in (pq.TransactionStatus.IDLE, pq.TransactionStatus.INTRANS):
152
+ return
153
+ text, count = translate(query)
154
+ values = tuple(params) if params is not None else ()
155
+ if len(values) != count:
156
+ return
157
+ inside = status == pq.TransactionStatus.INTRANS
158
+ started = perf_counter()
159
+ cur = ClientCursor(conn)
160
+ row = None
161
+ try:
162
+ if inside:
163
+ cur.execute("SHOW transaction_read_only")
164
+ analyze = str((cur.fetchone() or ["off"])[0]) == "on"
165
+ opening, closing = "SAVEPOINT timing_explain", "ROLLBACK TO SAVEPOINT timing_explain"
166
+ else:
167
+ analyze = True
168
+ opening, closing = "BEGIN READ ONLY", "ROLLBACK"
169
+ cur.execute(opening)
170
+ try:
171
+ cur.execute(("EXPLAIN (ANALYZE, FORMAT JSON) " if analyze else "EXPLAIN (FORMAT JSON) ")
172
+ + (text if values else query), tuple(_value(v) for v in values) if values else None)
173
+ row = cur.fetchone()
174
+ finally:
175
+ cur.execute(closing) # что бы ни сделал запрос при повторе – откатывается
176
+ except psycopg.Error:
177
+ return
178
+ finally:
179
+ cur.close()
180
+ if row:
181
+ timing.log_plan(place, spent, row[0], perf_counter() - started)
182
+
183
+ def _execute(self, query: Any, params: Any = None, **kwargs: Any) -> Any:
184
+ if isinstance(params, Mapping):
185
+ return super().execute(query, params, **kwargs)
186
+ text, count = translate(query)
187
+ values = tuple(params) if params is not None else ()
188
+ if len(values) != count:
189
+ raise PlaceholderError(f"параметров {len(values)}, а маркеров {count}: {query[:200]}")
190
+ if not values:
191
+ return super().execute(query, None, **kwargs)
192
+ return super().execute(text, tuple(_value(v) for v in values), **kwargs)
193
+
194
+ def executemany(self, query: Any, params_seq: Iterable[Any], **kwargs: Any) -> None:
195
+ page = timing.current()
196
+ if page is None:
197
+ return self._executemany(query, params_seq, **kwargs)
198
+ rows = list(params_seq) # пустой пакет к базе не обращается и в замер не идёт
199
+ if not rows:
200
+ return self._executemany(query, rows, **kwargs)
201
+ started = perf_counter()
202
+ try:
203
+ return self._executemany(query, rows, **kwargs)
204
+ finally:
205
+ spent = perf_counter() - started
206
+ page.add(timing.caller(), spent) # пакет – одно обращение к базе
207
+
208
+ def _executemany(self, query: Any, params_seq: Iterable[Any], **kwargs: Any) -> None:
209
+ text, count = translate(query)
210
+ rows = []
211
+ for params in params_seq:
212
+ values = tuple(params)
213
+ if len(values) != count:
214
+ raise PlaceholderError(f"параметров {len(values)}, а маркеров {count}: {query[:200]}")
215
+ rows.append(tuple(_value(v) for v in values))
216
+ if rows:
217
+ super().executemany(text, rows, **kwargs)
218
+
219
+
220
+ class Connection(psycopg.Connection):
221
+ """Соединение с executemany на самом соединении: прикладной код пишет c.execute и c.executemany."""
222
+
223
+ @property
224
+ def in_transaction(self) -> bool:
225
+ return self.info.transaction_status != pq.TransactionStatus.IDLE
226
+
227
+ def executemany(self, query: Any, params_seq: Iterable[Any]) -> Any:
228
+ cur = self.cursor()
229
+ cur.executemany(query, params_seq)
230
+ return cur
231
+
232
+
233
+ class _NumberLoader(Loader):
234
+ """SUM по BIGINT – numeric: целое число, как было; дробное – float."""
235
+
236
+ def load(self, data: Any) -> Any:
237
+ text = bytes(data).decode()
238
+ return int(text) if text.lstrip("-").isdigit() else float(text)
239
+
240
+
241
+ class _FlagLoader(Loader):
242
+ """Логическое значение выражения – 1 или 0, как в прежней базе: логических колонок в схеме нет."""
243
+
244
+ def load(self, data: Any) -> int:
245
+ return 1 if bytes(data) == b"t" else 0
246
+
247
+
248
+ class _JsonTextLoader(Loader):
249
+ """JSON-выражение – строкой, как в прежней базе: разбирает прикладной код."""
250
+
251
+ def load(self, data: Any) -> str:
252
+ return bytes(data).decode()
253
+
254
+
255
+ def _configure(conn: psycopg.Connection) -> None:
256
+ conn.adapters.register_loader("numeric", _NumberLoader)
257
+ conn.adapters.register_loader("bool", _FlagLoader)
258
+ conn.adapters.register_loader("json", _JsonTextLoader)
259
+ conn.adapters.register_loader("jsonb", _JsonTextLoader)
260
+ conn.execute(f"SET statement_timeout = {STATEMENT_TIMEOUT_MS}")
261
+
262
+
263
+ # Куда подключаться: цель Database – строка подключения; путь файла – для совместимости вызовов Database(settings.db_path).
264
+ # Рабочее приложение берёт адрес из переменных libpq (PGHOST, PGDATABASE, PGUSER, PGPASSWORD); тесты подставляют свою
265
+ # базу на каждый путь (tests/conftest.py).
266
+ TARGET_RESOLVER: Callable[[Path], str] | None = None
267
+ OPEN_STORES: weakref.WeakSet = weakref.WeakSet()
268
+
269
+
270
+ def conninfo_for(target: Any) -> str:
271
+ if isinstance(target, str) and ("=" in target or target.startswith("postgres")):
272
+ return target
273
+ if TARGET_RESOLVER is not None and target is not None:
274
+ return TARGET_RESOLVER(Path(target))
275
+ return ""
276
+
277
+
278
+ # Просмотр страницы в режиме обслуживания: записи по пути (доведение последствий, сверка ревизий) выполняются и отменяются –
279
+ # страница строится как обычно, база не меняется
280
+ PAGE_VIEW: contextvars.ContextVar[bool] = contextvars.ContextVar("triage_page_view", default=False)
281
+
282
+
283
+ class _State(threading.local):
284
+ conn: psycopg.Connection | None = None
285
+ kind: str = ""
286
+ depth: int = 0
287
+
288
+
289
+ class _Autocommit:
290
+ """Соединение вне контекста: каждый запрос отдельно, соединение сразу возвращается в пул (служебные проверки и тесты)."""
291
+
292
+ def __init__(self, store: PostgresStore) -> None:
293
+ self._store = store
294
+
295
+ def execute(self, sql: str, params: Any = None) -> Any:
296
+ return self._store.read(lambda c: c.execute(sql, params))
297
+
298
+ def executemany(self, sql: str, rows: Iterable[Any]) -> None:
299
+ self._store.read(lambda c: c.executemany(sql, rows))
300
+
301
+
302
+ def _db_error(e: psycopg.OperationalError, conn: psycopg.Connection) -> Exception | None:
303
+ """Занятая или недоступная база – ошибка приложения. None – настоящая причина (нет места, нет памяти), она не подменяется."""
304
+ if isinstance(e, (errors.QueryCanceled, errors.LockNotAvailable)):
305
+ return DatabaseBusy(BUSY_TEXT)
306
+ if conn.closed or conn.broken:
307
+ return DatabaseUnavailable(DOWN_TEXT)
308
+ return None
309
+
310
+
311
+ class ReadContext:
312
+ """`with db._lock:` – согласованное чтение: снимок на весь блок; внутри транзакции записи – её соединение."""
313
+
314
+ def __init__(self, store: PostgresStore) -> None:
315
+ self._store = store
316
+
317
+ def __enter__(self) -> ReadContext:
318
+ self._store.enter_snapshot()
319
+ return self
320
+
321
+ def __exit__(self, exc_type: object, exc: BaseException | None, tb: object) -> None:
322
+ conn = self._store._local.conn # прямой запрос внутри блока (case_input, on_connection) не проходит через _guarded
323
+ mapped = _db_error(exc, conn) if isinstance(exc, psycopg.OperationalError) and conn is not None else None
324
+ self._store.exit_snapshot()
325
+ if mapped is not None:
326
+ raise mapped from exc
327
+
328
+ def owned(self) -> bool:
329
+ return self._store.in_context()
330
+
331
+
332
+ class PostgresStore:
333
+ def __init__(self, conninfo: str, *, lock_timeout: Callable[[], float] = lambda: 30.0) -> None:
334
+ self.conninfo = conninfo
335
+ self._lock_timeout = lock_timeout
336
+ self._local = _State()
337
+ self._instance: psycopg.Connection | None = None
338
+ self._instance_pid = 0
339
+ self._writing = 0
340
+ self._closing = False
341
+ self._writers = threading.Condition()
342
+ self._pool = ConnectionPool(
343
+ conninfo, connection_class=Connection, min_size=1, max_size=POOL_MAX, num_workers=1, open=False,
344
+ configure=_configure,
345
+ kwargs={"autocommit": True, "cursor_factory": Cursor, "row_factory": row_factory,
346
+ "application_name": "local-triage", "connect_timeout": 10},
347
+ reconnect_timeout=30.0)
348
+ try:
349
+ self._pool.open(wait=True, timeout=CONNECT_TIMEOUT)
350
+ except PoolTimeout as e:
351
+ self._pool.close(timeout=0)
352
+ raise DatabaseUnavailable(DOWN_TEXT) from e
353
+ OPEN_STORES.add(self)
354
+
355
+ # ------------------------------------------------------------------ соединения
356
+
357
+ def close(self) -> None:
358
+ """Новые записи не принимаются, начатые дожидаются конца. Не дождались – замок экземпляра остаётся до выхода процесса:
359
+ подтверждение записи ещё может прийти, а другой экземпляр к базе допускать нельзя."""
360
+ if self._local.kind == "write":
361
+ raise RuntimeError("закрытие базы внутри её транзакции записи")
362
+ with self._writers:
363
+ self._closing = True
364
+ finished = self._writers.wait_for(lambda: self._writing == 0, timeout=CLOSE_WAIT)
365
+ if not finished:
366
+ log.warning("База закрывается при незавершённой записи: замок экземпляра снимется с выходом процесса")
367
+ return
368
+ self.release_instance()
369
+ self._pool.close(timeout=5)
370
+ OPEN_STORES.discard(self)
371
+
372
+ def _server_answers(self) -> bool:
373
+ """Счётчики пула включают соединения, которые ещё создаются, поэтому упавший сервер от занятых соединений отличает только
374
+ новое подключение."""
375
+ try:
376
+ psycopg.connect(self.conninfo, autocommit=True, connect_timeout=2).close()
377
+ return True
378
+ except psycopg.Error:
379
+ return False
380
+
381
+ def _get(self, timeout: float | None = None) -> psycopg.Connection:
382
+ try:
383
+ return self._pool.getconn(timeout=timeout if timeout is not None else max(float(self._lock_timeout()), 0.05))
384
+ except PoolTimeout as e:
385
+ if not self._server_answers():
386
+ raise DatabaseUnavailable(DOWN_TEXT) from e
387
+ raise DatabaseBusy(BUSY_TEXT) from e
388
+ except PoolClosed as e:
389
+ raise DatabaseUnavailable(DOWN_TEXT) from e
390
+
391
+ def _put(self, conn: psycopg.Connection) -> None:
392
+ self._pool.putconn(conn)
393
+
394
+ def _start(self, statement: str) -> psycopg.Connection:
395
+ """Соединение с начатой транзакцией. После перезапуска сервера в пуле остаются мёртвые соединения: первая ошибка
396
+ связи – проверка всего пула и одна повторная попытка (транзакция ещё не начата, повтор безопасен)."""
397
+ for attempt in (1, 2):
398
+ conn = self._get()
399
+ try:
400
+ conn.execute(statement)
401
+ return conn
402
+ except psycopg.OperationalError as e:
403
+ self._put(conn)
404
+ if attempt == 2:
405
+ raise DatabaseUnavailable(DOWN_TEXT) from e
406
+ self._pool.check()
407
+ except BaseException:
408
+ self._put(conn)
409
+ raise
410
+ raise DatabaseUnavailable(DOWN_TEXT)
411
+
412
+ def in_context(self) -> bool:
413
+ return self._local.conn is not None
414
+
415
+ def current(self) -> Any:
416
+ """Соединение текущего контекста; вне контекста – отдельные запросы без транзакции."""
417
+ return self._local.conn if self._local.conn is not None else _Autocommit(self)
418
+
419
+ def read(self, fn: Callable[[psycopg.Connection], Any], *, timeout: float | None = None) -> Any:
420
+ """Один запрос: в открытом контексте – его соединением, иначе отдельным соединением без транзакции. Обрыв связи
421
+ на чтении без контекста повторяется один раз."""
422
+ if self._local.conn is not None:
423
+ return self._guarded(fn, self._local.conn)
424
+ for attempt in (1, 2):
425
+ conn = self._get(timeout)
426
+ try:
427
+ return self._guarded(fn, conn)
428
+ except DatabaseUnavailable:
429
+ if attempt == 2:
430
+ raise
431
+ self._pool.check()
432
+ finally:
433
+ self._put(conn)
434
+ raise DatabaseUnavailable(DOWN_TEXT)
435
+
436
+ @staticmethod
437
+ def _guarded(fn: Callable[[psycopg.Connection], Any], conn: psycopg.Connection) -> Any:
438
+ try:
439
+ return fn(conn)
440
+ except psycopg.OperationalError as e:
441
+ mapped = _db_error(e, conn)
442
+ if mapped is None:
443
+ raise
444
+ raise mapped from e
445
+
446
+ # ------------------------------------------------------------------ снимок
447
+
448
+ def enter_snapshot(self) -> None:
449
+ state = self._local
450
+ if state.conn is not None:
451
+ state.depth += 1
452
+ return
453
+ state.conn = self._start("BEGIN ISOLATION LEVEL REPEATABLE READ READ ONLY")
454
+ state.kind = "snapshot"
455
+ state.depth = 1
456
+
457
+ def exit_snapshot(self) -> None:
458
+ state = self._local
459
+ state.depth -= 1
460
+ if state.depth > 0:
461
+ return
462
+ conn, state.conn, state.kind = state.conn, None, ""
463
+ try:
464
+ conn.execute("ROLLBACK")
465
+ except psycopg.Error:
466
+ pass # соединение негодно: пул его заменит
467
+ finally:
468
+ self._put(conn)
469
+
470
+ # ------------------------------------------------------------------ запись
471
+
472
+ @contextmanager
473
+ def transaction(self, guard: Callable[[], None] | None = None, *, discard: bool = False,
474
+ exclusive: bool = True) -> Iterator[psycopg.Connection]:
475
+ """Транзакция записи: всё или ничего. Сбой откатывает её целиком, при обрыве на самом COMMIT исход неизвестен (CommitUnknown). Право писать (guard) проверяется после получения
476
+ замка писателя и ещё раз перед COMMIT. discard – в конце отмена вместо подтверждения (просмотр в обслуживании)."""
477
+ state = self._local
478
+ if state.conn is not None:
479
+ raise RuntimeError("транзакция записи внутри открытого контекста: "
480
+ f"{state.kind}; проверка и запись должны идти в одной транзакции записи")
481
+ with self._writers:
482
+ if self._closing:
483
+ raise DatabaseBusy("Приложение останавливается, запись не принята.")
484
+ self._writing += 1
485
+ try:
486
+ conn = self._start("BEGIN")
487
+ except BaseException:
488
+ self._writer_left()
489
+ raise
490
+ state.conn, state.kind, state.depth = conn, "write", 1
491
+ try:
492
+ try:
493
+ conn.execute(f"SET LOCAL lock_timeout = {max(int(float(self._lock_timeout()) * 1000), 1)}")
494
+ if exclusive: # справочники (ADR-0133) не трогают таблиц приложения: их подмена не задерживает операторов
495
+ conn.execute(f"SELECT pg_advisory_xact_lock({WRITER_LOCK})")
496
+ if guard is not None:
497
+ guard()
498
+ self.check_instance()
499
+ yield conn
500
+ if guard is not None:
501
+ guard()
502
+ self.check_instance()
503
+ if conn.info.transaction_status == pq.TransactionStatus.INERROR:
504
+ # ошибка запроса была перехвачена, транзакция уже отменена сервером: COMMIT молча стал бы ROLLBACK
505
+ raise RuntimeError("транзакция отменена ошибкой запроса внутри неё; запись не выполнена")
506
+ except errors.LockNotAvailable as e:
507
+ raise DatabaseBusy(BUSY_TEXT) from e
508
+ except errors.QueryCanceled as e:
509
+ raise DatabaseBusy(BUSY_TEXT) from e
510
+ except psycopg.OperationalError as e:
511
+ if conn.closed or conn.broken:
512
+ raise DatabaseUnavailable(DOWN_TEXT) from e
513
+ raise
514
+ try:
515
+ conn.execute("ROLLBACK" if discard else "COMMIT")
516
+ except (psycopg.OperationalError, psycopg.InterfaceError) as e:
517
+ raise CommitUnknown("Соединение с базой оборвалось во время подтверждения записи: результат неизвестен. "
518
+ "Обновите страницу и проверьте данные.") from e
519
+ except BaseException:
520
+ if not conn.closed and conn.info.transaction_status != pq.TransactionStatus.IDLE:
521
+ try:
522
+ conn.execute("ROLLBACK")
523
+ except psycopg.Error:
524
+ pass # исходная ошибка важнее; пул заменит негодное соединение
525
+ raise
526
+ finally:
527
+ state.conn, state.kind, state.depth = None, "", 0
528
+ self._put(conn)
529
+ self._writer_left()
530
+
531
+ def _writer_left(self) -> None:
532
+ with self._writers:
533
+ self._writing -= 1
534
+ self._writers.notify_all()
535
+
536
+ # ------------------------------------------------------------------ единственный экземпляр
537
+
538
+ def hold_instance(self) -> None:
539
+ """Замок экземпляра на выделенном соединении: два приложения с разными папками данных не работают с одной базой."""
540
+ conn = psycopg.connect(self.conninfo, autocommit=True, application_name="local-triage-instance",
541
+ connect_timeout=10)
542
+ if not conn.execute(f"SELECT pg_try_advisory_lock({INSTANCE_LOCK})").fetchone()[0]:
543
+ conn.close()
544
+ raise RuntimeError("С этой базой уже работает другой экземпляр приложения. Остановите его и запустите снова.")
545
+ self._instance = conn
546
+ self._instance_pid = conn.info.backend_pid
547
+
548
+ def release_instance(self) -> None:
549
+ conn, self._instance = self._instance, None
550
+ if conn is not None:
551
+ conn.close()
552
+
553
+ def instance_lost(self, timeout: float | None = None) -> bool:
554
+ """Замка экземпляра на сервере больше нет: чтение работает, запись отказывает до перезапуска. Проверка – по каталогу
555
+ блокировок с обычного соединения: соединение замка может быть занято проверкой писателя, и /healthz ждал бы её."""
556
+ if self._instance is None:
557
+ return False
558
+ row = self.read(lambda c: c.execute(
559
+ "SELECT 1 FROM pg_locks WHERE locktype = 'advisory' AND granted"
560
+ f" AND pid = {int(self._instance_pid)} AND objid = {INSTANCE_LOCK}"
561
+ " AND database = (SELECT oid FROM pg_database WHERE datname = current_database())").fetchone(), timeout=timeout)
562
+ return row is None
563
+
564
+ def check_instance(self) -> None:
565
+ """Потеря соединения замка – потеря владения базой: дальше писать нельзя."""
566
+ if self._instance is None:
567
+ return
568
+ from app.lockfile import LockLost
569
+ try:
570
+ self._instance.execute("SELECT 1")
571
+ except psycopg.Error as e:
572
+ raise LockLost("Потеряно соединение, которое держит базу за этим экземпляром. Запись остановлена: "
573
+ "перезапустите приложение.") from e