local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
@@ -0,0 +1,57 @@
1
+ """Привязки параметров: запросы приложения пишутся с позиционными «?», драйвер psycopg ждёт «%s».
2
+
3
+ Драйвер ищет маркеры, не обращая внимания на кавычки SQL, поэтому в запросе с параметрами каждый буквальный «%» удваивается
4
+ везде – и в литералах, и в комментариях; «?» переводится только вне литералов и комментариев (ADR-0128, раздел 5).
5
+ Запрос без параметров драйвер не разбирает: он уходит как есть. Запрос с именованными %(name)s лексер не проходит."""
6
+
7
+ from __future__ import annotations
8
+
9
+ from functools import lru_cache
10
+
11
+
12
+ class PlaceholderError(ValueError):
13
+ """Запрос нельзя перевести: нумерованный маркер ?N или число параметров не совпало."""
14
+
15
+
16
+ @lru_cache(maxsize=8192)
17
+ def translate(sql: str) -> tuple[str, int]:
18
+ """Текст для драйвера и число позиционных параметров."""
19
+ out: list[str] = []
20
+ count = 0
21
+ i, n = 0, len(sql)
22
+ while i < n:
23
+ ch = sql[i]
24
+ if ch == "'" or ch == '"': # литерал или имя в кавычках; удвоенная кавычка – внутри него
25
+ end = i + 1
26
+ while end < n:
27
+ if sql[end] == ch:
28
+ if end + 1 < n and sql[end + 1] == ch:
29
+ end += 2
30
+ continue
31
+ break
32
+ end += 1
33
+ out.append(sql[i:end + 1].replace("%", "%%"))
34
+ i = end + 1
35
+ elif sql.startswith("--", i):
36
+ end = sql.find("\n", i)
37
+ end = n if end < 0 else end
38
+ out.append(sql[i:end].replace("%", "%%"))
39
+ i = end
40
+ elif sql.startswith("/*", i):
41
+ end = sql.find("*/", i + 2)
42
+ end = n if end < 0 else end + 2
43
+ out.append(sql[i:end].replace("%", "%%"))
44
+ i = end
45
+ elif ch == "?":
46
+ if i + 1 < n and sql[i + 1].isdigit():
47
+ raise PlaceholderError(f"нумерованный маркер в запросе: {sql[i:i + 4]!r} – нужны именованные параметры")
48
+ out.append("%s")
49
+ count += 1
50
+ i += 1
51
+ elif ch == "%":
52
+ out.append("%%")
53
+ i += 1
54
+ else:
55
+ out.append(ch)
56
+ i += 1
57
+ return "".join(out), count
@@ -0,0 +1,254 @@
1
+ """Команды обслуживания основной базы (ADR-0128, разделы 7–9): python -m app.storage.tools <команда>.
2
+
3
+ Адрес базы – переменные libpq, как у приложения. Ответ – JSON в stdout; код выхода 0 – успех, 1 – проверка не пройдена, 2 – ошибка
4
+ работы. Копии и восстановление выполняются клиентами образа базы: scripts/backup-db.ps1, restore-db.ps1, restore-check.ps1.
5
+ """
6
+
7
+ from __future__ import annotations
8
+
9
+ import argparse
10
+ import json
11
+ import os
12
+ import re
13
+ import sys
14
+ from pathlib import Path
15
+
16
+ import psycopg
17
+
18
+ from app.storage import local_state, migrate
19
+ from app.storage import schema as manifest
20
+
21
+
22
+ class ToolError(RuntimeError):
23
+ """Команда не выполнена: база не менялась."""
24
+
25
+
26
+ def status(conninfo: str = "") -> dict:
27
+ """Что с базой: empty – пустая, ok – схема этой сборки, migrate – нужны миграции, newer – база новее сборки, foreign – в базе
28
+ нет версии схемы приложения."""
29
+ with psycopg.connect(conninfo, autocommit=True) as conn:
30
+ tables = {row[0] for row in conn.execute(
31
+ "SELECT table_name FROM information_schema.tables WHERE table_schema = current_schema() AND table_type = 'BASE TABLE'")}
32
+ if not tables:
33
+ # том утрачен, а файлы состояния ещё лежат: ключи и справочники переносятся в новую базу (ADR-0133)
34
+ return {"state": "empty", "schema": None, "expected": manifest.SCHEMA_VERSION, "pending": [],
35
+ "local_state_pending": bool(local_state.legacy_files(Path(os.environ.get("DATA_DIR") or "/data")))}
36
+ row = conn.execute("SELECT value FROM meta WHERE key = 'schema_version'").fetchone() if "meta" in tables else None
37
+ schema = int(row[0]) if row else None
38
+ pending = [item.name for item in migrate.pending(conn)]
39
+ if schema is None:
40
+ state = "foreign"
41
+ elif schema > manifest.SCHEMA_VERSION:
42
+ state = "newer"
43
+ elif pending or schema < manifest.SCHEMA_VERSION:
44
+ state = "migrate"
45
+ else:
46
+ state = "ok"
47
+ answer = {"state": state, "schema": schema, "expected": manifest.SCHEMA_VERSION, "pending": pending, "local_state_pending": False}
48
+ if state == "ok":
49
+ answer["local_state_pending"] = local_state.pending(Path(os.environ.get("DATA_DIR") or "/data"), conninfo)
50
+ return answer
51
+
52
+
53
+ def _existing_database(conninfo: str):
54
+ """Database создал бы схему в пустой базе: на пустой базе команда отказывает и оставляет её пустой."""
55
+ from app.db import Database
56
+ if status(conninfo)["state"] == "empty":
57
+ raise ToolError("База пуста: команда выполняется на существующей базе.")
58
+ return Database(conninfo or None)
59
+
60
+
61
+ def set_pause(paused: bool, conninfo: str = "", *, accept_unknown: bool = False) -> dict:
62
+ from app.db import HubResyncRequired, HubUnknownWrites
63
+ db = _existing_database(conninfo)
64
+ try:
65
+ try:
66
+ db.set_hub_write_paused(paused, accept_unknown=accept_unknown)
67
+ except HubUnknownWrites as e:
68
+ raise ToolError(f"Пауза не снята: операций записи с неизвестным исходом – {e.args[0]}. Сначала сверьте их с Hub; "
69
+ "если сверка показала расхождение и решение принято: hub-resume --accept-unknown.") from e
70
+ except HubResyncRequired as e:
71
+ raise ToolError(f"Пауза не снята: база восстановлена из копии, а «Синхронизировать» и «Принять состояние Hub» не прошли по проектам: {e.args[0]}. "
72
+ "Если это невозможно и решение принято: hub-resume --accept-unknown.") from e
73
+ return {"hub_write_paused": db.hub_write_paused()}
74
+ finally:
75
+ db.close()
76
+
77
+
78
+ def after_restore(conninfo: str = "") -> dict:
79
+ """После восстановления копии: выданные после неё действия в Hub могли выполниться, поэтому незавершённое повторно не выдаётся."""
80
+ db = _existing_database(conninfo)
81
+ try:
82
+ return db.settle_after_restore()
83
+ finally:
84
+ db.close()
85
+
86
+
87
+ def backup_note(name: str, checked_at: str, conninfo: str = "") -> dict:
88
+ """Отметка о последней проверенной копии базы (бэклог 76): её пишет scripts/backup-db.ps1 после пройденной проверки
89
+ восстановления, читает /healthz. Копии лежат вне контейнера, приложение их не видит. Одна строка settings отдельным
90
+ соединением: схема не меняется, работающему приложению команда не мешает."""
91
+ from datetime import UTC, datetime
92
+
93
+ from app.db import BACKUP_NOTE_KEY, dumps, now_iso
94
+ if not re.fullmatch(r"triage-[0-9]{8}-[0-9]{6}\.dump", name):
95
+ raise ValueError(f"Имя копии не вида triage-ГГГГММДД-ЧЧММСС.dump: {name}")
96
+ moment = datetime.fromisoformat(checked_at) # ValueError – время не в ISO 8601
97
+ if moment.tzinfo is None:
98
+ moment = moment.replace(tzinfo=UTC)
99
+ note = {"name": name, "checked_at": moment.astimezone(UTC).isoformat(timespec="seconds")}
100
+ with psycopg.connect(conninfo, autocommit=True) as conn:
101
+ conn.execute("INSERT INTO settings(key, value_json, updated_at) VALUES (%s, %s, %s)"
102
+ " ON CONFLICT(key) DO UPDATE SET value_json = excluded.value_json, updated_at = excluded.updated_at",
103
+ (BACKUP_NOTE_KEY, dumps(note), now_iso()))
104
+ return {BACKUP_NOTE_KEY: note}
105
+
106
+
107
+ # ============================================================================ учебный стенд npm (ADR-0155)
108
+
109
+ _DB_NAME = re.compile(r"[a-z_][a-z0-9_]{0,62}")
110
+
111
+
112
+ def _same_dir(server: str, expected: str) -> bool:
113
+ """Каталог данных сервера – тот, что ждёт обёртка: абсолютные пути после раскрытия коротких имён и ссылок, на
114
+ Windows без учёта регистра и вида разделителей."""
115
+ def canon(path: str) -> str:
116
+ return os.path.normcase(os.path.realpath(os.path.abspath(path)))
117
+ return bool(server) and canon(server) == canon(expected)
118
+
119
+
120
+ def _service_conn():
121
+ """Соединение со служебной базой postgres: dbname в строке перекрывает PGDATABASE, остальное – из переменных
122
+ libpq окружения (обёртка задаёт их явно)."""
123
+ return psycopg.connect("dbname=postgres", autocommit=True)
124
+
125
+
126
+ def whoami(expect_data_dir: str) -> tuple[int, dict]:
127
+ """Тот ли это сервер: сверка SHOW data_directory с ожидаемым каталогом. Обёртка зовёт перед остановкой сервера и
128
+ перед любой записью, чтобы не тронуть чужой кластер на том же порту."""
129
+ with _service_conn() as conn:
130
+ directory = str(conn.execute("SHOW data_directory").fetchone()[0])
131
+ match = _same_dir(directory, expect_data_dir)
132
+ return (0 if match else 1), {"data_directory": directory, "match": match}
133
+
134
+
135
+ def ensure_database(expect_data_dir: str, create: bool) -> tuple[int, dict]:
136
+ """База из PGDATABASE на сервере с ожидаемым каталогом данных: есть – ничего не меняется; нет – создаётся только
137
+ с create (фазу первой установки знает обёртка: на прежней установке пропавшая база – утрата, а не повод создать
138
+ пустую). Каталог не совпал – отказ до любой записи."""
139
+ from psycopg import sql
140
+ name = (os.environ.get("PGDATABASE") or "").strip()
141
+ if not _DB_NAME.fullmatch(name):
142
+ raise ToolError("PGDATABASE: нужно имя базы из латинских строчных букв, цифр и «_».")
143
+ with _service_conn() as conn:
144
+ directory = str(conn.execute("SHOW data_directory").fetchone()[0])
145
+ answer = {"data_directory": directory, "match": _same_dir(directory, expect_data_dir), "exists": False,
146
+ "created": False}
147
+ if not answer["match"]:
148
+ return 1, answer
149
+ answer["exists"] = conn.execute("SELECT 1 FROM pg_database WHERE datname = %s", (name,)).fetchone() is not None
150
+ if answer["exists"]:
151
+ return 0, answer
152
+ if not create:
153
+ return 1, answer
154
+ owner = str(conn.execute("SELECT current_user").fetchone()[0])
155
+ conn.execute(sql.SQL("CREATE DATABASE {} OWNER {} ENCODING 'UTF8' TEMPLATE template0").format(
156
+ sql.Identifier(name), sql.Identifier(owner)))
157
+ answer.update(exists=True, created=True)
158
+ return 0, answer
159
+
160
+
161
+ SUMMARY_SCHEMAS = ("feeds", "feeds_imp", "app_state") # кроме основной схемы: справочники, их загрузка, ключи
162
+ # находки по видам и решения по видам и итоговым вердиктам: сверка копии видит и смену значений при прежнем числе строк
163
+ SUMMARY_GROUPS = (("findings_kind", "findings", "kind"), ("reviews_decision", "reviews", "decision"),
164
+ ("reviews_final_verdict", "reviews", "final_verdict"))
165
+
166
+
167
+ def summary(conninfo: str = "") -> dict:
168
+ """Сводка базы для сверки копии с оригиналом (стенд npm, раздел 3.4 плана): число строк каждой таблицы основной
169
+ схемы приложения (имя без схемы) и схем справочников и ключей (имя «схема.таблица»), операции Hub по состояниям.
170
+ Только чтение; содержимое строк не читается."""
171
+ from psycopg import sql
172
+ with psycopg.connect(conninfo, autocommit=True) as conn:
173
+ current = str(conn.execute("SELECT current_schema()").fetchone()[0])
174
+ rows = conn.execute(
175
+ "SELECT table_schema, table_name FROM information_schema.tables WHERE table_type = 'BASE TABLE'"
176
+ " AND (table_schema = %s OR table_schema = ANY(%s)) ORDER BY table_schema, table_name",
177
+ (current, list(SUMMARY_SCHEMAS))).fetchall()
178
+ tables = {(name if schema == current else f"{schema}.{name}"): int(conn.execute(
179
+ sql.SQL("SELECT count(*) FROM {}.{}").format(sql.Identifier(schema), sql.Identifier(name))
180
+ ).fetchone()[0]) for schema, name in rows}
181
+ hub = {}
182
+ if "hub_ops" in tables:
183
+ hub = {str(state): int(count) for state, count in conn.execute(
184
+ "SELECT state, count(*) FROM hub_ops GROUP BY state ORDER BY state")}
185
+ groups = {}
186
+ for key, table, column in SUMMARY_GROUPS:
187
+ if table in tables:
188
+ groups[key] = {str(value): int(count) for value, count in conn.execute(sql.SQL(
189
+ "SELECT {c}, count(*) FROM {t} GROUP BY {c} ORDER BY {c}").format(
190
+ c=sql.Identifier(column), t=sql.Identifier(table)))}
191
+ return {"tables": tables, "hub_ops": hub, "groups": groups}
192
+
193
+
194
+ def main(argv: list[str] | None = None) -> int:
195
+ parser = argparse.ArgumentParser(prog="python -m app.storage.tools", description=__doc__)
196
+ commands = parser.add_subparsers(dest="command", required=True)
197
+ stand = commands.add_parser("ensure-database", help="учебный стенд npm: база из PGDATABASE на своём сервере")
198
+ stand.add_argument("--expect-data-dir", required=True, help="каталог данных сервера, который ждёт обёртка")
199
+ stand.add_argument("--create", action="store_true", help="создать базу, если её нет (только первая установка)")
200
+ commands.add_parser("whoami", help="учебный стенд npm: тот ли сервер").add_argument(
201
+ "--expect-data-dir", required=True, help="каталог данных сервера, который ждёт обёртка")
202
+ commands.add_parser("summary", help="сводка базы: строки таблиц и операции Hub по состояниям")
203
+ for name in ("local-state-import", "local-state-verify"):
204
+ commands.add_parser(name).add_argument("--data", type=Path, default=Path(os.environ.get("DATA_DIR") or "/data"),
205
+ help="папка данных с прежними файлами состояния; читается, не меняется")
206
+ for name in ("status", "migrate", "hub-pause", "hub-resume", "after-restore"):
207
+ sub = commands.add_parser(name)
208
+ if name == "hub-resume":
209
+ sub.add_argument("--accept-unknown", action="store_true",
210
+ help="снять паузу при неизвестных исходах: они остаются неизвестными и повторно не выдаются")
211
+ note = commands.add_parser("backup-note")
212
+ note.add_argument("--name", required=True, help="имя файла проверенной копии: triage-ГГГГММДД-ЧЧММСС.dump")
213
+ note.add_argument("--checked-at", required=True, help="время пройденной проверки восстановления, ISO 8601, UTC")
214
+ args = parser.parse_args(argv)
215
+ try:
216
+ code, answer = _run(args)
217
+ except (ToolError, psycopg.Error, RuntimeError, OSError, ValueError) as e:
218
+ print(json.dumps({"error": f"{type(e).__name__}: {e}"}, ensure_ascii=False))
219
+ return 2
220
+ print(json.dumps(answer, ensure_ascii=False, indent=1))
221
+ return code
222
+
223
+
224
+ def _run(args: argparse.Namespace) -> tuple[int, dict]:
225
+ if args.command == "ensure-database":
226
+ return ensure_database(args.expect_data_dir, args.create)
227
+ if args.command == "whoami":
228
+ return whoami(args.expect_data_dir)
229
+ if args.command == "summary":
230
+ return 0, summary()
231
+ if args.command == "local-state-import":
232
+ return 0, local_state.import_all(args.data)
233
+ if args.command == "local-state-verify":
234
+ answer = local_state.verify(args.data)
235
+ return (0 if answer["ok"] else 3), answer
236
+ if args.command == "status":
237
+ answer = status()
238
+ return (0 if answer["state"] in ("ok", "empty") else 1), answer
239
+ if args.command == "migrate":
240
+ if status()["state"] == "empty":
241
+ raise ToolError("База пуста: обновлять нечего. Новая база получает схему при запуске.")
242
+ with psycopg.connect("", autocommit=True) as conn:
243
+ return 0, {"applied": migrate.apply_pending(conn)}
244
+ if args.command == "hub-pause":
245
+ return 0, set_pause(True)
246
+ if args.command == "hub-resume":
247
+ return 0, set_pause(False, accept_unknown=args.accept_unknown)
248
+ if args.command == "backup-note":
249
+ return 0, backup_note(args.name, args.checked_at)
250
+ return 0, after_restore()
251
+
252
+
253
+ if __name__ == "__main__":
254
+ sys.exit(main())
@@ -0,0 +1,307 @@
1
+ """Один наблюдатель ресурсов: неблокирующие снимки и ограниченная история, отдельно от триажа."""
2
+ from __future__ import annotations
3
+ import copy
4
+ import json
5
+ import math
6
+ import sqlite3
7
+ import threading
8
+ import time
9
+ import uuid
10
+ from collections import deque
11
+ from pathlib import Path
12
+
13
+
14
+ def host_snapshot(path, now=None):
15
+ now=time.time() if now is None else now
16
+ missing={'status':'unavailable','memory':None,'cpu_pct':None,'scope':'ollama_host','sampled_at':None}
17
+ try:
18
+ path=Path(path)
19
+ if path.stat().st_size>16384:return missing
20
+ data=json.loads(path.read_text(encoding='utf-8-sig'))
21
+ stamp=float(data['sampled_at'])
22
+ memory=data['memory']
23
+ total,available=memory['total_bytes'],memory['available_bytes']
24
+ if data['schema']!=1 or data['host_scope']!='ollama_host' or not all(type(x) in (int,float) and math.isfinite(x) for x in (stamp,total,available)) or not 0<=available<=total or total<=0:return missing
25
+ cpu=data.get('cpu_pct')
26
+ if type(cpu) not in (int,float) or not math.isfinite(cpu) or not 0<=cpu<=100:cpu=None
27
+ raw=data.get('addresses')
28
+ addresses=[str(a)[:64] for a in raw[:64] if isinstance(a,str)] if isinstance(raw,list) else None
29
+ return {'status':'fresh' if -5<=now-stamp<=30 else 'stale','sampled_at':stamp,
30
+ 'scope':'ollama_host','collector_id':str(data.get('collector_id',''))[:100],
31
+ 'memory':{'total_bytes':total,'available_bytes':available,'used_bytes':total-available},'cpu_pct':cpu,
32
+ 'addresses':addresses}
33
+ except (OSError,ValueError,KeyError,TypeError):return missing
34
+
35
+
36
+ HOST_ADDRESSES_FRESH_S = 300 # адреса хоста от сборщика свежи 5 минут (внешний профиль, llm_net.HOST_SOURCE)
37
+
38
+
39
+ def host_addresses_from(path, now=None):
40
+ """Адреса компьютера-хоста от сборщика метрик, если снимок свежий (не старше HOST_ADDRESSES_FRESH_S) и адреса в нём
41
+ есть; иначе None."""
42
+ now=time.time() if now is None else now
43
+ return _fresh_addresses(host_snapshot(path,now),now)
44
+
45
+
46
+ def _fresh_addresses(snapshot, now):
47
+ stamp=snapshot.get('sampled_at')
48
+ if stamp is None or not -5<=now-stamp<=HOST_ADDRESSES_FRESH_S or not snapshot.get('addresses'):return None
49
+ return list(snapshot['addresses'])
50
+
51
+
52
+ COLLECTOR_DOWN_S = 60 # сборщик пишет снимок раз в 5 с: минута без снимка – он не работает
53
+
54
+
55
+ def collector_state(path, expected, now=None):
56
+ """Работает ли сборщик метрик компьютера (scripts/host-metrics.ps1) – для предупреждения на страницах
57
+ (HOSTCOL-01: после перезагрузки компьютера контейнер поднимается сам, а сборщик – нет).
58
+ expected – приложение в контейнере: там его вместе со сборщиком запускает start.ps1; вне контейнера
59
+ предупреждение – только если сборщик здесь уже работал (host.json есть). state: ok, stale (снимок старше минуты),
60
+ missing (снимка нет или он не читается), not_used (сборщик здесь не используется). addresses – есть ли свежие
61
+ адреса компьютера для внешних провайдеров (host_addresses_from); detail – что видно, словами."""
62
+ now=time.time() if now is None else now
63
+ path=Path(path)
64
+ snapshot=host_snapshot(path,now) # одно чтение файла: и состояние, и адреса
65
+ stamp=snapshot.get('sampled_at')
66
+ addresses=_fresh_addresses(snapshot,now) is not None
67
+ if stamp is not None and -5<=now-stamp<=COLLECTOR_DOWN_S:
68
+ state='ok'
69
+ elif not expected and not path.exists():
70
+ state='not_used'
71
+ else:
72
+ state='stale' if stamp is not None else 'missing'
73
+ age=None if stamp is None else abs(now-stamp)
74
+ if state=='stale':
75
+ minutes=int(age//60)
76
+ detail=f'последний снимок {minutes} мин назад' if minutes<120 else f'последний снимок {minutes//60} ч назад'
77
+ elif state=='missing':
78
+ detail='снимков от него нет'
79
+ elif state=='ok' and not addresses:
80
+ detail='сборщик работает, но адреса компьютера не прочитались'
81
+ else:
82
+ detail=''
83
+ return {'state':state,'expected':bool(expected),'addresses':addresses,'sampled_at':stamp,
84
+ 'age_s':None if age is None else round(age),'detail':detail}
85
+
86
+
87
+ class Telemetry:
88
+ def __init__(self, folder, compute, interval=5):
89
+ self.folder=Path(folder)
90
+ self.folder.mkdir(parents=True,exist_ok=True)
91
+ self.compute=compute
92
+ self.interval=interval
93
+ self._lock=threading.RLock()
94
+ self._stop=threading.Event()
95
+ self._ready=threading.Event()
96
+ self._thread=None
97
+ self._data={}
98
+ self._series={} # краткая история по рядам сервера модели (server_tag): у каждого – свои 180 точек
99
+ self._last_at=None
100
+ self._sequence=0
101
+ self.epoch=uuid.uuid4().hex
102
+ self._servers={} # снимки серверов идущих прогонов (remember)
103
+ self._wanted={} # серверы, метрики которых попросили страницы (want)
104
+ self._history_error=''
105
+ self._conn=None
106
+ try:
107
+ self._conn=sqlite3.connect(str(self.folder/'telemetry.db'),check_same_thread=False)
108
+ self._conn.execute('PRAGMA journal_mode=WAL')
109
+ self._conn.execute('PRAGMA journal_size_limit=1048576')
110
+ self._conn.execute('PRAGMA wal_autocheckpoint=128')
111
+ page_size=self._conn.execute('PRAGMA page_size').fetchone()[0]
112
+ self._conn.execute('PRAGMA max_page_count='+str(48*1024**2//page_size))
113
+ self._conn.execute('CREATE TABLE IF NOT EXISTS telemetry_meta(schema_version INTEGER)')
114
+ if not self._conn.execute('SELECT 1 FROM telemetry_meta').fetchone():self._conn.execute('INSERT INTO telemetry_meta VALUES (1)')
115
+ self._conn.execute('CREATE TABLE IF NOT EXISTS resource_samples(minute INTEGER,epoch TEXT,data_json TEXT,PRIMARY KEY(minute,epoch))')
116
+ self._conn.commit()
117
+ except sqlite3.Error:self._history_error='История ресурсов недоступна.'
118
+
119
+ def start(self):
120
+ if self._thread is not None:return
121
+ self._thread=threading.Thread(target=self._run,name='resource-observer',daemon=True)
122
+ self._thread.start()
123
+ self._ready.wait(.2)
124
+
125
+ def _run(self):
126
+ while not self._stop.is_set():
127
+ try:
128
+ directory=self.folder/'telemetry';directory.mkdir(exist_ok=True)
129
+ (directory/'lease').write_text(str(time.time()),encoding='ascii')
130
+ except OSError:pass
131
+ try:
132
+ data=self.compute()
133
+ self.record(data if isinstance(data,dict) else {})
134
+ except Exception:
135
+ self.record({'gpu':None,'models':[],'error':'Измерения ресурсов временно недоступны.'})
136
+ self._ready.set()
137
+ self._stop.wait(self.interval)
138
+
139
+ @staticmethod
140
+ def server_tag(server):
141
+ """Метка ряда истории: сервер модели ('local|адрес' или 'remote|адрес'); '' – снимок без метки (до 0.9.12)."""
142
+ if isinstance(server,dict):
143
+ if not server.get('base_url'):return ''
144
+ return ('local|' if server.get('local') else 'remote|')+str(server['base_url'])
145
+ return ('local|' if server[1] else 'remote|')+str(server[0])
146
+
147
+ def local_host(self,now=None):
148
+ """Память и процессор этого компьютера из сборщика хоста – независимо от того, чей снимок сейчас у наблюдения."""
149
+ return host_snapshot(self.folder/'telemetry'/'host.json',time.time() if now is None else now)
150
+
151
+ def want(self,server,now=None):
152
+ """Страница просит метрики сервера, которого наблюдение сейчас не измеряет: оно измерит его в ближайший цикл
153
+ (wanted) – страница сама сервер не опрашивает."""
154
+ with self._lock: # сервер целиком (класс доверия, адреса, ключ) – фоновый опрос идёт по его правилам
155
+ self._wanted[server]=time.time() if now is None else now
156
+ while len(self._wanted)>8:self._wanted.pop(next(iter(self._wanted)))
157
+
158
+ def wanted(self,max_age=60,now=None):
159
+ now=time.time() if now is None else now
160
+ with self._lock:
161
+ return [k for k,at in self._wanted.items() if now-at<=max_age]
162
+
163
+ def pending(self,server,empty):
164
+ """Ответ «ещё не измерено» для сервера, которого нет в наблюдении: без сетевых обращений."""
165
+ data=copy.deepcopy(empty)
166
+ data.update(server={'base_url':str(server[0]),'local':bool(server[1])},observed_at=None,
167
+ resource_status='unavailable',pending=True,history_error=self._history_error,
168
+ host=self.local_host() if server[1] else self._remote_host())
169
+ return data
170
+
171
+ @staticmethod
172
+ def _remote_host():
173
+ return {'status':'remote','memory':None,'cpu_pct':None,'scope':'remote','sampled_at':None}
174
+
175
+ def _view(self,data,now):
176
+ """Снимок для страницы: свежесть данных хоста и ресурсов по одному правилу для всех серверов."""
177
+ data.setdefault('gpu',None);data.setdefault('models',[])
178
+ stamp=data.get('observed_at')
179
+ host=data.get('host') or {}
180
+ if host.get('sampled_at') and now-host['sampled_at']>30:
181
+ host['status']='stale'
182
+ data['resource_status']='unavailable' if stamp is None or not data.get('gpu') and not data.get('models') and host.get('status')!='fresh' else 'stale' if now-stamp>30 else 'fresh'
183
+ data['history_error']=self._history_error
184
+ return data
185
+
186
+ def _point(self,data,host,now):
187
+ """Точка истории и её ряд (source_epoch): эпоха наблюдения, сборщик, видеокарта и сервер модели – ряды разных
188
+ серверов не сливаются ни на графике, ни в поминутных средних."""
189
+ gpu=data.get('gpu') or {}
190
+ memory=host['memory'] if host.get('status')=='fresh' else None
191
+ tag=self.server_tag(data.get('server') or {})
192
+ source=self.epoch+':'+host.get('collector_id','')+':'+str(gpu.get('name',''))+('|'+tag if tag else '')
193
+ return {'at':now,'source_epoch':source,'server':tag,'gpu':gpu.get('util_pct'),'vram':data.get('vram_used_mb'),
194
+ 'ram':(memory['used_bytes']/1024**3) if memory else None,'cpu':host['cpu_pct'] if host.get('status')=='fresh' else None}
195
+
196
+ def _host(self,data,now):
197
+ """Память и процессор этого компьютера – только если снимок сервера модели на нём (server.local, ADR-0102
198
+ п. 9); сервер в сети – {'status':'remote'}. Снимок без метки сервера – как раньше, этот компьютер."""
199
+ if (data.get('server') or {}).get('local') is False:
200
+ return {'status':'remote','memory':None,'cpu_pct':None,'scope':'remote','sampled_at':None}
201
+ return host_snapshot(self.folder/'telemetry'/'host.json',now)
202
+
203
+ def remember(self,server,data,now=None,point=True):
204
+ """Снимок метрик сервера идущего прогона или запрошенного страницей (не профиля приложения): страницы берут его
205
+ (server_snapshot), а не опрашивают сервер сами; точка – в историю этого сервера."""
206
+ now=time.time() if now is None else now
207
+ item=copy.deepcopy(data if isinstance(data,dict) else {})
208
+ item.setdefault('server',{'base_url':str(server[0]),'local':bool(server[1])})
209
+ item.update(observed_at=now,host=self._host(item,now))
210
+ mark=self._point(item,item['host'],now)
211
+ with self._lock:
212
+ self._servers[tuple(server)]=item
213
+ while len(self._servers)>8:self._servers.pop(next(iter(self._servers)))
214
+ series=self._series.get(mark['server'])
215
+ # point=False – ряд этого сервера пишет record (тот же сервер, что у профиля приложения); два профиля
216
+ # одного сервера в одном цикле – одна точка
217
+ if not point or series and now-series[-1]['at']<self.interval/2:return
218
+ self._append(mark)
219
+ self._store(mark,now)
220
+
221
+ def server_snapshot(self,server,now=None,max_age=30):
222
+ """Запомненный снимок сервера (remember) не старше max_age секунд или None; свежесть – как у snapshot()."""
223
+ now=time.time() if now is None else now
224
+ with self._lock:
225
+ item=copy.deepcopy(self._servers.get(tuple(server)))
226
+ if not item or now-item.get('observed_at',0)>max_age:return None
227
+ return self._view(item,now)
228
+
229
+ def record(self,data,now=None):
230
+ now=time.time() if now is None else now
231
+ host=self._host(data,now)
232
+ with self._lock:
233
+ self._sequence+=1
234
+ self._data=copy.deepcopy(data)
235
+ self._data.update(observed_at=now,sequence=self._sequence,sampler_epoch=self.epoch,host=host)
236
+ self._last_at=now
237
+ point=self._point(data,host,now)
238
+ self._append(point)
239
+ self._store(point,now)
240
+
241
+ def _append(self,point):
242
+ """Точка – в краткую историю своего ряда; рядов не больше 9 (сервер приложения и до 8 запомненных)."""
243
+ series=self._series.setdefault(point.get('server',''),deque(maxlen=180))
244
+ series.append(point)
245
+ while len(self._series)>9:self._series.pop(next(iter(self._series)))
246
+
247
+ def _store(self,point,now):
248
+ """Поминутные средние и пики точки – в базу истории (под замком наблюдения)."""
249
+ source=point['source_epoch']
250
+ if self._conn:
251
+ try:
252
+ minute=int(now//60)
253
+ epoch=source
254
+ old=self._conn.execute('SELECT data_json FROM resource_samples WHERE minute=? AND epoch=?',(minute,epoch)).fetchone()
255
+ stats=json.loads(old[0]) if old else {}
256
+ for key in ('gpu','vram','ram','cpu'):
257
+ v=point[key]
258
+ if type(v) in (float,int) and math.isfinite(v):
259
+ item=stats.setdefault(key,{'sum':0,'max':v,'count':0})
260
+ item['sum']+=v;item['max']=max(item['max'],v);item['count']+=1
261
+ self._conn.execute('INSERT OR REPLACE INTO resource_samples VALUES (?,?,?)',(minute,epoch,json.dumps(stats)))
262
+ self._conn.execute('DELETE FROM resource_samples WHERE minute<?',(minute-7*1440,))
263
+ if minute%10==0:self._conn.execute('DELETE FROM resource_samples WHERE rowid NOT IN (SELECT rowid FROM resource_samples ORDER BY minute DESC LIMIT 12000)')
264
+ self._conn.commit()
265
+ if self._sequence%12==0:
266
+ self._conn.execute('PRAGMA wal_checkpoint(TRUNCATE)')
267
+ if sum(p.stat().st_size for p in self.folder.glob('telemetry.db*'))>50*1024**2:
268
+ self._conn.close();self._conn=None
269
+ self._history_error='История ресурсов остановлена: достигнут предел 50 МиБ.'
270
+ except (sqlite3.Error,OSError):self._history_error='История ресурсов временно не сохраняется.'
271
+
272
+ def snapshot(self,now=None):
273
+ now=time.time() if now is None else now
274
+ with self._lock:
275
+ data=copy.deepcopy(self._data)
276
+ return self._view(data,now)
277
+
278
+ def history(self,window='15m',server=None):
279
+ """Точки истории за 15 минут или средние по минутам за 24 часа; server – метка ряда (server_tag): только точки
280
+ этого сервера модели (страница прогона – сервер его исполнителя); '' – ряд без метки сервера (история до
281
+ 0.9.12, страницы прежних прогонов). None – все ряды. Окно и предел числа точек – у каждого ряда свои."""
282
+ with self._lock:
283
+ if window=='15m':
284
+ rows=[p for tag,series in self._series.items() if server is None or tag==server for p in series]
285
+ start=max(time.time(),self._last_at or 0)-900 # последние 15 минут – от текущего времени
286
+ return copy.deepcopy(sorted((p for p in rows if p['at']>=start),key=lambda p:p['at']))
287
+ if not self._conn:return []
288
+ try:
289
+ end=int((self._last_at or time.time())//60)
290
+ if server is None:
291
+ where,args='',()
292
+ elif server: # ряд сервера: метка в конце идентификатора ряда – фильтр до предела строк
293
+ where,args=' AND substr(epoch,-length(?))=?',('|'+server,'|'+server)
294
+ else:
295
+ where,args=" AND instr(epoch,'|')=0",()
296
+ rows=self._conn.execute('SELECT minute,epoch,data_json FROM resource_samples WHERE minute>=?'+where+' ORDER BY minute DESC LIMIT 1440',(end-1440,*args)).fetchall()
297
+ return [{'at':m*60,'source_epoch':epoch,**{k:(round(s[k]['sum']/s[k]['count'],2) if k in s else None) for k in ('gpu','vram','ram','cpu')}} for m,epoch,raw in reversed(rows) for s in [json.loads(raw)]]
298
+ except sqlite3.Error:return []
299
+
300
+ def close(self):
301
+ self._stop.set()
302
+ if self._thread:self._thread.join(5)
303
+ with self._lock:
304
+ if self._conn:
305
+ try:self._conn.commit()
306
+ except sqlite3.Error:pass
307
+ finally:self._conn.close();self._conn=None