local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
|
@@ -0,0 +1,57 @@
|
|
|
1
|
+
"""Привязки параметров: запросы приложения пишутся с позиционными «?», драйвер psycopg ждёт «%s».
|
|
2
|
+
|
|
3
|
+
Драйвер ищет маркеры, не обращая внимания на кавычки SQL, поэтому в запросе с параметрами каждый буквальный «%» удваивается
|
|
4
|
+
везде – и в литералах, и в комментариях; «?» переводится только вне литералов и комментариев (ADR-0128, раздел 5).
|
|
5
|
+
Запрос без параметров драйвер не разбирает: он уходит как есть. Запрос с именованными %(name)s лексер не проходит."""
|
|
6
|
+
|
|
7
|
+
from __future__ import annotations
|
|
8
|
+
|
|
9
|
+
from functools import lru_cache
|
|
10
|
+
|
|
11
|
+
|
|
12
|
+
class PlaceholderError(ValueError):
|
|
13
|
+
"""Запрос нельзя перевести: нумерованный маркер ?N или число параметров не совпало."""
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
@lru_cache(maxsize=8192)
|
|
17
|
+
def translate(sql: str) -> tuple[str, int]:
|
|
18
|
+
"""Текст для драйвера и число позиционных параметров."""
|
|
19
|
+
out: list[str] = []
|
|
20
|
+
count = 0
|
|
21
|
+
i, n = 0, len(sql)
|
|
22
|
+
while i < n:
|
|
23
|
+
ch = sql[i]
|
|
24
|
+
if ch == "'" or ch == '"': # литерал или имя в кавычках; удвоенная кавычка – внутри него
|
|
25
|
+
end = i + 1
|
|
26
|
+
while end < n:
|
|
27
|
+
if sql[end] == ch:
|
|
28
|
+
if end + 1 < n and sql[end + 1] == ch:
|
|
29
|
+
end += 2
|
|
30
|
+
continue
|
|
31
|
+
break
|
|
32
|
+
end += 1
|
|
33
|
+
out.append(sql[i:end + 1].replace("%", "%%"))
|
|
34
|
+
i = end + 1
|
|
35
|
+
elif sql.startswith("--", i):
|
|
36
|
+
end = sql.find("\n", i)
|
|
37
|
+
end = n if end < 0 else end
|
|
38
|
+
out.append(sql[i:end].replace("%", "%%"))
|
|
39
|
+
i = end
|
|
40
|
+
elif sql.startswith("/*", i):
|
|
41
|
+
end = sql.find("*/", i + 2)
|
|
42
|
+
end = n if end < 0 else end + 2
|
|
43
|
+
out.append(sql[i:end].replace("%", "%%"))
|
|
44
|
+
i = end
|
|
45
|
+
elif ch == "?":
|
|
46
|
+
if i + 1 < n and sql[i + 1].isdigit():
|
|
47
|
+
raise PlaceholderError(f"нумерованный маркер в запросе: {sql[i:i + 4]!r} – нужны именованные параметры")
|
|
48
|
+
out.append("%s")
|
|
49
|
+
count += 1
|
|
50
|
+
i += 1
|
|
51
|
+
elif ch == "%":
|
|
52
|
+
out.append("%%")
|
|
53
|
+
i += 1
|
|
54
|
+
else:
|
|
55
|
+
out.append(ch)
|
|
56
|
+
i += 1
|
|
57
|
+
return "".join(out), count
|
|
@@ -0,0 +1,254 @@
|
|
|
1
|
+
"""Команды обслуживания основной базы (ADR-0128, разделы 7–9): python -m app.storage.tools <команда>.
|
|
2
|
+
|
|
3
|
+
Адрес базы – переменные libpq, как у приложения. Ответ – JSON в stdout; код выхода 0 – успех, 1 – проверка не пройдена, 2 – ошибка
|
|
4
|
+
работы. Копии и восстановление выполняются клиентами образа базы: scripts/backup-db.ps1, restore-db.ps1, restore-check.ps1.
|
|
5
|
+
"""
|
|
6
|
+
|
|
7
|
+
from __future__ import annotations
|
|
8
|
+
|
|
9
|
+
import argparse
|
|
10
|
+
import json
|
|
11
|
+
import os
|
|
12
|
+
import re
|
|
13
|
+
import sys
|
|
14
|
+
from pathlib import Path
|
|
15
|
+
|
|
16
|
+
import psycopg
|
|
17
|
+
|
|
18
|
+
from app.storage import local_state, migrate
|
|
19
|
+
from app.storage import schema as manifest
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
class ToolError(RuntimeError):
|
|
23
|
+
"""Команда не выполнена: база не менялась."""
|
|
24
|
+
|
|
25
|
+
|
|
26
|
+
def status(conninfo: str = "") -> dict:
|
|
27
|
+
"""Что с базой: empty – пустая, ok – схема этой сборки, migrate – нужны миграции, newer – база новее сборки, foreign – в базе
|
|
28
|
+
нет версии схемы приложения."""
|
|
29
|
+
with psycopg.connect(conninfo, autocommit=True) as conn:
|
|
30
|
+
tables = {row[0] for row in conn.execute(
|
|
31
|
+
"SELECT table_name FROM information_schema.tables WHERE table_schema = current_schema() AND table_type = 'BASE TABLE'")}
|
|
32
|
+
if not tables:
|
|
33
|
+
# том утрачен, а файлы состояния ещё лежат: ключи и справочники переносятся в новую базу (ADR-0133)
|
|
34
|
+
return {"state": "empty", "schema": None, "expected": manifest.SCHEMA_VERSION, "pending": [],
|
|
35
|
+
"local_state_pending": bool(local_state.legacy_files(Path(os.environ.get("DATA_DIR") or "/data")))}
|
|
36
|
+
row = conn.execute("SELECT value FROM meta WHERE key = 'schema_version'").fetchone() if "meta" in tables else None
|
|
37
|
+
schema = int(row[0]) if row else None
|
|
38
|
+
pending = [item.name for item in migrate.pending(conn)]
|
|
39
|
+
if schema is None:
|
|
40
|
+
state = "foreign"
|
|
41
|
+
elif schema > manifest.SCHEMA_VERSION:
|
|
42
|
+
state = "newer"
|
|
43
|
+
elif pending or schema < manifest.SCHEMA_VERSION:
|
|
44
|
+
state = "migrate"
|
|
45
|
+
else:
|
|
46
|
+
state = "ok"
|
|
47
|
+
answer = {"state": state, "schema": schema, "expected": manifest.SCHEMA_VERSION, "pending": pending, "local_state_pending": False}
|
|
48
|
+
if state == "ok":
|
|
49
|
+
answer["local_state_pending"] = local_state.pending(Path(os.environ.get("DATA_DIR") or "/data"), conninfo)
|
|
50
|
+
return answer
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
def _existing_database(conninfo: str):
|
|
54
|
+
"""Database создал бы схему в пустой базе: на пустой базе команда отказывает и оставляет её пустой."""
|
|
55
|
+
from app.db import Database
|
|
56
|
+
if status(conninfo)["state"] == "empty":
|
|
57
|
+
raise ToolError("База пуста: команда выполняется на существующей базе.")
|
|
58
|
+
return Database(conninfo or None)
|
|
59
|
+
|
|
60
|
+
|
|
61
|
+
def set_pause(paused: bool, conninfo: str = "", *, accept_unknown: bool = False) -> dict:
|
|
62
|
+
from app.db import HubResyncRequired, HubUnknownWrites
|
|
63
|
+
db = _existing_database(conninfo)
|
|
64
|
+
try:
|
|
65
|
+
try:
|
|
66
|
+
db.set_hub_write_paused(paused, accept_unknown=accept_unknown)
|
|
67
|
+
except HubUnknownWrites as e:
|
|
68
|
+
raise ToolError(f"Пауза не снята: операций записи с неизвестным исходом – {e.args[0]}. Сначала сверьте их с Hub; "
|
|
69
|
+
"если сверка показала расхождение и решение принято: hub-resume --accept-unknown.") from e
|
|
70
|
+
except HubResyncRequired as e:
|
|
71
|
+
raise ToolError(f"Пауза не снята: база восстановлена из копии, а «Синхронизировать» и «Принять состояние Hub» не прошли по проектам: {e.args[0]}. "
|
|
72
|
+
"Если это невозможно и решение принято: hub-resume --accept-unknown.") from e
|
|
73
|
+
return {"hub_write_paused": db.hub_write_paused()}
|
|
74
|
+
finally:
|
|
75
|
+
db.close()
|
|
76
|
+
|
|
77
|
+
|
|
78
|
+
def after_restore(conninfo: str = "") -> dict:
|
|
79
|
+
"""После восстановления копии: выданные после неё действия в Hub могли выполниться, поэтому незавершённое повторно не выдаётся."""
|
|
80
|
+
db = _existing_database(conninfo)
|
|
81
|
+
try:
|
|
82
|
+
return db.settle_after_restore()
|
|
83
|
+
finally:
|
|
84
|
+
db.close()
|
|
85
|
+
|
|
86
|
+
|
|
87
|
+
def backup_note(name: str, checked_at: str, conninfo: str = "") -> dict:
|
|
88
|
+
"""Отметка о последней проверенной копии базы (бэклог 76): её пишет scripts/backup-db.ps1 после пройденной проверки
|
|
89
|
+
восстановления, читает /healthz. Копии лежат вне контейнера, приложение их не видит. Одна строка settings отдельным
|
|
90
|
+
соединением: схема не меняется, работающему приложению команда не мешает."""
|
|
91
|
+
from datetime import UTC, datetime
|
|
92
|
+
|
|
93
|
+
from app.db import BACKUP_NOTE_KEY, dumps, now_iso
|
|
94
|
+
if not re.fullmatch(r"triage-[0-9]{8}-[0-9]{6}\.dump", name):
|
|
95
|
+
raise ValueError(f"Имя копии не вида triage-ГГГГММДД-ЧЧММСС.dump: {name}")
|
|
96
|
+
moment = datetime.fromisoformat(checked_at) # ValueError – время не в ISO 8601
|
|
97
|
+
if moment.tzinfo is None:
|
|
98
|
+
moment = moment.replace(tzinfo=UTC)
|
|
99
|
+
note = {"name": name, "checked_at": moment.astimezone(UTC).isoformat(timespec="seconds")}
|
|
100
|
+
with psycopg.connect(conninfo, autocommit=True) as conn:
|
|
101
|
+
conn.execute("INSERT INTO settings(key, value_json, updated_at) VALUES (%s, %s, %s)"
|
|
102
|
+
" ON CONFLICT(key) DO UPDATE SET value_json = excluded.value_json, updated_at = excluded.updated_at",
|
|
103
|
+
(BACKUP_NOTE_KEY, dumps(note), now_iso()))
|
|
104
|
+
return {BACKUP_NOTE_KEY: note}
|
|
105
|
+
|
|
106
|
+
|
|
107
|
+
# ============================================================================ учебный стенд npm (ADR-0155)
|
|
108
|
+
|
|
109
|
+
_DB_NAME = re.compile(r"[a-z_][a-z0-9_]{0,62}")
|
|
110
|
+
|
|
111
|
+
|
|
112
|
+
def _same_dir(server: str, expected: str) -> bool:
|
|
113
|
+
"""Каталог данных сервера – тот, что ждёт обёртка: абсолютные пути после раскрытия коротких имён и ссылок, на
|
|
114
|
+
Windows без учёта регистра и вида разделителей."""
|
|
115
|
+
def canon(path: str) -> str:
|
|
116
|
+
return os.path.normcase(os.path.realpath(os.path.abspath(path)))
|
|
117
|
+
return bool(server) and canon(server) == canon(expected)
|
|
118
|
+
|
|
119
|
+
|
|
120
|
+
def _service_conn():
|
|
121
|
+
"""Соединение со служебной базой postgres: dbname в строке перекрывает PGDATABASE, остальное – из переменных
|
|
122
|
+
libpq окружения (обёртка задаёт их явно)."""
|
|
123
|
+
return psycopg.connect("dbname=postgres", autocommit=True)
|
|
124
|
+
|
|
125
|
+
|
|
126
|
+
def whoami(expect_data_dir: str) -> tuple[int, dict]:
|
|
127
|
+
"""Тот ли это сервер: сверка SHOW data_directory с ожидаемым каталогом. Обёртка зовёт перед остановкой сервера и
|
|
128
|
+
перед любой записью, чтобы не тронуть чужой кластер на том же порту."""
|
|
129
|
+
with _service_conn() as conn:
|
|
130
|
+
directory = str(conn.execute("SHOW data_directory").fetchone()[0])
|
|
131
|
+
match = _same_dir(directory, expect_data_dir)
|
|
132
|
+
return (0 if match else 1), {"data_directory": directory, "match": match}
|
|
133
|
+
|
|
134
|
+
|
|
135
|
+
def ensure_database(expect_data_dir: str, create: bool) -> tuple[int, dict]:
|
|
136
|
+
"""База из PGDATABASE на сервере с ожидаемым каталогом данных: есть – ничего не меняется; нет – создаётся только
|
|
137
|
+
с create (фазу первой установки знает обёртка: на прежней установке пропавшая база – утрата, а не повод создать
|
|
138
|
+
пустую). Каталог не совпал – отказ до любой записи."""
|
|
139
|
+
from psycopg import sql
|
|
140
|
+
name = (os.environ.get("PGDATABASE") or "").strip()
|
|
141
|
+
if not _DB_NAME.fullmatch(name):
|
|
142
|
+
raise ToolError("PGDATABASE: нужно имя базы из латинских строчных букв, цифр и «_».")
|
|
143
|
+
with _service_conn() as conn:
|
|
144
|
+
directory = str(conn.execute("SHOW data_directory").fetchone()[0])
|
|
145
|
+
answer = {"data_directory": directory, "match": _same_dir(directory, expect_data_dir), "exists": False,
|
|
146
|
+
"created": False}
|
|
147
|
+
if not answer["match"]:
|
|
148
|
+
return 1, answer
|
|
149
|
+
answer["exists"] = conn.execute("SELECT 1 FROM pg_database WHERE datname = %s", (name,)).fetchone() is not None
|
|
150
|
+
if answer["exists"]:
|
|
151
|
+
return 0, answer
|
|
152
|
+
if not create:
|
|
153
|
+
return 1, answer
|
|
154
|
+
owner = str(conn.execute("SELECT current_user").fetchone()[0])
|
|
155
|
+
conn.execute(sql.SQL("CREATE DATABASE {} OWNER {} ENCODING 'UTF8' TEMPLATE template0").format(
|
|
156
|
+
sql.Identifier(name), sql.Identifier(owner)))
|
|
157
|
+
answer.update(exists=True, created=True)
|
|
158
|
+
return 0, answer
|
|
159
|
+
|
|
160
|
+
|
|
161
|
+
SUMMARY_SCHEMAS = ("feeds", "feeds_imp", "app_state") # кроме основной схемы: справочники, их загрузка, ключи
|
|
162
|
+
# находки по видам и решения по видам и итоговым вердиктам: сверка копии видит и смену значений при прежнем числе строк
|
|
163
|
+
SUMMARY_GROUPS = (("findings_kind", "findings", "kind"), ("reviews_decision", "reviews", "decision"),
|
|
164
|
+
("reviews_final_verdict", "reviews", "final_verdict"))
|
|
165
|
+
|
|
166
|
+
|
|
167
|
+
def summary(conninfo: str = "") -> dict:
|
|
168
|
+
"""Сводка базы для сверки копии с оригиналом (стенд npm, раздел 3.4 плана): число строк каждой таблицы основной
|
|
169
|
+
схемы приложения (имя без схемы) и схем справочников и ключей (имя «схема.таблица»), операции Hub по состояниям.
|
|
170
|
+
Только чтение; содержимое строк не читается."""
|
|
171
|
+
from psycopg import sql
|
|
172
|
+
with psycopg.connect(conninfo, autocommit=True) as conn:
|
|
173
|
+
current = str(conn.execute("SELECT current_schema()").fetchone()[0])
|
|
174
|
+
rows = conn.execute(
|
|
175
|
+
"SELECT table_schema, table_name FROM information_schema.tables WHERE table_type = 'BASE TABLE'"
|
|
176
|
+
" AND (table_schema = %s OR table_schema = ANY(%s)) ORDER BY table_schema, table_name",
|
|
177
|
+
(current, list(SUMMARY_SCHEMAS))).fetchall()
|
|
178
|
+
tables = {(name if schema == current else f"{schema}.{name}"): int(conn.execute(
|
|
179
|
+
sql.SQL("SELECT count(*) FROM {}.{}").format(sql.Identifier(schema), sql.Identifier(name))
|
|
180
|
+
).fetchone()[0]) for schema, name in rows}
|
|
181
|
+
hub = {}
|
|
182
|
+
if "hub_ops" in tables:
|
|
183
|
+
hub = {str(state): int(count) for state, count in conn.execute(
|
|
184
|
+
"SELECT state, count(*) FROM hub_ops GROUP BY state ORDER BY state")}
|
|
185
|
+
groups = {}
|
|
186
|
+
for key, table, column in SUMMARY_GROUPS:
|
|
187
|
+
if table in tables:
|
|
188
|
+
groups[key] = {str(value): int(count) for value, count in conn.execute(sql.SQL(
|
|
189
|
+
"SELECT {c}, count(*) FROM {t} GROUP BY {c} ORDER BY {c}").format(
|
|
190
|
+
c=sql.Identifier(column), t=sql.Identifier(table)))}
|
|
191
|
+
return {"tables": tables, "hub_ops": hub, "groups": groups}
|
|
192
|
+
|
|
193
|
+
|
|
194
|
+
def main(argv: list[str] | None = None) -> int:
|
|
195
|
+
parser = argparse.ArgumentParser(prog="python -m app.storage.tools", description=__doc__)
|
|
196
|
+
commands = parser.add_subparsers(dest="command", required=True)
|
|
197
|
+
stand = commands.add_parser("ensure-database", help="учебный стенд npm: база из PGDATABASE на своём сервере")
|
|
198
|
+
stand.add_argument("--expect-data-dir", required=True, help="каталог данных сервера, который ждёт обёртка")
|
|
199
|
+
stand.add_argument("--create", action="store_true", help="создать базу, если её нет (только первая установка)")
|
|
200
|
+
commands.add_parser("whoami", help="учебный стенд npm: тот ли сервер").add_argument(
|
|
201
|
+
"--expect-data-dir", required=True, help="каталог данных сервера, который ждёт обёртка")
|
|
202
|
+
commands.add_parser("summary", help="сводка базы: строки таблиц и операции Hub по состояниям")
|
|
203
|
+
for name in ("local-state-import", "local-state-verify"):
|
|
204
|
+
commands.add_parser(name).add_argument("--data", type=Path, default=Path(os.environ.get("DATA_DIR") or "/data"),
|
|
205
|
+
help="папка данных с прежними файлами состояния; читается, не меняется")
|
|
206
|
+
for name in ("status", "migrate", "hub-pause", "hub-resume", "after-restore"):
|
|
207
|
+
sub = commands.add_parser(name)
|
|
208
|
+
if name == "hub-resume":
|
|
209
|
+
sub.add_argument("--accept-unknown", action="store_true",
|
|
210
|
+
help="снять паузу при неизвестных исходах: они остаются неизвестными и повторно не выдаются")
|
|
211
|
+
note = commands.add_parser("backup-note")
|
|
212
|
+
note.add_argument("--name", required=True, help="имя файла проверенной копии: triage-ГГГГММДД-ЧЧММСС.dump")
|
|
213
|
+
note.add_argument("--checked-at", required=True, help="время пройденной проверки восстановления, ISO 8601, UTC")
|
|
214
|
+
args = parser.parse_args(argv)
|
|
215
|
+
try:
|
|
216
|
+
code, answer = _run(args)
|
|
217
|
+
except (ToolError, psycopg.Error, RuntimeError, OSError, ValueError) as e:
|
|
218
|
+
print(json.dumps({"error": f"{type(e).__name__}: {e}"}, ensure_ascii=False))
|
|
219
|
+
return 2
|
|
220
|
+
print(json.dumps(answer, ensure_ascii=False, indent=1))
|
|
221
|
+
return code
|
|
222
|
+
|
|
223
|
+
|
|
224
|
+
def _run(args: argparse.Namespace) -> tuple[int, dict]:
|
|
225
|
+
if args.command == "ensure-database":
|
|
226
|
+
return ensure_database(args.expect_data_dir, args.create)
|
|
227
|
+
if args.command == "whoami":
|
|
228
|
+
return whoami(args.expect_data_dir)
|
|
229
|
+
if args.command == "summary":
|
|
230
|
+
return 0, summary()
|
|
231
|
+
if args.command == "local-state-import":
|
|
232
|
+
return 0, local_state.import_all(args.data)
|
|
233
|
+
if args.command == "local-state-verify":
|
|
234
|
+
answer = local_state.verify(args.data)
|
|
235
|
+
return (0 if answer["ok"] else 3), answer
|
|
236
|
+
if args.command == "status":
|
|
237
|
+
answer = status()
|
|
238
|
+
return (0 if answer["state"] in ("ok", "empty") else 1), answer
|
|
239
|
+
if args.command == "migrate":
|
|
240
|
+
if status()["state"] == "empty":
|
|
241
|
+
raise ToolError("База пуста: обновлять нечего. Новая база получает схему при запуске.")
|
|
242
|
+
with psycopg.connect("", autocommit=True) as conn:
|
|
243
|
+
return 0, {"applied": migrate.apply_pending(conn)}
|
|
244
|
+
if args.command == "hub-pause":
|
|
245
|
+
return 0, set_pause(True)
|
|
246
|
+
if args.command == "hub-resume":
|
|
247
|
+
return 0, set_pause(False, accept_unknown=args.accept_unknown)
|
|
248
|
+
if args.command == "backup-note":
|
|
249
|
+
return 0, backup_note(args.name, args.checked_at)
|
|
250
|
+
return 0, after_restore()
|
|
251
|
+
|
|
252
|
+
|
|
253
|
+
if __name__ == "__main__":
|
|
254
|
+
sys.exit(main())
|
package/app/telemetry.py
ADDED
|
@@ -0,0 +1,307 @@
|
|
|
1
|
+
"""Один наблюдатель ресурсов: неблокирующие снимки и ограниченная история, отдельно от триажа."""
|
|
2
|
+
from __future__ import annotations
|
|
3
|
+
import copy
|
|
4
|
+
import json
|
|
5
|
+
import math
|
|
6
|
+
import sqlite3
|
|
7
|
+
import threading
|
|
8
|
+
import time
|
|
9
|
+
import uuid
|
|
10
|
+
from collections import deque
|
|
11
|
+
from pathlib import Path
|
|
12
|
+
|
|
13
|
+
|
|
14
|
+
def host_snapshot(path, now=None):
|
|
15
|
+
now=time.time() if now is None else now
|
|
16
|
+
missing={'status':'unavailable','memory':None,'cpu_pct':None,'scope':'ollama_host','sampled_at':None}
|
|
17
|
+
try:
|
|
18
|
+
path=Path(path)
|
|
19
|
+
if path.stat().st_size>16384:return missing
|
|
20
|
+
data=json.loads(path.read_text(encoding='utf-8-sig'))
|
|
21
|
+
stamp=float(data['sampled_at'])
|
|
22
|
+
memory=data['memory']
|
|
23
|
+
total,available=memory['total_bytes'],memory['available_bytes']
|
|
24
|
+
if data['schema']!=1 or data['host_scope']!='ollama_host' or not all(type(x) in (int,float) and math.isfinite(x) for x in (stamp,total,available)) or not 0<=available<=total or total<=0:return missing
|
|
25
|
+
cpu=data.get('cpu_pct')
|
|
26
|
+
if type(cpu) not in (int,float) or not math.isfinite(cpu) or not 0<=cpu<=100:cpu=None
|
|
27
|
+
raw=data.get('addresses')
|
|
28
|
+
addresses=[str(a)[:64] for a in raw[:64] if isinstance(a,str)] if isinstance(raw,list) else None
|
|
29
|
+
return {'status':'fresh' if -5<=now-stamp<=30 else 'stale','sampled_at':stamp,
|
|
30
|
+
'scope':'ollama_host','collector_id':str(data.get('collector_id',''))[:100],
|
|
31
|
+
'memory':{'total_bytes':total,'available_bytes':available,'used_bytes':total-available},'cpu_pct':cpu,
|
|
32
|
+
'addresses':addresses}
|
|
33
|
+
except (OSError,ValueError,KeyError,TypeError):return missing
|
|
34
|
+
|
|
35
|
+
|
|
36
|
+
HOST_ADDRESSES_FRESH_S = 300 # адреса хоста от сборщика свежи 5 минут (внешний профиль, llm_net.HOST_SOURCE)
|
|
37
|
+
|
|
38
|
+
|
|
39
|
+
def host_addresses_from(path, now=None):
|
|
40
|
+
"""Адреса компьютера-хоста от сборщика метрик, если снимок свежий (не старше HOST_ADDRESSES_FRESH_S) и адреса в нём
|
|
41
|
+
есть; иначе None."""
|
|
42
|
+
now=time.time() if now is None else now
|
|
43
|
+
return _fresh_addresses(host_snapshot(path,now),now)
|
|
44
|
+
|
|
45
|
+
|
|
46
|
+
def _fresh_addresses(snapshot, now):
|
|
47
|
+
stamp=snapshot.get('sampled_at')
|
|
48
|
+
if stamp is None or not -5<=now-stamp<=HOST_ADDRESSES_FRESH_S or not snapshot.get('addresses'):return None
|
|
49
|
+
return list(snapshot['addresses'])
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
COLLECTOR_DOWN_S = 60 # сборщик пишет снимок раз в 5 с: минута без снимка – он не работает
|
|
53
|
+
|
|
54
|
+
|
|
55
|
+
def collector_state(path, expected, now=None):
|
|
56
|
+
"""Работает ли сборщик метрик компьютера (scripts/host-metrics.ps1) – для предупреждения на страницах
|
|
57
|
+
(HOSTCOL-01: после перезагрузки компьютера контейнер поднимается сам, а сборщик – нет).
|
|
58
|
+
expected – приложение в контейнере: там его вместе со сборщиком запускает start.ps1; вне контейнера
|
|
59
|
+
предупреждение – только если сборщик здесь уже работал (host.json есть). state: ok, stale (снимок старше минуты),
|
|
60
|
+
missing (снимка нет или он не читается), not_used (сборщик здесь не используется). addresses – есть ли свежие
|
|
61
|
+
адреса компьютера для внешних провайдеров (host_addresses_from); detail – что видно, словами."""
|
|
62
|
+
now=time.time() if now is None else now
|
|
63
|
+
path=Path(path)
|
|
64
|
+
snapshot=host_snapshot(path,now) # одно чтение файла: и состояние, и адреса
|
|
65
|
+
stamp=snapshot.get('sampled_at')
|
|
66
|
+
addresses=_fresh_addresses(snapshot,now) is not None
|
|
67
|
+
if stamp is not None and -5<=now-stamp<=COLLECTOR_DOWN_S:
|
|
68
|
+
state='ok'
|
|
69
|
+
elif not expected and not path.exists():
|
|
70
|
+
state='not_used'
|
|
71
|
+
else:
|
|
72
|
+
state='stale' if stamp is not None else 'missing'
|
|
73
|
+
age=None if stamp is None else abs(now-stamp)
|
|
74
|
+
if state=='stale':
|
|
75
|
+
minutes=int(age//60)
|
|
76
|
+
detail=f'последний снимок {minutes} мин назад' if minutes<120 else f'последний снимок {minutes//60} ч назад'
|
|
77
|
+
elif state=='missing':
|
|
78
|
+
detail='снимков от него нет'
|
|
79
|
+
elif state=='ok' and not addresses:
|
|
80
|
+
detail='сборщик работает, но адреса компьютера не прочитались'
|
|
81
|
+
else:
|
|
82
|
+
detail=''
|
|
83
|
+
return {'state':state,'expected':bool(expected),'addresses':addresses,'sampled_at':stamp,
|
|
84
|
+
'age_s':None if age is None else round(age),'detail':detail}
|
|
85
|
+
|
|
86
|
+
|
|
87
|
+
class Telemetry:
|
|
88
|
+
def __init__(self, folder, compute, interval=5):
|
|
89
|
+
self.folder=Path(folder)
|
|
90
|
+
self.folder.mkdir(parents=True,exist_ok=True)
|
|
91
|
+
self.compute=compute
|
|
92
|
+
self.interval=interval
|
|
93
|
+
self._lock=threading.RLock()
|
|
94
|
+
self._stop=threading.Event()
|
|
95
|
+
self._ready=threading.Event()
|
|
96
|
+
self._thread=None
|
|
97
|
+
self._data={}
|
|
98
|
+
self._series={} # краткая история по рядам сервера модели (server_tag): у каждого – свои 180 точек
|
|
99
|
+
self._last_at=None
|
|
100
|
+
self._sequence=0
|
|
101
|
+
self.epoch=uuid.uuid4().hex
|
|
102
|
+
self._servers={} # снимки серверов идущих прогонов (remember)
|
|
103
|
+
self._wanted={} # серверы, метрики которых попросили страницы (want)
|
|
104
|
+
self._history_error=''
|
|
105
|
+
self._conn=None
|
|
106
|
+
try:
|
|
107
|
+
self._conn=sqlite3.connect(str(self.folder/'telemetry.db'),check_same_thread=False)
|
|
108
|
+
self._conn.execute('PRAGMA journal_mode=WAL')
|
|
109
|
+
self._conn.execute('PRAGMA journal_size_limit=1048576')
|
|
110
|
+
self._conn.execute('PRAGMA wal_autocheckpoint=128')
|
|
111
|
+
page_size=self._conn.execute('PRAGMA page_size').fetchone()[0]
|
|
112
|
+
self._conn.execute('PRAGMA max_page_count='+str(48*1024**2//page_size))
|
|
113
|
+
self._conn.execute('CREATE TABLE IF NOT EXISTS telemetry_meta(schema_version INTEGER)')
|
|
114
|
+
if not self._conn.execute('SELECT 1 FROM telemetry_meta').fetchone():self._conn.execute('INSERT INTO telemetry_meta VALUES (1)')
|
|
115
|
+
self._conn.execute('CREATE TABLE IF NOT EXISTS resource_samples(minute INTEGER,epoch TEXT,data_json TEXT,PRIMARY KEY(minute,epoch))')
|
|
116
|
+
self._conn.commit()
|
|
117
|
+
except sqlite3.Error:self._history_error='История ресурсов недоступна.'
|
|
118
|
+
|
|
119
|
+
def start(self):
|
|
120
|
+
if self._thread is not None:return
|
|
121
|
+
self._thread=threading.Thread(target=self._run,name='resource-observer',daemon=True)
|
|
122
|
+
self._thread.start()
|
|
123
|
+
self._ready.wait(.2)
|
|
124
|
+
|
|
125
|
+
def _run(self):
|
|
126
|
+
while not self._stop.is_set():
|
|
127
|
+
try:
|
|
128
|
+
directory=self.folder/'telemetry';directory.mkdir(exist_ok=True)
|
|
129
|
+
(directory/'lease').write_text(str(time.time()),encoding='ascii')
|
|
130
|
+
except OSError:pass
|
|
131
|
+
try:
|
|
132
|
+
data=self.compute()
|
|
133
|
+
self.record(data if isinstance(data,dict) else {})
|
|
134
|
+
except Exception:
|
|
135
|
+
self.record({'gpu':None,'models':[],'error':'Измерения ресурсов временно недоступны.'})
|
|
136
|
+
self._ready.set()
|
|
137
|
+
self._stop.wait(self.interval)
|
|
138
|
+
|
|
139
|
+
@staticmethod
|
|
140
|
+
def server_tag(server):
|
|
141
|
+
"""Метка ряда истории: сервер модели ('local|адрес' или 'remote|адрес'); '' – снимок без метки (до 0.9.12)."""
|
|
142
|
+
if isinstance(server,dict):
|
|
143
|
+
if not server.get('base_url'):return ''
|
|
144
|
+
return ('local|' if server.get('local') else 'remote|')+str(server['base_url'])
|
|
145
|
+
return ('local|' if server[1] else 'remote|')+str(server[0])
|
|
146
|
+
|
|
147
|
+
def local_host(self,now=None):
|
|
148
|
+
"""Память и процессор этого компьютера из сборщика хоста – независимо от того, чей снимок сейчас у наблюдения."""
|
|
149
|
+
return host_snapshot(self.folder/'telemetry'/'host.json',time.time() if now is None else now)
|
|
150
|
+
|
|
151
|
+
def want(self,server,now=None):
|
|
152
|
+
"""Страница просит метрики сервера, которого наблюдение сейчас не измеряет: оно измерит его в ближайший цикл
|
|
153
|
+
(wanted) – страница сама сервер не опрашивает."""
|
|
154
|
+
with self._lock: # сервер целиком (класс доверия, адреса, ключ) – фоновый опрос идёт по его правилам
|
|
155
|
+
self._wanted[server]=time.time() if now is None else now
|
|
156
|
+
while len(self._wanted)>8:self._wanted.pop(next(iter(self._wanted)))
|
|
157
|
+
|
|
158
|
+
def wanted(self,max_age=60,now=None):
|
|
159
|
+
now=time.time() if now is None else now
|
|
160
|
+
with self._lock:
|
|
161
|
+
return [k for k,at in self._wanted.items() if now-at<=max_age]
|
|
162
|
+
|
|
163
|
+
def pending(self,server,empty):
|
|
164
|
+
"""Ответ «ещё не измерено» для сервера, которого нет в наблюдении: без сетевых обращений."""
|
|
165
|
+
data=copy.deepcopy(empty)
|
|
166
|
+
data.update(server={'base_url':str(server[0]),'local':bool(server[1])},observed_at=None,
|
|
167
|
+
resource_status='unavailable',pending=True,history_error=self._history_error,
|
|
168
|
+
host=self.local_host() if server[1] else self._remote_host())
|
|
169
|
+
return data
|
|
170
|
+
|
|
171
|
+
@staticmethod
|
|
172
|
+
def _remote_host():
|
|
173
|
+
return {'status':'remote','memory':None,'cpu_pct':None,'scope':'remote','sampled_at':None}
|
|
174
|
+
|
|
175
|
+
def _view(self,data,now):
|
|
176
|
+
"""Снимок для страницы: свежесть данных хоста и ресурсов по одному правилу для всех серверов."""
|
|
177
|
+
data.setdefault('gpu',None);data.setdefault('models',[])
|
|
178
|
+
stamp=data.get('observed_at')
|
|
179
|
+
host=data.get('host') or {}
|
|
180
|
+
if host.get('sampled_at') and now-host['sampled_at']>30:
|
|
181
|
+
host['status']='stale'
|
|
182
|
+
data['resource_status']='unavailable' if stamp is None or not data.get('gpu') and not data.get('models') and host.get('status')!='fresh' else 'stale' if now-stamp>30 else 'fresh'
|
|
183
|
+
data['history_error']=self._history_error
|
|
184
|
+
return data
|
|
185
|
+
|
|
186
|
+
def _point(self,data,host,now):
|
|
187
|
+
"""Точка истории и её ряд (source_epoch): эпоха наблюдения, сборщик, видеокарта и сервер модели – ряды разных
|
|
188
|
+
серверов не сливаются ни на графике, ни в поминутных средних."""
|
|
189
|
+
gpu=data.get('gpu') or {}
|
|
190
|
+
memory=host['memory'] if host.get('status')=='fresh' else None
|
|
191
|
+
tag=self.server_tag(data.get('server') or {})
|
|
192
|
+
source=self.epoch+':'+host.get('collector_id','')+':'+str(gpu.get('name',''))+('|'+tag if tag else '')
|
|
193
|
+
return {'at':now,'source_epoch':source,'server':tag,'gpu':gpu.get('util_pct'),'vram':data.get('vram_used_mb'),
|
|
194
|
+
'ram':(memory['used_bytes']/1024**3) if memory else None,'cpu':host['cpu_pct'] if host.get('status')=='fresh' else None}
|
|
195
|
+
|
|
196
|
+
def _host(self,data,now):
|
|
197
|
+
"""Память и процессор этого компьютера – только если снимок сервера модели на нём (server.local, ADR-0102
|
|
198
|
+
п. 9); сервер в сети – {'status':'remote'}. Снимок без метки сервера – как раньше, этот компьютер."""
|
|
199
|
+
if (data.get('server') or {}).get('local') is False:
|
|
200
|
+
return {'status':'remote','memory':None,'cpu_pct':None,'scope':'remote','sampled_at':None}
|
|
201
|
+
return host_snapshot(self.folder/'telemetry'/'host.json',now)
|
|
202
|
+
|
|
203
|
+
def remember(self,server,data,now=None,point=True):
|
|
204
|
+
"""Снимок метрик сервера идущего прогона или запрошенного страницей (не профиля приложения): страницы берут его
|
|
205
|
+
(server_snapshot), а не опрашивают сервер сами; точка – в историю этого сервера."""
|
|
206
|
+
now=time.time() if now is None else now
|
|
207
|
+
item=copy.deepcopy(data if isinstance(data,dict) else {})
|
|
208
|
+
item.setdefault('server',{'base_url':str(server[0]),'local':bool(server[1])})
|
|
209
|
+
item.update(observed_at=now,host=self._host(item,now))
|
|
210
|
+
mark=self._point(item,item['host'],now)
|
|
211
|
+
with self._lock:
|
|
212
|
+
self._servers[tuple(server)]=item
|
|
213
|
+
while len(self._servers)>8:self._servers.pop(next(iter(self._servers)))
|
|
214
|
+
series=self._series.get(mark['server'])
|
|
215
|
+
# point=False – ряд этого сервера пишет record (тот же сервер, что у профиля приложения); два профиля
|
|
216
|
+
# одного сервера в одном цикле – одна точка
|
|
217
|
+
if not point or series and now-series[-1]['at']<self.interval/2:return
|
|
218
|
+
self._append(mark)
|
|
219
|
+
self._store(mark,now)
|
|
220
|
+
|
|
221
|
+
def server_snapshot(self,server,now=None,max_age=30):
|
|
222
|
+
"""Запомненный снимок сервера (remember) не старше max_age секунд или None; свежесть – как у snapshot()."""
|
|
223
|
+
now=time.time() if now is None else now
|
|
224
|
+
with self._lock:
|
|
225
|
+
item=copy.deepcopy(self._servers.get(tuple(server)))
|
|
226
|
+
if not item or now-item.get('observed_at',0)>max_age:return None
|
|
227
|
+
return self._view(item,now)
|
|
228
|
+
|
|
229
|
+
def record(self,data,now=None):
|
|
230
|
+
now=time.time() if now is None else now
|
|
231
|
+
host=self._host(data,now)
|
|
232
|
+
with self._lock:
|
|
233
|
+
self._sequence+=1
|
|
234
|
+
self._data=copy.deepcopy(data)
|
|
235
|
+
self._data.update(observed_at=now,sequence=self._sequence,sampler_epoch=self.epoch,host=host)
|
|
236
|
+
self._last_at=now
|
|
237
|
+
point=self._point(data,host,now)
|
|
238
|
+
self._append(point)
|
|
239
|
+
self._store(point,now)
|
|
240
|
+
|
|
241
|
+
def _append(self,point):
|
|
242
|
+
"""Точка – в краткую историю своего ряда; рядов не больше 9 (сервер приложения и до 8 запомненных)."""
|
|
243
|
+
series=self._series.setdefault(point.get('server',''),deque(maxlen=180))
|
|
244
|
+
series.append(point)
|
|
245
|
+
while len(self._series)>9:self._series.pop(next(iter(self._series)))
|
|
246
|
+
|
|
247
|
+
def _store(self,point,now):
|
|
248
|
+
"""Поминутные средние и пики точки – в базу истории (под замком наблюдения)."""
|
|
249
|
+
source=point['source_epoch']
|
|
250
|
+
if self._conn:
|
|
251
|
+
try:
|
|
252
|
+
minute=int(now//60)
|
|
253
|
+
epoch=source
|
|
254
|
+
old=self._conn.execute('SELECT data_json FROM resource_samples WHERE minute=? AND epoch=?',(minute,epoch)).fetchone()
|
|
255
|
+
stats=json.loads(old[0]) if old else {}
|
|
256
|
+
for key in ('gpu','vram','ram','cpu'):
|
|
257
|
+
v=point[key]
|
|
258
|
+
if type(v) in (float,int) and math.isfinite(v):
|
|
259
|
+
item=stats.setdefault(key,{'sum':0,'max':v,'count':0})
|
|
260
|
+
item['sum']+=v;item['max']=max(item['max'],v);item['count']+=1
|
|
261
|
+
self._conn.execute('INSERT OR REPLACE INTO resource_samples VALUES (?,?,?)',(minute,epoch,json.dumps(stats)))
|
|
262
|
+
self._conn.execute('DELETE FROM resource_samples WHERE minute<?',(minute-7*1440,))
|
|
263
|
+
if minute%10==0:self._conn.execute('DELETE FROM resource_samples WHERE rowid NOT IN (SELECT rowid FROM resource_samples ORDER BY minute DESC LIMIT 12000)')
|
|
264
|
+
self._conn.commit()
|
|
265
|
+
if self._sequence%12==0:
|
|
266
|
+
self._conn.execute('PRAGMA wal_checkpoint(TRUNCATE)')
|
|
267
|
+
if sum(p.stat().st_size for p in self.folder.glob('telemetry.db*'))>50*1024**2:
|
|
268
|
+
self._conn.close();self._conn=None
|
|
269
|
+
self._history_error='История ресурсов остановлена: достигнут предел 50 МиБ.'
|
|
270
|
+
except (sqlite3.Error,OSError):self._history_error='История ресурсов временно не сохраняется.'
|
|
271
|
+
|
|
272
|
+
def snapshot(self,now=None):
|
|
273
|
+
now=time.time() if now is None else now
|
|
274
|
+
with self._lock:
|
|
275
|
+
data=copy.deepcopy(self._data)
|
|
276
|
+
return self._view(data,now)
|
|
277
|
+
|
|
278
|
+
def history(self,window='15m',server=None):
|
|
279
|
+
"""Точки истории за 15 минут или средние по минутам за 24 часа; server – метка ряда (server_tag): только точки
|
|
280
|
+
этого сервера модели (страница прогона – сервер его исполнителя); '' – ряд без метки сервера (история до
|
|
281
|
+
0.9.12, страницы прежних прогонов). None – все ряды. Окно и предел числа точек – у каждого ряда свои."""
|
|
282
|
+
with self._lock:
|
|
283
|
+
if window=='15m':
|
|
284
|
+
rows=[p for tag,series in self._series.items() if server is None or tag==server for p in series]
|
|
285
|
+
start=max(time.time(),self._last_at or 0)-900 # последние 15 минут – от текущего времени
|
|
286
|
+
return copy.deepcopy(sorted((p for p in rows if p['at']>=start),key=lambda p:p['at']))
|
|
287
|
+
if not self._conn:return []
|
|
288
|
+
try:
|
|
289
|
+
end=int((self._last_at or time.time())//60)
|
|
290
|
+
if server is None:
|
|
291
|
+
where,args='',()
|
|
292
|
+
elif server: # ряд сервера: метка в конце идентификатора ряда – фильтр до предела строк
|
|
293
|
+
where,args=' AND substr(epoch,-length(?))=?',('|'+server,'|'+server)
|
|
294
|
+
else:
|
|
295
|
+
where,args=" AND instr(epoch,'|')=0",()
|
|
296
|
+
rows=self._conn.execute('SELECT minute,epoch,data_json FROM resource_samples WHERE minute>=?'+where+' ORDER BY minute DESC LIMIT 1440',(end-1440,*args)).fetchall()
|
|
297
|
+
return [{'at':m*60,'source_epoch':epoch,**{k:(round(s[k]['sum']/s[k]['count'],2) if k in s else None) for k in ('gpu','vram','ram','cpu')}} for m,epoch,raw in reversed(rows) for s in [json.loads(raw)]]
|
|
298
|
+
except sqlite3.Error:return []
|
|
299
|
+
|
|
300
|
+
def close(self):
|
|
301
|
+
self._stop.set()
|
|
302
|
+
if self._thread:self._thread.join(5)
|
|
303
|
+
with self._lock:
|
|
304
|
+
if self._conn:
|
|
305
|
+
try:self._conn.commit()
|
|
306
|
+
except sqlite3.Error:pass
|
|
307
|
+
finally:self._conn.close();self._conn=None
|