local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
|
@@ -0,0 +1,519 @@
|
|
|
1
|
+
"""Журнал обмена приложения с моделью: скрытый файловый журнал «что ушло в Ollama и что вернулось».
|
|
2
|
+
|
|
3
|
+
По одному JSONL-файлу на день (UTC): `<папка>/ГГГГ-ММ-ДД.jsonl`, обычно `data/model-traffic`. Каждое обращение
|
|
4
|
+
к модели – событие `request` (до отправки) и следом `response` или `error`; у всех событий одного обращения
|
|
5
|
+
общий `id`. Запись только дописывается, после каждого события файл сбрасывается на диск (`flush` и `os.fsync`).
|
|
6
|
+
Журнал скрытый: из веб-интерфейса недоступен, читается с диска (сценарий `scripts/model_traffic.py`).
|
|
7
|
+
|
|
8
|
+
Регистратор задаётся один раз при запуске приложения (`app/main.py`, `set_recorder`); без заданного регистратора
|
|
9
|
+
(тесты, сценарии) запись не ведётся. Назначение и привязка обращения (прогон, находка, проект) помечаются
|
|
10
|
+
менеджером контекста `context()` на `contextvars`: значения читаются при записи события, в текущем потоке.
|
|
11
|
+
|
|
12
|
+
Сбой записи события `request` поднимается наверх, а клиент модели (ADR-0083) учитывает его (`note_failure`) и
|
|
13
|
+
отправляет запрос без записи этого обращения; оператор видит предупреждение на странице прогона. Сбой записи
|
|
14
|
+
`response`/`error` работу не ломает: сбой пишется в журнал приложения через `app/logsafe.log_failure` (без
|
|
15
|
+
текста запроса и кода).
|
|
16
|
+
"""
|
|
17
|
+
|
|
18
|
+
from __future__ import annotations
|
|
19
|
+
|
|
20
|
+
import base64
|
|
21
|
+
import contextvars
|
|
22
|
+
import hashlib
|
|
23
|
+
import json
|
|
24
|
+
import logging
|
|
25
|
+
import math
|
|
26
|
+
import os
|
|
27
|
+
import re
|
|
28
|
+
import threading
|
|
29
|
+
import unicodedata
|
|
30
|
+
import uuid
|
|
31
|
+
from contextlib import contextmanager
|
|
32
|
+
from dataclasses import dataclass
|
|
33
|
+
from datetime import datetime, timezone
|
|
34
|
+
from pathlib import Path
|
|
35
|
+
from typing import Any, Iterator
|
|
36
|
+
|
|
37
|
+
from app.logsafe import log_failure
|
|
38
|
+
from app.textsafe import FILLER_CHARS, remove_markup, strip_invisible
|
|
39
|
+
|
|
40
|
+
log = logging.getLogger("local_triage.model_traffic")
|
|
41
|
+
|
|
42
|
+
|
|
43
|
+
@dataclass(frozen=True)
|
|
44
|
+
class _Call:
|
|
45
|
+
"""Назначение обращения и его привязка к прогону, находке и проекту (значения из `context()`)."""
|
|
46
|
+
|
|
47
|
+
purpose: str | None = None
|
|
48
|
+
run_id: int | None = None
|
|
49
|
+
hub_id: str | None = None
|
|
50
|
+
project_id: int | None = None
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
_CALL: contextvars.ContextVar[_Call | None] = contextvars.ContextVar("model_traffic_call", default=None)
|
|
54
|
+
|
|
55
|
+
|
|
56
|
+
@contextmanager
|
|
57
|
+
def context(purpose: str | None = None, run_id: int | None = None, hub_id: str | None = None,
|
|
58
|
+
project_id: int | None = None) -> Iterator[None]:
|
|
59
|
+
"""Пометить обращения к модели в текущем потоке. Не заданные значения наследуются из внешнего контекста
|
|
60
|
+
(вложенные вызовы не обнуляют прогон и находку). Назначения: `triage`, `ask`, `models`, `status`, `reload`,
|
|
61
|
+
`version`, `check` (пробная генерация профиля), `warmup` (прогрев модели ВМ); без контекста – `other`."""
|
|
62
|
+
previous = _CALL.get()
|
|
63
|
+
token = _CALL.set(_Call(
|
|
64
|
+
purpose=purpose if purpose is not None else (previous.purpose if previous else None),
|
|
65
|
+
run_id=run_id if run_id is not None else (previous.run_id if previous else None),
|
|
66
|
+
hub_id=hub_id if hub_id is not None else (previous.hub_id if previous else None),
|
|
67
|
+
project_id=project_id if project_id is not None else (previous.project_id if previous else None),
|
|
68
|
+
))
|
|
69
|
+
try:
|
|
70
|
+
yield
|
|
71
|
+
finally:
|
|
72
|
+
_CALL.reset(token)
|
|
73
|
+
|
|
74
|
+
|
|
75
|
+
def _encode(data: bytes) -> tuple[str, str]:
|
|
76
|
+
"""Байты для журнала: (вид, текст). `utf-8`, если это корректный UTF-8, иначе `base64`."""
|
|
77
|
+
try:
|
|
78
|
+
return "utf-8", data.decode("utf-8")
|
|
79
|
+
except UnicodeDecodeError:
|
|
80
|
+
return "base64", base64.b64encode(data).decode("ascii")
|
|
81
|
+
|
|
82
|
+
|
|
83
|
+
def _sha256(data: bytes) -> str:
|
|
84
|
+
return hashlib.sha256(data).hexdigest()
|
|
85
|
+
|
|
86
|
+
|
|
87
|
+
def _body_fields(data: bytes) -> dict[str, Any]:
|
|
88
|
+
encoding, text = _encode(data)
|
|
89
|
+
return {"body": text, "body_encoding": encoding, "body_sha256": _sha256(data), "body_len": len(data)}
|
|
90
|
+
|
|
91
|
+
|
|
92
|
+
def _context_fields() -> dict[str, Any]:
|
|
93
|
+
call = _CALL.get() or _Call()
|
|
94
|
+
return {"purpose": call.purpose or "other", "run_id": call.run_id, "hub_id": call.hub_id,
|
|
95
|
+
"project_id": call.project_id}
|
|
96
|
+
|
|
97
|
+
|
|
98
|
+
# Заголовки авторизации не попадают в журнал ни в одной ветви (ADR-0102 п. 12): ни в request_headers, ни в точных
|
|
99
|
+
# байтах запроса (обычный ответ, поток, HTTP-ошибка, обрыв, частично отправленный запрос). «Точные байты» – точные,
|
|
100
|
+
# кроме этих заголовков; длины и контрольные суммы считаются по очищенному представлению.
|
|
101
|
+
SECRET_HEADERS = ("authorization", "proxy-authorization", "x-api-key", "api-key")
|
|
102
|
+
|
|
103
|
+
|
|
104
|
+
def redact_headers(headers: dict[str, str] | None) -> dict[str, str] | None:
|
|
105
|
+
if not headers:
|
|
106
|
+
return headers
|
|
107
|
+
return {k: v for k, v in headers.items() if str(k).strip().lower() not in SECRET_HEADERS}
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
def redact_wire(wire: bytes | None) -> bytes | None:
|
|
111
|
+
"""Байты запроса без строк заголовков авторизации. Тело (после пустой строки) не трогается; без пустой строки
|
|
112
|
+
(запрос отправлен не целиком) весь буфер – заголовки: обрезанная строка авторизации тоже вырезается."""
|
|
113
|
+
if not wire:
|
|
114
|
+
return wire
|
|
115
|
+
head, sep, body = bytes(wire).partition(b"\r\n\r\n")
|
|
116
|
+
lines = head.split(b"\r\n")
|
|
117
|
+
names = [name.encode() for name in SECRET_HEADERS]
|
|
118
|
+
|
|
119
|
+
def secret(index: int, line: bytes) -> bool:
|
|
120
|
+
if index == 0: # строка запроса («POST /api/chat HTTP/1.1»)
|
|
121
|
+
return False
|
|
122
|
+
low = line.lstrip().lower()
|
|
123
|
+
if any(low.startswith(name + b":") for name in names):
|
|
124
|
+
return True
|
|
125
|
+
# запрос оборвался на этой строке: начало имени заголовка авторизации тоже вырезается
|
|
126
|
+
return not sep and index == len(lines) - 1 and bool(low) and any(name.startswith(low) for name in names)
|
|
127
|
+
|
|
128
|
+
kept = [line for index, line in enumerate(lines) if not secret(index, line)]
|
|
129
|
+
return b"\r\n".join(kept) + sep + body
|
|
130
|
+
|
|
131
|
+
|
|
132
|
+
def scrub(data: Any, secrets: Any) -> Any:
|
|
133
|
+
"""Значения секретов (ключ, «Bearer ключ») в байтах или тексте – «***»: сервер или шлюз может вернуть
|
|
134
|
+
переданный ключ в тексте ошибки или ответа. Пусто – без изменений."""
|
|
135
|
+
values = _values(secrets)
|
|
136
|
+
values += [v.replace("/", "\\/") for v in values if "/" in v] # «\/» – вид «/» у иных кодировщиков JSON
|
|
137
|
+
if not values or data is None:
|
|
138
|
+
return data
|
|
139
|
+
for value in sorted(values, key=len, reverse=True):
|
|
140
|
+
if isinstance(data, (bytes, bytearray)):
|
|
141
|
+
data = bytes(data).replace(value.encode("utf-8"), b"***")
|
|
142
|
+
elif isinstance(data, str):
|
|
143
|
+
data = data.replace(value, "***")
|
|
144
|
+
return data
|
|
145
|
+
|
|
146
|
+
|
|
147
|
+
_ESC = re.compile(r"\\(u[0-9a-fA-F]{4}|[\\/\"])")
|
|
148
|
+
DECODE_DEPTH = 32 # сколько вложений раскрывается (слой экранирования или JSON в строке); глубже – ключ «виден»
|
|
149
|
+
# работа раскрытия одной строки – не больше DECODE_WORK её длин (плюс запас): больше – ключ «виден»; разбор JSON
|
|
150
|
+
# стоит JSON_COST знаков сверх длины разбираемого текста
|
|
151
|
+
DECODE_WORK = 16
|
|
152
|
+
DECODE_SPARE = 1 << 16
|
|
153
|
+
JSON_COST = 256
|
|
154
|
+
HIDDEN_TEXT = "[текст скрыт: в нём был ключ профиля]"
|
|
155
|
+
HIDDEN_NAME = "[имя скрыто: в нём был ключ профиля]"
|
|
156
|
+
_NOT_JSON = object()
|
|
157
|
+
|
|
158
|
+
|
|
159
|
+
class _Pairs(list):
|
|
160
|
+
"""Пары «имя – значение» объекта JSON при проверочном разборе: повторяющиеся имена не теряются."""
|
|
161
|
+
|
|
162
|
+
|
|
163
|
+
def _values(secrets: Any) -> list[str]:
|
|
164
|
+
"""Значения ключа, которые ищутся (ключ и «Bearer ключ»); короче 4 знаков не ищутся."""
|
|
165
|
+
return [str(s) for s in (secrets or ()) if s and len(str(s)) >= 4]
|
|
166
|
+
|
|
167
|
+
|
|
168
|
+
def _unescape(text: str) -> str:
|
|
169
|
+
"""Один слой экранирования JSON для знаков ASCII (\\uXXXX, \\\\, \\/, \\") – в обычный вид."""
|
|
170
|
+
|
|
171
|
+
def plain(m: re.Match) -> str:
|
|
172
|
+
escape = m.group(1)
|
|
173
|
+
if escape[0] != "u":
|
|
174
|
+
return escape
|
|
175
|
+
code = int(escape[1:], 16)
|
|
176
|
+
return chr(code) if code < 128 else m.group(0)
|
|
177
|
+
|
|
178
|
+
return _ESC.sub(plain, text)
|
|
179
|
+
|
|
180
|
+
|
|
181
|
+
def _json_strings(value: Any) -> Iterator[str]:
|
|
182
|
+
"""Строки разобранного JSON на любой глубине – значения и имена полей, в том числе повторяющихся (без рекурсии
|
|
183
|
+
Python)."""
|
|
184
|
+
stack = [value]
|
|
185
|
+
while stack:
|
|
186
|
+
item = stack.pop()
|
|
187
|
+
if isinstance(item, str):
|
|
188
|
+
yield item
|
|
189
|
+
elif isinstance(item, _Pairs):
|
|
190
|
+
for name, inner in item:
|
|
191
|
+
yield str(name)
|
|
192
|
+
stack.append(inner)
|
|
193
|
+
elif isinstance(item, dict):
|
|
194
|
+
for name, inner in item.items():
|
|
195
|
+
yield str(name)
|
|
196
|
+
stack.append(inner)
|
|
197
|
+
elif isinstance(item, list):
|
|
198
|
+
stack.extend(item)
|
|
199
|
+
|
|
200
|
+
|
|
201
|
+
class _Budget:
|
|
202
|
+
"""Бюджет работы раскрытия – общий для всех строк одного тела ответа (clean_value), иначе – на одну строку."""
|
|
203
|
+
|
|
204
|
+
__slots__ = ("left",)
|
|
205
|
+
|
|
206
|
+
def __init__(self, units: int) -> None:
|
|
207
|
+
self.left = units
|
|
208
|
+
|
|
209
|
+
|
|
210
|
+
def _size(value: Any) -> int:
|
|
211
|
+
"""Примерный размер разобранного значения в знаках (длины строк и имён плюс по 8 на элемент) – для бюджета."""
|
|
212
|
+
total, stack = 0, [value]
|
|
213
|
+
while stack:
|
|
214
|
+
item = stack.pop()
|
|
215
|
+
total += 8
|
|
216
|
+
if isinstance(item, str):
|
|
217
|
+
total += len(item)
|
|
218
|
+
elif isinstance(item, dict):
|
|
219
|
+
total += sum(len(str(name)) for name in item)
|
|
220
|
+
stack.extend(item.values())
|
|
221
|
+
elif isinstance(item, list):
|
|
222
|
+
stack.extend(item)
|
|
223
|
+
return total
|
|
224
|
+
|
|
225
|
+
|
|
226
|
+
_WHITESPACE = {9: None, 10: None, 13: None} # \t \n \r – управляющие, но не невидимые: textsafe их оставляет
|
|
227
|
+
|
|
228
|
+
|
|
229
|
+
def _views(text: str) -> tuple[str, ...]:
|
|
230
|
+
"""Виды строки, в которых ключ не должен встречаться буквально, – все сочетания очистки и записи, которые делает
|
|
231
|
+
приложение: строка как есть, после очистки невидимых знаков (`textsafe.strip_invisible` – ответы модели и
|
|
232
|
+
агента), после очистки для Hub (`textsafe.hub_clean` – ещё и теги HTML), без всех управляющих и невидимых знаков;
|
|
233
|
+
каждая – и как есть, и в записи JSON с экранированием не-ASCII и без (так её сохранят база и журнал: управляющий
|
|
234
|
+
знак станет «\\u0001»). Части ключа, которые сомкнёт очистка или сериализация, так находятся заранее."""
|
|
235
|
+
plain = text.translate(_WHITESPACE)
|
|
236
|
+
# нет управляющих (кроме \t \n \r) и невидимых знаков (заполнители Хангыль печатаемы, но невидимы) – их очистка
|
|
237
|
+
# ничего не меняет
|
|
238
|
+
if plain.isprintable() and not any(filler in text for filler in FILLER_CHARS):
|
|
239
|
+
bases = {text, plain}
|
|
240
|
+
else:
|
|
241
|
+
bases = {text, strip_invisible(text),
|
|
242
|
+
"".join(ch for ch in text if unicodedata.category(ch) not in ("Cc", "Cf", "Co", "Cn", "Cs"))}
|
|
243
|
+
if "<" in text or ":" in text: # hub_clean: невидимые знаки, затем теги и схемы адресов
|
|
244
|
+
bases |= {remove_markup(base) for base in bases}
|
|
245
|
+
return tuple(view for base in bases for view in (base, json.dumps(base), json.dumps(base, ensure_ascii=False)))
|
|
246
|
+
|
|
247
|
+
|
|
248
|
+
def _reveals(text: str, values: list[str], budget: _Budget | None = None) -> bool:
|
|
249
|
+
"""Виден ли ключ в тексте, если раскрывать его, как раскрыл бы читатель: буквально; текст – JSON (объект, массив
|
|
250
|
+
или строка JSON) – в каждой его строке и в каждом числе после разбора, имена повторяющихся полей не теряются;
|
|
251
|
+
иначе – после снятия слоя экранирования JSON. Вложений больше DECODE_DEPTH или исчерпан бюджет работы (своя
|
|
252
|
+
строка – DECODE_WORK её длин; общий бюджет тела – см. clean_value), а раскрывать ещё есть что, – ключ считается
|
|
253
|
+
видимым. Без рекурсии: прежние большие строки не удерживаются."""
|
|
254
|
+
budget = budget or _Budget(DECODE_WORK * len(text) + DECODE_SPARE)
|
|
255
|
+
stack = [(text, 0)]
|
|
256
|
+
while stack:
|
|
257
|
+
current, depth = stack.pop()
|
|
258
|
+
budget.left -= len(current) + 16
|
|
259
|
+
if budget.left < 0:
|
|
260
|
+
return True
|
|
261
|
+
if any(value in view for view in _views(current) for value in values):
|
|
262
|
+
return True
|
|
263
|
+
parsed = _NOT_JSON
|
|
264
|
+
if current.lstrip()[:1] in ('"', "{", "["):
|
|
265
|
+
budget.left -= JSON_COST
|
|
266
|
+
try:
|
|
267
|
+
parsed = json.loads(current, object_pairs_hook=_Pairs)
|
|
268
|
+
except (ValueError, RecursionError):
|
|
269
|
+
parsed = _NOT_JSON
|
|
270
|
+
if parsed is not _NOT_JSON:
|
|
271
|
+
if depth >= DECODE_DEPTH:
|
|
272
|
+
return True
|
|
273
|
+
stack.extend((inner, depth + 1) for inner in _json_strings(parsed))
|
|
274
|
+
continue
|
|
275
|
+
plain = _unescape(current)
|
|
276
|
+
if plain != current:
|
|
277
|
+
if depth >= DECODE_DEPTH:
|
|
278
|
+
return True
|
|
279
|
+
stack.append((plain, depth + 1))
|
|
280
|
+
return False
|
|
281
|
+
|
|
282
|
+
|
|
283
|
+
def contains_secret(data: Any, secrets: Any, budget: _Budget | None = None) -> bool:
|
|
284
|
+
"""Виден ли в байтах или тексте ключ: буквально; если текст – JSON, то в любой его строке после разбора (значения и
|
|
285
|
+
имена полей, повторяющиеся тоже; строка, которая сама JSON или строка JSON, разбирается тоже); в тексте не JSON –
|
|
286
|
+
после снятия слоёв экранирования JSON знаков ASCII. Слишком глубокое или слишком дорогое раскрытие – ключ
|
|
287
|
+
считается видимым (_reveals)."""
|
|
288
|
+
values = _values(secrets)
|
|
289
|
+
if not values or data is None:
|
|
290
|
+
return False
|
|
291
|
+
text = bytes(data).decode("utf-8", "replace") if isinstance(data, (bytes, bytearray)) else str(data)
|
|
292
|
+
return _reveals(text, values, budget)
|
|
293
|
+
|
|
294
|
+
|
|
295
|
+
def scrub_text(text: Any, secrets: Any, budget: _Budget | None = None) -> Any:
|
|
296
|
+
"""Текст для показа и хранения (сообщение, подробности, начало ответа модели): ключ – «***»; если ключ остался в
|
|
297
|
+
экранированном или разбитом виде – текст скрывается целиком."""
|
|
298
|
+
if not isinstance(text, str):
|
|
299
|
+
return text
|
|
300
|
+
cleaned = scrub(text, secrets)
|
|
301
|
+
return HIDDEN_TEXT if contains_secret(cleaned, secrets, budget) else cleaned
|
|
302
|
+
|
|
303
|
+
|
|
304
|
+
def clean_value(value: Any, secrets: Any, budget: _Budget | None = None) -> Any:
|
|
305
|
+
"""Разобранное значение без ключа: строки на любой глубине и имена полей – через scrub_text (имя с ключом –
|
|
306
|
+
HIDDEN_NAME), число, в записи которого ключ (ключ из одних цифр), – None. Бюджет раскрытия – общий на всё
|
|
307
|
+
значение (DECODE_WORK его размеров): исчерпан – оставшиеся строки скрываются без разбора. Слишком глубокая
|
|
308
|
+
вложенность – RecursionError (вызывающий не сохраняет и не показывает значение)."""
|
|
309
|
+
values = _values(secrets)
|
|
310
|
+
if not values:
|
|
311
|
+
return value
|
|
312
|
+
if budget is None:
|
|
313
|
+
budget = _Budget(DECODE_WORK * _size(value) + DECODE_SPARE)
|
|
314
|
+
if isinstance(value, str):
|
|
315
|
+
return scrub_text(value, secrets, budget)
|
|
316
|
+
if isinstance(value, bool) or value is None:
|
|
317
|
+
return value
|
|
318
|
+
if isinstance(value, float) and not math.isfinite(value): # Infinity, NaN: в JSON – литерал, ключом может быть он
|
|
319
|
+
return None
|
|
320
|
+
if isinstance(value, (int, float)):
|
|
321
|
+
return None if any(v in text for text in (str(value), json.dumps(value)) for v in values) else value
|
|
322
|
+
if isinstance(value, list):
|
|
323
|
+
return [clean_value(v, secrets, budget) for v in value]
|
|
324
|
+
if isinstance(value, dict):
|
|
325
|
+
cleaned: dict[str, Any] = {}
|
|
326
|
+
for name, inner in value.items():
|
|
327
|
+
safe = scrub_text(str(name), secrets, budget)
|
|
328
|
+
cleaned[HIDDEN_NAME if safe == HIDDEN_TEXT else safe] = clean_value(inner, secrets, budget)
|
|
329
|
+
return cleaned
|
|
330
|
+
return value
|
|
331
|
+
|
|
332
|
+
|
|
333
|
+
KEY_IN_ANSWER = "Ответ модели содержал ключ профиля: ответ не сохранён."
|
|
334
|
+
|
|
335
|
+
|
|
336
|
+
def shows_secret(value: Any, secrets: Any) -> bool:
|
|
337
|
+
"""Последняя проверка перед сохранением ответа модели, уже разобранного и нормализованного приложением (вердикт,
|
|
338
|
+
ответ на вопрос, статистика): ключ буквально в записи JSON значения – с экранированием не-ASCII и без, как её
|
|
339
|
+
пишет база. Очистки после этой точки не бывает – что прошло проверку, то и сохраняется."""
|
|
340
|
+
values = _values(secrets)
|
|
341
|
+
if not values:
|
|
342
|
+
return False
|
|
343
|
+
texts = (json.dumps(value, ensure_ascii=False, sort_keys=True, default=str),
|
|
344
|
+
json.dumps(value, sort_keys=True, default=str))
|
|
345
|
+
return any(v in text for text in texts for v in values)
|
|
346
|
+
|
|
347
|
+
|
|
348
|
+
def _now() -> str:
|
|
349
|
+
"""Сейчас по UTC в ISO с микросекундами (первые 10 знаков – дата файла журнала)."""
|
|
350
|
+
return datetime.now(timezone.utc).isoformat()
|
|
351
|
+
|
|
352
|
+
|
|
353
|
+
class Recorder:
|
|
354
|
+
"""Потокобезопасная запись событий обмена с моделью в файлы `<папка>/ГГГГ-ММ-ДД.jsonl` (день по UTC).
|
|
355
|
+
|
|
356
|
+
Каждое событие – одна строка JSON; файл только дописывается, после каждой записи – `flush` и `os.fsync`.
|
|
357
|
+
Файл дня выбирается по моменту события `request`: `response` и `error` того же обращения попадают в тот же
|
|
358
|
+
файл (день приходит в `request_ts`). Сбой записи события `request` поднимается наверх, сбой подготовки или записи
|
|
359
|
+
`response`/`error` не ломает работу и пишется в журнал приложения (`log_failure`).
|
|
360
|
+
|
|
361
|
+
Журнал хранит весь обмен байт в байт – и у сервера с ключом (журнал локальный, его
|
|
362
|
+
конфиденциальность обеспечивает пользователь); вырезается только заголовок авторизации запроса (ADR-0102 п. 8).
|
|
363
|
+
"""
|
|
364
|
+
|
|
365
|
+
def __init__(self, folder: Path | str) -> None:
|
|
366
|
+
self.folder = Path(folder)
|
|
367
|
+
self._lock = threading.Lock()
|
|
368
|
+
|
|
369
|
+
def _write(self, event: dict[str, Any], day: str) -> None:
|
|
370
|
+
line = json.dumps(event, ensure_ascii=False) + "\n"
|
|
371
|
+
self.folder.mkdir(parents=True, exist_ok=True)
|
|
372
|
+
with self._lock:
|
|
373
|
+
with open(self.folder / f"{day}.jsonl", "a", encoding="utf-8") as fh:
|
|
374
|
+
fh.write(line)
|
|
375
|
+
fh.flush()
|
|
376
|
+
os.fsync(fh.fileno())
|
|
377
|
+
|
|
378
|
+
# ---------------------------------------------------------------- события
|
|
379
|
+
|
|
380
|
+
def request(self, *, method: str, url: str, body: bytes | None = None,
|
|
381
|
+
provider: dict[str, Any] | None = None) -> tuple[str, str]:
|
|
382
|
+
"""Событие `request` (пишется до отправки) -> (id события, его ts). provider – профиль исполнителя
|
|
383
|
+
(номер, версия, класс доверия; ADR-0102 п. 12). Сбой записи поднимается наверх."""
|
|
384
|
+
event_id = str(uuid.uuid4())
|
|
385
|
+
ts = _now()
|
|
386
|
+
event: dict[str, Any] = {"event": "request", "id": event_id, "ts": ts, "method": method, "url": url,
|
|
387
|
+
**_context_fields()}
|
|
388
|
+
if provider:
|
|
389
|
+
event["provider"] = dict(provider)
|
|
390
|
+
if body is not None:
|
|
391
|
+
event.update(_body_fields(body))
|
|
392
|
+
else:
|
|
393
|
+
event.update(body=None, body_encoding=None, body_sha256=None, body_len=0)
|
|
394
|
+
self._write(event, ts[:10])
|
|
395
|
+
return event_id, ts
|
|
396
|
+
|
|
397
|
+
def response(self, **fields: Any) -> None:
|
|
398
|
+
"""Событие `response` после чтения ответа целиком (поля – как у _response_event). Сбой подготовки или записи
|
|
399
|
+
работу не ломает: пишется в журнал приложения."""
|
|
400
|
+
try:
|
|
401
|
+
event, day = self._response_event(**fields)
|
|
402
|
+
except Exception as e:
|
|
403
|
+
log_failure(log, "событие response журнала обмена с моделью не подготовлено", e)
|
|
404
|
+
return
|
|
405
|
+
self._safe_write(event, day, "событие response журнала обмена с моделью не записано")
|
|
406
|
+
|
|
407
|
+
def _response_event(self, *, event_id: str, request_ts: str, duration_ms: int, status: int,
|
|
408
|
+
headers: dict[str, str], body: bytes, chunks: int | None = None, peer: str | None = None,
|
|
409
|
+
request_headers: dict[str, str] | None = None,
|
|
410
|
+
request_wire: bytes | None = None) -> tuple[dict[str, Any], str]:
|
|
411
|
+
"""Событие `response` и день его файла: тело ответа – как прочитано (у потока – все куски подряд)."""
|
|
412
|
+
event: dict[str, Any] = {"event": "response", "id": event_id, "ts": _now(), "duration_ms": duration_ms,
|
|
413
|
+
"status": status, "headers": headers or {}, **_body_fields(body)}
|
|
414
|
+
if chunks is not None:
|
|
415
|
+
event["chunks"] = chunks
|
|
416
|
+
if peer:
|
|
417
|
+
event["peer"] = peer
|
|
418
|
+
request_headers = redact_headers(request_headers)
|
|
419
|
+
if request_headers:
|
|
420
|
+
event["request_headers"] = request_headers
|
|
421
|
+
self._wire_fields(event, redact_wire(request_wire))
|
|
422
|
+
return event, request_ts[:10]
|
|
423
|
+
|
|
424
|
+
def error(self, **fields: Any) -> None:
|
|
425
|
+
"""Событие `error` после обрыва обмена (поля – как у _error_event). Сбой подготовки или записи работу не
|
|
426
|
+
ломает: пишется в журнал приложения."""
|
|
427
|
+
try:
|
|
428
|
+
event, day = self._error_event(**fields)
|
|
429
|
+
except Exception as e:
|
|
430
|
+
log_failure(log, "событие error журнала обмена с моделью не подготовлено", e)
|
|
431
|
+
return
|
|
432
|
+
self._safe_write(event, day, "событие error журнала обмена с моделью не записано")
|
|
433
|
+
|
|
434
|
+
def _error_event(self, *, event_id: str, request_ts: str, duration_ms: int, error_type: str, error_text: str,
|
|
435
|
+
received: bytes | None = None, peer: str | None = None,
|
|
436
|
+
request_headers: dict[str, str] | None = None,
|
|
437
|
+
request_wire: bytes | None = None) -> tuple[dict[str, Any], str]:
|
|
438
|
+
"""Событие `error` (байты ответа, успевшие прийти) и день его файла."""
|
|
439
|
+
event: dict[str, Any] = {"event": "error", "id": event_id, "ts": _now(), "duration_ms": duration_ms,
|
|
440
|
+
"error_type": error_type, "error": error_text,
|
|
441
|
+
"received_len": len(received) if received is not None else 0}
|
|
442
|
+
if received:
|
|
443
|
+
encoding, text = _encode(received)
|
|
444
|
+
event.update(received=text, received_encoding=encoding, received_sha256=_sha256(received))
|
|
445
|
+
if peer:
|
|
446
|
+
event["peer"] = peer
|
|
447
|
+
request_headers = redact_headers(request_headers)
|
|
448
|
+
if request_headers:
|
|
449
|
+
event["request_headers"] = request_headers
|
|
450
|
+
self._wire_fields(event, redact_wire(request_wire))
|
|
451
|
+
return event, request_ts[:10]
|
|
452
|
+
|
|
453
|
+
@staticmethod
|
|
454
|
+
def _wire_fields(event: dict[str, Any], request_wire: bytes | None) -> None:
|
|
455
|
+
"""Точные байты запроса, ушедшие в сокет (строка запроса, заголовки без авторизации, тело), – в событие."""
|
|
456
|
+
if request_wire is None:
|
|
457
|
+
return
|
|
458
|
+
encoding, text = _encode(request_wire)
|
|
459
|
+
event.update(request_wire=text, request_wire_encoding=encoding, request_wire_sha256=_sha256(request_wire),
|
|
460
|
+
request_wire_len=len(request_wire))
|
|
461
|
+
|
|
462
|
+
def _safe_write(self, event: dict[str, Any], day: str, what: str) -> None:
|
|
463
|
+
try:
|
|
464
|
+
self._write(event, day)
|
|
465
|
+
except Exception as e:
|
|
466
|
+
log_failure(log, what, e)
|
|
467
|
+
|
|
468
|
+
|
|
469
|
+
_recorder: Recorder | None = None
|
|
470
|
+
_failures_lock = threading.Lock()
|
|
471
|
+
# Сбои записи события request с запуска приложения: всего и по прогонам (ADR-0083). Обмен с моделью из-за них
|
|
472
|
+
# не останавливается, оператор видит предупреждение на странице прогона.
|
|
473
|
+
_failures: dict[str, Any] = {"count": 0, "last_at": None, "last_error": "", "runs": {}}
|
|
474
|
+
JOURNAL_FAILURE_ADVICE = "Обратитесь к автору программы."
|
|
475
|
+
|
|
476
|
+
|
|
477
|
+
def note_failure(error: BaseException) -> None:
|
|
478
|
+
"""Событие request не записано: запомнить сбой (всего и для прогона из текущего контекста)."""
|
|
479
|
+
text = str(error) or type(error).__name__
|
|
480
|
+
call = _CALL.get() or _Call()
|
|
481
|
+
with _failures_lock:
|
|
482
|
+
_failures["count"] += 1
|
|
483
|
+
_failures["last_at"] = _now()
|
|
484
|
+
_failures["last_error"] = text
|
|
485
|
+
if call.run_id is not None:
|
|
486
|
+
run = _failures["runs"].setdefault(call.run_id, {"count": 0, "last_error": ""})
|
|
487
|
+
run["count"] += 1
|
|
488
|
+
run["last_error"] = text
|
|
489
|
+
|
|
490
|
+
|
|
491
|
+
def failure_text(run_id: int | None = None) -> str:
|
|
492
|
+
"""Предупреждение оператору о незаписанном журнале: для прогона (run_id) или с запуска приложения; пусто –
|
|
493
|
+
сбоев не было."""
|
|
494
|
+
with _failures_lock:
|
|
495
|
+
info = _failures["runs"].get(run_id) if run_id is not None else (
|
|
496
|
+
{"count": _failures["count"], "last_error": _failures["last_error"]} if _failures["count"] else None)
|
|
497
|
+
if not info:
|
|
498
|
+
return ""
|
|
499
|
+
count, error = info["count"], info["last_error"]
|
|
500
|
+
return (f"Журнал обмена с моделью не записан для {count} обращений к модели (последняя ошибка: {error}). "
|
|
501
|
+
f"Разбор продолжается, но эти обращения в журнале не сохранены. {JOURNAL_FAILURE_ADVICE}")
|
|
502
|
+
|
|
503
|
+
|
|
504
|
+
def reset_failures() -> None:
|
|
505
|
+
"""Сбросить учёт сбоев (тесты)."""
|
|
506
|
+
with _failures_lock:
|
|
507
|
+
_failures.update(count=0, last_at=None, last_error="", runs={})
|
|
508
|
+
|
|
509
|
+
|
|
510
|
+
def set_recorder(recorder: Recorder | None) -> None:
|
|
511
|
+
"""Задать или убрать регистратор журнала обмена (при запуске приложения). Без регистратора запись
|
|
512
|
+
не ведётся, и обмен с моделью от неё не зависит."""
|
|
513
|
+
global _recorder
|
|
514
|
+
_recorder = recorder
|
|
515
|
+
|
|
516
|
+
|
|
517
|
+
def get_recorder() -> Recorder | None:
|
|
518
|
+
"""Регистратор, заданный при запуске приложения, или None (тесты, сценарии)."""
|
|
519
|
+
return _recorder
|