local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
|
@@ -0,0 +1,163 @@
|
|
|
1
|
+
"""Раздел «Настройки»: адрес Ollama и его проверка, модель по умолчанию, статусы Hub по вердиктам, порог
|
|
2
|
+
срочности SCA, что видно приложению (корень папок с репозиториями). Плюс GET /api/ollama – что видит приложение
|
|
3
|
+
по действующему адресу Ollama (его спрашивает start.ps1 после запуска).
|
|
4
|
+
|
|
5
|
+
Настройки хранятся в базе (app/settings_store.py); переменные окружения дают им только начальные значения
|
|
6
|
+
при первом запуске. Шаблон – templates/settings/index.html. Страница работает без скриптов: «Проверить»
|
|
7
|
+
и «Сохранить» – кнопки одной формы, проверка показывает введённый, ещё не сохранённый адрес.
|
|
8
|
+
"""
|
|
9
|
+
|
|
10
|
+
from __future__ import annotations
|
|
11
|
+
|
|
12
|
+
import logging
|
|
13
|
+
|
|
14
|
+
from fastapi import APIRouter, Request
|
|
15
|
+
from fastapi.responses import HTMLResponse
|
|
16
|
+
from starlette.concurrency import run_in_threadpool
|
|
17
|
+
|
|
18
|
+
from app.config import DEFAULT_STATUS_MAP, ConfigError, normalize_setting
|
|
19
|
+
from app.routes.hub import hub_context
|
|
20
|
+
from app.routes.common import (db_of, models_of, profile_for, redirect, register_messages, render, settings_of,
|
|
21
|
+
web_of)
|
|
22
|
+
from app.settings_store import (STATUS_FIELDS, check_ollama, environment, form_values,
|
|
23
|
+
model_found, ollama_report, read_form, save)
|
|
24
|
+
|
|
25
|
+
router = APIRouter()
|
|
26
|
+
log = logging.getLogger(__name__)
|
|
27
|
+
|
|
28
|
+
MAX_FIELDS = 30 # полей в форме настроек
|
|
29
|
+
|
|
30
|
+
register_messages({
|
|
31
|
+
"settings_saved": "Настройки сохранены.",
|
|
32
|
+
"settings_reordered": "Настройки сохранены. Порог срочности SCA изменился – порядок разбора находок "
|
|
33
|
+
"во всех проектах пересчитан.",
|
|
34
|
+
})
|
|
35
|
+
|
|
36
|
+
|
|
37
|
+
def page(request: Request, values: dict, errors: dict | None = None, check: dict | None = None,
|
|
38
|
+
error: str = "", status_code: int = 200) -> HTMLResponse:
|
|
39
|
+
"""Страница настроек. values – значения полей; check – состояние Ollama: результат кнопки «Проверить» или,
|
|
40
|
+
если её не нажимали, состояние по сохранённому адресу (из кэша списка моделей)."""
|
|
41
|
+
settings = settings_of(request)
|
|
42
|
+
if check is None:
|
|
43
|
+
state = models_of(request)
|
|
44
|
+
check = {"url": settings.ollama_url, "version": state["version"], "models": state["models"],
|
|
45
|
+
"error": state["error"], "checked": False}
|
|
46
|
+
models = check["models"]
|
|
47
|
+
context = {
|
|
48
|
+
"values": values, "errors": errors or {}, "check": check, "models": models,
|
|
49
|
+
"model_listed": model_found(values.get("default_model", ""), models),
|
|
50
|
+
"status_fields": STATUS_FIELDS, "default_statuses": DEFAULT_STATUS_MAP,
|
|
51
|
+
"env": environment(settings), "error": error,
|
|
52
|
+
"traffic_log_on": settings.model_traffic_log == "on", # ADR-0083: предупреждение у выбора модели
|
|
53
|
+
"hub": hub_context(request), # ADR-0114: ключ исполнителя, его состояние, проверка связи
|
|
54
|
+
}
|
|
55
|
+
return render(request, "settings/index.html", context, status_code)
|
|
56
|
+
|
|
57
|
+
|
|
58
|
+
@router.get("/settings", response_class=HTMLResponse)
|
|
59
|
+
def settings_page(request: Request):
|
|
60
|
+
return page(request, form_values(settings_of(request)))
|
|
61
|
+
|
|
62
|
+
|
|
63
|
+
@router.post("/settings")
|
|
64
|
+
async def save_settings(request: Request):
|
|
65
|
+
form = await request.form(max_fields=MAX_FIELDS, max_files=0)
|
|
66
|
+
action = str(form.get("action") or "save")
|
|
67
|
+
|
|
68
|
+
def apply():
|
|
69
|
+
parsed = read_form(form)
|
|
70
|
+
if action == "check":
|
|
71
|
+
# Проверяется введённый адрес, а не сохранённый: сохранять его до проверки не нужно
|
|
72
|
+
url_error = parsed.errors.get("ollama_url", "")
|
|
73
|
+
check = None
|
|
74
|
+
if not url_error:
|
|
75
|
+
check = {**check_ollama(web_of(request).make_client, parsed.clean["ollama_url"]), "checked": True}
|
|
76
|
+
return page(request, parsed.values, {"ollama_url": url_error} if url_error else {},
|
|
77
|
+
check or {"url": parsed.values["ollama_url"], "version": "", "models": [], "error": "",
|
|
78
|
+
"checked": False})
|
|
79
|
+
if parsed.errors:
|
|
80
|
+
return page(request, parsed.values, parsed.errors,
|
|
81
|
+
error="Настройки не сохранены: исправьте отмеченные поля.", status_code=400)
|
|
82
|
+
settings, db = settings_of(request), db_of(request)
|
|
83
|
+
new_hub = parsed.clean.get("hub_url")
|
|
84
|
+
# адрес Hub пишет только операция смены назначения (п. 4.5 плана dev17): совпадение с действующим адресом и
|
|
85
|
+
# последствия она определяет в своей транзакции (ревью Codex шага 4, круг 2); остальные настройки – как обычно
|
|
86
|
+
clean = {k: v for k, v in parsed.clean.items() if k != "hub_url"}
|
|
87
|
+
env_url = web_of(request).base.hub_url
|
|
88
|
+
try:
|
|
89
|
+
from app.sca_research_net import composition_change
|
|
90
|
+
with composition_change(): # настройки отбора компонентов – часть состава заданий на исследование
|
|
91
|
+
result = save(db, settings, clean)
|
|
92
|
+
except TimeoutError: # профиль 1 занят отправкой запросов дольше срока ожидания (app/profile_gate.py)
|
|
93
|
+
return page(request, parsed.values, {}, status_code=503,
|
|
94
|
+
error="Настройки не сохранены: запросы к серверу модели по адресу Ollama отправляются дольше "
|
|
95
|
+
"обычного. Повторите сохранение через минуту.")
|
|
96
|
+
if new_hub is not None:
|
|
97
|
+
preview = db.change_hub_url(new_hub, dry=True, env_url=env_url)
|
|
98
|
+
if preview.get("affects"): # что-то меняет – сначала подтверждение с итогом по проектам
|
|
99
|
+
return hub_url_page(request, settings.hub_url, new_hub, preview)
|
|
100
|
+
try: # без последствий – сразу, но по отпечатку расчёта: изменилось между ними – подтверждение
|
|
101
|
+
db.change_hub_url(new_hub, expect=preview.get("token"), env_url=env_url)
|
|
102
|
+
except ValueError:
|
|
103
|
+
return hub_url_page(request, settings.hub_url, new_hub,
|
|
104
|
+
db.change_hub_url(new_hub, dry=True, env_url=env_url))
|
|
105
|
+
return redirect("/settings?ok=" + ("settings_reordered" if result["reordered"] else "settings_saved"))
|
|
106
|
+
|
|
107
|
+
return await run_in_threadpool(apply)
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
def hub_url_page(request: Request, old_url: str, new_url: str, preview: dict, error: str = "",
|
|
111
|
+
status_code: int = 200) -> HTMLResponse:
|
|
112
|
+
"""Подтверждение смены адреса Hub (план dev17, п. 4.5): по каждому затронутому проекту – сколько сведений Hub о
|
|
113
|
+
библиотеках сбрасывается и решений из Hub уходит в историю. Итог считается в откатываемой транзакции."""
|
|
114
|
+
db = db_of(request)
|
|
115
|
+
rows = []
|
|
116
|
+
for pid, summary in sorted((preview.get("projects") or {}).items()):
|
|
117
|
+
if summary.get("identity_cleared") or summary.get("hub_decisions_withdrawn") or summary.get("findings"):
|
|
118
|
+
project = db.get_project(int(pid)) or {}
|
|
119
|
+
from app.package_transition import entity_rows
|
|
120
|
+
rows.append({"name": project.get("name") or f"Проект {pid}", "summary": summary,
|
|
121
|
+
"entities": entity_rows(summary)})
|
|
122
|
+
from app.package_transition import TABLE_LABELS
|
|
123
|
+
return render(request, "settings/hub_url.html", {"old_url": old_url, "new_url": new_url, "rows": rows,
|
|
124
|
+
"table_labels": TABLE_LABELS,
|
|
125
|
+
"token": preview.get("token", ""), "error": error},
|
|
126
|
+
status_code)
|
|
127
|
+
|
|
128
|
+
|
|
129
|
+
@router.post("/settings/hub-url")
|
|
130
|
+
async def hub_url_apply(request: Request):
|
|
131
|
+
"""Смена адреса Hub по подтверждению: отпечаток входов страницы подтверждения сверяется в той же транзакции;
|
|
132
|
+
изменилось что-либо – страница подтверждения заново с новым итогом, ничего не записано."""
|
|
133
|
+
form = await request.form(max_fields=4, max_files=0)
|
|
134
|
+
raw = str(form.get("url") or "")
|
|
135
|
+
token = str(form.get("token") or "")
|
|
136
|
+
|
|
137
|
+
def apply():
|
|
138
|
+
settings, db = settings_of(request), db_of(request)
|
|
139
|
+
try:
|
|
140
|
+
url = normalize_setting("hub_url", raw)
|
|
141
|
+
except ConfigError as e:
|
|
142
|
+
return page(request, form_values(settings), {"hub_url": str(e)}, status_code=400,
|
|
143
|
+
error="Адрес Hub не сменён: исправьте адрес.")
|
|
144
|
+
env_url = web_of(request).base.hub_url
|
|
145
|
+
try:
|
|
146
|
+
db.change_hub_url(url, expect=token, env_url=env_url)
|
|
147
|
+
except ValueError as e:
|
|
148
|
+
again = db.change_hub_url(url, dry=True, env_url=env_url)
|
|
149
|
+
if again.get("unchanged"): # адрес уже такой – сброса данных действующего адреса нет
|
|
150
|
+
return redirect("/settings?ok=settings_saved")
|
|
151
|
+
return hub_url_page(request, settings.hub_url, url, again, str(e), 409)
|
|
152
|
+
log.info("адрес Hub сменён (план dev17, п. 4.5)")
|
|
153
|
+
return redirect("/settings?ok=settings_saved")
|
|
154
|
+
|
|
155
|
+
return await run_in_threadpool(apply)
|
|
156
|
+
|
|
157
|
+
|
|
158
|
+
@router.get("/api/ollama")
|
|
159
|
+
def api_ollama(request: Request) -> dict:
|
|
160
|
+
"""Что видит приложение по действующему адресу Ollama: {url, version, models, default_model,
|
|
161
|
+
default_model_found, error}. Список моделей запрашивается заново (и обновляет кэш страниц)."""
|
|
162
|
+
profile = profile_for(request) # один профиль для моделей и подписи: умолчание могут сменить между вызовами
|
|
163
|
+
return ollama_report(settings_of(request), models_of(request, fresh=True, profile=profile), profile)
|
|
@@ -0,0 +1,151 @@
|
|
|
1
|
+
"""Ошибки находок прогона для страницы `/runs/{id}`: группа причины, короткая фраза для человека и технический текст.
|
|
2
|
+
|
|
3
|
+
Ошибки уже лежат в `run_items.error` (схема базы не меняется): модуль только читает их и раскладывает по группам.
|
|
4
|
+
Полный текст ошибки в основной строке не показывается – он уходит в раскрывающиеся подробности.
|
|
5
|
+
"""
|
|
6
|
+
|
|
7
|
+
from __future__ import annotations
|
|
8
|
+
|
|
9
|
+
from collections.abc import Iterable, Mapping
|
|
10
|
+
from typing import Any
|
|
11
|
+
|
|
12
|
+
# Группы причин: ключ, подпись, подсказка. Порядок – как показываются на странице.
|
|
13
|
+
ERROR_GROUPS = (
|
|
14
|
+
("format", "ответ не по формату",
|
|
15
|
+
"Модель оборвала ответ или не заполнила поля. Ответ не по формату обычно исправляет повторный разбор; "
|
|
16
|
+
"обрыв по длине – больший предел ответа в профиле модели или другая модель: повтор с теми же настройками "
|
|
17
|
+
"чаще всего даёт тот же обрыв."),
|
|
18
|
+
("unavailable", "модель недоступна",
|
|
19
|
+
"Ollama не ответила или нужная модель не загружена. Проверьте Ollama и повторите."),
|
|
20
|
+
("other", "прочие ошибки",
|
|
21
|
+
"Сбой при подготовке или сохранении данных. Технический текст – в подробностях."),
|
|
22
|
+
("unknown", "результат неизвестен",
|
|
23
|
+
"Обращение к провайдеру ушло, ответа нет: запрос мог быть принят и оплачен. Повторно такие находки "
|
|
24
|
+
"автоматически не отправляются ни «Продолжить», ни после перезапуска; «Повторить ошибочные» – новый платный "
|
|
25
|
+
"запрос по вашему решению."),
|
|
26
|
+
)
|
|
27
|
+
GROUP_LABELS = {key: label for key, label, _ in ERROR_GROUPS}
|
|
28
|
+
# Метка в ленте «Последние вердикты»: короче подписи группы.
|
|
29
|
+
SHORT_LABELS = {"unknown": "результат неизвестен", "format": "ошибка формата", "unavailable": "модель недоступна",
|
|
30
|
+
"other": "ошибка разбора"}
|
|
31
|
+
UNKNOWN_MARKERS = ("Результат неизвестен",)
|
|
32
|
+
|
|
33
|
+
# Ответ модели не разобран, оборван или не прошёл проверку формата: один повтор уже был.
|
|
34
|
+
FORMAT_MARKERS = (
|
|
35
|
+
"не по формату", "оборван", "не разобран", "ответ модели не разобран",
|
|
36
|
+
"Некорректная строка JSON", "Поток модели", "Некорректное сообщение потока",
|
|
37
|
+
"Некорректный текст в потоке", "лишние данные", "не является объектом JSON",
|
|
38
|
+
"завершился без подтверждения",
|
|
39
|
+
)
|
|
40
|
+
# Ollama недоступна, связь прервалась или нужной модели нет на сервере.
|
|
41
|
+
UNAVAILABLE_MARKERS = (
|
|
42
|
+
"Ollama не отвечает", "Связь с Ollama", "нет на сервере Ollama", "Модели «", "Модель недоступна",
|
|
43
|
+
"Модель не ответила", "HTTP 500", "HTTP 502", "HTTP 503", "HTTP 504",
|
|
44
|
+
)
|
|
45
|
+
# Технические ошибки подготовки и сохранения – короткая причина для основной строки.
|
|
46
|
+
OTHER_REASONS = (
|
|
47
|
+
("Не удалось собрать контекст", "не удалось собрать срез кода"),
|
|
48
|
+
("Не удалось сохранить срез", "не удалось сохранить срез кода"),
|
|
49
|
+
("Не удалось собрать промпт", "не удалось собрать запрос к модели"),
|
|
50
|
+
("Не удалось сохранить вердикт", "не удалось сохранить ответ модели"),
|
|
51
|
+
("Журнал обмена", "недоступен журнал обмена с моделью"),
|
|
52
|
+
("Промпт", "промпт не поместился в окно модели"),
|
|
53
|
+
)
|
|
54
|
+
|
|
55
|
+
|
|
56
|
+
def error_group(text: str) -> str:
|
|
57
|
+
"""Группа причины по техническому тексту ошибки run_items.error."""
|
|
58
|
+
text = str(text or "")
|
|
59
|
+
if any(marker in text for marker in UNKNOWN_MARKERS):
|
|
60
|
+
return "unknown"
|
|
61
|
+
if any(marker in text for marker in FORMAT_MARKERS):
|
|
62
|
+
return "format"
|
|
63
|
+
if any(marker in text for marker in UNAVAILABLE_MARKERS):
|
|
64
|
+
return "unavailable"
|
|
65
|
+
return "other"
|
|
66
|
+
|
|
67
|
+
|
|
68
|
+
def error_label(text: str) -> str:
|
|
69
|
+
"""Короткая метка ошибки для ленты вердиктов."""
|
|
70
|
+
return SHORT_LABELS[error_group(text)]
|
|
71
|
+
|
|
72
|
+
|
|
73
|
+
def error_reason(text: str) -> str:
|
|
74
|
+
"""Короткая причина человеческими словами – для строки списка ошибок."""
|
|
75
|
+
text = str(text or "")
|
|
76
|
+
group = error_group(text)
|
|
77
|
+
if group == "unknown":
|
|
78
|
+
return "обращение ушло, ответ не получен – запрос мог быть оплачен"
|
|
79
|
+
if group == "format":
|
|
80
|
+
if "не дошла до ответа" in text:
|
|
81
|
+
return "модель не закончила рассуждение – предел длины"
|
|
82
|
+
if "оборван" in text:
|
|
83
|
+
return "модель оборвала ответ по длине"
|
|
84
|
+
if "не разобран" in text:
|
|
85
|
+
return "ответ модели не разобран"
|
|
86
|
+
if "не по формату" in text:
|
|
87
|
+
return "ответ не по формату после повтора"
|
|
88
|
+
return "сбой чтения ответа модели"
|
|
89
|
+
if group == "unavailable":
|
|
90
|
+
if "нет на сервере" in text:
|
|
91
|
+
return "модели нет в Ollama"
|
|
92
|
+
if "Связь с" in text:
|
|
93
|
+
return "связь с Ollama прервалась"
|
|
94
|
+
return "модель недоступна"
|
|
95
|
+
for marker, reason in OTHER_REASONS:
|
|
96
|
+
if marker in text:
|
|
97
|
+
return reason
|
|
98
|
+
return "сбой разбора"
|
|
99
|
+
|
|
100
|
+
|
|
101
|
+
def group_run_errors(items: Iterable[Mapping[str, Any]], project_id: int) -> dict[str, Any]:
|
|
102
|
+
"""Ошибки прогона -> блок для страницы: {total, retryable, groups}.
|
|
103
|
+
|
|
104
|
+
groups – все три группы по порядку; у каждой count и rows. В строке: hub_id, url карточки, правило,
|
|
105
|
+
короткая причина, полный технический текст и признак retryable (находка SAST есть в текущей выгрузке).
|
|
106
|
+
"""
|
|
107
|
+
groups = [{"key": key, "label": label, "hint": hint, "count": 0, "rows": []}
|
|
108
|
+
for key, label, hint in ERROR_GROUPS]
|
|
109
|
+
by_key = {group["key"]: group for group in groups}
|
|
110
|
+
total = retryable = unknown = resolved = 0
|
|
111
|
+
for row in items:
|
|
112
|
+
total += 1
|
|
113
|
+
text = str(row.get("error") or "")
|
|
114
|
+
group = by_key[error_group(text)]
|
|
115
|
+
finding_id = row.get("finding_id")
|
|
116
|
+
can_retry = bool(row.get("retryable"))
|
|
117
|
+
later = row.get("resolved_run")
|
|
118
|
+
# «результат неизвестен» (К11): запрос мог быть оплачен – в повтор только по отдельной отметке оператора
|
|
119
|
+
if can_retry and group["key"] == "unknown":
|
|
120
|
+
unknown += 1
|
|
121
|
+
elif can_retry:
|
|
122
|
+
retryable += 1
|
|
123
|
+
elif later: # уже разобрана более поздним прогоном – в повтор не идёт
|
|
124
|
+
resolved += 1
|
|
125
|
+
reason = error_reason(text)
|
|
126
|
+
group["rows"].append({
|
|
127
|
+
"hub_id": str(row.get("hub_id") or ""),
|
|
128
|
+
"url": f"/projects/{project_id}/findings/{finding_id}" if finding_id else "",
|
|
129
|
+
"rule": str(row.get("rule") or ""),
|
|
130
|
+
"reason": f"{reason}; уже разобрана в прогоне №{later}" if later else reason,
|
|
131
|
+
"detail": text or "Технический текст ошибки не сохранён.",
|
|
132
|
+
"retryable": can_retry, "resolved_run": later,
|
|
133
|
+
})
|
|
134
|
+
group["count"] += 1
|
|
135
|
+
result = {"total": total, "retryable": retryable, "unknown": unknown, "resolved": resolved, "groups": groups}
|
|
136
|
+
result["note"] = retry_note(result)
|
|
137
|
+
return result
|
|
138
|
+
|
|
139
|
+
|
|
140
|
+
def retry_note(errors: Mapping[str, Any]) -> str:
|
|
141
|
+
"""Пояснение под кнопкой «Повторить ошибочные»: какие ошибки в повтор не идут и почему."""
|
|
142
|
+
resolved = int(errors.get("resolved") or 0)
|
|
143
|
+
absent = int(errors.get("total") or 0) - int(errors.get("retryable") or 0) - int(errors.get("unknown") or 0) \
|
|
144
|
+
- resolved
|
|
145
|
+
parts = []
|
|
146
|
+
if resolved:
|
|
147
|
+
parts.append(f"{resolved} уже разобраны более поздним прогоном – повторный прогон их не берёт.")
|
|
148
|
+
if absent > 0:
|
|
149
|
+
parts.append(f"Ещё {absent} ошибок у находок, которых нет в текущей выгрузке или это не SAST: повторный "
|
|
150
|
+
"прогон их не берёт.")
|
|
151
|
+
return " ".join(parts)
|