local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
@@ -0,0 +1,1499 @@
1
+ """Раздел «Компоненты»: исследование пакетов внешним агентом и решение человека.
2
+
3
+ Маршруты этого раздела не трогают прежний разбор SAST и прежние ответы агента по пакетам (сценарии 1 и 2):
4
+ они читают и пишут только свои таблицы (sca2_*). Факты ответа агента и решение человека хранятся раздельно:
5
+ решение не переписывает факты, а помечается устаревшим, если после него пришла новая ревизия исследования.
6
+
7
+ Шаблоны страниц (app/templates/components/) делает фронтенд; здесь собирается контекст, описанный в
8
+ docs с интерфейсом (backend-interface.md). Тяжёлые операции – разбор ответа и сборка архива – выполняются
9
+ в пуле потоков, чтобы не держать замок единственного соединения с базой.
10
+ """
11
+
12
+ from __future__ import annotations
13
+
14
+ import logging
15
+ import hmac
16
+ import json
17
+ import secrets
18
+ import re
19
+ from collections.abc import Iterable, Mapping
20
+ from datetime import date, datetime
21
+ from typing import Any
22
+ from urllib.parse import parse_qsl, quote, urlencode, urlsplit
23
+
24
+ from fastapi import APIRouter, HTTPException, Request
25
+ from fastapi.responses import HTMLResponse, JSONResponse, Response
26
+ from starlette.concurrency import run_in_threadpool
27
+
28
+ from app import sca_research as research, worklists
29
+ from app import osv
30
+ from app.config import Settings
31
+ from app.db import SAVED_FILTERS_MAX, Database, DecisionStale, SelectionChanged, TaskSuperseded
32
+ from app.routes.common import db_of, project_or_404, query, redirect, render, settings_of
33
+ from app.llm_net import external_enabled
34
+ from app.sca_contract import ANSWER_CONTRACT, VALIDATOR_VERSION, canonical, schema
35
+
36
+ log = logging.getLogger("local_triage.web")
37
+
38
+ router = APIRouter()
39
+
40
+ INPUT_REF = re.compile(r"^[a-z][a-z0-9]*:[0-9a-f]{16}$")
41
+ PAGE_SIZE = research.PAGE_SIZE
42
+
43
+ #: сообщения после действия: код в адресе – текст на странице
44
+ NOTICES = {
45
+ "task": "Задание собрано: строк {n}.",
46
+ "task_same": "Состав не изменился: задание прежнее, строк {n}.",
47
+ "answers": "Ответ сохранён: строк {n} с новой ревизией.",
48
+ "answers_same": "Ответ не изменился: новых ревизий нет, строк {n}.",
49
+ "decision": "Решение сохранено.",
50
+ "applied": "Решение записано находкам этой версии: {n}. Вывод «обновить», обоснование и отметка «Проверено» стоят у каждой.",
51
+ "research_provider_saved": "Профиль исследования сохранён.",
52
+ "research_stopping": "Получение останавливается: текущее обращение завершится, новые не начнутся.",
53
+ "research_resumed": "Получение продолжено по тому же согласию.",
54
+ "research_requeued": "Новое получение по оставшимся строкам: {n}.",
55
+ "filter_saved": "Отбор сохранён.",
56
+ "filter_updated": "Отбор с этим именем обновлён: условия заменены.",
57
+ "filter_deleted": "Сохранённый отбор удалён.",
58
+ }
59
+ PROBLEMS = {
60
+ "task_empty": "В выгрузке нет находок SCA Security: собирать задание не из чего.",
61
+ "task_gone": "Задание устарело: состав проекта изменился, соберите задание заново.",
62
+ "research_profile": "Исследование провайдером недоступно: выберите для проекта или приложения включённый профиль "
63
+ "«API чат-завершений» или «Anthropic Messages API» с назначением «исследование» – на странице "
64
+ "«Провайдеры моделей».",
65
+ "research_profile_unfit": "Профиль исследования: выберите включённый профиль «API чат-завершений» или «Anthropic "
66
+ "Messages API».",
67
+ "research_running": "По проекту уже идёт получение: дождитесь его конца или остановите.",
68
+ "research_selection": "Выбор строк не распознан.",
69
+ "apply_no_decision": "Решение находкам не записано: по компоненту нет действующего решения.",
70
+ "apply_action": "Решение находкам не записано: находкам записывается только решение «обновить».",
71
+ "apply_no_findings": "Решение находкам не записано: в текущей выгрузке находок этой версии нет.",
72
+ "apply_changed": "Решение находкам не записано: пока страница была открыта, решение компонента, находки этой версии, ответ агента или исследование изменились. Страница обновлена – проверьте и нажмите ещё раз.",
73
+ "apply_failed": "Решение находкам не записано: база была занята или недоступна. Решение компонента сохранено. Обновите страницу и нажмите «Применить решение к находкам этой версии».",
74
+ "apply_internal": "Решение находкам не записано: внутренняя ошибка приложения, подробности в его журнале. Решение компонента сохранено. Откройте находку из списка «Где используется» и сохраните решение в её карточке.",
75
+ "apply_unknown": "Исход записи решения находкам неизвестен: связь с базой оборвалась в момент записи. Решение компонента сохранено. Откройте находки из списка «Где используется» и проверьте, стоит ли у них решение; если нет – примените ещё раз.",
76
+ "apply_rejected": "Решение находкам не записано: приложение отклонило запись для этой версии. Откройте находку из списка «Где используется» и сохраните решение в её карточке – там будет названа причина.",
77
+ "research_empty": "Для выбранного отбора строк нет.",
78
+ "research_confirm": "Подтвердите предпросмотр: без отметки согласия исследование не запускается.",
79
+ "research_changed": "Состав, профиль или инструкции изменились после предпросмотра: откройте предпросмотр заново.",
80
+ "research_resume": "Продолжить не удалось.",
81
+ "research_nothing": "Строк для доисследования нет: не получившихся строк нет, строки с неизвестным результатом "
82
+ "берутся только по отметке, а строки, исследованные более поздним получением, не предлагаются.",
83
+ "answers_no_task": "Сначала соберите задание: без него ответ некуда положить.",
84
+ "decision_stale": "Страница устарела: решение не сохранено, проверьте данные и подтвердите снова.",
85
+ "decision_unbound": "Страница не показывает, какое исследование человек видел",
86
+ }
87
+
88
+
89
+ def _wants_json(request: Request) -> bool:
90
+ return "application/json" in request.headers.get("accept", "")
91
+
92
+
93
+ def _notice(request: Request) -> tuple[str, str]:
94
+ """Сообщение и ошибка из адреса страницы: коды известны, лишние игнорируются."""
95
+ codes = {item for item in (request.query_params.get("ok", ""), request.query_params.get("err", "")) if item}
96
+ count = request.query_params.get("n", "")
97
+ number = int(count) if count.isdigit() else 0
98
+ ok = NOTICES.get(request.query_params.get("ok", ""), "")
99
+ error = PROBLEMS.get(request.query_params.get("err", ""), "")
100
+ return (ok.format(n=number) if ok and number else ok), (error if codes else "")
101
+
102
+
103
+ def _integer(value: Any, fallback: int = 0) -> int:
104
+ try:
105
+ return int(str(value).strip())
106
+ except (TypeError, ValueError):
107
+ return fallback
108
+
109
+
110
+ def _task_id_ok(task_id: str) -> bool:
111
+ return bool(task_id) and "/" not in task_id and len(task_id) <= 64
112
+
113
+
114
+ # ------------------------------------------------------------------ сборка строк
115
+
116
+ def _live_rows(db: Database, project_id: int, prefixes: Iterable[str] = ()) -> list[dict]:
117
+ """Текущий состав выгрузки – те же строки, что собирает кнопка задания, но без сохранения задания.
118
+
119
+ Раздел показывает пакеты проекта и до того, как задание собрано: пустой список в этом случае врал."""
120
+ rows, _ = research.task_rows(db.sca_components(project_id), prefixes, db.sca_confirmed(project_id))
121
+ return rows
122
+
123
+
124
+ def _live_row(db: Database, project_id: int, input_ref: str, prefixes: Iterable[str] = ()) -> dict | None:
125
+ """Строка текущего состава по её input_ref или None – такого пакета в выгрузке нет."""
126
+ return next((item for item in _live_rows(db, project_id, prefixes) if item["input_ref"] == input_ref), None)
127
+
128
+
129
+ def _sources(db: Database, project_id: int, prefixes: Iterable[str] = ()) -> tuple[list[dict], dict | None]:
130
+ """Строки раздела: текущий состав выгрузки плюс строки прежних заданий.
131
+
132
+ Строка, ушедшая из состава, не исчезает: её факты и решение человека остаются видимыми с пометкой
133
+ export_missing и task_stale. Это и есть история: решение не должно пропадать вместе с пакетом из выгрузки.
134
+ Состав при этом не сохраняется – задание по-прежнему собирает человек, а страница только показывает."""
135
+ task = db.current_task(project_id)
136
+ live = {item["input_ref"]: item for item in _live_rows(db, project_id, prefixes)}
137
+ saved = {row["input_ref"] for row in db.task_rows(task["id"])} if task is not None else set()
138
+ rows: dict[str, dict] = {}
139
+ for ref, item in live.items():
140
+ rows[ref] = {**item, "task_id": task["task_id"] if ref in saved else "", "task_state": "current",
141
+ "live": True, "in_task": ref in saved, "export_missing": False}
142
+ for older in db.tasks(project_id): # новые задания первыми: по строке видна та, что её сняла последней
143
+ for row in db.task_rows(older["id"]):
144
+ rows.setdefault(row["input_ref"], {**row, "task_id": older["task_id"], "task_state": "superseded",
145
+ "live": False, "in_task": False, "export_missing": True})
146
+ # История решений не ограничена двадцатью заданиями шапки страницы.
147
+ historical = set(db.decisions(project_id)) | set(db.research(project_id))
148
+ # прежние группы, чьи исследования и решения сняты переходом идентичности пакетов, – строкой истории с пометкой
149
+ # «архив» (план dev17, п. 4.6); перенесённая и не живая группа строкой не показывается: её адрес ведёт на новую
150
+ # карточку, и очередь «Сохранить и дальше» не возвращается через неё (ревью Codex, круг 2)
151
+ marks = db.latest_group_marks(project_id)
152
+ archived = db.archived_refs(project_id, marks)
153
+ moved_away = {ref for ref, m in marks.items() if m["to_ref"]} - live.keys()
154
+ for ref in moved_away:
155
+ rows.pop(ref, None)
156
+ for ref in archived & rows.keys():
157
+ rows[ref]["archived"] = not rows[ref]["live"]
158
+ missing = (historical | archived) - rows.keys() - moved_away
159
+ saved_rows = db.historical_task_rows(project_id, missing)
160
+ for ref in sorted(missing):
161
+ source = saved_rows.get(ref)
162
+ if source:
163
+ rows[ref] = {**source, 'task_state':'superseded', 'live':False,
164
+ 'in_task':False, 'export_missing':True, 'archived': ref in archived}
165
+ elif ref in archived:
166
+ # решение без задания: состава строки нет – прежняя тройка по отметке группы (ревью Codex, круг 2)
167
+ eco, name, version = (list((marks.get(ref) or {}).get("triple") or []) + ["", "", ""])[:3]
168
+ rows[ref] = {"input_ref": ref, "ecosystem": eco, "name": name, "version": version,
169
+ "identity_kind": "short_name", "input_sig": "", "hub_fix_candidate": "",
170
+ "finding_count": 0, "codebase_count": 0, "position": 0, "vulnerability_ids": "[]",
171
+ "task_id": "", "task_state": "superseded", "live": False, "in_task": False,
172
+ "export_missing": True, "archived": True}
173
+ order = {ref: index for index, ref in enumerate(live)}
174
+ sources = sorted(rows.values(), key=lambda item: (not item["live"], order.get(item["input_ref"], len(order)),
175
+ item["name"].casefold()))
176
+ return sources, task
177
+
178
+
179
+ def defects_by_component(db: Database, project_id: int) -> dict[str, list[dict]]:
180
+ """Дефекты приложения по компонентам (в каких дефектах компоненты уже участвуют): строки
181
+ `hub_defects` вида SCA, кроме отменённых и не принятых Hub, – по input_ref пакета, в который входят находки их
182
+ состава (пакет – как у task_rows: экосистема, имя, версия из текущей выгрузки, включая отсутствующие находки).
183
+ У семьи записи – состав всех её строк, подпись – по владельцу. {input_ref: [{id, number, hub_defect_id, state,
184
+ label, done, card_url}]}, дефекты – по возрастанию номера строки."""
185
+ from app import defect_links, sca
186
+ from app.sca_contract import input_ref
187
+ by = defect_links.by_hub_id(db, project_id, kind="SCA")
188
+ out: dict[str, list[dict]] = {}
189
+ for comp in db.sca_components(project_id, include_missing=True):
190
+ ref = input_ref(*sca.package_key(comp)) # тот же ключ, что у строк задания (очистка имени, ревью dev17)
191
+ found = defect_links.merge(by.get(str(h), []) for h in comp.get("hub_ids") or [])
192
+ if found:
193
+ out[ref] = defect_links.merge([out.get(ref, []), found])
194
+ return out
195
+
196
+
197
+ def views(db: Database, project_id: int, prefixes: Iterable[str] = ()) -> tuple[list[dict], dict | None]:
198
+ """Строки раздела вместе с принятыми фактами, решениями человека и дефектами (defects_by_component)."""
199
+ from app import defect_links
200
+ sources, task = _sources(db, project_id, prefixes)
201
+ research_rows = db.research(project_id)
202
+ decisions = db.decisions(project_id)
203
+ defects = defects_by_component(db, project_id)
204
+ # признаки происхождения строки (live, in_task, export_missing) добавляются поверх представления сценария:
205
+ # он отвечает за факты и решение, а откуда строка – свойство раздела
206
+ return [{**research.row_view(source, research_rows.get(source["input_ref"]),
207
+ decisions.get(source["input_ref"]), source["task_state"]),
208
+ "live": source["live"], "in_task": source["in_task"], "export_missing": source["export_missing"],
209
+ "archived": bool(source.get("archived")),
210
+ "defects": defects.get(source["input_ref"], []),
211
+ "in_defect": defect_links.in_defect(defects.get(source["input_ref"], []))}
212
+ for source in sources], task
213
+
214
+
215
+ def task_view(db: Database, project_id: int, task: dict | None) -> dict | None:
216
+ """Действующее задание для шапки страницы: строки, исследовано, решений, номер ревизии."""
217
+ if task is None:
218
+ return None
219
+ research_rows = db.research(project_id)
220
+ decisions = db.decisions(project_id)
221
+ refs = {row['input_ref'] for row in db.task_rows(task['id'])}
222
+ revisions = [int(item["revision"]) for ref,item in research_rows.items() if ref in refs]
223
+ return {**task, "researched": len(refs & research_rows.keys()), "decided": len(refs & decisions.keys()),
224
+ "revisions": max(revisions) if revisions else 0}
225
+
226
+
227
+ def task_history(db: Database, project_id: int) -> list[dict]:
228
+ """Прежние задания: подпись, число строк, состояние и время, когда они перестали быть актуальными."""
229
+ return [{key: task.get(key, "") for key in ("id", "task_id", "state", "row_count", "created_at",
230
+ "superseded_at", "imported_at", "manifest_sha256")}
231
+ for task in db.tasks(project_id)]
232
+
233
+
234
+ def _filters(request: Request) -> dict[str, str]:
235
+ """Значения фильтров из адреса. Неизвестное значение отбрасывается, а не отбирает молча."""
236
+ def pick(name: str, allowed: tuple[str, ...] = ()) -> str:
237
+ value = request.query_params.get(name, "")
238
+ return value if value in allowed else ""
239
+
240
+ def bound(name: str) -> str:
241
+ value = request.query_params.get(name, "")
242
+ return value if research._bound(value) is not None else ""
243
+
244
+ return {"status": pick("status", research.STATUS_FILTERS), "decision": pick("decision", ("set", "unset")),
245
+ "stale": pick("stale", ("1",)), "ecosystem": request.query_params.get("ecosystem", "")[:64],
246
+ "q": request.query_params.get("q", "")[:120],
247
+ # ADR-0096: CVSS по версии шкалы и границам, вид строки без балла, поддержка, совет, действие, свежесть
248
+ "cvss_ver": pick("cvss_ver", research.CVSS_VERSIONS), "cvss_op": pick("cvss_op", ("ge", "gt")),
249
+ "cvss_from": bound("cvss_from"), "cvss_to": bound("cvss_to"),
250
+ "score": pick("score", tuple(research.SCORE_KINDS)), "support": pick("support", research.SUPPORT_FILTERS),
251
+ "advice": pick("advice", research.contract.ADVICE_ACTIONS), "action": pick("action", research.ACTION_FILTERS),
252
+ "review_due": pick("review_due", ("1",)), "age": pick("age", research.AGE_FILTERS),
253
+ "gaps": pick("gaps", ("1",)), "defect": pick("defect", research.DEFECT_FILTERS),
254
+ **worklists.options(request.query_params, ("name_asc", "name_desc", "applicable_desc", "support_asc", "decision_asc"))}
255
+
256
+
257
+ # ------------------------------------------------------------------ сохранённые отборы (В14, ADR-0110)
258
+
259
+ SAVED_NAME_CHARS = 60
260
+ # предметные условия списка (что отбирает) и параметры представления (как показать); номер страницы не сохраняется
261
+ SAVED_SUBJECT = ("status", "decision", "stale", "ecosystem", "q", "cvss_ver", "cvss_op", "cvss_from", "cvss_to",
262
+ "score", "support", "advice", "action", "review_due", "age", "gaps", "defect", "family")
263
+ SAVED_VIEW = ("sort", "group_by", "page_size")
264
+ _CVSS_ACTIVE = ("cvss_ver", "cvss_from", "cvss_to", "score") # cvss_op сам по себе ничего не отбирает
265
+
266
+
267
+ def _query_request(text: str) -> Request:
268
+ """Запрос только со строкой параметров – для _filters вне текущего адреса (сохранённый или присланный отбор)."""
269
+ return Request({"type": "http", "query_string": str(text or "").encode("utf-8")})
270
+
271
+
272
+ def _query_text(request: Request) -> str:
273
+ """Строка параметров показанного списка – из тех же query_params, что читает _filters."""
274
+ params = getattr(request, "query_params", None) or {}
275
+ items = params.multi_items() if hasattr(params, "multi_items") else list(params.items())
276
+ return urlencode(items)
277
+
278
+
279
+ def saved_query(text: str) -> tuple[str, bool]:
280
+ """Каноническая строка отбора для сохранения и признак «есть хоть одно действующее условие»: условия – через
281
+ _filters (неизвестное и неверное отброшено), поиск и экосистема без внешних пробелов, границы CVSS – числом в
282
+ одном виде, cvss_op – только с действующим условием CVSS; family, sort, group_by и действующий размер страницы
283
+ (по правилу worklists.table, без значения по умолчанию); без номера страницы, back и уведомлений; ключи по
284
+ порядку. Условие без совпадений – тоже условие."""
285
+ filters = _filters(_query_request(text))
286
+ pairs: list[tuple[str, str]] = []
287
+ for key in SAVED_SUBJECT:
288
+ value = str(filters.get(key) or "").strip()
289
+ if key in ("cvss_from", "cvss_to") and value:
290
+ value = f"{research._bound(value):g}"
291
+ if key == "cvss_op" and not any(str(filters.get(k) or "").strip() for k in _CVSS_ACTIVE):
292
+ value = ""
293
+ if value:
294
+ pairs.append((key, value))
295
+ active = bool(pairs)
296
+ size = worklists.integer(filters.get("page_size"), PAGE_SIZE)
297
+ if size in worklists.SIZES and size != PAGE_SIZE:
298
+ pairs.append(("page_size", str(size)))
299
+ pairs += [(key, str(filters[key])) for key in ("sort", "group_by") if filters.get(key)]
300
+ return urlencode(sorted(pairs)), active
301
+
302
+
303
+ def _with_page(text: str, page: object) -> str:
304
+ """Строка показанного списка с его номером страницы: отказ формы, сохранение и удаление отбора возвращают на ту
305
+ же страницу (сохраняемые условия номера страницы не содержат)."""
306
+ number = max(1, worklists.integer(page, 1))
307
+ return "&".join(x for x in (text, f"page={number}" if number > 1 else "") if x)
308
+
309
+
310
+ def _with_page(text: str, page: object) -> str:
311
+ """Строка показанного списка с его номером страницы: отказ формы, сохранение и удаление отбора возвращают на ту
312
+ же страницу (сохраняемые условия номера страницы не содержат)."""
313
+ number = max(1, worklists.integer(page, 1))
314
+ return "&".join(x for x in (text, f"page={number}" if number > 1 else "") if x)
315
+
316
+
317
+ def lost_conditions(stored: str) -> list[str]:
318
+ """Условия сохранённого отбора, которые сейчас не действуют: сохранённые пары, которых нет в канонизации той же
319
+ строки сейчас (параметр убран или значение больше не принимается). Смену смысла прежнего ключа с прежним
320
+ значением так не увидеть."""
321
+ current = dict(parse_qsl(saved_query(stored)[0], keep_blank_values=True))
322
+ return [f"{key}={value}" for key, value in parse_qsl(stored, keep_blank_values=True)
323
+ if current.get(key) != value]
324
+
325
+
326
+ def saved_filters_view(db: Database, project_id: int) -> list[dict]:
327
+ rows = []
328
+ for item in db.saved_component_filters(project_id):
329
+ lost = lost_conditions(item["query"])
330
+ rows.append({**item, "url": f"/projects/{project_id}/components" + (f"?{item['query']}" if item["query"] else ""),
331
+ "lost": lost, "all_lost": bool(lost) and not saved_query(item["query"])[1]})
332
+ return rows
333
+
334
+
335
+ def selected_rows(rows, filters):
336
+ """Общий порядок списка и перехода после решения; страницы не меняют очередь."""
337
+ filtered = research.sort_rows(research.filter_rows(rows, filters))
338
+ sort = filters["sort"]
339
+ if sort:
340
+ key = {"name_asc": lambda r: (r["name"].casefold(), r["ecosystem"]),
341
+ "name_desc": lambda r: (r["name"].casefold(), r["ecosystem"]),
342
+ "applicable_desc": lambda r: r["applicable"],
343
+ "support_asc": lambda r: ({"eol": 0, "unsupported": 0, "unknown": 1, "supported": 2}.get(r["support_state"], 1), r["name"]),
344
+ "decision_asc": lambda r: (r["decided"], r["name"])}[sort]
345
+ filtered = sorted(filtered, key=key, reverse=sort.endswith("desc"))
346
+ return filtered
347
+
348
+
349
+ def next_component_url(request, project_id, input_ref, rows):
350
+ back = worklists.return_url(request, f"/projects/{project_id}/components")
351
+ selection = Request({"type": "http", "query_string": urlsplit(back).query.encode("utf-8")})
352
+ filters = _filters(selection)
353
+ selected = selected_rows(rows, filters)
354
+ if filters.get("family"):
355
+ selected = [r for r in selected if worklists.family(r, "components")[0] == filters["family"]]
356
+ index = next((i for i, r in enumerate(selected) if r["input_ref"] == input_ref), -1)
357
+ if index >= 0 and index + 1 < len(selected):
358
+ return f"/projects/{project_id}/components/{quote(selected[index + 1]['input_ref'])}?" + urlencode({"back": back})
359
+ return back
360
+
361
+
362
+ def list_context(request: Request, project: dict, *, error_report: dict | None = None,
363
+ error: str = "", shown_query: str | None = None, saved_name: str = "") -> dict:
364
+ """Контекст страницы списка (docs: backend-interface.md, п. 3). shown_query – условия списка не из адреса, а из
365
+ формы (отказ сохранения отбора показывает тот же список); saved_name – введённое имя отбора."""
366
+ db = db_of(request)
367
+ pid = project["id"]
368
+ rows, task = views(db, pid, settings_of(request).sca_internal_prefixes)
369
+ filters = _filters(_query_request(shown_query) if shown_query is not None else request)
370
+ filtered = selected_rows(rows, filters)
371
+ w = worklists.table(filtered, filters, path=f"/projects/{pid}/components", kind="components", default_size=PAGE_SIZE,
372
+ sorts={"": "По приоритету", "name_asc": "Имя ↑", "name_desc": "Имя ↓",
373
+ "applicable_desc": "Уязвимости ↓", "support_asc": "Поддержка", "decision_asc": "Сначала без решения"})
374
+ page, pages, total, shown = w["page"], w["pages"], w["total"], w["rows"]
375
+ # балл CVSS строки по выбранной версии шкалы (ADR-0096 пп. 3–6) – для столбца «Публичные уязвимости»
376
+ shown = [{**r, "score_view": research.row_score(r, filters["cvss_ver"])} for r in shown]
377
+ ok_message, notice_error = _notice(request)
378
+ base = w["params"]
379
+ from app.package_transition import pending_count
380
+ return {"project": project, "imp": db.latest_import(pid), "counts": db.count_findings(pid),
381
+ "identity_pending": pending_count(db, project, settings_of(request).hub_url),
382
+ "identity_known": bool(project.get("identity_rev")) or db.identity_known(pid) > 0,
383
+ "stats": db.review_stats(pid), "task": task_view(db, pid, task),
384
+ "task_history": task_history(db, pid), "filters": filters, "worklist": w,
385
+ "filters_url": query(base), "prev_url": f"?{query(base, page=page - 1)}" if page > 1 else "",
386
+ "next_url": f"?{query(base, page=page + 1)}" if page < pages else "",
387
+ "page": page, "pages": pages, "total": total, "shown": len(shown), "rows": shown,
388
+ "ecosystems": sorted({item["ecosystem"] for item in rows if item["ecosystem"]}),
389
+ "summary": research.summaries(rows), "labels": research.LABELS, "error_report": error_report,
390
+ "score_kinds": research.SCORE_KINDS, "cvss_versions": research.CVSS_VERSIONS,
391
+ "support_filters": research.SUPPORT_FILTERS, "advice_filters": research.contract.ADVICE_ACTIONS,
392
+ "action_filters": research.ACTION_FILTERS, "score_spec": research.score_filter(filters),
393
+ "ok_message": ok_message, "error": error or notice_error,
394
+ "net": research_view(request, project, task, rows),
395
+ # В14: сохранённые отборы и показанный отбор в каноническом виде (его и сохраняет форма)
396
+ "saved_filters": saved_filters_view(db, pid), "saved_name": saved_name,
397
+ "saved_current": saved_query(shown_query if shown_query is not None else _query_text(request)),
398
+ "saved_max": SAVED_FILTERS_MAX}
399
+
400
+
401
+ def _revision_source(db: Database, project_id: int, input_ref: str) -> dict:
402
+ """Источник текущей ревизии: провайдер из профиля (снимок исполнителя – имя, где, модель, поиск использован /
403
+ без поиска по источникам) или файловый ответ агента."""
404
+ from app.executors import executor_info
405
+ row = db.research_row(project_id, input_ref)
406
+ if not row or not row.get("execution_id"):
407
+ return {"kind": "file", "label": "ответ внешнего агента (файл)"}
408
+ execution = db.get_execution(row["execution_id"])
409
+ info = executor_info(db, execution)
410
+ available = False
411
+ try:
412
+ available = bool((json.loads(str((execution or {}).get("options_json") or "{}")).get("chat") or {}).get("search"))
413
+ except ValueError:
414
+ pass
415
+ # фактические вызовы инструментов строки получения, давшей ревизию, – не настройка профиля (ревью B4)
416
+ tools = db.research_revision_tools(project_id, input_ref, int(row.get("revision") or 0)) or []
417
+ searches = sum(1 for t in tools if t.get("tool") == "search" and t.get("status") == "ok")
418
+ pages = sum(1 for t in tools if t.get("tool") == "fetch" and t.get("status") == "ok")
419
+ failed = sum(1 for t in tools if t.get("tool") in ("search", "fetch") and t.get("status") not in ("ok", "empty"))
420
+ if searches or pages:
421
+ search = f"поиск по источникам: запросов {searches}, страниц {pages}" + (f", сбоев {failed}" if failed else "")
422
+ elif failed:
423
+ search = f"без результатов поиска: вызовов со сбоем {failed} – модель отвечала по своим знаниям"
424
+ elif available:
425
+ search = "без поиска по источникам: поиск был доступен, модель им не воспользовалась"
426
+ else:
427
+ search = "без поиска по источникам: поиск в профиле не настроен"
428
+ return {"kind": "provider", "label": f"провайдер «{info['name']}»" + (f" ({info['where']})" if info["where"] else ""),
429
+ "model": str((execution or {}).get("model") or ""), "date": str(row.get("imported_at") or "")[:10],
430
+ "search": search}
431
+
432
+
433
+ ARCHIVE_WHAT = {"sca2_research": "исследование", "sca2_decisions": "решение человека"}
434
+
435
+
436
+ def _ref_label(db: Database, project_id: int, ref: str, triples: Mapping[str, list]) -> str:
437
+ """Прежняя тройка группы для подписи архива: по отметке группы, иначе по последнему составу строки."""
438
+ triple = triples.get(ref)
439
+ if not triple:
440
+ source = db.historical_task_row(project_id, ref) or {}
441
+ triple = [source.get("ecosystem", ""), source.get("name", ""), source.get("version", "")]
442
+ eco, name, version = (list(triple) + ["", "", ""])[:3]
443
+ return f"{eco} {name}@{version}".strip() if name else ref
444
+
445
+
446
+ def archive_view(db: Database, project_id: int, input_ref: str) -> list[dict]:
447
+ """Архив перехода идентичности для карточки (план dev17, п. 4.6): снятые исследования и решения самой группы
448
+ и групп, перенесённых в неё, – с прежней тройкой, датой и причиной. В главный ответ и действующее решение не
449
+ входят: их читают только живые таблицы."""
450
+ marks = db.latest_group_marks(project_id)
451
+ # архив своей группы и всей цепочки групп, перенесённых в неё (ревью Codex, круг 2)
452
+ refs = [input_ref, *db.moved_from(project_id, input_ref, marks)]
453
+ triples = {ref: m["triple"] for ref, m in marks.items()}
454
+ out = []
455
+ for a in db.identity_archive(project_id, refs):
456
+ row = a["row"]
457
+ fields: list[str] = []
458
+ if a["table"] == "sca2_decisions":
459
+ view = research.decision_view(row) or {}
460
+ text = " – ".join(x for x in (str(view.get("action_label") or ""), str(row.get("rationale") or "")) if x)
461
+ # поля решения – как в обычной истории (decision_details; ревью Codex, круг 2)
462
+ if view.get("target_version"):
463
+ fields.append(f"целевая версия: {view['target_version']}")
464
+ if view.get("replacement_name"):
465
+ fields.append("замена: " + str(view["replacement_name"]) + (f"@{view['replacement_version']}"
466
+ if view.get("replacement_version") else ""))
467
+ if row.get("review_at"):
468
+ fields.append(f"пересмотр: {row['review_at']}")
469
+ if row.get("decided_at"):
470
+ fields.append(f"принято: {str(row['decided_at'])[:10]}")
471
+ else:
472
+ parts = [f"ревизия {row.get('revision', '')}", str(row.get("status") or ""),
473
+ f"загружено {str(row.get('imported_at') or '')[:10]}" if row.get("imported_at") else ""]
474
+ text = " · ".join(x for x in parts if x)
475
+ out.append({"what": ARCHIVE_WHAT.get(a["table"], a["table"]), "old_ref": a["input_ref"],
476
+ "old_label": _ref_label(db, project_id, a["input_ref"], triples),
477
+ "archived_at": a["archived_at"], "reason": a["reason"], "text": text, "fields": fields})
478
+ return out
479
+
480
+
481
+ def detail_context(request: Request, project: dict, input_ref: str, *, form: dict | None = None,
482
+ error: str = "") -> dict:
483
+ """Контекст карточки строки (backend-interface.md, п. 4). Отдельный словарь: его можно проверить и
484
+ отдать шаблону, не поднимая HTTP."""
485
+ db = db_of(request)
486
+ pid = project["id"]
487
+ rows, task = views(db, pid, settings_of(request).sca_internal_prefixes)
488
+ row = next((item for item in rows if item["input_ref"] == input_ref), None)
489
+ if row is None:
490
+ raise HTTPException(status_code=404, detail="Строка не найдена.")
491
+ history = db.decision_history(pid, input_ref)
492
+ from app.routes.capec import component_context
493
+ capec_context = component_context(request,pid,row)
494
+ decision = history[0] if history else None
495
+ ok_message, notice_error = _notice(request)
496
+ if form is None:
497
+ form = research.decision_form(research.decision_view(decision) or {}, int(decision["revision"]) if decision else 0,
498
+ input_sig=row["input_sig"], research_sig=row["answer_sig"],
499
+ research_revision=row["revision"])
500
+ stale_note = ""
501
+ if row["decision_stale"]:
502
+ parts = []
503
+ if "research_changed" in row["decision_reasons"]:
504
+ parts.append("исследование обновилось после решения: факты изменились")
505
+ if "review_date" in row["decision_reasons"]:
506
+ parts.append("наступил срок пересмотра " + str((decision or {}).get("review_at", "")))
507
+ stale_note = "; ".join(parts) + ". Решение человека остаётся в истории; подтвердите его заново после проверки."
508
+ elif decision and not row["researched"]:
509
+ stale_note = "исследования по строке ещё нет: решение принято без ответа агента"
510
+ return {"project": project, "imp": db.latest_import(pid), "counts": db.count_findings(pid),
511
+ "stats": db.review_stats(pid), "row": row, "capec_context": capec_context,
512
+ "back_url": worklists.return_url(request, f"/projects/{pid}/components"),
513
+ "next_component_url": next_component_url(request, pid, input_ref, rows),
514
+ "review_clock": datetime.now().astimezone().strftime("%d.%m.%Y, %Z"),
515
+ # форма решения компонента: быстрый срок пересмотра от даты приложения (вариант
516
+ # А) и черновик по фактам исследования для пустых полей (вариант Б)
517
+ "review_presets": research.review_presets(date.today()),
518
+ "research_draft": research.decision_draft(row, date.today()),
519
+ # неверная дата, возвращённая после отказа 422, в поле type=date браузер показал бы пустой – поле текстовое,
520
+ # чтобы введённое осталось видно (ревью Codex, круг 20)
521
+ "review_at_text": bool(str(form.get("review_at") or "").strip()) and not research.iso_date(form.get("review_at")),
522
+ "siblings": [r for r in rows if worklists.family(r,"components")[0] == worklists.family(row,"components")[0]],
523
+ "research": {"revision": row["revision"], "answer_sig": row["answer_sig"],
524
+ "imported_at": row["imported_at"], "validator_version": row['validator_version'],
525
+ "manifest_sha256": (task or {}).get("manifest_sha256", ""),
526
+ "task_id": row["task_id"], "task_state": row["task_state"],
527
+ "source": _revision_source(db, pid, input_ref)},
528
+ "identity": row["identity"], "latest": row["latest"], "support": row["support"],
529
+ "update_status": row["update_status"], "findings": row["findings"],
530
+ "coverage": row["coverage_items"], "gaps": row["gaps_items"],
531
+ "evidence": row["evidence_items"], "advice": row["advice_detail"],
532
+ "decision": row["decision"], "decisions": [research.decision_view(item) for item in history],
533
+ "decision_stale": row["decision_stale"], "decision_note": stale_note,
534
+ "revision": int(decision["revision"]) if decision else 0, "form": form,
535
+ "labels": research.LABELS,
536
+ "report_urls": {"json": f"/projects/{pid}/components/{quote(input_ref)}/report?format=json",
537
+ "md": f"/projects/{pid}/components/{quote(input_ref)}/report?format=md"},
538
+ "ok_message": ok_message, "error": error or notice_error,
539
+ "history": db.research_history(pid, input_ref),
540
+ "archive": archive_view(db, pid, input_ref),
541
+ # где используется эта версия (OR-04): находки выгрузки по кодовым базам – контекст решения
542
+ "usages": (usages := db.sca_usages(pid, input_ref)),
543
+ # из места использования – назад сюда же, с отбором списка компонентов, из которого открыта карточка
544
+ "self_back": quote(f"/projects/{pid}/components/{input_ref}"
545
+ + (f"?{urlencode(list(request.query_params.items()))}" if request.query_params else ""),
546
+ safe=""),
547
+ "usage_codebases": len({u["codebase"] for u in usages}),
548
+ # пометки идентичности пакета по находкам этой версии (план dev17, п. 4.6)
549
+ "identity_marks": _identity_marks(db, pid, usages),
550
+ # запуск исследования провайдером по одной этой строке
551
+ "research_one": research_one_view(request, project, row, task),
552
+ # решение компонента – находкам версии (ADR-0153): по тому решению, которое показано выше
553
+ "apply": _component_apply(db, pid, input_ref, row["decision"], usages,
554
+ (row["answer_sig"], row["revision"])),
555
+ # итог записи находкам – ещё и внутри блока, к которому ведёт переход: сообщение наверху страницы
556
+ # на длинной карточке остаётся выше экрана
557
+ "apply_notice": _apply_notice(request, ok_message, error or notice_error)}
558
+
559
+
560
+ def _identity_marks(db: Database, project_id: int, usages: Iterable[Mapping[str, Any]]) -> list[str]:
561
+ """Пометки идентичности пакета по находкам версии – один запрос пометок проекта на карточку."""
562
+ marks = db.package_marks(project_id)
563
+ return sorted({t for u in usages for t in marks.get(str(u["hub_id"]), [])})
564
+
565
+
566
+ def _seen_stale(form: Mapping[str, Any], row: dict | None, research_row: dict | None) -> str:
567
+ """Решение привязывается к тому, что человек видел на странице. Если по строке уже есть ответ агента, а
568
+ форма не несёт его отпечатка или отпечаток не тот, решение не сохраняется: привязывать его молча к новому
569
+ ответу нельзя, человек новый ответ не читал. Пустая строка – всё в порядке."""
570
+ seen_sig = str(form.get("expected_research_sig") or "").strip()
571
+ seen_revision = _integer(form.get("expected_research_revision"), 0)
572
+ if research_row is None:
573
+ return ""
574
+ if not seen_sig or not seen_revision:
575
+ return (PROBLEMS["decision_unbound"]
576
+ + ": решение сохраняется только по ответу агента, который человек видел на этой странице")
577
+ if seen_sig != research_row.get("answer_sig", "") or seen_revision != int(research_row.get("revision") or 0):
578
+ return (PROBLEMS["decision_stale"]
579
+ + ": ответ агента изменился после того, как страницу открыли")
580
+ seen_input = str(form.get("expected_input_sig") or "").strip()
581
+ if row is not None and seen_input and seen_input != row.get("input_sig", ""):
582
+ return PROBLEMS["decision_stale"] + ": строка задания изменилась после того, как страницу открыли"
583
+ return ""
584
+
585
+
586
+ def detail_response(request: Request, project: dict, input_ref: str, *, form: dict | None = None, error: str = "",
587
+ status_code: int = 200) -> HTMLResponse:
588
+ context = detail_context(request, project, input_ref, form=form, error=error)
589
+ context["decision_conflict"] = status_code == 409
590
+ context["error_field"] = research.decision_problem(form or {})[0] if status_code == 422 else ""
591
+ return render(request, "components/detail.html", context, status_code=status_code)
592
+
593
+
594
+ def list_response(request: Request, project: dict, *, error_report: dict | None = None, error: str = "",
595
+ status_code: int = 200, shown_query: str | None = None, saved_name: str = "") -> HTMLResponse:
596
+ return render(request, "components/index.html",
597
+ list_context(request, project, error_report=error_report, error=error, shown_query=shown_query,
598
+ saved_name=saved_name), status_code=status_code)
599
+
600
+
601
+ @router.post("/projects/{project_id}/components/filters", response_class=HTMLResponse)
602
+ async def save_component_filter(request: Request, project_id: int):
603
+ """Сохранить показанный отбор под именем (В14, ADR-0110): условия – из скрытого поля страницы, на сервере снова
604
+ через канонизацию; то же имя – замена условий. Отказ – тот же список с введённым именем."""
605
+ project = project_or_404(request, project_id)
606
+ form = await request.form()
607
+ raw = str(form.get("name") or "")
608
+ name = " ".join("".join(ch for ch in raw if ch.isprintable() or ch.isspace()).split())
609
+ shown = str(form.get("query") or "")
610
+ canonical, active = saved_query(shown)
611
+ problem = ""
612
+ if not name:
613
+ problem = "Назовите отбор: имя видно в списке сохранённых."
614
+ elif len(name) > SAVED_NAME_CHARS:
615
+ problem = f"Имя отбора длиннее {SAVED_NAME_CHARS} знаков."
616
+ elif not active:
617
+ problem = "В отборе нет условий – это весь список, сохранять его не нужно."
618
+ if not problem:
619
+ saved = await run_in_threadpool(db_of(request).save_component_filter, project_id, name, canonical)
620
+ if saved["state"] == "limit":
621
+ problem = f"Сохранено уже {SAVED_FILTERS_MAX} отборов: удалите ненужный и сохраните снова."
622
+ else:
623
+ code = "filter_saved" if saved["state"] == "created" else "filter_updated"
624
+ return redirect(f"/projects/{project_id}/components?"
625
+ + "&".join(x for x in (_with_page(canonical, form.get("page")), f"ok={code}") if x))
626
+ return await run_in_threadpool(list_response, request, project, error=problem, status_code=422,
627
+ shown_query=_with_page(canonical, form.get("page")), saved_name=name)
628
+
629
+
630
+ @router.post("/projects/{project_id}/components/filters/{filter_id}/delete")
631
+ async def delete_component_filter(request: Request, project_id: int, filter_id: int):
632
+ """Удалить сохранённый отбор (только этого проекта); показанный список остаётся прежним."""
633
+ project_or_404(request, project_id)
634
+ form = await request.form()
635
+ canonical, _ = saved_query(str(form.get("query") or ""))
636
+ if not await run_in_threadpool(db_of(request).delete_component_filter, project_id, filter_id):
637
+ raise HTTPException(status_code=404, detail="Сохранённый отбор не найден.")
638
+ return redirect(f"/projects/{project_id}/components?"
639
+ + "&".join(x for x in (_with_page(canonical, form.get("page")), "ok=filter_deleted") if x))
640
+
641
+
642
+ # ------------------------------------------------------------------ адреса
643
+
644
+ @router.get("/projects/{project_id}/components", response_class=HTMLResponse)
645
+ def components_page(request: Request, project_id: int):
646
+ """Список строк задания с фильтрами."""
647
+ return list_response(request, project_or_404(request, project_id))
648
+
649
+
650
+ @router.post("/projects/{project_id}/components/task")
651
+ async def build_task(request: Request, project_id: int):
652
+ """Собрать задание из текущей выгрузки. Состав не изменился – прежнее задание остаётся прежним."""
653
+ project_or_404(request, project_id)
654
+ db = db_of(request)
655
+ settings = settings_of(request)
656
+ rows, _ = await run_in_threadpool(research.task_rows, db.sca_components(project_id),
657
+ settings.sca_internal_prefixes, db.sca_confirmed(project_id))
658
+ if not rows:
659
+ if _wants_json(request):
660
+ return JSONResponse({"detail": PROBLEMS["task_empty"]}, status_code=409)
661
+ return redirect(f"/projects/{project_id}/components?err=task_empty")
662
+ digest = research.sha256(research.composition(rows))
663
+ task = db.current_task(project_id)
664
+ if (task is not None and str(task.get("contract")) == research.CONTRACT
665
+ and research.sha256(research.composition(db.task_rows(task['id']))) == digest):
666
+ return redirect(f"/projects/{project_id}/components?ok=task_same&n={len(rows)}")
667
+ imp = db.latest_import(project_id)
668
+ try:
669
+ created = db.insert_task(project_id, int((imp or {}).get("id") or 0), research.new_task_id(), rows,
670
+ sorted({item["ecosystem"] for item in rows if item["ecosystem"]}), digest, "",
671
+ research.CONTRACT, ANSWER_CONTRACT, VALIDATOR_VERSION)
672
+ except TaskSuperseded:
673
+ # состав сменился между чтением строк и записью: прежнее задание и его строки остаются в силе
674
+ log.info("component research task for project %d refused: the composition changed", project_id)
675
+ if _wants_json(request):
676
+ return JSONResponse({"detail": PROBLEMS["task_gone"]}, status_code=409)
677
+ return redirect(f"/projects/{project_id}/components?err=task_gone")
678
+ log.info("component research task for project %d: %s, rows %d", project_id, created["task_id"], len(rows))
679
+ return redirect(f"/projects/{project_id}/components?ok=task&n={len(rows)}")
680
+
681
+
682
+ # ------------------------------------------------------------------ исследование провайдером (ADR-0105, B4)
683
+
684
+ def research_profile(db: Database, settings: Settings, project: dict) -> dict | None:
685
+ """Профиль исследования: проекта, иначе приложения; годен только включённый профиль удалённого API (чат-завершения
686
+ или Messages) с назначением «исследование» (К7: у Ollama в этой версии исполнителя исследования нет)."""
687
+ from app.db import DEFAULT_PROVIDER_ID
688
+ chosen = project.get("research_provider_id") or settings.default_research_provider_id or DEFAULT_PROVIDER_ID
689
+ profile = db.get_provider(int(chosen))
690
+ return profile if profile and research_profile_ok(profile) else None
691
+
692
+
693
+ def research_profile_ok(profile: dict) -> bool:
694
+ from app.executors import REMOTE_KINDS
695
+ if not profile.get("enabled") or str(profile.get("kind")) not in REMOTE_KINDS:
696
+ return False
697
+ try:
698
+ purposes = json.loads(str(profile.get("purposes_json") or "[]"))
699
+ except ValueError:
700
+ purposes = []
701
+ return "research" in purposes
702
+
703
+
704
+ def research_options(db: Database, project: dict) -> list[dict]:
705
+ """Варианты профиля исследования проекта: «как в настройках» и включённые совместимые профили; несовместимые –
706
+ неактивные с причиной."""
707
+ current = project.get("research_provider_id")
708
+ options = [{"value": "", "label": "Как в настройках приложения", "selected": not current}]
709
+ for p in db.list_providers():
710
+ if not p["enabled"] and p["id"] != current:
711
+ continue
712
+ ok = research_profile_ok(p)
713
+ where = {"local": "этот компьютер", "lan": "сеть организации", "external": "интернет"}.get(str(p["trust"]), "")
714
+ label = f"{p['name']} ({where})" + ("" if ok else " – исследование только профилем удалённого API")
715
+ options.append({"value": str(p["id"]), "label": label, "selected": p["id"] == current, "disabled": not ok})
716
+ return options
717
+
718
+
719
+ def _apply_notice(request: Request, ok_message: str, error: str) -> dict | None:
720
+ """Итог записи решения находкам для блока карточки: {text, ok} по кодам адреса страницы или None."""
721
+ if str(request.query_params.get("err", "")).startswith("apply_") and error:
722
+ return {"text": error, "ok": False}
723
+ if request.query_params.get("ok") == "applied" and ok_message:
724
+ return {"text": ok_message, "ok": True}
725
+ return None
726
+
727
+
728
+ def _component_apply(db: Database, project_id: int, input_ref: str, decision: dict | None, usages: list[dict],
729
+ research: tuple[str, int]) -> dict:
730
+ """Блок «Решение – находкам этой версии»: по тем решению, находкам и исследованию, которые показывает карточка."""
731
+ from app.routes.sca import component_apply_view # маршруты SCA подключаются позже этого модуля
732
+ return component_apply_view(db, project_id, input_ref, decision, usages,
733
+ (str(research[0] or ""), int(research[1] or 0)))
734
+
735
+
736
+ def _apply_after_save(db: Database, project_id: int, input_ref: str, revision: int, token: str) -> tuple[int, str]:
737
+ """«Сохранить и применить к находкам»: только что сохранённая редакция решения – находкам версии. Возвращает
738
+ (число находок, код отказа): решение компонента уже сохранено, отказ записи находкам – отдельное сообщение.
739
+ Сбой самой записи (база занята или недоступна, исход COMMIT неизвестен) тоже возвращается кодом: ответ формы
740
+ обязан назвать сохранённую редакцию компонента, иначе повторное сохранение упрётся в конфликт редакций."""
741
+ from app.routes.sca import ComponentApplyRefused, apply_component_decision
742
+ from app.logsafe import log_failure
743
+ from app.storage.postgresql import CommitUnknown, DatabaseBusy
744
+ try:
745
+ return apply_component_decision(db, project_id, input_ref, decision_revision=revision, token=token), ""
746
+ except ComponentApplyRefused as refused:
747
+ return 0, str(refused.args[0])
748
+ except CommitUnknown: # обрыв на самом COMMIT: записаны находки или нет – неизвестно
749
+ log.warning("решение компонента %s проекта %d сохранено, исход записи находкам неизвестен", input_ref,
750
+ project_id)
751
+ return 0, "apply_unknown"
752
+ except DatabaseBusy as busy: # база занята или недоступна (DatabaseUnavailable – её подкласс)
753
+ log.warning("решение компонента %s проекта %d сохранено, запись находкам не прошла: %s", input_ref,
754
+ project_id, type(busy).__name__)
755
+ return 0, "apply_failed"
756
+ except Exception as failed: # noqa: BLE001 – ошибка программы: решение компонента уже записано, ответ это называет
757
+ # без текста исключения: в нём могут быть данные находок (REVIEW.md) – только вид ошибки и место
758
+ log_failure(log, "решение компонента проекта %s сохранено, запись находкам упала", failed, project_id)
759
+ return 0, "apply_internal"
760
+
761
+
762
+ APPLY_FAILURES = ("apply_failed", "apply_unknown", "apply_internal") # сбой самой записи находкам, а не отказ
763
+
764
+
765
+ def _apply_failure_page(card_url: str, revision: int, message: str) -> str:
766
+ """Ответ обычной формы «Сохранить и применить», когда запись находкам сорвалась: оба итога на странице, которая
767
+ не обращается к базе (она может быть ещё недоступна)."""
768
+ from html import escape
769
+ return ('<!doctype html><html lang="ru"><head><meta charset="utf-8"><title>Решение сохранено</title></head>'
770
+ f'<body><main><h1>Решение компонента сохранено</h1><p>Редакция решения: {int(revision)}.</p>'
771
+ f'<p role="alert">{escape(message)}</p>'
772
+ f'<p><a href="{escape(card_url, quote=True)}">Вернуться к карточке компонента</a></p></main></body></html>')
773
+
774
+
775
+ def research_one_view(request: Request, project: dict, row: Mapping[str, Any], task: dict | None) -> dict:
776
+ """Карточка компонента: можно ли запустить исследование провайдером по одной этой строке, и если нет – почему.
777
+ Запуск – та же форма предпросмотра с выбором «отмеченные в таблице» и одной строкой: состав, согласие и отпечаток
778
+ считаются как у запуска с вкладки. Условия те же, что у кнопок вкладки: строка есть в текущем задании, профиль
779
+ исследования годен, получение по проекту не идёт."""
780
+ db, settings = db_of(request), settings_of(request)
781
+ profile = research_profile(db, settings, project)
782
+ run = db.active_research_run(project["id"])
783
+ if not row.get("live"):
784
+ why = "Компонента нет в текущей выгрузке: исследовать его провайдером нельзя."
785
+ elif task is None or not row.get("in_task"):
786
+ why = "Строки нет в текущем задании: обновите задание на вкладке «Компоненты», затем вернитесь сюда."
787
+ elif not db.task_composition_current(project["id"], task["id"]):
788
+ # состав проекта изменился после сборки задания: запуск всё равно отклонит согласие (ревью dev26)
789
+ why = ("Состав проекта изменился после сборки задания: обновите задание на вкладке «Компоненты», затем "
790
+ "вернитесь сюда.")
791
+ elif profile is None:
792
+ why = ("Профиль исследования не выбран или не годится: выберите его на вкладке «Компоненты», блок "
793
+ "«Исследование провайдером».")
794
+ elif run is not None:
795
+ why = f"По проекту идёт получение №{run['id']}: дождитесь его конца."
796
+ else:
797
+ why = ""
798
+ return {"can": not why, "why": why, "profile": profile, "run": run}
799
+
800
+
801
+ def research_view(request: Request, project: dict, task: dict | None, component_rows: Iterable[dict] = ()) -> dict:
802
+ """Блок «Исследование провайдером» для страницы «Компоненты»: профиль, последнее получение, строки.
803
+ component_rows – строки раздела (views): по ним считается, сколько строк задания без дефекта."""
804
+ db, settings = db_of(request), settings_of(request)
805
+ profile = research_profile(db, settings, project)
806
+ run = db.latest_research_run(project["id"])
807
+ rows = db.research_run_rows(run["id"]) if run else []
808
+ counts = {s: sum(1 for r in rows if r["state"] == s) for s in ("queued", "sending", "saved", "unchanged", "failed",
809
+ "unknown")}
810
+ alive = bool(run and run["state"] == "running" and request.app.state.research.running(run["id"]))
811
+ no_defect = len(without_defect(db.task_rows(task["id"]), component_rows)) if task else 0
812
+ return {"profile": profile, "run": run, "rows": rows, "counts": counts, "alive": alive, "no_defect": no_defect,
813
+ "current_task": bool(run and task and run["task_id"] == task["id"]),
814
+ "options": research_options(db, project), "external_on": external_enabled(),
815
+ "state_labels": RUN_STATE_LABELS, "row_labels": ROW_STATE_LABELS}
816
+
817
+
818
+ RUN_STATE_LABELS = {"running": "идёт", "done": "завершено", "stopped": "остановлено", "interrupted": "прервано"}
819
+ ROW_STATE_LABELS = {"queued": "в очереди", "sending": "отправлено", "saved": "сохранена", "unchanged": "без изменений",
820
+ "failed": "не получена", "unknown": "результат неизвестен"}
821
+ SELECTION_LABELS = {"all": "все строки задания", "unresearched": "без исследования",
822
+ "review_due": "требующие пересмотра", "no_defect": "без дефекта",
823
+ "picked": "отмеченные в таблице", "followup": "доисследование оставшихся"}
824
+ PICKED_MAX = 1000 # отмеченных строк в одной форме: страница таблицы показывает не больше 200
825
+
826
+
827
+ def selection_rows(db: Database, settings: Settings, project_id: int, task: dict, selection: str,
828
+ picked: Iterable[str] = ()) -> list[dict]:
829
+ """Строки текущего задания по выбору оператора – одна функция для предпросмотра и запуска, чтобы состав не
830
+ расходился. «Без дефекта»: компоненты, у которых ни одна находка не привязана к дефекту
831
+ приложения, – тот же признак, что у отбора «Дефект: не входит» вкладки (views, in_defect); по остальным решение
832
+ уже занесено в дефекты, и тратить на них провайдера незачем. «Отмеченные в таблице» – строки задания, которые
833
+ оператор отметил галочками на вкладке (picked – их input_ref из формы; чужие и незнакомые значения просто не
834
+ находят строку задания)."""
835
+ rows = db.task_rows(task["id"])
836
+ if selection == "picked":
837
+ keep = set(picked)
838
+ return [r for r in rows if r["input_ref"] in keep]
839
+ if selection == "unresearched":
840
+ researched = db.research(project_id)
841
+ return [r for r in rows if r["input_ref"] not in researched]
842
+ if selection in ("review_due", "no_defect"):
843
+ all_rows, _ = views(db, project_id, settings.sca_internal_prefixes)
844
+ if selection == "review_due":
845
+ keep = {r["input_ref"] for r in all_rows if r.get("review_due")}
846
+ return [r for r in rows if r["input_ref"] in keep]
847
+ return without_defect(rows, all_rows)
848
+ return rows
849
+
850
+
851
+ def without_defect(task_rows: Iterable[dict], component_rows: Iterable[dict]) -> list[dict]:
852
+ """Строки задания, у компонентов которых нет находок в дефекте (component_rows – строки раздела, views). Один
853
+ расчёт для предпросмотра, запуска и числа в списке выбора."""
854
+ keep = {r["input_ref"] for r in component_rows if not r.get("in_defect")}
855
+ return [r for r in task_rows if r["input_ref"] in keep]
856
+
857
+
858
+ @router.post("/projects/{project_id}/components/research/preview", response_class=HTMLResponse)
859
+ async def research_preview(request: Request, project_id: int):
860
+ """Предпросмотр и согласие (К7): строки, полный системный текст, первое сообщение целиком, инструменты,
861
+ профиль, модель, рассуждение, поиск, оценка числа обращений, куда уходит, что раскрывается косвенно."""
862
+ from app import sca_research_net as net
863
+ from app.executors import chat_settings, execution_values
864
+ form = await request.form(max_fields=PICKED_MAX + 12, max_files=0)
865
+ selection = str(form.get("selection") or "all")
866
+ picked = [str(v) for v in form.getlist("input_ref")][:PICKED_MAX]
867
+
868
+ def apply():
869
+ project = project_or_404(request, project_id)
870
+ db, settings = db_of(request), settings_of(request)
871
+ task = db.current_task(project_id)
872
+ if task is None:
873
+ return redirect(f"/projects/{project_id}/components?err=task_empty")
874
+ profile = research_profile(db, settings, project)
875
+ if profile is None:
876
+ return redirect(f"/projects/{project_id}/components?err=research_profile")
877
+ if db.active_research_run(project_id):
878
+ return redirect(f"/projects/{project_id}/components?err=research_running")
879
+ if selection not in SELECTION_LABELS or selection == "followup": # followup – только маршрут /requeue
880
+ return redirect(f"/projects/{project_id}/components?err=research_selection")
881
+ rows = selection_rows(db, settings, project_id, task, selection, picked)
882
+ if not rows:
883
+ return redirect(f"/projects/{project_id}/components?err=research_empty")
884
+ chat = chat_settings(profile)
885
+ search = chat.get("search")
886
+ search_mode = "tools" if search else "none"
887
+ system = net.instructions(bool(search), settings.osv_url)
888
+ model = str(profile.get("default_model") or "")
889
+ execution = execution_values(profile, model, "ask", settings.num_ctx, settings.model_json_schema,
890
+ purpose="research")
891
+ tool_steps = int(chat.get("tool_steps") or 12)
892
+ cutoff = net.today_cutoff()
893
+ components_sha256 = str(task.get("components_sha256") or task.get("manifest_sha256") or "")
894
+ fingerprint = net.consent_fingerprint(system, cutoff, [r["input_ref"] for r in rows], model, search_mode,
895
+ tool_steps, components_sha256, execution, project_id, task["task_id"])
896
+ nonce = secrets.token_hex(8) # одноразовый номер страницы: метка – только с этого предпросмотра
897
+ token = net.preview_token(request.app.state.research_secret, fingerprint, nonce)
898
+ preview = {"rows": [{**research.row_text(r), "name": r["name"]} for r in rows], "system": system,
899
+ "first_message": net.row_message(rows[0], cutoff, osv.PREVIEW if settings.osv_url else None),
900
+ "osv_url": settings.osv_url, "tools": net.TOOLS if search else net.TOOLS_NO_SEARCH,
901
+ "profile": profile, "model": model, "chat": chat, "search": search, "tool_steps": tool_steps,
902
+ "cutoff": cutoff, "selection": selection, "selection_label": SELECTION_LABELS[selection],
903
+ "picked": [r["input_ref"] for r in rows] if selection == "picked" else [],
904
+ "calls_max": net.calls_estimate(len(rows), tool_steps), "sends_per_row": tool_steps + net.EXTRA_STEPS_MAX + net.ROW_SENDS_MAX,
905
+ "steps_max": tool_steps + net.EXTRA_STEPS_MAX, "extra_steps": net.EXTRA_STEPS_MAX,
906
+ "fingerprint": fingerprint, "nonce": nonce, "token": token,
907
+ "where": str(profile.get("base_url") or ""), "trust": str(profile.get("trust") or ""),
908
+ "execution": execution, "components_sha256": components_sha256, "task": task}
909
+ return render(request, "components/research_preview.html", {"project": project, "preview": preview,
910
+ "counts": db.count_findings(project_id),
911
+ "stats": db.review_stats(project_id)})
912
+
913
+ return await run_in_threadpool(apply)
914
+
915
+
916
+ @router.post("/projects/{project_id}/components/research/start")
917
+ async def research_start(request: Request, project_id: int):
918
+ """Согласие подтверждено: согласие и получение одной операцией, исполнитель запускается. Отпечаток из формы
919
+ должен совпасть с пересчитанным: состав, профиль или инструкции изменились после предпросмотра – новое
920
+ согласие (К7)."""
921
+ from app import sca_research_net as net
922
+ from app.executors import chat_settings, execution_values
923
+ form = await request.form(max_fields=PICKED_MAX + 12, max_files=0)
924
+ selection = str(form.get("selection") or "all")
925
+ picked = [str(v) for v in form.getlist("input_ref")][:PICKED_MAX]
926
+ shown = str(form.get("fingerprint") or "")
927
+ nonce = str(form.get("nonce") or "")
928
+ token = str(form.get("token") or "")
929
+ confirmed = str(form.get("confirm") or "") == "1"
930
+
931
+ def apply():
932
+ project = project_or_404(request, project_id)
933
+ db, settings = db_of(request), settings_of(request)
934
+ if not confirmed:
935
+ return redirect(f"/projects/{project_id}/components?err=research_confirm")
936
+ task = db.current_task(project_id)
937
+ profile = research_profile(db, settings, project)
938
+ if task is None or profile is None:
939
+ return redirect(f"/projects/{project_id}/components?err=research_profile")
940
+ if selection not in SELECTION_LABELS or selection == "followup": # как в предпросмотре (ревью Codex, круг 32)
941
+ return redirect(f"/projects/{project_id}/components?err=research_selection")
942
+ rows = selection_rows(db, settings, project_id, task, selection, picked)
943
+ chat = chat_settings(profile)
944
+ search = chat.get("search")
945
+ search_mode = "tools" if search else "none"
946
+ system = net.instructions(bool(search), settings.osv_url)
947
+ model = str(profile.get("default_model") or "")
948
+ tool_steps = int(chat.get("tool_steps") or 12)
949
+ cutoff = net.today_cutoff()
950
+ components_sha256 = str(task.get("components_sha256") or task.get("manifest_sha256") or "")
951
+ execution = execution_values(profile, model, "ask", settings.num_ctx, settings.model_json_schema,
952
+ purpose="research")
953
+ fingerprint = net.consent_fingerprint(system, cutoff, [r["input_ref"] for r in rows], model, search_mode,
954
+ tool_steps, components_sha256, execution, project_id, task["task_id"])
955
+ expected = net.preview_token(request.app.state.research_secret, fingerprint, nonce) if nonce else ""
956
+ # метка предпросмотра: выдана этим экземпляром для этого отпечатка – прямой POST без страницы или после смены
957
+ # состава, профиля или инструкций не проходит; та же метка – ключ согласия (повтор формы – прежнее получение)
958
+ if not rows or fingerprint != shown or not token or not expected or not hmac.compare_digest(expected, token):
959
+ return redirect(f"/projects/{project_id}/components?err=research_changed")
960
+ try:
961
+ consent = db.create_research_consent(project_id, task["id"], execution, {
962
+ "components_sha256": components_sha256, "cutoff_date": cutoff, "instructions": system,
963
+ "instructions_sha256": research.sha256(system), "rows": [r["input_ref"] for r in rows],
964
+ "selection": selection, "model": model, "search_mode": search_mode, "tool_steps": tool_steps},
965
+ consent_key=token,
966
+ recheck=lambda: [r["input_ref"] for r in selection_rows(db, settings, project_id, task, selection,
967
+ picked)])
968
+ run = db.start_research_run(consent["id"])
969
+ except SelectionChanged: # выбор стал другим между чтением строк и записью согласия
970
+ return redirect(f"/projects/{project_id}/components?err=research_changed")
971
+ except TaskSuperseded:
972
+ return redirect(f"/projects/{project_id}/components?err=task_gone")
973
+ except RuntimeError:
974
+ return redirect(f"/projects/{project_id}/components?err=research_running")
975
+ request.app.state.research.start(run["id"])
976
+ log.info("исследование провайдером: проект %d, получение %d, строк %d", project_id, run["id"], len(rows))
977
+ return redirect(f"/projects/{project_id}/components/research/{run['id']}")
978
+
979
+ return await run_in_threadpool(apply)
980
+
981
+
982
+ @router.get("/projects/{project_id}/components/research/{run_id}", response_class=HTMLResponse)
983
+ def research_run_page(request: Request, project_id: int, run_id: int):
984
+ project = project_or_404(request, project_id)
985
+ db = db_of(request)
986
+ run = db.research_run(run_id)
987
+ if run is None or run["project_id"] != project_id:
988
+ raise HTTPException(status_code=404, detail="Получение не найдено.")
989
+ consent = db.research_consent(run["consent_id"])
990
+ execution = db.get_execution(run["execution_id"])
991
+ from app.executors import executor_label
992
+ rows = db.research_run_rows(run_id)
993
+ names = {r["input_ref"]: r["name"] for r in db.task_rows(run["task_id"])}
994
+ for row in rows:
995
+ row["name"] = names.get(row["input_ref"], row["input_ref"])
996
+ row["tools_text"] = tools_text(row["tools"], int((row.get("usage") or {}).get("sends") or 0))
997
+ live = request.app.state.research.live(run_id)
998
+ if live:
999
+ live["text"] = tools_text(live["tools"], live["sends"])
1000
+ ok_message, notice_error = _notice(request)
1001
+ try: # расход получения – сумма по строкам (сколько обращений и токенов ушло)
1002
+ usage = {k: int(v) for k, v in (json.loads(run.get("usage_json") or "{}") or {}).items() if isinstance(v, (int, float))}
1003
+ except ValueError:
1004
+ usage = {}
1005
+ from app import sca_research_net as net
1006
+ nonce = secrets.token_hex(8)
1007
+ token = net.preview_token(request.app.state.research_secret, requeue_fingerprint(project_id, run_id), nonce)
1008
+ return render(request, "components/research_run.html", {
1009
+ "project": project, "run": run, "consent": consent, "rows": rows, "executor": executor_label(db, execution),
1010
+ "live": live, "requeue_nonce": nonce, "requeue_token": token,
1011
+ "usage": usage,
1012
+ "alive": request.app.state.research.running(run_id), "state_labels": RUN_STATE_LABELS,
1013
+ "row_labels": ROW_STATE_LABELS, "selection_labels": SELECTION_LABELS,
1014
+ "counts": db.count_findings(project_id), "stats": db.review_stats(project_id),
1015
+ "ok_message": ok_message, "error": notice_error,
1016
+ # в доисследование не идут строки, уже сохранённые более поздним получением (later_saved)
1017
+ "unknown": sum(1 for r in rows if r["state"] == "unknown" and not r.get("later_saved")),
1018
+ "failed": sum(1 for r in rows if r["state"] == "failed" and not r.get("later_saved"))})
1019
+
1020
+
1021
+ @router.get("/projects/{project_id}/components/research/{run_id}/status")
1022
+ def research_run_status(request: Request, project_id: int, run_id: int):
1023
+ db = db_of(request)
1024
+ run = db.research_run(run_id)
1025
+ if run is None or run["project_id"] != project_id:
1026
+ raise HTTPException(status_code=404, detail="Получение не найдено.")
1027
+ rows = db.research_run_rows(run_id)
1028
+ live = request.app.state.research.live(run_id)
1029
+ return JSONResponse({"run": {**run, "state_label": RUN_STATE_LABELS.get(run["state"], run["state"])},
1030
+ "alive": request.app.state.research.running(run_id),
1031
+ "live": {**live, "text": tools_text(live["tools"], live["sends"])} if live else None,
1032
+ "rows": [{"input_ref": r["input_ref"], "state": r["state"], "later_saved": bool(r.get("later_saved")),
1033
+ "state_label": ROW_STATE_LABELS.get(r["state"], r["state"]), "reason": r["reason"],
1034
+ "revision": r["revision"], "tools": len(r["tools"]),
1035
+ "tools_text": tools_text(r["tools"], int((r.get("usage") or {}).get("sends") or 0)),
1036
+ "sending_at": r["sending_at"]} for r in rows]})
1037
+
1038
+
1039
+ TOOL_STATUS = {"ok": "выполнен", "error": "ошибка", "unknown": "результат неизвестен", "empty": "пусто",
1040
+ "unavailable": "недоступен", "unsupported": "экосистема не поддерживается", "partial": "неполный ответ"}
1041
+
1042
+
1043
+ def tools_text(tools: list, sends: int = 0) -> str:
1044
+ """Ход строки словами: обращений к модели, вызовов поиска и страниц с исходом каждого шага."""
1045
+ parts = [f"обращений к модели {sends}"] if sends else []
1046
+ for t in tools:
1047
+ name = {"search": "поиск", "fetch": "страница", "osv": "запрос OSV"}.get(str(t.get("tool")), str(t.get("tool")))
1048
+ status = TOOL_STATUS.get(str(t.get("status") or ""), str(t.get("status") or "…"))
1049
+ extra = f" ({t['results']})" if t.get("tool") in ("search", "osv") and t.get("status") == "ok" else ""
1050
+ parts.append(f"шаг {t.get('step')}: {name} – {status}{extra}")
1051
+ return "; ".join(parts)
1052
+
1053
+
1054
+ @router.post("/projects/{project_id}/components/research/{run_id}/stop")
1055
+ async def research_stop(request: Request, project_id: int, run_id: int):
1056
+ def apply():
1057
+ project_or_404(request, project_id)
1058
+ db = db_of(request)
1059
+ run = db.research_run(run_id)
1060
+ if run is None or run["project_id"] != project_id:
1061
+ raise HTTPException(status_code=404, detail="Получение не найдено.")
1062
+ request.app.state.research.stop(run_id)
1063
+ if not request.app.state.research.running(run_id): # исполнителя нет (перезапуск): состояние – в базе
1064
+ db.finish_research_run(run_id, "stopped", "остановлено оператором")
1065
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?ok=research_stopping")
1066
+
1067
+ return await run_in_threadpool(apply)
1068
+
1069
+
1070
+ @router.post("/projects/{project_id}/components/research/{run_id}/resume")
1071
+ async def research_resume(request: Request, project_id: int, run_id: int):
1072
+ """«Продолжить» остановленное или прерванное получение по тому же согласию (дата среза и текст – сохранённые);
1073
+ строки с неизвестным результатом не отправляются (К11)."""
1074
+ def apply():
1075
+ project_or_404(request, project_id)
1076
+ db = db_of(request)
1077
+ run = db.research_run(run_id)
1078
+ if run is None or run["project_id"] != project_id:
1079
+ raise HTTPException(status_code=404, detail="Получение не найдено.")
1080
+ task = db.current_task(project_id)
1081
+ if task is None or task["id"] != run["task_id"]:
1082
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=task_gone")
1083
+ try:
1084
+ db.resume_research_run(run_id)
1085
+ except RuntimeError as e:
1086
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=research_resume&why="
1087
+ + str(e)[:120])
1088
+ request.app.state.research.start(run_id)
1089
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?ok=research_resumed")
1090
+
1091
+ return await run_in_threadpool(apply)
1092
+
1093
+
1094
+ def requeue_fingerprint(project_id: int, run_id: int) -> str:
1095
+ """Что подписывает метка формы «Доисследовать оставшиеся»: проект и получение."""
1096
+ return f"requeue:{int(project_id)}:{int(run_id)}"
1097
+
1098
+
1099
+ @router.post("/projects/{project_id}/components/research/{run_id}/requeue")
1100
+ async def research_requeue(request: Request, project_id: int, run_id: int):
1101
+ """«Доисследовать оставшиеся»: новое согласие и получение по тем же дате среза и тексту инструкций – только на не
1102
+ получившиеся строки; с неизвестным результатом – по явной отметке (запрос мог быть оплачен). Прежнее получение
1103
+ остаётся историей."""
1104
+ from app import sca_research_net as net
1105
+ form = await request.form(max_fields=6, max_files=0)
1106
+ include_unknown = str(form.get("include_unknown") or "") == "1"
1107
+ nonce = str(form.get("nonce") or "")
1108
+ token = str(form.get("token") or "")
1109
+
1110
+ def apply():
1111
+ project_or_404(request, project_id)
1112
+ db = db_of(request)
1113
+ run = db.research_run(run_id)
1114
+ if run is None or run["project_id"] != project_id:
1115
+ raise HTTPException(status_code=404, detail="Получение не найдено.")
1116
+ if run["state"] == "running":
1117
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=research_running")
1118
+ # метка страницы хода: доисследование – только с неё; та же форма повторно – прежнее согласие и получение
1119
+ expected = net.preview_token(request.app.state.research_secret, requeue_fingerprint(project_id, run_id),
1120
+ nonce) if nonce else ""
1121
+ if not token or not expected or not hmac.compare_digest(expected, token):
1122
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=research_changed")
1123
+ try: # отбор строк и запуск – одной транзакцией (ревью Codex, круг 30)
1124
+ pair = db.start_followup_research(run_id, include_unknown=include_unknown,
1125
+ consent_key=f"{token}:{int(include_unknown)}")
1126
+ except TaskSuperseded:
1127
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=task_gone")
1128
+ except RuntimeError:
1129
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=research_running")
1130
+ if pair is None:
1131
+ return redirect(f"/projects/{project_id}/components/research/{run_id}?err=research_nothing")
1132
+ _consent, fresh = pair
1133
+ request.app.state.research.start(fresh["id"])
1134
+ return redirect(f"/projects/{project_id}/components/research/{fresh['id']}?ok=research_requeued&n={fresh['rows_total']}")
1135
+
1136
+ return await run_in_threadpool(apply)
1137
+
1138
+
1139
+ @router.post("/projects/{project_id}/components/research-provider")
1140
+ async def research_provider_save(request: Request, project_id: int):
1141
+ """Профиль исследования проекта («» – как в настройках приложения): только совместимый включённый профиль."""
1142
+ form = await request.form(max_fields=4, max_files=0)
1143
+ raw = str(form.get("research_provider_id") or "").strip()
1144
+
1145
+ def apply():
1146
+ project_or_404(request, project_id)
1147
+ db = db_of(request)
1148
+ chosen: int | None = None
1149
+ if raw:
1150
+ profile = db.get_provider(int(raw)) if raw.isdigit() else None
1151
+ if profile is None or not research_profile_ok(profile):
1152
+ return redirect(f"/projects/{project_id}/components?err=research_profile_unfit")
1153
+ chosen = int(profile["id"])
1154
+ db.update_project(project_id, research_provider_id=chosen)
1155
+ return redirect(f"/projects/{project_id}/components?ok=research_provider_saved#component-research")
1156
+
1157
+ return await run_in_threadpool(apply)
1158
+
1159
+
1160
+ @router.get("/projects/{project_id}/components/task.json")
1161
+ def task_manifest(request: Request, project_id: int):
1162
+ """Манифест действующего задания: что ушло агенту (для проверки и для разбора инцидента)."""
1163
+ project_or_404(request, project_id)
1164
+ db = db_of(request)
1165
+ task = db.current_task(project_id)
1166
+ if task is None:
1167
+ raise HTTPException(status_code=404, detail=PROBLEMS["task_empty"])
1168
+ rows = db.task_rows(task["id"])
1169
+ return JSONResponse(research.manifest(task, rows, task["created_at"]))
1170
+
1171
+
1172
+ @router.get("/projects/{project_id}/components/answer.schema.json")
1173
+ def answer_schema(request: Request, project_id: int):
1174
+ """Схема ответа агента: та же, что валидатор проверяет."""
1175
+ project_or_404(request, project_id)
1176
+ return JSONResponse(schema())
1177
+
1178
+
1179
+ @router.get("/projects/{project_id}/components/task/{task_id}.zip")
1180
+ async def download_kit(request: Request, project_id: int, task_id: str):
1181
+ """Комплект задания для агента: задание, манифест, таблица строк, заготовка, схема и валидатор."""
1182
+ project_or_404(request, project_id)
1183
+ if not _task_id_ok(task_id):
1184
+ raise HTTPException(status_code=404, detail="Задание не найдено.")
1185
+ db = db_of(request)
1186
+ task = db.task(project_id, task_id)
1187
+ if task is None:
1188
+ raise HTTPException(status_code=404, detail="Задание не найдено.")
1189
+ if task["state"] != "current":
1190
+ raise HTTPException(status_code=409, detail=PROBLEMS["task_gone"])
1191
+ rows = db.task_rows(task["id"])
1192
+ body = await run_in_threadpool(research.kit, task, rows, task["created_at"])
1193
+ name = research.ZIP_NAME.format(task_id=task["task_id"])
1194
+ return Response(body, media_type="application/zip",
1195
+ headers={"Content-Disposition": f'attachment; filename="{name}"'})
1196
+
1197
+
1198
+ @router.post("/projects/{project_id}/components/answers")
1199
+ async def import_answers(request: Request, project_id: int):
1200
+ """Загрузить ответ агента. Проверяет общий валидатор; негодный ответ не сохраняется ни одной строкой."""
1201
+ project = project_or_404(request, project_id)
1202
+ db = db_of(request)
1203
+ form = await request.form()
1204
+ upload = form.get("file")
1205
+ if hasattr(upload, "read"):
1206
+ raw = await upload.read()
1207
+ else:
1208
+ raw = str(form.get("text") or "").encode("utf-8")
1209
+ task = db.current_task(project_id)
1210
+ if task is None:
1211
+ if _wants_json(request):
1212
+ return JSONResponse({"detail": PROBLEMS["answers_no_task"], "ok": False,
1213
+ "errors": [{"code": "SCA-T002", "path": "task_id",
1214
+ "message": PROBLEMS["answers_no_task"]}]}, status_code=409)
1215
+ return redirect(f"/projects/{project_id}/components?err=answers_no_task")
1216
+ rows = db.task_rows(task["id"])
1217
+ report = await run_in_threadpool(research.check_answer, raw, task, rows)
1218
+ if not report.ok:
1219
+ log.info("component research answer rejected for project %d: %d errors", project_id, len(report.errors))
1220
+ if _wants_json(request):
1221
+ return JSONResponse(report.as_dict(), status_code=422)
1222
+ return list_response(request, project, error_report=report.as_dict(), error="Ответ не принят.",
1223
+ status_code=422)
1224
+ results = await run_in_threadpool(research.research_results, report.answer, rows)
1225
+ try:
1226
+ saved = await run_in_threadpool(db.save_research, project_id, task["id"], results)
1227
+ except TaskSuperseded:
1228
+ # между проверкой и записью сменилась выгрузка или собрано другое задание: ответ уже не по тому составу
1229
+ log.info("component research answer discarded for project %d: task %s is not current",
1230
+ project_id, task["task_id"])
1231
+ if _wants_json(request):
1232
+ return JSONResponse({"detail": PROBLEMS["task_gone"], "ok": False, "errors": [
1233
+ {"code": "SCA-T002", "path": "task_id", "message": PROBLEMS["task_gone"]}]}, status_code=409)
1234
+ return list_response(request, project, error=PROBLEMS["task_gone"], status_code=409)
1235
+ log.info("component research answer for project %d: %d new revisions, %d unchanged", project_id, saved["saved"],
1236
+ saved["unchanged"])
1237
+ if _wants_json(request):
1238
+ return JSONResponse({"ok": True, "saved": saved["saved"], "unchanged": saved["unchanged"],
1239
+ "answer_sha256": report.answer_sha256, "summary": report.summary,
1240
+ "task_id": task["task_id"]})
1241
+ ok = "answers" if saved["saved"] else "answers_same"
1242
+ n = saved["saved"] if saved["saved"] else saved["unchanged"]
1243
+ return redirect(f"/projects/{project_id}/components?ok={ok}&n={n}")
1244
+
1245
+
1246
+ @router.post("/projects/{project_id}/components/{input_ref}/decision")
1247
+ async def save_decision(request: Request, project_id: int, input_ref: str):
1248
+ """Решение человека по строке. Не меняет факты ответа агента и не пишется по устаревшей странице."""
1249
+ project = project_or_404(request, project_id)
1250
+ if not INPUT_REF.match(input_ref):
1251
+ raise HTTPException(status_code=404, detail="Строка не найдена.")
1252
+ db = db_of(request)
1253
+ prefixes = settings_of(request).sca_internal_prefixes
1254
+ form = await request.form()
1255
+ form = {key: str(value) for key, value in form.items()}
1256
+ revision = _integer(form.get("revision"), -1)
1257
+ # строка может ещё не входить в задание (состав виден до сборки) – тогда берём её из текущей выгрузки
1258
+ row = db.task_row(project_id, input_ref) or _live_row(db, project_id, input_ref, prefixes)
1259
+ research_row = db.research_row(project_id, input_ref)
1260
+ next_url = next_component_url(request, project_id, input_ref, views(db, project_id, prefixes)[0])
1261
+ values = research.decision_form(form, revision, input_sig=(row or {}).get("input_sig", ""),
1262
+ research_sig=(research_row or {}).get("answer_sig", ""),
1263
+ research_revision=int((research_row or {}).get("revision") or 0))
1264
+ error_field, error = research.decision_problem(values)
1265
+ if error:
1266
+ if _wants_json(request):
1267
+ return JSONResponse({"detail": error, "error_field": error_field, "form": values}, status_code=422)
1268
+ return detail_response(request, project, input_ref, form=values, error=error, status_code=422)
1269
+ if row is None and research_row is None:
1270
+ # строки нет ни в действующем, ни в прежнем составе и по ней не было ответа: сохранять нечего
1271
+ raise HTTPException(status_code=404, detail="Строка не найдена.")
1272
+ stale = _seen_stale(form, row, research_row)
1273
+ if stale:
1274
+ if _wants_json(request):
1275
+ return JSONResponse({"detail": stale, "form": values, "revision": revision}, status_code=409)
1276
+ return detail_response(request, project, input_ref, form=values, error=stale, status_code=409)
1277
+ # решение помнит, по какой строке и по какому ответу принято: так его можно признать устаревшим
1278
+ input_signature = (row or research_row or {}).get("input_sig", "")
1279
+ research_signature = (research_row or {}).get("answer_sig", "")
1280
+ try:
1281
+ saved = await run_in_threadpool(db.save_decision, project_id, input_ref, values["action"], values["rationale"],
1282
+ values["target_version"], values["replacement_name"], values["replacement_version"],
1283
+ values["review_at"], input_signature, research_signature, revision,
1284
+ str(form.get("expected_research_sig") or ""),
1285
+ _integer(form.get("expected_research_revision"), 0),
1286
+ str(form.get("expected_input_sig") or ""))
1287
+ except DecisionStale as conflict:
1288
+ if _wants_json(request):
1289
+ return JSONResponse({"detail": PROBLEMS["decision_stale"], "revision": int(conflict.args[0])},
1290
+ status_code=409)
1291
+ return detail_response(request, project, input_ref, form=values, error=PROBLEMS["decision_stale"],
1292
+ status_code=409)
1293
+ back = worklists.return_url(request, f"/projects/{project_id}/components") if "back" in request.query_params else ""
1294
+ target = (next_url if form.get("after") == "next" else
1295
+ f"/projects/{project_id}/components/{quote(input_ref)}?" + query({"ok": "decision", "back": back}))
1296
+ applied, apply_error = 0, ""
1297
+ if form.get("after") == "apply": # «Сохранить и применить к находкам»: сохранённая редакция – находкам версии
1298
+ applied, apply_error = await run_in_threadpool(_apply_after_save, db, project_id, input_ref,
1299
+ int(saved["revision"]), str(form.get("apply_token") or ""))
1300
+ target = (f"/projects/{project_id}/components/{quote(input_ref)}?"
1301
+ + query({"ok": "applied", "n": str(applied), "back": back} if not apply_error else
1302
+ {"ok": "decision", "err": apply_error, "back": back}) + "#component-apply")
1303
+ # сбой самой записи находкам: ответ называет оба итога сам, без перехода на страницу, которой нужна база
1304
+ apply_message = PROBLEMS.get(apply_error, "") if apply_error in APPLY_FAILURES else ""
1305
+ if _wants_json(request):
1306
+ return JSONResponse({"ok": True, "input_ref": input_ref, "action": values["action"],
1307
+ "revision": saved["revision"], "redirect": target,
1308
+ **({"applied": applied, "apply_error": apply_error, "apply_message": apply_message}
1309
+ if form.get("after") == "apply" else {})})
1310
+ if apply_message:
1311
+ return HTMLResponse(_apply_failure_page(target, int(saved["revision"]), apply_message))
1312
+ return redirect(target)
1313
+
1314
+
1315
+ def _batch_context(request, project, rows, entries, values=None, error=""):
1316
+ db = db_of(request)
1317
+ form = values or {}
1318
+ return {"project": project, "counts": db.count_findings(project["id"]),
1319
+ "stats": db.review_stats(project["id"]), "rows": rows, "labels": research.LABELS,
1320
+ "snapshots": json.dumps(entries, ensure_ascii=False), "form": form, "error": error,
1321
+ "back_url": worklists.return_url(request, f"/projects/{project['id']}/components"),
1322
+ # как в карточке компонента: календарь и быстрый срок пересмотра от даты
1323
+ # приложения, черновик по исследованию для пустых полей
1324
+ "review_clock": datetime.now().astimezone().strftime("%d.%m.%Y, %Z"),
1325
+ "review_presets": research.review_presets(date.today()),
1326
+ "research_draft": research.batch_decision_draft(rows, date.today()),
1327
+ "review_at_text": bool(str(form.get("review_at") or "").strip()) and not research.iso_date(form.get("review_at"))}
1328
+
1329
+
1330
+ def _batch_rows(request, project, refs):
1331
+ if not refs or len(refs) > 200 or len(set(refs)) != len(refs):
1332
+ raise HTTPException(422, "Выберите от 1 до 200 разных версий на этой странице.")
1333
+ rows, _ = views(db_of(request), project["id"], settings_of(request).sca_internal_prefixes)
1334
+ lookup = {r["input_ref"]: r for r in rows if r["live"]}
1335
+ picked = [lookup[ref] for ref in refs if ref in lookup]
1336
+ if len(picked) != len(refs):
1337
+ raise HTTPException(409, "Состав изменился. Обновите список и выберите версии снова.")
1338
+ if len({worklists.family(r, "components")[0] for r in picked}) != 1:
1339
+ raise HTTPException(422, "Для общего решения выберите версии одного компонента и экосистемы.")
1340
+ return picked
1341
+
1342
+
1343
+ @router.post("/projects/{project_id}/components/decisions/preview", response_class=HTMLResponse)
1344
+ async def preview_decisions(request: Request, project_id: int):
1345
+ project = project_or_404(request, project_id)
1346
+ form = await request.form(max_fields=1000)
1347
+ rows = _batch_rows(request, project, [str(x) for x in form.getlist("input_ref")])
1348
+ entries = [{"input_ref": r["input_ref"], "expected_input_sig": r["input_sig"],
1349
+ "expected_research_sig": r["answer_sig"], "expected_research_revision": r["revision"],
1350
+ "revision": (r["decision"] or {}).get("revision", 0)} for r in rows]
1351
+ return render(request, "components/batch.html", _batch_context(request, project, rows, entries))
1352
+
1353
+
1354
+ @router.post("/projects/{project_id}/components/decisions/apply", response_class=HTMLResponse)
1355
+ async def apply_decisions(request: Request, project_id: int):
1356
+ project = project_or_404(request, project_id)
1357
+ form = {k: str(v) for k, v in (await request.form(max_fields=1000)).items()}
1358
+ try:
1359
+ raw = json.loads(form.get("snapshots", ""))
1360
+ keys = {"input_ref", "expected_input_sig", "expected_research_sig", "expected_research_revision", "revision"}
1361
+ if (not isinstance(raw, list) or not 1 <= len(raw) <= 200 or any(
1362
+ not isinstance(e, dict) or set(e) != keys or
1363
+ any(type(e[k]) is not int or e[k] < 0 for k in ("revision", "expected_research_revision")) or
1364
+ any(not isinstance(e[k], str) for k in ("input_ref", "expected_input_sig", "expected_research_sig")) or
1365
+ not e["expected_input_sig"] for e in raw)):
1366
+ raise ValueError
1367
+ except (ValueError, TypeError, RecursionError):
1368
+ raise HTTPException(422, "Предпросмотр отсутствует или повреждён. Выберите версии снова.") from None
1369
+ rows = _batch_rows(request, project, [e["input_ref"] for e in raw])
1370
+ values = research.decision_form(form, 0)
1371
+ error = research.check_decision(values)
1372
+ if form.get("confirm") != "1":
1373
+ error = "Подтвердите применение решения ко всем перечисленным версиям."
1374
+ if error:
1375
+ return render(request, "components/batch.html", _batch_context(request, project, rows, raw, values, error), 422)
1376
+ try:
1377
+ await run_in_threadpool(db_of(request).save_decisions, project_id, raw, values)
1378
+ except DecisionStale:
1379
+ return render(request, "components/batch.html", _batch_context(request, project, rows, raw, values,
1380
+ "Одна из версий изменилась. Ни одно решение не сохранено. Вернитесь в список и повторите выбор."), 409)
1381
+ return redirect(worklists.return_url(request, f"/projects/{project_id}/components") + "#component-list")
1382
+
1383
+
1384
+ def _report_rows(db: Database, project: dict, prefixes: Iterable[str] = ()) -> tuple[list[dict], dict | None]:
1385
+ """Строки для отчёта: исследованные (неисследованной строке нечего сообщать) и действующее задание."""
1386
+ rows, task = views(db, project["id"], prefixes)
1387
+ return [item for item in rows if item["researched"]], task
1388
+
1389
+
1390
+ @router.get("/projects/{project_id}/components/report")
1391
+ async def project_report(request: Request, project_id: int):
1392
+ """Отчёт по проекту: публичные факты и решения по исследованным строкам. Никуда не отправляется."""
1393
+ project = project_or_404(request, project_id)
1394
+ db = db_of(request)
1395
+ rows, task = _report_rows(db, project, settings_of(request).sca_internal_prefixes)
1396
+ archive = db.identity_archive(project_id)
1397
+ document = await run_in_threadpool(research.report, project=project, task=task, rows=rows, archive=archive)
1398
+ return _report_response(request, document)
1399
+
1400
+
1401
+ @router.get("/projects/{project_id}/identity-report", response_class=HTMLResponse)
1402
+ def identity_report_page(request: Request, project_id: int):
1403
+ """Отчёт перехода идентичности пакетов (план dev17, шаг 5): только чтение базы – операций Hub, их аренды и
1404
+ сверки страница не запускает."""
1405
+ from app.package_transition import TABLE_LABELS
1406
+ project = project_or_404(request, project_id)
1407
+ db = db_of(request)
1408
+ return render(request, "projects/identity_report.html", {
1409
+ "project": project, "counts": db.count_findings(project_id), "stats": db.review_stats(project_id),
1410
+ "report": db.identity_report(project_id), "table_labels": TABLE_LABELS})
1411
+
1412
+
1413
+ @router.get("/projects/{project_id}/components/{input_ref}/report")
1414
+ async def component_report(request: Request, project_id: int, input_ref: str):
1415
+ """Отчёт по одной строке в том же виде, что и отчёт по проекту."""
1416
+ project = project_or_404(request, project_id)
1417
+ if not INPUT_REF.match(input_ref):
1418
+ raise HTTPException(status_code=404, detail="Строка не найдена.")
1419
+ db = db_of(request)
1420
+ rows, task = _report_rows(db, project, settings_of(request).sca_internal_prefixes)
1421
+ picked = [item for item in rows if item["input_ref"] == input_ref]
1422
+ archive = db.identity_archive(project_id, [input_ref, *db.moved_from(project_id, input_ref)])
1423
+ if not picked and not archive: # пустой отчёт не выдаётся; факт снятия – не пустой (ревью Codex, круг 2)
1424
+ raise HTTPException(status_code=404, detail="По строке нет исследования: отчёт пустым не выдаётся.")
1425
+ document = await run_in_threadpool(research.report, project=project, task=task, rows=picked, archive=archive)
1426
+ return _report_response(request, document)
1427
+
1428
+
1429
+ @router.get("/projects/{project_id}/components/{input_ref}", response_class=HTMLResponse)
1430
+ def component_page(request: Request, project_id: int, input_ref: str):
1431
+ """Карточка строки: принятые факты, доказательства, охват и решение человека."""
1432
+ project = project_or_404(request, project_id)
1433
+ if not INPUT_REF.match(input_ref):
1434
+ raise HTTPException(status_code=404, detail="Строка не найдена.")
1435
+ db = db_of(request)
1436
+ # группа перенесена переходом идентичности пакетов и сейчас не живая – прежний адрес ведёт на новую карточку
1437
+ # (план dev17, п. 4.6); живую группу с тем же адресом открывает её собственная карточка
1438
+ live = {item["input_ref"] for item in _live_rows(db, project_id, settings_of(request).sca_internal_prefixes)}
1439
+ target = "" if input_ref in live else db.moved_ref(project_id, input_ref, live)
1440
+ if target and target != input_ref:
1441
+ return redirect(f"/projects/{project_id}/components/{quote(target, safe=':')}")
1442
+ # группа только в архиве и без сохранённого состава задания – карточка для чтения (п. 4.6): решения по ней не
1443
+ # принимаются, у прежней строки задания – обычная карточка истории с разделом архива
1444
+ archive = []
1445
+ if input_ref not in live and input_ref in db.archived_refs(project_id) \
1446
+ and db.historical_task_row(project_id, input_ref) is None:
1447
+ archive = archive_view(db, project_id, input_ref)
1448
+ if not archive:
1449
+ try:
1450
+ return render(request, "components/detail.html", detail_context(request, project, input_ref))
1451
+ except HTTPException as e:
1452
+ archive = archive_view(db, project_id, input_ref) if e.status_code == 404 else []
1453
+ if not archive:
1454
+ raise
1455
+ return render(request, "components/archived.html", {
1456
+ "project": project, "counts": db.count_findings(project_id), "stats": db.review_stats(project_id),
1457
+ "label": archive[0]["old_label"], "archive": archive})
1458
+
1459
+
1460
+ def _serialisable(value: Any) -> bool:
1461
+ """Годится ли значение для JSON без преобразований (для понятной ошибки вместо TypeException в ответе)."""
1462
+ try:
1463
+ canonical(value)
1464
+ return True
1465
+ except (TypeError, ValueError):
1466
+ return False
1467
+
1468
+
1469
+ def _unsupported(value: Any, path: str = "отчёт") -> str:
1470
+ """Путь до первого значения, которое нельзя положить в JSON: "" – всё годится."""
1471
+ if _serialisable(value):
1472
+ return ""
1473
+ if isinstance(value, dict):
1474
+ for key, item in value.items():
1475
+ if not isinstance(key, str):
1476
+ return f"{path}: ключ {key!r} не строка"
1477
+ found = _unsupported(item, f"{path}.{key}")
1478
+ if found:
1479
+ return found
1480
+ elif isinstance(value, list):
1481
+ for index, item in enumerate(value):
1482
+ found = _unsupported(item, f"{path}[{index}]")
1483
+ if found:
1484
+ return found
1485
+ return f"{path}: значение типа {type(value).__name__} не годится для JSON"
1486
+
1487
+
1488
+ def _report_response(request: Request, document: dict) -> Response:
1489
+ """Формат по ?format= (json по умолчанию): markdown с content_type text/markdown, чтобы браузер показал текст."""
1490
+ if request.query_params.get("format", "json") == "md":
1491
+ return Response(research.report_text(document).encode("utf-8"), media_type="text/markdown; charset=utf-8")
1492
+ try:
1493
+ body = canonical(document)
1494
+ except (TypeError, ValueError) as exc:
1495
+ place = _unsupported(document)
1496
+ log.info("отчёт по проекту %s не собран в JSON: %s (%s)", request.url.path, exc, place)
1497
+ return JSONResponse({"detail": "отчёт не удалось привести к JSON", "поле": place}, status_code=500)
1498
+ return Response(body, media_type="application/json",
1499
+ headers={"Content-Disposition": 'inline; filename="sca-components-report.json"'})