local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
@@ -0,0 +1,189 @@
1
+ """Ключи профилей провайдеров моделей (ADR-0102 п. 8).
2
+
3
+ Ключ лежит в базе (app_state.secrets, ADR-0133) вместе с привязкой: адрес сервера (base_url) и
4
+ подтверждённые адреса, для которых он задан. В базе, снимке исполнителя, экспорте и интерфейсе ключа нет – в
5
+ интерфейсе только «задан, …последние 4 знака»; из журнала обмена вырезается заголовок авторизации, а ключ, который
6
+ сервер отразил в теле ответа, журнал хранит как есть (журнал – байт в байт, ADR-0102 п. 8). Заголовок авторизации уходит, только если адрес снимка совпадает
7
+ с привязкой; иначе запрос не отправляется вовсе (SendNotAllowed). Права файла – только владелец (0600 в контейнере
8
+ Linux); в Windows права файла не проверяются – это сказано в руководстве. Замена ключа – перезапись файла: она
9
+ действует и для незавершённых исполнений (ключа в снимке нет). Смена адреса или подтверждённых адресов профиля и
10
+ выключение профиля удаляют файл (app/providers.py). В резервные копии папки данных ключи входят.
11
+ """
12
+
13
+ from __future__ import annotations
14
+
15
+ import json
16
+ import re
17
+ import secrets
18
+ import threading
19
+ import time
20
+ from typing import Any
21
+
22
+ from app.llm import SendNotAllowed
23
+ from app.llm_net import normalize_addresses
24
+
25
+ KEY_NOTE_MISSING = "Прогон на паузе. Задайте ключ профиля на странице «Настройки» и нажмите «Продолжить»."
26
+ KEY_NOTE_OTHER = ("Прогон на паузе. Ключ профиля задан для другого адреса сервера: нажмите «Продолжить» – "
27
+ "неразобранные находки пойдут новым прогоном на действующем профиле проекта.")
28
+ # Ключ – знаки token68 (RFC 7235): латиница, цифры и - . _ ~ + / =. Такой ключ годится для заголовка и в JSON не
29
+ # экранируется (кроме «/», который иные кодировщики пишут как «\/» – очистка учитывает и этот вид)
30
+ # Не короче 16 знаков: короткий ключ совпадал бы со словами ответов модели, и проверка ответа перед сохранением
31
+ # (model_traffic.shows_secret) отвергала бы обычные ответы
32
+ _KEY = re.compile(r"[A-Za-z0-9\-._~+/=]{16,4096}")
33
+ KEY_FORMAT = "Ключ – от 16 до 4096 знаков: латиница, цифры и - . _ ~ + / = (без пробелов и кавычек)."
34
+
35
+
36
+ class KeyRejected(ValueError):
37
+ """Ключ не подходит для заголовка авторизации; текст – по-русски."""
38
+
39
+
40
+ class PendingKeys:
41
+ """Ключ, введённый в форму профиля, до «Сохранить» (после «Проверить» ключ второй раз не
42
+ вводится). Хранится только в памяти процесса по случайной метке формы вместе с привязкой – владелец метки
43
+ (профиль или черновик нового профиля – отдельная случайная метка черновика), адрес сервера и подтверждённые адреса,
44
+ для которых ключ введён: та же привязка, что у сохранённого ключа (save_key). Изменились адрес или подтверждённые
45
+ адреса – ключ по метке не выдаётся, его вводят заново (ревью A8: иначе ключ ушёл бы на адрес, который человек не
46
+ подтверждал при вводе). В страницу, базу и журнал ключ не попадает. Метка живёт 15 минут, «Сохранить» забирает
47
+ ключ после успешной записи; перезапуск приложения метки стирает."""
48
+
49
+ TTL_S = 900
50
+ LIMIT = 16
51
+
52
+ def __init__(self) -> None:
53
+ self._lock = threading.Lock()
54
+ self._items: dict[str, tuple[str, tuple, float]] = {}
55
+ self._claimed: set[str] = set() # метки, которые сейчас сохраняются: вторая попытка ключа не получит
56
+
57
+ @staticmethod
58
+ def binding(owner: str, base_url: str, addresses: Any) -> tuple:
59
+ return (str(owner or ""), _base(base_url), tuple(sorted(normalize_addresses(addresses))))
60
+
61
+ def _prune(self, now: float) -> None:
62
+ for handle in [h for h, (_k, _b, until) in self._items.items() if until <= now]:
63
+ del self._items[handle]
64
+ self._claimed.discard(handle)
65
+
66
+ def _owned(self, handle: str, owner: str) -> bool:
67
+ item = self._items.get(str(handle or ""))
68
+ return bool(item) and item[1][0] == str(owner or "")
69
+
70
+ def remember(self, key: str, owner: str, base_url: str, addresses: Any = (), previous: str = "") -> str:
71
+ """Новая метка для ключа с привязкой (прежняя метка этой формы отменяется)."""
72
+ now = time.monotonic()
73
+ with self._lock:
74
+ self._prune(now)
75
+ if previous and self._owned(previous, owner) and previous not in self._claimed:
76
+ del self._items[previous] # заменить можно только свою метку, и не ту, что сейчас сохраняется
77
+ while len(self._items) >= self.LIMIT: # старейшая метка уступает место
78
+ oldest = min(self._items, key=lambda h: self._items[h][2])
79
+ del self._items[oldest]
80
+ self._claimed.discard(oldest)
81
+ handle = secrets.token_urlsafe(24)
82
+ self._items[handle] = (key, self.binding(owner, base_url, addresses), now + self.TTL_S)
83
+ return handle
84
+
85
+ def peek(self, handle: str, owner: str, base_url: str, addresses: Any = ()) -> str:
86
+ """Ключ по метке с той же привязкой, без изъятия (проверка, сохранение); иначе пустая строка."""
87
+ with self._lock:
88
+ self._prune(time.monotonic())
89
+ item = self._items.get(str(handle or ""))
90
+ return item[0] if item and item[1] == self.binding(owner, base_url, addresses) else ""
91
+
92
+ def claim(self, handle: str, owner: str, base_url: str, addresses: Any = ()) -> str:
93
+ """Ключ по метке для сохранения – атомарно: метка резервируется, второе одновременное сохранение по той же
94
+ метке ключа не получит (ревью A8, круг 2). После записи – forget (успех) или release (отказ)."""
95
+ with self._lock:
96
+ self._prune(time.monotonic())
97
+ item = self._items.get(str(handle or ""))
98
+ if not item or item[1] != self.binding(owner, base_url, addresses) or str(handle) in self._claimed:
99
+ return ""
100
+ self._claimed.add(str(handle))
101
+ return item[0]
102
+
103
+ def release(self, handle: str, owner: str) -> None:
104
+ """Сохранение не удалось: метка снова доступна, ключ остаётся в памяти."""
105
+ with self._lock:
106
+ if self._owned(handle, owner):
107
+ self._claimed.discard(str(handle))
108
+
109
+ def forget(self, handle: str, owner: str) -> None:
110
+ """Метка больше не нужна: ключ сохранён или человек от ключа отказался. Только своя метка."""
111
+ with self._lock:
112
+ if self._owned(handle, owner):
113
+ del self._items[str(handle)]
114
+ self._claimed.discard(str(handle))
115
+
116
+
117
+ def _base(url: Any) -> str:
118
+ return str(url or "").strip().rstrip("/")
119
+
120
+
121
+ def secret_name(provider_id: int) -> str:
122
+ return f"provider:{int(provider_id)}"
123
+
124
+
125
+ def save_key(keys: Any, provider_id: int, key: str, base_url: str, addresses: Any) -> None:
126
+ """Записать (или заменить) ключ профиля с привязкой к адресу и подтверждённым адресам. keys – база (Database.put_secret)."""
127
+ key = str(key or "").strip()
128
+ if not _KEY.fullmatch(key):
129
+ raise KeyRejected(KEY_FORMAT)
130
+ keys.put_secret(secret_name(provider_id), json.dumps(
131
+ {"addresses": sorted(normalize_addresses(addresses)), "base_url": _base(base_url), "key": key, "version": 1},
132
+ ensure_ascii=True, sort_keys=True))
133
+
134
+
135
+ def parse_entry(raw: Any) -> dict[str, Any] | None:
136
+ """{"key", "base_url", "addresses", "version"} из записанного значения; повреждено – None (ключ считается не заданным)."""
137
+ try:
138
+ if len(raw) > 16384:
139
+ return None
140
+ data = json.loads(raw.decode("ascii") if isinstance(raw, bytes) else raw)
141
+ except (ValueError, TypeError):
142
+ return None
143
+ if not isinstance(data, dict) or not _KEY.fullmatch(str(data.get("key") or "")):
144
+ return None
145
+ return {"key": str(data["key"]), "base_url": _base(data.get("base_url")),
146
+ "addresses": normalize_addresses(data.get("addresses") or []), "version": 1}
147
+
148
+
149
+ def load_key(keys: Any, provider_id: int) -> dict[str, Any] | None:
150
+ """{"key", "base_url", "addresses"} или None: ключа нет или значение повреждено (тогда ключ считается не заданным)."""
151
+ raw = keys.secret(secret_name(provider_id))
152
+ entry = parse_entry(raw) if raw is not None else None
153
+ if entry is None:
154
+ return None
155
+ return {"key": entry["key"], "base_url": entry["base_url"], "addresses": entry["addresses"]}
156
+
157
+
158
+ def delete_key(keys: Any, provider_id: int) -> bool:
159
+ """Удалить ключ профиля; True – ключ был."""
160
+ return keys.drop_secret(secret_name(provider_id))
161
+
162
+
163
+ def key_hint(keys: Any, provider_id: int) -> str:
164
+ """Для интерфейса: «задан, …abcd» или "" (ключа нет)."""
165
+ entry = load_key(keys, provider_id)
166
+ return f"задан, …{entry['key'][-4:]}" if entry else ""
167
+
168
+
169
+ def key_headers(kind: str, key: str) -> dict[str, str]:
170
+ """Секретные заголовки ключа по протоколу (ADR-0106): API чат-завершений и Ollama за ключом –
171
+ «Authorization: Bearer», Messages API – «x-api-key». Служебные заголовки протокола (версия API) сюда не входят:
172
+ их отдаёт клиент (ServerClient.protocol_headers), они не секрет."""
173
+ if str(kind or "") == "messages":
174
+ return {"x-api-key": str(key)}
175
+ return {"Authorization": f"Bearer {key}"}
176
+
177
+
178
+ def auth_headers(keys: Any, provider_id: int, base_url: str, addresses: Any,
179
+ kind: str = "chat_completions") -> dict[str, str]:
180
+ """Заголовок авторизации для запроса по снимку (адрес base_url, подтверждённые адреса addresses): только если
181
+ привязка ключа совпадает. Ключа нет или он задан для другого адреса – SendNotAllowed, запрос не отправляется."""
182
+ entry = load_key(keys, provider_id) if keys is not None else None
183
+ if entry is None:
184
+ raise SendNotAllowed("Ключ профиля провайдера модели не задан: запрос к модели не отправлен.",
185
+ note=KEY_NOTE_MISSING)
186
+ if entry["base_url"] != _base(base_url) or set(entry["addresses"]) != set(normalize_addresses(addresses)):
187
+ raise SendNotAllowed("Ключ профиля провайдера модели задан для другого адреса сервера: запрос к модели не "
188
+ "отправлен.", note=KEY_NOTE_OTHER)
189
+ return key_headers(kind, entry["key"])