local-triage 0.0.0-stage → 0.10.0-dev.32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (223) hide show
  1. package/LICENSE +21 -0
  2. package/README.md +90 -2
  3. package/THIRD-PARTY-NOTICES.md +48 -0
  4. package/app/__init__.py +3 -0
  5. package/app/affiliation.py +137 -0
  6. package/app/ask.py +300 -0
  7. package/app/build_info.py +98 -0
  8. package/app/capec.py +168 -0
  9. package/app/capec_view.py +27 -0
  10. package/app/codecmp.py +59 -0
  11. package/app/config.py +411 -0
  12. package/app/context.py +1451 -0
  13. package/app/cvss.py +357 -0
  14. package/app/db.py +6234 -0
  15. package/app/defect.py +670 -0
  16. package/app/defect_check.py +323 -0
  17. package/app/defect_drafts.py +612 -0
  18. package/app/defect_dto.py +149 -0
  19. package/app/defect_fields.py +248 -0
  20. package/app/defect_form.py +124 -0
  21. package/app/defect_links.py +107 -0
  22. package/app/defect_local_text.py +103 -0
  23. package/app/defect_references.py +164 -0
  24. package/app/defect_where.py +147 -0
  25. package/app/ecosystem.py +51 -0
  26. package/app/executors.py +660 -0
  27. package/app/feeds.py +1231 -0
  28. package/app/guard.py +164 -0
  29. package/app/hub_block_builder.py +200 -0
  30. package/app/hub_block_version.py +220 -0
  31. package/app/hub_defects.py +4469 -0
  32. package/app/hub_effects.py +421 -0
  33. package/app/hub_entity_versions.py +108 -0
  34. package/app/hub_import.py +2054 -0
  35. package/app/hub_onboarding.py +114 -0
  36. package/app/hub_ops.py +330 -0
  37. package/app/hub_pull.py +1195 -0
  38. package/app/hub_state.py +255 -0
  39. package/app/hub_status.py +237 -0
  40. package/app/hub_sync.py +619 -0
  41. package/app/hub_sync_api.py +241 -0
  42. package/app/hub_sync_compare.py +1054 -0
  43. package/app/hub_sync_contract.py +75 -0
  44. package/app/hub_template_model.py +74 -0
  45. package/app/hub_text_scale.py +159 -0
  46. package/app/journal.py +250 -0
  47. package/app/llm.py +850 -0
  48. package/app/llm_chat.py +596 -0
  49. package/app/llm_http.py +319 -0
  50. package/app/llm_messages.py +401 -0
  51. package/app/llm_net.py +764 -0
  52. package/app/llm_ollama.py +571 -0
  53. package/app/lockfile.py +505 -0
  54. package/app/logsafe.py +54 -0
  55. package/app/main.py +367 -0
  56. package/app/mask_display.py +132 -0
  57. package/app/masking.py +814 -0
  58. package/app/metrics.py +194 -0
  59. package/app/model_traffic.py +519 -0
  60. package/app/models.py +483 -0
  61. package/app/navigation.py +121 -0
  62. package/app/osv.py +279 -0
  63. package/app/package_identity.py +189 -0
  64. package/app/package_transition.py +824 -0
  65. package/app/profile_gate.py +71 -0
  66. package/app/prompts.py +1108 -0
  67. package/app/provider_keys.py +189 -0
  68. package/app/providers.py +511 -0
  69. package/app/routes/__init__.py +10 -0
  70. package/app/routes/api.py +153 -0
  71. package/app/routes/capec.py +186 -0
  72. package/app/routes/common.py +407 -0
  73. package/app/routes/components.py +1499 -0
  74. package/app/routes/cwe.py +168 -0
  75. package/app/routes/decision_selected.py +153 -0
  76. package/app/routes/defect_add.py +223 -0
  77. package/app/routes/defect_card_routes.py +363 -0
  78. package/app/routes/defect_selected.py +342 -0
  79. package/app/routes/feeds.py +155 -0
  80. package/app/routes/findings.py +2736 -0
  81. package/app/routes/hub.py +402 -0
  82. package/app/routes/hub_bulk.py +288 -0
  83. package/app/routes/hub_defect_routes.py +1945 -0
  84. package/app/routes/hub_status_routes.py +1132 -0
  85. package/app/routes/hub_sync_routes.py +463 -0
  86. package/app/routes/journal.py +132 -0
  87. package/app/routes/projects.py +1601 -0
  88. package/app/routes/providers.py +336 -0
  89. package/app/routes/references.py +26 -0
  90. package/app/routes/runs.py +219 -0
  91. package/app/routes/sca.py +2722 -0
  92. package/app/routes/settings.py +163 -0
  93. package/app/run_errors.py +151 -0
  94. package/app/sca.py +1662 -0
  95. package/app/sca_contract.py +1289 -0
  96. package/app/sca_research.py +1089 -0
  97. package/app/sca_research_net.py +1007 -0
  98. package/app/sca_text.py +965 -0
  99. package/app/serve.py +70 -0
  100. package/app/settings_store.py +262 -0
  101. package/app/static/app.css +2802 -0
  102. package/app/static/app.js +3772 -0
  103. package/app/static/capec-license.txt +9 -0
  104. package/app/static/favicon.svg +1 -0
  105. package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
  106. package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
  107. package/app/static/fonts/OFL.txt +90 -0
  108. package/app/static/navigation.js +234 -0
  109. package/app/static/observability.js +121 -0
  110. package/app/static/theme.js +49 -0
  111. package/app/storage/__init__.py +16 -0
  112. package/app/storage/local_state.py +246 -0
  113. package/app/storage/migrate.py +110 -0
  114. package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
  115. package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
  116. package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
  117. package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
  118. package/app/storage/postgresql.py +573 -0
  119. package/app/storage/schema.py +619 -0
  120. package/app/storage/sql.py +57 -0
  121. package/app/storage/tools.py +254 -0
  122. package/app/telemetry.py +307 -0
  123. package/app/templates/base.html +91 -0
  124. package/app/templates/capec/context.html +3 -0
  125. package/app/templates/capec/detail.html +27 -0
  126. package/app/templates/capec/index.html +128 -0
  127. package/app/templates/components/_archive.html +11 -0
  128. package/app/templates/components/archived.html +19 -0
  129. package/app/templates/components/batch.html +35 -0
  130. package/app/templates/components/detail.html +332 -0
  131. package/app/templates/components/index.html +338 -0
  132. package/app/templates/components/research_preview.html +80 -0
  133. package/app/templates/components/research_run.html +54 -0
  134. package/app/templates/cwe/bdu.html +56 -0
  135. package/app/templates/cwe/detail.html +233 -0
  136. package/app/templates/cwe/index.html +97 -0
  137. package/app/templates/error.html +8 -0
  138. package/app/templates/feeds/index.html +65 -0
  139. package/app/templates/findings/card.html +639 -0
  140. package/app/templates/findings/decision_selected.html +41 -0
  141. package/app/templates/findings/defect_add.html +46 -0
  142. package/app/templates/findings/defect_selected.html +47 -0
  143. package/app/templates/findings/list.html +153 -0
  144. package/app/templates/findings/send_selected.html +53 -0
  145. package/app/templates/findings/trace.html +72 -0
  146. package/app/templates/journal/detail.html +19 -0
  147. package/app/templates/journal/index.html +19 -0
  148. package/app/templates/macros.html +440 -0
  149. package/app/templates/navigation-fields.html +1 -0
  150. package/app/templates/navigation.html +11 -0
  151. package/app/templates/projects/_identity_summary.html +42 -0
  152. package/app/templates/projects/defect_card.html +153 -0
  153. package/app/templates/projects/defect_create_preview.html +17 -0
  154. package/app/templates/projects/defect_fields_diff.html +6 -0
  155. package/app/templates/projects/defect_fields_form.html +40 -0
  156. package/app/templates/projects/defect_references.html +17 -0
  157. package/app/templates/projects/defect_sync_preview.html +28 -0
  158. package/app/templates/projects/defect_update_actions.html +6 -0
  159. package/app/templates/projects/defect_update_preview.html +24 -0
  160. package/app/templates/projects/defects.html +126 -0
  161. package/app/templates/projects/delete.html +31 -0
  162. package/app/templates/projects/external.html +61 -0
  163. package/app/templates/projects/folders.html +64 -0
  164. package/app/templates/projects/hub_accepted.html +10 -0
  165. package/app/templates/projects/hub_assignment.html +50 -0
  166. package/app/templates/projects/hub_pending.html +20 -0
  167. package/app/templates/projects/hub_pending_list.html +17 -0
  168. package/app/templates/projects/hub_state_note.html +23 -0
  169. package/app/templates/projects/hub_step_note.html +5 -0
  170. package/app/templates/projects/hub_sync.html +105 -0
  171. package/app/templates/projects/hub_sync_confirm.html +32 -0
  172. package/app/templates/projects/hub_sync_worker.html +5 -0
  173. package/app/templates/projects/hub_text_rules.html +64 -0
  174. package/app/templates/projects/identity_report.html +74 -0
  175. package/app/templates/projects/list.html +90 -0
  176. package/app/templates/projects/project.html +433 -0
  177. package/app/templates/reference-missing.html +14 -0
  178. package/app/templates/runs/run.html +166 -0
  179. package/app/templates/sca/card.html +476 -0
  180. package/app/templates/sca/index.html +321 -0
  181. package/app/templates/settings/hub_url.html +31 -0
  182. package/app/templates/settings/index.html +216 -0
  183. package/app/templates/settings/provider.html +229 -0
  184. package/app/templates/settings/providers.html +37 -0
  185. package/app/templates/worklists.html +52 -0
  186. package/app/textsafe.py +117 -0
  187. package/app/timing.py +245 -0
  188. package/app/triage.py +1743 -0
  189. package/app/view.py +430 -0
  190. package/app/worklists.py +204 -0
  191. package/examples/demo/demo-hub-report-v2.xlsx +0 -0
  192. package/examples/demo/demo-hub-report.xlsx +0 -0
  193. package/examples/demo/repos/billing-core/pom.xml +30 -0
  194. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
  195. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
  196. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
  197. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
  198. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
  199. package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
  200. package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
  201. package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
  202. package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
  203. package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
  204. package/examples/demo/repos/catalog-api/requirements.txt +3 -0
  205. package/npm/build.json +5 -0
  206. package/npm/cli.js +346 -0
  207. package/npm/files.manifest +224 -0
  208. package/npm/lib/binding.js +64 -0
  209. package/npm/lib/cluster.js +330 -0
  210. package/npm/lib/env.js +88 -0
  211. package/npm/lib/fsx.js +125 -0
  212. package/npm/lib/http.js +53 -0
  213. package/npm/lib/metrics.js +73 -0
  214. package/npm/lib/paths.js +150 -0
  215. package/npm/lib/pg.js +351 -0
  216. package/npm/lib/proc.js +101 -0
  217. package/npm/lib/python.js +133 -0
  218. package/npm/lib/stand.js +46 -0
  219. package/npm/lib/supervisor.js +1141 -0
  220. package/npm/lib/version.js +21 -0
  221. package/npm/requirements.txt +476 -0
  222. package/npm-shrinkwrap.json +111 -0
  223. package/package.json +37 -4
package/app/llm_net.py ADDED
@@ -0,0 +1,764 @@
1
+ """Соединение с сервером модели по проверенному адресу (вынесено из app/llm.py в 0.9.12, ADR-0102).
2
+
3
+ Код находок не должен покидать компьютер, поэтому:
4
+ * адрес сервера – только http(s) с хостом из ALLOWED_HOSTS, без имени и пароля; проверка – до соединения;
5
+ * имя хоста разрешается один раз на запрос, со своим сроком (зависшая служба имён не держит очередь), и
6
+ соединение идёт только с проверенными адресами из этого разрешения. Принимаются конкретные адреса, а не целые
7
+ частные диапазоны: localhost, 127.0.0.1 и ::1 – только loopback; host.docker.internal – loopback, а в контейнере
8
+ адрес из его файла hosts (запись host-gateway из extra_hosts в docker-compose.yml), вне контейнера – адрес
9
+ самого этого компьютера; ollama – loopback, а в контейнере адрес из подсети, к которой он подключён напрямую
10
+ (сеть Docker). Адрес другого компьютера сети под этими именами не принимается;
11
+ * запросы идут через http.client: системные прокси (HTTP_PROXY, настройки Windows) не используются,
12
+ перенаправления не выполняются; у каждого запроса общий срок (сторож закрывает сокет, когда он истёк).
13
+
14
+ Точки подмены в тестах (_new_socket, _connect_any, in_container, hosts_file_addresses, local_networks,
15
+ is_own_address, time, CONTAINER_HOSTS_FILE, CONTAINER_MARKERS, RESOLVE_TIMEOUT_S, _resolve_slots) – атрибуты этого
16
+ модуля: функции модуля берут их отсюда при каждом вызове.
17
+ """
18
+
19
+ from __future__ import annotations
20
+
21
+ import http.client
22
+ import ipaddress
23
+ import os
24
+ import socket
25
+ import sys
26
+ import threading
27
+ import time
28
+ from dataclasses import dataclass
29
+ from typing import Any
30
+
31
+ from app.llm import LlmError, ResolveError, SendNotAllowed, _seconds
32
+
33
+ try:
34
+ import ssl
35
+ except ImportError: # сборка Python без ssl: остаётся только http
36
+ ssl = None # type: ignore[assignment]
37
+
38
+ ALLOWED_HOSTS = ("localhost", "127.0.0.1", "::1", "host.docker.internal", "ollama")
39
+ # Имена, которые обязаны указывать на этот же компьютер (loopback). Остальные разрешённые имена – адреса Docker:
40
+ # host.docker.internal – шлюз к хосту из файла hosts контейнера, ollama – контейнер в одной сети Docker с приложением.
41
+ LOOPBACK_HOSTS = ("localhost", "127.0.0.1", "::1")
42
+ CONTAINER_HOSTS_FILE = "/etc/hosts" # в контейнере его пишет Docker, в том числе записи extra_hosts
43
+ CONTAINER_MARKERS = ("/.dockerenv", "/run/.containerenv") # файлы-метки, которые создают Docker и Podman
44
+ CONNECT_TIMEOUT_S = 10.0 # установка соединения: адрес, который молча отбрасывает пакеты, не держит запрос 900 с
45
+ # Соединение, рукопожатие TLS и передача байтов запроса идут под блокировкой профиля (app/profile_gate.py): у них свой
46
+ # короткий срок – сервер, который тянет рукопожатие или приём запроса, не задерживает правку профиля на весь срок ответа
47
+ SEND_TIMEOUT_S = 60.0
48
+ RESOLVE_TIMEOUT_S = 5.0 # разрешение имени хоста: зависшая служба имён не держит запрос и очередь триажа
49
+ RESOLVE_ATTEMPTS = 3 # отрицательный ответ службы имён (имени нет, временный сбой) повторяется: служба имён за туннелем
50
+ # VPN отвечает «нет такого имени» на доли секунды, и обращение срывалось до отправки
51
+ RESOLVE_RETRY_WAIT_S = (1.0, 2.0) # паузы между попытками разрешения имени
52
+ _sleep = time.sleep # пауза между попытками (тесты подменяют)
53
+ _now = time.monotonic # часы цикла попыток (тесты подменяют)
54
+ RESOLVE_SLOTS = 4 # одновременных разрешений имён не больше: зависшие держат место до своего конца
55
+ MAX_RESPONSE_BYTES = 32 * 1024 * 1024
56
+
57
+
58
+ # ============================================================================ соединение с проверенным адресом
59
+
60
+ @dataclass(frozen=True)
61
+ class _Target:
62
+ scheme: str
63
+ host: str # имя хоста в нижнем регистре, без скобок IPv6
64
+ port: int
65
+ prefix: str # путь из адреса сервера без «/» в конце
66
+ base: str # адрес сервера для сообщений
67
+
68
+
69
+ # Частные сети, в которых бывают адреса Docker (шлюз к хосту, контейнеры): RFC 1918 и IPv6 ULA. Link-local,
70
+ # документационные и зарезервированные диапазоны, которые ipaddress тоже считает «частными», не входят. Это
71
+ # дополнительное условие, а не разрешение: адрес должен быть ещё и конкретным адресом Docker (см. _address_allowed).
72
+ _PRIVATE_NETWORKS = tuple(ipaddress.ip_network(n) for n in ("10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16",
73
+ "fc00::/7"))
74
+
75
+
76
+ # Класс доверия lan (ADR-0102 п. 7): сервер в сети организации – только адреса этих частных сетей и только те, что
77
+ # оператор подтвердил в профиле. Точка подмены в тестах (поддельный сервер слушает loopback).
78
+ LAN_NETWORKS = _PRIVATE_NETWORKS
79
+ TRUST_CLASSES = ("local", "lan", "external") # иные классы сервер отклоняет
80
+ EXTERNAL_ENV = "LLM_EXTERNAL" # разрешение внешних провайдеров на установке: переменная окружения процесса (ADR-0104)
81
+ # Адреса компьютера, на котором работает контейнер (их задаёт start.ps1): изнутри контейнера адрес хоста не «свой» для
82
+ # bind(), а соединение с ним ведёт на сам компьютер – внешний профиль туда не ходит (ревью A3)
83
+ HOST_ADDRESSES_ENV = "TRIAGE_HOST_ADDRESSES"
84
+ HOST_UNKNOWN = ("Нет свежих адресов компьютера, на котором работает контейнер: их передаёт сборщик метрик компьютера, а он "
85
+ "не работает или не прочитал адреса (после перезагрузки компьютера он сам не запускается). Внешний "
86
+ "запрос не отправлен – иначе нельзя исключить обращение к самому компьютеру. Запустите сборщик в "
87
+ "PowerShell из папки приложения: .\\scripts\\host-metrics.ps1 -Action Start – приложение "
88
+ "перезапускать не нужно.")
89
+ # что делать оператору (текст паузы прогона): дело в сборщике, а не в профиле – совет «включите профиль» здесь ложный
90
+ HOST_UNKNOWN_NOTE = "Прогон на паузе. Когда сборщик заработает, нажмите «Продолжить»."
91
+ # Свежие адреса компьютера-хоста от сборщика метрик (scripts/host-metrics.ps1 → telemetry/host.json): функция,
92
+ # которую задаёт приложение при запуске (main.create_app); None – источника нет. Адреса меняются (временные IPv6,
93
+ # новый адрес после переподключения), поэтому снимка при запуске мало (ревью A3, круг 2).
94
+ HOST_SOURCE: Any = None
95
+ # Переходные диапазоны IPv6 со встроенным IPv4 (NAT64, 6to4, Teredo, IPv4-совместимые и SIIT): за ними может стоять
96
+ # внутренний или собственный адрес – внешнему профилю они не нужны и не принимаются (ревью A3)
97
+ _TRANSITION_V6 = tuple(ipaddress.ip_network(n) for n in ("64:ff9b::/96", "64:ff9b:1::/48", "2002::/16", "2001::/32",
98
+ "::/96", "::ffff:0:0:0/96"))
99
+ EXTERNAL_OFF = ("Внешние провайдеры моделей на этой установке выключены (в окружении приложения нет LLM_EXTERNAL=1): "
100
+ "запрос не отправлен.")
101
+ CONFIRM_NOTE = ("Прогон на паузе. Подтвердите адреса сервера в профиле на странице «Настройки» и нажмите «Продолжить» – "
102
+ "неразобранные находки пойдут новым прогоном.")
103
+
104
+
105
+ def lan_address_ok(ip: ipaddress.IPv4Address | ipaddress.IPv6Address) -> bool:
106
+ """Адрес допустим для класса lan: из частных сетей (RFC 1918, ULA), не link-local, не групповой и не пустой."""
107
+ return (not ip.is_link_local and not ip.is_multicast and not ip.is_unspecified
108
+ and any(ip in network for network in LAN_NETWORKS if network.version == ip.version))
109
+
110
+
111
+ def external_enabled() -> bool:
112
+ """Внешние провайдеры разрешены на этой установке: LLM_EXTERNAL=1 в окружении процесса (ADR-0104 п. 1). Читается
113
+ при каждом вызове: снятая переменная действует с ближайшей отправки."""
114
+ return os.environ.get(EXTERNAL_ENV, "").strip() == "1"
115
+
116
+
117
+ def external_address_ok(ip: ipaddress.IPv4Address | ipaddress.IPv6Address, hosts: list | None = None) -> bool:
118
+ """Адрес допустим для класса external: глобальный адрес в интернете (ipaddress.is_global: не частные сети, не
119
+ loopback, не link-local, не CGNAT 100.64/10, не документационные и не зарезервированные), не групповой и не
120
+ собственный адрес этого компьютера (ADR-0104 п. 2). hosts – сети адресов хоста одного снимка (host_networks) на
121
+ весь запрос; None – прочитать сейчас. is_own_address берётся из модуля при каждом вызове."""
122
+ if ip.version == 6 and ip.ipv4_mapped is not None:
123
+ ip = ip.ipv4_mapped
124
+ if ip.version == 6 and any(ip in network for network in _TRANSITION_V6):
125
+ return False
126
+ hosts = host_networks() if hosts is None else hosts
127
+ # зарезервированные (например 4000::/3, 8000::/1) ipaddress может считать и глобальными – не внешние (ревью D1)
128
+ return (ip.is_global and not ip.is_multicast and not ip.is_reserved
129
+ and not any(ip in network for network in hosts) and not is_own_address(ip))
130
+
131
+
132
+ def _fresh_host_addresses() -> list[str] | None:
133
+ """Свежие адреса хоста от сборщика метрик или None (источника нет, данные устарели, сбой чтения)."""
134
+ source = HOST_SOURCE
135
+ if source is None:
136
+ return None
137
+ try:
138
+ found = source()
139
+ except Exception: # noqa: BLE001 – сбой источника = данных нет: внешний запрос не уйдёт
140
+ return None
141
+ return None if found is None else list(found)
142
+
143
+
144
+ def host_addresses(fresh: list[str] | None = None) -> set[str]:
145
+ """Адреса компьютера-хоста: из TRIAGE_HOST_ADDRESSES (start.ps1, при запуске) и свежие от сборщика метрик (fresh –
146
+ уже прочитанный снимок; None – прочитать сейчас)."""
147
+ listed = os.environ.get(HOST_ADDRESSES_ENV, "").replace(";", ",").split(",")
148
+ if fresh is None:
149
+ fresh = _fresh_host_addresses() or []
150
+ return set(normalize_addresses([*listed, *fresh]))
151
+
152
+
153
+ def host_networks(fresh: list[str] | None = None) -> list:
154
+ """Сети адресов хоста: IPv4 – адрес целиком, IPv6 – его /64 (временные адреса IPv6 меняются внутри префикса)."""
155
+ networks = []
156
+ for text in host_addresses(fresh):
157
+ ip = _ip(text)
158
+ if ip is None:
159
+ continue
160
+ networks.append(ipaddress.ip_network(f"{ip}/64", strict=False) if ip.version == 6 and ip.is_global
161
+ else ipaddress.ip_network(str(ip)))
162
+ return networks
163
+
164
+
165
+ def normalize_addresses(values: Any) -> list[str]:
166
+ """Подтверждённые адреса в едином виде (как их пишет ipaddress), без повторов; не адреса – пропускаются."""
167
+ result: list[str] = []
168
+ for value in values or ():
169
+ ip = _ip(str(value))
170
+ if ip is not None and str(ip) not in result:
171
+ result.append(str(ip))
172
+ return result
173
+
174
+
175
+ def _ip(text: str) -> ipaddress.IPv4Address | ipaddress.IPv6Address | None:
176
+ """Адрес из текста (без индекса зоны «%eth0»); IPv4, записанный как IPv6 (::ffff:a.b.c.d), – как IPv4."""
177
+ try:
178
+ ip = ipaddress.ip_address(str(text).strip().split("%", 1)[0])
179
+ except ValueError:
180
+ return None
181
+ if isinstance(ip, ipaddress.IPv6Address) and ip.ipv4_mapped is not None:
182
+ return ip.ipv4_mapped
183
+ return ip
184
+
185
+
186
+ def parse_hosts(text: str, name: str) -> set:
187
+ """Адреса имени из текста файла hosts («адрес имя [имя…]», «#» – комментарий)."""
188
+ wanted = name.casefold()
189
+ result = set()
190
+ for line in str(text or "").splitlines():
191
+ parts = line.split("#", 1)[0].split()
192
+ if len(parts) >= 2 and wanted in (p.casefold() for p in parts[1:]):
193
+ ip = _ip(parts[0])
194
+ if ip is not None:
195
+ result.add(ip)
196
+ return result
197
+
198
+
199
+ def hosts_file_addresses(name: str) -> set:
200
+ """Адреса имени из файла hosts контейнера (/etc/hosts: туда Docker пишет записи extra_hosts)."""
201
+ try:
202
+ with open(CONTAINER_HOSTS_FILE, encoding="utf-8", errors="replace") as fh:
203
+ return parse_hosts(fh.read(1_000_000), name)
204
+ except OSError:
205
+ return set()
206
+
207
+
208
+ def in_container() -> bool:
209
+ """Приложение работает в контейнере: есть файл-метка, который создаёт Docker (/.dockerenv) или Podman."""
210
+ return any(os.path.exists(path) for path in CONTAINER_MARKERS)
211
+
212
+
213
+ def is_own_address(ip: ipaddress.IPv4Address | ipaddress.IPv6Address) -> bool:
214
+ """Адрес принадлежит этому компьютеру: к нему привязывается сокет (к адресу другой машины – нет). Пакеты при
215
+ проверке не отправляются. Пустой, групповой, link-local и зарезервированный адреса не принимаются."""
216
+ if ip.is_unspecified or ip.is_multicast or ip.is_link_local or ip.is_reserved:
217
+ return False
218
+ family = socket.AF_INET6 if ip.version == 6 else socket.AF_INET
219
+ try:
220
+ with socket.socket(family, socket.SOCK_STREAM) as probe:
221
+ probe.bind((str(ip), 0))
222
+ except OSError:
223
+ return False
224
+ return True
225
+
226
+
227
+ _RTF_UP, _RTF_GATEWAY = 0x1, 0x2 # флаги маршрута в /proc/net/route
228
+
229
+
230
+ def parse_routes(route: str, inet6: str) -> list:
231
+ """Подсети прямого подключения из /proc/net/route (IPv4: действующие маршруты без шлюза) и /proc/net/if_inet6
232
+ (IPv6: адреса интерфейсов с длиной префикса); без маршрута по умолчанию, loopback и link-local. Сеть, до которой
233
+ идут через шлюз, – уже не сеть Docker этого контейнера."""
234
+ networks = []
235
+ for line in str(route or "").splitlines()[1:]:
236
+ parts = line.split()
237
+ if len(parts) < 8:
238
+ continue
239
+ try:
240
+ flags = int(parts[3], 16)
241
+ if not flags & _RTF_UP or flags & _RTF_GATEWAY or int(parts[2], 16):
242
+ continue
243
+ destination = int(parts[1], 16).to_bytes(4, sys.byteorder) # ядро пишет адрес в порядке байт машины
244
+ mask = int(parts[7], 16).to_bytes(4, sys.byteorder)
245
+ network = ipaddress.ip_network((ipaddress.IPv4Address(destination),
246
+ str(ipaddress.IPv4Address(mask))), strict=False)
247
+ except (ValueError, OverflowError):
248
+ continue
249
+ if network.prefixlen > 0 and not network.is_loopback:
250
+ networks.append(network)
251
+ for line in str(inet6 or "").splitlines():
252
+ parts = line.split()
253
+ if len(parts) < 3 or len(parts[0]) != 32:
254
+ continue
255
+ try:
256
+ network = ipaddress.ip_network((ipaddress.IPv6Address(int(parts[0], 16)), int(parts[2], 16)),
257
+ strict=False)
258
+ except ValueError:
259
+ continue
260
+ if network.prefixlen > 0 and not (network.is_loopback or network.is_link_local):
261
+ networks.append(network)
262
+ return networks
263
+
264
+
265
+ def local_networks() -> list:
266
+ """Подсети, к которым этот компьютер или контейнер подключён напрямую (Linux; в Windows – пусто)."""
267
+ texts = []
268
+ for path in ("/proc/net/route", "/proc/net/if_inet6"):
269
+ try:
270
+ with open(path, encoding="ascii", errors="replace") as fh:
271
+ texts.append(fh.read(1_000_000))
272
+ except OSError:
273
+ texts.append("")
274
+ return parse_routes(*texts)
275
+
276
+
277
+ def _is_private(ip: ipaddress.IPv4Address | ipaddress.IPv6Address) -> bool:
278
+ return any(ip in network for network in _PRIVATE_NETWORKS if network.version == ip.version)
279
+
280
+
281
+ def _address_allowed(host: str, address: str) -> bool:
282
+ """Можно ли соединяться с адресом под этим именем. Loopback – всегда; localhost, 127.0.0.1, ::1 – только
283
+ loopback. Остальное – только конкретные адреса, а не целые частные диапазоны:
284
+ * host.docker.internal: в контейнере – частный адрес, записанный для этого имени в файле hosts контейнера
285
+ (host-gateway из extra_hosts); вне контейнера – адрес самого этого компьютера (так его пишет Docker Desktop
286
+ в hosts Windows; устаревшая запись с чужим адресом не проходит);
287
+ * ollama: в контейнере – частный адрес из подсети, к которой контейнер подключён напрямую (сеть Docker: туда
288
+ пакеты идут без шлюза, к контейнерам этого же компьютера); вне контейнера – только loopback.
289
+ Link-local, пустой и групповой адреса не принимаются. in_container, hosts_file_addresses, local_networks
290
+ и is_own_address берутся из модуля при каждом вызове."""
291
+ ip = _ip(address)
292
+ if ip is None:
293
+ return False
294
+ if ip.is_loopback:
295
+ return True
296
+ if host in LOOPBACK_HOSTS or ip.is_link_local or ip.is_unspecified or ip.is_multicast:
297
+ return False
298
+ container = in_container()
299
+ if host == "host.docker.internal":
300
+ if container:
301
+ return _is_private(ip) and ip in hosts_file_addresses(host)
302
+ return is_own_address(ip)
303
+ if host == "ollama":
304
+ return container and _is_private(ip) and any(ip in network for network in local_networks()
305
+ if network.version == ip.version)
306
+ return False
307
+
308
+
309
+ _resolve_slots = threading.BoundedSemaphore(RESOLVE_SLOTS)
310
+
311
+
312
+ def _resolve_error(host: str, text: str, trust: str = "local") -> ResolveError:
313
+ """Сбой службы имён словами (ResolveError: запрос не отправлен). Совет указать адрес Ollama числом – только для
314
+ Ollama этого компьютера; сервер в сети и внешний провайдер этим не чинятся."""
315
+ if trust == "local":
316
+ return ResolveError(f"Имя сервера «{host}» {text}. Проверьте сеть или укажите адрес Ollama числом, например "
317
+ "http://127.0.0.1:11434.")
318
+ return ResolveError(f"Имя сервера «{host}» {text}. Проверьте сеть и адрес сервера в профиле.")
319
+
320
+
321
+ def _resolve_once(host: str, port: int, timeout: float, trust: str) -> list[tuple] | socket.gaierror:
322
+ """Одна попытка разрешения имени в отдельном потоке: записи getaddrinfo или отрицательный ответ службы имён
323
+ (socket.gaierror – его _getaddrinfo повторяет). Блокирующий getaddrinfo не прервать, поэтому по истечении срока
324
+ запрос получает ResolveError, а поток дорабатывает сам (фоновый, остановке приложения не мешает). Одновременно идёт
325
+ не больше RESOLVE_SLOTS разрешений: если служба имён зависла, следующие запросы сразу получают ошибку, а не копят
326
+ потоки. Зависание, занятые места и прочие ошибки не повторяются."""
327
+ slots = _resolve_slots # освобождается тот же семафор, что занят, даже если модуль его заменил
328
+ if not slots.acquire(blocking=False):
329
+ raise _resolve_error(host, "не разрешается: служба имён (DNS) не ответила на прежние запросы", trust)
330
+ box: dict[str, Any] = {}
331
+ done = threading.Event()
332
+
333
+ def work() -> None:
334
+ try:
335
+ box["infos"] = socket.getaddrinfo(host, port, type=socket.SOCK_STREAM)
336
+ except Exception as e: # ошибка передаётся запросу
337
+ box["error"] = e
338
+ finally:
339
+ slots.release()
340
+ done.set()
341
+
342
+ try:
343
+ threading.Thread(target=work, name="ollama-resolve", daemon=True).start()
344
+ except RuntimeError: # поток не запустился (предел потоков)
345
+ slots.release()
346
+ raise _resolve_error(host, "не разрешено: не удалось запустить поток", trust) from None
347
+ if not done.wait(max(0.0, timeout)):
348
+ raise _resolve_error(host, f"не разрешилось за {_seconds(round(max(0.0, timeout), 1))}: служба имён (DNS) "
349
+ "не отвечает", trust)
350
+ error = box.get("error")
351
+ if isinstance(error, socket.gaierror):
352
+ return error
353
+ if error is not None:
354
+ raise _resolve_error(host, "не разрешено", trust) from None
355
+ return box["infos"]
356
+
357
+
358
+ def _getaddrinfo(host: str, port: int, timeout: float, trust: str = "local") -> list[tuple]:
359
+ """socket.getaddrinfo с общим сроком timeout (секунды) на все попытки и паузы.
360
+
361
+ Адрес-число разбирается сразу, без службы имён. Отрицательный ответ службы имён («имени нет», временный сбой)
362
+ повторяется до RESOLVE_ATTEMPTS раз с паузами RESOLVE_RETRY_WAIT_S (ADR-0113): служба имён за туннелем VPN отвечает
363
+ отказом на доли секунды, и без повтора обращение срывалось до отправки. Зависание (срок), занятые места и прочие
364
+ ошибки не повторяются. Все ошибки – ResolveError: ни один байт запроса не ушёл."""
365
+ if _ip(host) is not None:
366
+ try:
367
+ return socket.getaddrinfo(host, port, type=socket.SOCK_STREAM, flags=socket.AI_NUMERICHOST)
368
+ except OSError:
369
+ raise _resolve_error(host, "не разобран как адрес", trust) from None
370
+ error: socket.gaierror | None = None
371
+ deadline = _now() + max(0.0, timeout) # срок – на все попытки и паузы вместе (ревью круга 51, В2)
372
+ attempts = 0
373
+ for attempt in range(RESOLVE_ATTEMPTS):
374
+ if attempt:
375
+ wait = RESOLVE_RETRY_WAIT_S[min(attempt - 1, len(RESOLVE_RETRY_WAIT_S) - 1)]
376
+ if deadline - _now() <= wait:
377
+ break # пауза съела бы остаток срока: повтор не успеет
378
+ _sleep(wait)
379
+ left = deadline - _now()
380
+ if left <= 0:
381
+ break
382
+ attempts += 1
383
+ got = _resolve_once(host, port, left, trust)
384
+ if not isinstance(got, socket.gaierror):
385
+ return got
386
+ error = got
387
+ tries = f" ({attempts} {'попытка' if attempts == 1 else 'попытки'} подряд)"
388
+ if error is not None and error.errno == getattr(socket, "EAI_AGAIN", None):
389
+ # временный сбой службы имён – не «имени нет»
390
+ raise _resolve_error(host, "не разрешилось: служба имён (DNS) временно не ответила" + tries +
391
+ " – повторите через минуту", trust) from None
392
+ if trust == "local":
393
+ raise ResolveError(f"Имя сервера «{host}» не найдено{tries}. Если приложение запущено не в Docker, укажите адрес "
394
+ "Ollama http://127.0.0.1:11434 на странице «Настройки».") from None
395
+ raise ResolveError(f"Имя сервера «{host}» не найдено службой имён (DNS){tries}: проверьте адрес сервера в профиле и "
396
+ "сеть; если имя верное, повторите через минуту.") from None
397
+
398
+
399
+ def _lan_entries(host: str, entries: list[tuple], confirmed: Any) -> list[tuple]:
400
+ """Класс lan: все адреса имени – из частных сетей (иначе LlmError) и подтверждены в профиле (иначе SendNotAllowed –
401
+ запрос не отправлен, профиль требует нового подтверждения)."""
402
+ found = [(str(info[4][0]), _ip(str(info[4][0]))) for info in entries]
403
+ outside = [text for text, ip in found if ip is None or not lan_address_ok(ip)]
404
+ if outside or not found:
405
+ raise LlmError(f"Имя «{host}» указывает на адрес {', '.join(outside) or 'неизвестно'} – это не частная сеть "
406
+ "(10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, fc00::/7). Запрос не отправлен: сервер в сети "
407
+ "организации принимается только с частным адресом.")
408
+ allowed = set(normalize_addresses(confirmed))
409
+ new = [str(ip) for _, ip in found if str(ip) not in allowed]
410
+ if new:
411
+ known = (f"в профиле подтверждены {', '.join(sorted(allowed))}" if allowed
412
+ else "адреса сервера в профиле не подтверждены")
413
+ raise SendNotAllowed(f"Сервер «{host}» – это адрес {', '.join(new)}, а {known}: запрос к модели не "
414
+ "отправлен.", note=CONFIRM_NOTE)
415
+ return entries
416
+
417
+
418
+ def _external_entries(host: str, entries: list[tuple], hosts: list) -> list[tuple]:
419
+ """Класс external: все адреса имени – глобальные и не адреса хоста (hosts – сети одного снимка на запрос); иначе
420
+ LlmError: имя внешнего сервера не должно вести во внутреннюю сеть или на этот компьютер."""
421
+ found = [(str(info[4][0]), _ip(str(info[4][0]))) for info in entries]
422
+ bad = [text for text, ip in found if ip is None or not external_address_ok(ip, hosts)]
423
+ if bad or not found:
424
+ raise LlmError(f"Имя «{host}» указывает на адрес {', '.join(bad) or 'неизвестно'} – это не адрес в интернете "
425
+ "(внутренняя сеть, этот компьютер или служебный диапазон). Запрос не отправлен: внешний "
426
+ "провайдер принимается только с публичным адресом.")
427
+ return entries
428
+
429
+
430
+ def _resolve(host: str, port: int, timeout: float = RESOLVE_TIMEOUT_S, trust: str = "local",
431
+ confirmed: Any = ()) -> list[tuple]:
432
+ """Записи getaddrinfo для разрешённого имени: только допустимые адреса, IPv4 первым. Имя разрешается не дольше
433
+ min(RESOLVE_TIMEOUT_S, timeout) секунд. Класс local (_address_allowed): имя указывает хоть на один недопустимый
434
+ адрес – LlmError, такому имени не доверяем совсем. Класс lan (_lan_entries): только частные и подтверждённые
435
+ адреса (confirmed). Соединение потом идёт только с этими записями (_connect_any): имя повторно не разрешается,
436
+ поэтому подменить адрес между проверкой и соединением нельзя."""
437
+ if trust not in TRUST_CLASSES:
438
+ raise LlmError(f"Класс доверия «{trust}» не поддерживается: запрос к модели не отправлен.")
439
+ if trust == "external" and not external_enabled(): # до службы имён: снятая переменная – ни одного обращения
440
+ raise SendNotAllowed(EXTERNAL_OFF)
441
+ hosts: list = []
442
+ if trust == "external":
443
+ # один снимок адресов хоста на весь запрос (ревью A3, круг 3): в контейнере без свежего снимка – отказ
444
+ fresh = _fresh_host_addresses()
445
+ if in_container() and fresh is None:
446
+ raise SendNotAllowed(HOST_UNKNOWN, note=HOST_UNKNOWN_NOTE)
447
+ hosts = host_networks(fresh or [])
448
+ infos = _getaddrinfo(host, port, min(RESOLVE_TIMEOUT_S, timeout), trust)
449
+ unique: dict[tuple, tuple] = {}
450
+ for info in infos:
451
+ unique.setdefault(tuple(info[4]), info)
452
+ # IPv4 первым: Ollama в Windows слушает только 127.0.0.1, а отказ на ::1 там стоит около 2 с на каждый запрос
453
+ entries = sorted(unique.values(), key=lambda info: info[0] != socket.AF_INET)
454
+ if trust == "lan":
455
+ return _lan_entries(host, entries, confirmed)
456
+ if trust == "external":
457
+ return _external_entries(host, entries, hosts)
458
+ bad = [str(info[4][0]) for info in entries if not _address_allowed(host, str(info[4][0]))]
459
+ if bad or not entries:
460
+ container = in_container()
461
+ if host == "host.docker.internal" and container:
462
+ where = ("этот компьютер: такого адреса нет в файле hosts контейнера (запись "
463
+ "host.docker.internal:host-gateway в extra_hosts, docker-compose.yml)")
464
+ elif host == "host.docker.internal":
465
+ where = "адрес этого компьютера (запись host.docker.internal в файле hosts устарела?)"
466
+ elif host == "ollama" and container:
467
+ where = "этот компьютер и не сеть Docker, к которой подключён контейнер"
468
+ elif host == "ollama":
469
+ where = "этот компьютер: вне контейнера имя ollama принимается только с адресом loopback"
470
+ else:
471
+ where = "этот компьютер"
472
+ raise LlmError(f"Имя «{host}» указывает на адрес {', '.join(bad) or 'неизвестно'} – это не {where}. "
473
+ "Запрос не отправлен: код находок не должен покидать компьютер.")
474
+ return entries
475
+
476
+
477
+ def external_target(url: str) -> _Target:
478
+ """Адрес внешнего сервера без сети (ADR-0104 п. 2): только https, без имени и пароля, без «?» и «#», порт числом;
479
+ адрес-число – только глобальный. Куда указывает имя, проверяется при каждом запросе (_resolve). LlmError."""
480
+ import urllib.parse
481
+ hint = "нужен адрес вида https://api.example.com"
482
+ url = str(url or "").strip()
483
+ if not url:
484
+ raise LlmError(f"Адрес внешнего сервера не задан: {hint}.")
485
+ try:
486
+ parts = urllib.parse.urlsplit(url)
487
+ except ValueError:
488
+ raise LlmError(f"Адрес внешнего сервера не распознан: {hint}.") from None
489
+ if parts.scheme.lower() != "https" or not parts.netloc:
490
+ raise LlmError(f"Внешний сервер – только https: {hint}.")
491
+ if ssl is None: # pragma: no cover - сборка Python без ssl
492
+ raise LlmError("В этой сборке Python нет поддержки https: внешний сервер недоступен.")
493
+ if "@" in parts.netloc:
494
+ raise LlmError(f"В адресе внешнего сервера не должно быть имени пользователя и пароля: {hint}.")
495
+ host = (parts.hostname or "").lower()
496
+ ip = _ip(host)
497
+ if not host or ip is not None and not external_address_ok(ip):
498
+ raise LlmError(f"Адрес «{host}» – не адрес в интернете: внешний сервер принимается только с публичным "
499
+ f"адресом, {hint}.")
500
+ try:
501
+ port = parts.port
502
+ except ValueError:
503
+ raise LlmError(f"В адресе внешнего сервера неверный порт: {hint}.") from None
504
+ if parts.query or parts.fragment:
505
+ raise LlmError(f"В адресе внешнего сервера не должно быть «?» и «#»: {hint}.")
506
+ prefix = parts.path.rstrip("/")
507
+ base = urllib.parse.urlunsplit(("https", parts.netloc, prefix, "", ""))
508
+ return _Target("https", host, port or 443, prefix, base)
509
+
510
+
511
+ def resolve_allowed(host: str, port: int, timeout: float = RESOLVE_TIMEOUT_S) -> list[str]:
512
+ """Адреса, с которыми клиент будет соединяться для разрешённого имени хоста (по порядку); иначе LlmError."""
513
+ return [str(info[4][0]) for info in _resolve(host, port, timeout)]
514
+
515
+
516
+ class _ConnectTimeout(Exception):
517
+ """Соединение не установлено за отведённое время."""
518
+
519
+
520
+ _new_socket = socket.socket # точка подмены в тестах
521
+
522
+
523
+ def _connect_any(entries: list[tuple], deadline: float) -> socket.socket:
524
+ """Соединение с первым ответившим из проверенных адресов. Адрес берётся из записи getaddrinfo целиком
525
+ (с индексом интерфейса у IPv6 link-local) – имя повторно не разрешается."""
526
+ last: OSError | None = None
527
+ for family, socktype, proto, _, sockaddr in entries:
528
+ sock = None
529
+ try:
530
+ sock = _new_socket(family, socktype, proto)
531
+ sock.settimeout(min(CONNECT_TIMEOUT_S, _remaining(deadline)))
532
+ sock.connect(sockaddr)
533
+ sock.settimeout(_remaining(deadline))
534
+ try:
535
+ sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
536
+ except OSError:
537
+ pass
538
+ return sock
539
+ except OSError as e: # в том числе TimeoutError: пробуем следующий адрес
540
+ last = e
541
+ if sock is not None:
542
+ sock.close()
543
+ if isinstance(last, TimeoutError):
544
+ raise _ConnectTimeout
545
+ raise last or OSError("нет адресов для соединения")
546
+
547
+
548
+ class _Watchdog:
549
+ """Общий срок запроса: по его истечении зарегистрированный сокет закрывается на уровне дескриптора (shutdown),
550
+ и любое ожидание – рукопожатие TLS, заголовки, тело – прерывается.
551
+
552
+ Сокет регистрируется через register() под той же блокировкой, что и срабатывание: если срок истёк раньше
553
+ регистрации (например, между отсоединением дескриптора в wrap_socket и регистрацией TLS-сокета), новый сокет
554
+ закрывается сразу и запрос прекращается (TimeoutError). socket.socket.shutdown вызывается напрямую и для
555
+ TLS-сокета: закрывается сам дескриптор, а состояние TLS (SSLSocket._sslobj), которым в этот момент пользуется
556
+ читающий поток, не трогается. После cancel() сторож ничего не делает.
557
+ """
558
+
559
+ def __init__(self, deadline: float) -> None:
560
+ self.fired = False
561
+ self._done = False
562
+ self._sock: socket.socket | None = None
563
+ self._lock = threading.Lock()
564
+ self._timer = threading.Timer(max(0.0, deadline - time.monotonic()), self._fire)
565
+ self._timer.daemon = True
566
+ self._timer.start()
567
+
568
+ @staticmethod
569
+ def _shutdown(sock: socket.socket | None) -> None:
570
+ if sock is not None:
571
+ try:
572
+ socket.socket.shutdown(sock, socket.SHUT_RDWR)
573
+ except OSError:
574
+ pass
575
+
576
+ def _fire(self) -> None:
577
+ with self._lock:
578
+ if self._done:
579
+ return
580
+ self.fired = True
581
+ self._shutdown(self._sock)
582
+
583
+ def register(self, sock: socket.socket) -> None:
584
+ """Сокет, который надо прервать по сроку (заменяет прежний). Срок уже истёк – закрыть и TimeoutError."""
585
+ with self._lock:
586
+ self._sock = sock
587
+ expired = self.fired and not self._done
588
+ if expired:
589
+ self._shutdown(sock)
590
+ if expired:
591
+ raise TimeoutError
592
+
593
+ def cancel(self) -> None:
594
+ with self._lock:
595
+ self._done = True
596
+ self._sock = None
597
+ self._timer.cancel()
598
+
599
+
600
+ class _PinnedHTTPConnection(http.client.HTTPConnection):
601
+ """HTTP-соединение только с заранее проверенными адресами; в заголовке Host – исходное имя.
602
+
603
+ После успешного send() байты копируются в request_wire для журнала обмена с моделью. При сбое sendall
604
+ отправленная часть неизвестна: блок не записывается как отправленный.
605
+ """
606
+
607
+ def __init__(self, host: str, port: int, entries: list[tuple], deadline: float, watchdog: _Watchdog) -> None:
608
+ super().__init__(host, port, timeout=max(0.001, deadline - time.monotonic()))
609
+ self._entries = entries
610
+ self._deadline = deadline
611
+ self._watchdog = watchdog
612
+ self.request_wire = bytearray()
613
+ # передача байтов запроса началась (первый send): после этого исход для сервера неизвестен, даже если
614
+ # request_wire пуст – при сбое sendall отправленная часть неизвестна (К11 плана 0.9.13)
615
+ self.send_started = False
616
+
617
+ def connect(self) -> None:
618
+ sock = _connect_any(self._entries, self._deadline)
619
+ self.sock = sock
620
+ self._watchdog.register(sock)
621
+ settimeout = getattr(sock, "settimeout", None)
622
+ if settimeout is not None: # передача запроса – с коротким сроком (обычный срок вернёт _request)
623
+ settimeout(min(SEND_TIMEOUT_S, _remaining(self._deadline)))
624
+
625
+ def send(self, data: Any) -> None:
626
+ if isinstance(data, str):
627
+ data = data.encode("ascii")
628
+ if self.sock is None and self.auto_open: # http.client соединяется внутри send: соединение – до отметки
629
+ self.connect()
630
+ settimeout = getattr(self.sock, "settimeout", None)
631
+ if settimeout is not None: # передача запроса – с коротким сроком (обычный срок вернёт _request)
632
+ settimeout(min(SEND_TIMEOUT_S, _remaining(self._deadline)))
633
+ self.send_started = True # сразу перед передачей: сбой подготовки срока байты не отправлял
634
+ super().send(data)
635
+ self.request_wire += data
636
+
637
+
638
+ def _tls_context():
639
+ """Контекст TLS: системное хранилище сертификатов процесса (в контейнере – образа), проверка имени хоста.
640
+ Точка подмены в тестах (тестовый удостоверяющий центр, tests/certs)."""
641
+ return ssl.create_default_context()
642
+
643
+
644
+ if ssl is not None:
645
+ class _PinnedHTTPSConnection(_PinnedHTTPConnection):
646
+ """HTTPS с проверенными адресами; сертификат проверяется по исходному имени хоста."""
647
+
648
+ default_port = http.client.HTTPS_PORT
649
+
650
+ def connect(self) -> None:
651
+ raw = _connect_any(self._entries, self._deadline)
652
+ self.sock = raw
653
+ self._watchdog.register(raw)
654
+ # wrap_socket забирает дескриптор у raw: сторожу нужен уже TLS-сокет, и до рукопожатия – тогда
655
+ # общий срок прерывает и затянутое рукопожатие
656
+ tls = _tls_context().wrap_socket(raw, server_hostname=self.host, do_handshake_on_connect=False)
657
+ self.sock = tls
658
+ self._watchdog.register(tls)
659
+ tls.settimeout(min(CONNECT_TIMEOUT_S, _remaining(self._deadline))) # рукопожатие – как соединение
660
+ tls.do_handshake()
661
+ tls.settimeout(min(SEND_TIMEOUT_S, _remaining(self._deadline))) # передача запроса – с коротким сроком
662
+ else: # pragma: no cover - сборка Python без ssl
663
+ _PinnedHTTPSConnection = None # type: ignore[assignment,misc]
664
+
665
+
666
+ class _TooLarge(Exception):
667
+ """Тело ответа больше MAX_RESPONSE_BYTES."""
668
+
669
+
670
+ def _remaining(deadline: float) -> float:
671
+ left = deadline - time.monotonic()
672
+ if left <= 0:
673
+ raise TimeoutError
674
+ return left
675
+
676
+
677
+ def _read_body(response: http.client.HTTPResponse, deadline: float) -> bytes:
678
+ """Тело ответа целиком, не дольше общего срока и не больше MAX_RESPONSE_BYTES. Соединение закрылось раньше
679
+ заявленной длины – http.client.IncompleteRead."""
680
+ chunks, size = [], 0
681
+ while True:
682
+ _remaining(deadline)
683
+ chunk = response.read1(65536)
684
+ if not chunk:
685
+ break
686
+ size += len(chunk)
687
+ if size > MAX_RESPONSE_BYTES:
688
+ raise _TooLarge
689
+ chunks.append(chunk)
690
+ if response.length: # read1 на обрыве возвращает пустые байты без ошибки: остаток заявленной длины не прочитан
691
+ raise http.client.IncompleteRead(b"".join(chunks), response.length)
692
+ return b"".join(chunks)
693
+
694
+
695
+ class _RecordedResponse:
696
+ """HTTPResponse, у которого каждое чтение через read1 копирует полученные байты в read_wire: для журнала
697
+ обмена с моделью тело ответа записывается ровно как пришло (до разбора JSON). Остальные поля и методы –
698
+ как у настоящего ответа."""
699
+
700
+ def __init__(self, inner: http.client.HTTPResponse) -> None:
701
+ self._inner = inner
702
+ self.read_wire = bytearray()
703
+ self.chunk_count = 0
704
+
705
+ def read1(self, size: int = -1) -> bytes:
706
+ chunk = self._inner.read1(size)
707
+ if chunk:
708
+ self.read_wire += chunk
709
+ self.chunk_count += 1
710
+ return chunk
711
+
712
+ def __getattr__(self, name: str) -> Any:
713
+ return getattr(self._inner, name)
714
+
715
+
716
+ def _elapsed_ms(started: float) -> int:
717
+ """Сколько миллисекунд прошло с started (монотонные часы)."""
718
+ return max(0, int(round((time.monotonic() - started) * 1000)))
719
+
720
+
721
+ def _peer(conn: Any) -> str | None:
722
+ """IP и порт, к которому установлено соединение (из сокета); соединения не было – None."""
723
+ sock = getattr(conn, "sock", None)
724
+ if sock is None:
725
+ return None
726
+ try:
727
+ addr = sock.getpeername()
728
+ except OSError:
729
+ return None
730
+ host, port = str(addr[0]), int(addr[1])
731
+ return f"[{host}]:{port}" if ":" in host else f"{host}:{port}"
732
+
733
+
734
+ def _response_headers(response: Any) -> dict[str, str]:
735
+ """Заголовки ответа из HTTPResponse; повторённое имя соединяется через «, »."""
736
+ result: dict[str, str] = {}
737
+ for name, value in response.getheaders():
738
+ key = str(name)
739
+ result[key] = f"{result[key]}, {value}" if key in result else str(value)
740
+ return result
741
+
742
+
743
+ def _wire_headers(wire: bytes) -> dict[str, str]:
744
+ """Заголовки запроса, разобранные из точного потока wire (после строки запроса, до пустой строки)."""
745
+ head = wire.split(b"\r\n\r\n", 1)[0]
746
+ result: dict[str, str] = {}
747
+ for line in head.split(b"\r\n")[1:]:
748
+ name, sep, value = line.partition(b":")
749
+ if not sep:
750
+ continue
751
+ key = name.decode("utf-8", "replace")
752
+ text = value.strip().decode("utf-8", "replace")
753
+ result[key] = f"{result[key]}, {text}" if key in result else text
754
+ return result
755
+
756
+
757
+ def _os_error_text(error: OSError) -> str:
758
+ """Системная ошибка соединения по-русски (текст системы бывает английским)."""
759
+ if ssl is not None and isinstance(error, ssl.SSLError):
760
+ return "ошибка TLS: сертификат сервера не прошёл проверку или протокол не поддерживается"
761
+ if isinstance(error, (ConnectionResetError, ConnectionAbortedError, BrokenPipeError)):
762
+ return "сервер закрыл соединение"
763
+ code = getattr(error, "errno", None)
764
+ return f"ошибка соединения{f' (код {code})' if code else ''}"