@itphx/synth-backend 0.10.1 → 0.11.3

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (46) hide show
  1. package/dist/app/bootstrap.d.ts +2 -2
  2. package/dist/app/deps.d.ts +50 -32
  3. package/dist/app/deps.js +233 -99
  4. package/dist/app/listen.d.ts +7 -2
  5. package/dist/app/listen.js +12 -1
  6. package/dist/app/mount-routes.d.ts +16 -3
  7. package/dist/app/mount-routes.js +258 -28
  8. package/dist/app.d.ts +16 -7
  9. package/dist/app.js +104 -11
  10. package/dist/auth/guards.d.ts +2 -1
  11. package/dist/auth/guards.js +9 -1
  12. package/dist/auth/middleware.d.ts +2 -12
  13. package/dist/auth/middleware.js +20 -2
  14. package/dist/auth/oidc.d.ts +7 -0
  15. package/dist/auth/oidc.js +27 -6
  16. package/dist/auth/service-scope.d.ts +7 -3
  17. package/dist/auth/service-scope.js +8 -4
  18. package/dist/events/hub.js +3 -38
  19. package/dist/lib/app-config.d.ts +2 -0
  20. package/dist/lib/app-config.js +3 -2
  21. package/dist/lib/defaults-store.d.ts +2 -25
  22. package/dist/lib/defaults-store.js +5 -87
  23. package/dist/lib/i18n.js +48 -0
  24. package/dist/main.js +19 -3
  25. package/dist/routes/agents.d.ts +2 -2
  26. package/dist/routes/auth.d.ts +2 -2
  27. package/dist/routes/context.d.ts +2 -2
  28. package/dist/routes/gateway-patterns.d.ts +2 -2
  29. package/dist/routes/llm.d.ts +8 -2
  30. package/dist/routes/llm.js +4 -1
  31. package/dist/routes/mcp-registry.d.ts +3 -3
  32. package/dist/routes/mcp-registry.js +2 -2
  33. package/dist/routes/messages.d.ts +5 -4
  34. package/dist/routes/messages.js +30 -3
  35. package/dist/routes/models.d.ts +7 -2
  36. package/dist/routes/models.js +3 -1
  37. package/dist/routes/projects.d.ts +3 -3
  38. package/dist/routes/providers.d.ts +15 -3
  39. package/dist/routes/providers.js +33 -21
  40. package/dist/routes/queue.d.ts +5 -4
  41. package/dist/routes/queue.js +30 -3
  42. package/dist/routes/sessions.d.ts +13 -3
  43. package/dist/routes/sessions.js +197 -73
  44. package/dist/test-helpers/close-server.d.ts +33 -0
  45. package/dist/test-helpers/close-server.js +50 -0
  46. package/package.json +3 -3
package/dist/app/deps.js CHANGED
@@ -4,27 +4,83 @@
4
4
  // Вынесено из `app.ts` (ADR-095, шаг 4b) — «вынос по швам», без изменения поведения.
5
5
  import { mkdir } from 'node:fs/promises';
6
6
  import { join } from 'node:path';
7
- import { ensureDataDir, parsePrincipalId, resolveDefaultWorkspace, resolveSecretKey, } from '@itphx/synth-shared';
8
- import { FileStore, SessionManager, EventBus, QueueProcessorManager, ContextConfig, ContextBuilder, ContextOptimizer, ChatOrchestrator, FileProfileStore, enqueueUserMessage, createToolRegistry, createAgentRegistry, McpManager, McpRegistryStore, DEFAULT_AGENT_ID, RuntimeSettingsStore, AuditLogger, mergeLlmGatewayConfig, mergeSecurityConfig, mergeMcpNetworkPolicy, mergeEventsConfig, mergeDecisionConfig, ProtectedPathsStore, SecretPatternStore, SkillService, resolveProjectSkillSeed, migrateSessionScopeSnapshots, CommandService, SkillBundleStore, SSHKeyStore, detectRuntimeDeps, syncProvidersFromEnv, HookBus, startEphemeralSweeper, EventBindingStore, EventApiKeyStore, EventJournalStore, EventRouter, RequestSessionService, EventIngress, eventToMessage, RouteRuleStore, ProjectRuleProvider, DecisionRuleProvider, IdentityClaimStore, ScheduleStore, SchedulerRuleProvider, SchedulerService, JobStore, MemoryDedupStore, FileDedupStore, AlwaysLeader, FileLeader, createExternalIdentityResolver, startEventJournalPruner, WebhookStore, WebhookDeliveryStore, WebhookService, startWebhookDeliveryPruner, JsonStore, ProjectStore, } from '@itphx/synth-core';
9
- import { DefaultsStore } from '../lib/defaults-store.js';
7
+ import { ensureDataDir, parsePrincipalId, resolveDefaultWorkspace, resolveSecretKey, resolveStorageBackend, resolvePostgresConfig, resolvePostgresPassword, resolveDegradedMode, resolveStorageFallbackDir, readTlsRuntimeSettings, } from '@itphx/synth-shared';
8
+ import { SessionManager, EventBus, QueueProcessorManager, ContextBuilder, ContextOptimizer, ChatOrchestrator, enqueueUserMessage, createToolRegistry, createAgentRegistry, McpManager, DEFAULT_AGENT_ID, AuditLogger, mergeLlmGatewayConfig, mergeSecurityConfig, mergeEventsConfig, mergeDecisionConfig, createEgressPolicyResolver, createEgressLogSink, configureEgressRuntime, startEgressLogPruner, SkillService, resolveProjectSkillSeed, CommandService, detectRuntimeDeps, syncProvidersFromEnv, HookBus, startEphemeralSweeper, assertInstanceDataNotTooNew, applyStartupMigrations, applyPendingRestore, EventRouter, RequestSessionService, EventIngress, eventToMessage, ProjectRuleProvider, DecisionRuleProvider, SchedulerRuleProvider, SchedulerService, AlwaysLeader, FileLeader, createExternalIdentityResolver, startEventJournalPruner, WebhookService, startWebhookDeliveryPruner, AnalyticsRecorder, attachAnalyticsActivityHooks, startAnalyticsRollupPruner, sessionAxes, createStorageContextAsync, initTlsTrust, applyStartupProxyConfig, attachBusMetrics, startSessionMetrics, startStorageMetrics, registerDecisionMetrics, createSchedulerMetrics, createWebhookMetrics, createEventMetrics, startEventJournalMetrics, } from '@itphx/synth-core';
10
9
  import { EventHub } from '../events/hub.js';
11
10
  import { seedDebugTestUsers } from './bootstrap.js';
11
+ /**
12
+ * PROP-032 (W2.4): единая точка сборки слоя хранения backend — `app.ts` строит
13
+ * её до `auth` (реестр `serviceKeys` нужен резолверу ключа, `mcpRegistry` —
14
+ * сидированию instance-серверов), а `createBackendDeps` переиспользует инстанс.
15
+ */
16
+ export async function createBackendStorage(config) {
17
+ // ADR-099: единый механизм доверия TLS/CA — применяем **до** первого исходящего
18
+ // запроса (сборка хранилища/PG, дискавери OIDC, сид провайдеров из env ниже).
19
+ // Вызывается в начале `createBackendApp` (env-оверрайды уже выставлены).
20
+ // Fail-closed: битый/отсутствующий CA останавливает старт (не тихий фоллбэк).
21
+ // ADR-099: bootstrap runtime-настройки TLS читаются до подключения к PG и
22
+ // передаются и в initTlsTrust, и драйверу (per-host mTLS по host БД).
23
+ const tlsRuntime = readTlsRuntimeSettings(config.dataDir);
24
+ await initTlsTrust({ security: config.synth.security, proxy: config.synth.proxy }, process.env, { dataDir: config.dataDir, tlsRuntime: tlsRuntime ?? null });
25
+ const kind = resolveStorageBackend(config.synth, process.env);
26
+ if (kind === 'memory') {
27
+ console.warn('storage.backend=memory: данные не сохраняются на диск');
28
+ }
29
+ const storage = await createStorageContextAsync(kind, {
30
+ dataDir: config.dataDir,
31
+ secretKey: resolveSecretKey(config.synth),
32
+ env: process.env,
33
+ postgres: resolvePostgresConfig(config.synth, process.env),
34
+ postgresPassword: resolvePostgresPassword({ dataDir: config.dataDir }, process.env),
35
+ ...(config.synth.security?.tls ? { security: { tls: config.synth.security.tls } } : {}),
36
+ ...(tlsRuntime ? { tlsRuntime } : {}),
37
+ degradedMode: resolveDegradedMode(config.synth),
38
+ fallbackDir: resolveStorageFallbackDir(config.synth, process.env),
39
+ dedupStore: config.synth.events.dedupStore,
40
+ scheduleCrossProcess: config.synth.scheduler.crossProcessLocks,
41
+ bundlesPath: config.synth.commands.bundlesPath,
42
+ });
43
+ // ADR-099: второй шаг egress — runtime-override прокси после хранилища и до
44
+ // создания deps/провайдеров (TLS/PG уже применены ранним `initTlsTrust`).
45
+ await applyStartupProxyConfig(storage.settings, { proxy: config.synth.proxy }, process.env, { dataDir: config.dataDir });
46
+ return storage;
47
+ }
12
48
  /**
13
49
  * Собрать зависимости backend-приложения (хранилища/менеджеры/оркестратор/
14
50
  * событийное ядро/планировщик/webhooks). Роуты монтирует вызывающий
15
51
  * (`mountBackendRoutes`), поэтому здесь нет ни одного `app.*`-вызова.
16
52
  */
17
- export async function createBackendDeps(config) {
53
+ export async function createBackendDeps(config, storage, metrics) {
18
54
  // Хранилища
19
55
  const dataDir = config.dataDir;
20
56
  await ensureDataDir(dataDir);
21
- const fileStore = new FileStore({ dataDir });
22
- const projectStore = new ProjectStore({ dataDir });
57
+ // ADR-091: отложенное восстановление из бэкапа (паритет со standalone-core) —
58
+ // офлайн-операция при старте **до** миграций и до использования стораджей.
59
+ // Fail-closed: невалидный запрос останавливает старт, запрос не удаляется.
60
+ await applyPendingRestore({ dataDir });
61
+ // ADR-092: guard совместимости схемы данных (паритет со standalone-core):
62
+ // данные новее Synth → отказ старта (fail-fast); устаревшая схема → авто-миграции
63
+ // с обязательной страховочной копией ниже (`applyStartupMigrations`).
64
+ await assertInstanceDataNotTooNew(dataDir);
65
+ // PROP-032 (W2.3/W2.4): единый контекст хранения — домен получает порты из
66
+ // одного места. По умолчанию собирается `createBackendStorage`, готовый можно
67
+ // передать (паритет с `app.ts`, где `serviceKeys`/`mcpRegistry` нужны до `auth`).
68
+ const storageContext = storage ?? (await createBackendStorage(config));
69
+ // PROP-032 (W5): деградированное хранилище (postgres недоступен → файловый
70
+ // фоллбек, read-only). Фоновые писатели отключаются (split-brain): миграции,
71
+ // провайдеры из env, шедулер, webhooks, sweeper/ephemeral, retention-прунеры.
72
+ const storageDegraded = storageContext.degraded !== undefined;
73
+ const { settings: settingsStore, defaults: defaultsStore, secretPatterns: patternStore, protectedPaths: protectedPathsStore, sessions: fileStore, projects: projectStore, profiles: profilesStore, sshKeys: sshKeyStore, contextFiles: contextConfig, providers: providerStore, models: modelStore, agents: agentStore, dictionaries: dictionaryStore, serviceKeys: serviceApiKeyStore, webhooks: webhookStore, securityAudit, egressRequests, webhookDeliveries: webhookDeliveryStore, eventBindings: eventBindingStore, eventApiKeys: eventApiKeyStore, eventJournal, eventRoutes: routeRuleStore, identityClaims: identityClaimStore, dedup: dedupStore, schedules: scheduleStore, jobs: jobStore, skillBundles: bundleStore, mcpRegistry: mcpRegistryStore, analyticsRollups, } = storageContext;
23
74
  // ADR-030: ядровая шина хуков — общий инстанс для SessionManager и оркестратора.
24
75
  const hooks = new HookBus();
76
+ // PROP-102: сборщик роллапов аналитики (write-path) — только через порт слоя
77
+ // хранения; в деградации выключен (не пишем домен в файловый фоллбек).
78
+ const analytics = storageDegraded ? undefined : new AnalyticsRecorder({ repo: analyticsRollups });
25
79
  const sessionManager = new SessionManager(fileStore, {
26
80
  projectStore,
27
81
  hooks,
82
+ // PROP-102: точка персиста сообщений (`messages_assistant`/`messages_tool`).
83
+ analytics,
28
84
  // ADR-071 §2.4 / ADR-046 §4.5: системные дефолты для сессий без проекта.
29
85
  systemDefaultsProvider: async () => ({
30
86
  mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
@@ -33,23 +89,22 @@ export async function createBackendDeps(config) {
33
89
  });
34
90
  // ADR-089: авто-архивация ephemeral-сессий по TTL (таймер `unref`).
35
91
  // Остановка — через хэндл `stopEphemeralSweeper` на graceful shutdown.
36
- const stopEphemeralSweeper = startEphemeralSweeper(sessionManager);
37
- // ADR-076 §T4: SSH-ключи агентов — core-хранилище поверх общего dataDir.
38
- // Мастер-ключ: env `SYNTH_SECRET_KEY` > `config.security.secretKey` > файл dataDir.
39
- const sshKeyStore = new SSHKeyStore({
40
- dataDir,
41
- secretKey: resolveSecretKey(config.synth),
42
- env: process.env,
43
- });
44
- const providerStore = new JsonStore({ dataDir, subdir: 'providers' });
45
- const modelStore = new JsonStore({ dataDir, subdir: 'models' });
46
- const agentStore = new JsonStore({ dataDir, subdir: 'agents' });
47
- const contextConfig = new ContextConfig({ userDataDir: `${dataDir}/context` });
48
- const profilesStore = new FileProfileStore({ dataDir });
49
- // ADR-036: хранилище кастомных regex-паттернов детекции секретов (override ?? дефолт)
50
- const patternStore = new SecretPatternStore({ dataDir });
51
- // Runtime-настройки (ADR-005): workspace/mcp из {dataDir}/settings.json (переживают рестарт)
52
- const settingsStore = new RuntimeSettingsStore({ dataDir });
92
+ const stopEphemeralSweeper = storageDegraded ? () => { } : startEphemeralSweeper(sessionManager);
93
+ // PROP-102: шов записи `activity` через hook-шину (ADR-030) + retention суточных
94
+ // роллапов (prune на старте и каждые 6 ч, таймер `unref`).
95
+ const detachAnalyticsHooks = analytics
96
+ ? attachAnalyticsActivityHooks(hooks, {
97
+ recorder: analytics,
98
+ resolveSessionAxes: async (sessionId) => sessionAxes(await sessionManager.getSession(sessionId)),
99
+ })
100
+ : () => { };
101
+ const stopAnalyticsRollupPruner = storageDegraded || !analytics
102
+ ? () => { }
103
+ : startAnalyticsRollupPruner(analyticsRollups, {
104
+ getRetentionDays: () => config.synth.analytics.retentionDays,
105
+ });
106
+ // ADR-036/ADR-005: паттерны секретов и runtime-настройки («workspace/mcp»,
107
+ // умолчания оформления) — из контекста хранения (собраны выше).
53
108
  // ADR-075: дефолтный рабочий каталог — runtime-override `settings/workspace`
54
109
  // приоритетнее config/env (`resolveDefaultWorkspace`), каталог создаётся
55
110
  // заранее (как в core `server/app.ts`), чтобы инструменты не падали.
@@ -58,13 +113,10 @@ export async function createBackendDeps(config) {
58
113
  await mkdir(defaultWorkingDir, { recursive: true });
59
114
  // Агент по умолчанию (админка «Агенты»): runtime-настройка поверх DEFAULT_AGENT_ID.
60
115
  const getDefaultAgentId = async () => (await settingsStore.getDefaultAgent()) ?? DEFAULT_AGENT_ID;
61
- // Умолчания оформления (ADR-005): {dataDir}/defaults.json (переживают рестарт)
62
- const defaultsStore = new DefaultsStore({ dataDir });
63
116
  // MCP: единый источник истины — реестр `McpRegistryStore` (ADR-071 §2.5).
64
117
  // Legacy `YamlMcpConfigStore` удалён: instance-серверы из config.mcp.servers
65
118
  // сидируются в реестр при старте (seed без дублирования по имени).
66
119
  const mcpManager = new McpManager();
67
- const mcpRegistryStore = new McpRegistryStore({ dataDir });
68
120
  await mcpRegistryStore.seedFromConfig(config.synth.mcp.servers);
69
121
  // Одно чтение реестра на все карты менеджера (вместо пяти).
70
122
  const mcpMaps = await mcpRegistryStore.toManagerMaps();
@@ -75,42 +127,85 @@ export async function createBackendDeps(config) {
75
127
  mcpManager.setDefaultServers(mcpMaps.defaults);
76
128
  // ADR-071 §2.4: системный мастер-флаг серверов (реестр `enabled`).
77
129
  mcpManager.setServerSystemEnabled(mcpMaps.systemEnabled);
78
- // ADR-071 §2.3.1: политика сетевого доступа HTTP-серверов (SSRF/egress).
79
- // Runtime-настройка из админки (settings.json) приоритетнее config.yaml и
80
- // переживает рестарт; храним в изменяемой переменной (аксессор `live`), чтобы
81
- // registry-роуты видели свежее значение без рестарта. Слияние — единым
82
- // helper'ом mergeMcpNetworkPolicy (тот же, что и в core).
83
- const runtimeMcpNetworkPolicy = await settingsStore.getMcpNetworkPolicy();
84
- let effectiveNetworkPolicy = mergeMcpNetworkPolicy(config.synth.mcp.networkPolicy, runtimeMcpNetworkPolicy);
85
- mcpManager.setNetworkPolicy(effectiveNetworkPolicy);
130
+ // Egress: живой резолвер политики (settings.json → config.yaml → дефолт) и
131
+ // журнал внешних запросов. Резолвер читает стор на каждый запрос (live).
132
+ const egressResolver = createEgressPolicyResolver(settingsStore, {
133
+ tools: config.synth.egress.tools,
134
+ webhooks: config.synth.egress.webhooks,
135
+ mcp: config.synth.mcp.networkPolicy,
136
+ });
137
+ const egressLogConfig = config.synth.egress.log;
138
+ const egressLog = createEgressLogSink(egressRequests, { enabled: () => egressLogConfig.enabled });
139
+ configureEgressRuntime({ resolver: egressResolver, log: egressLog });
140
+ const stopEgressLogPruner = storageDegraded || !egressLogConfig.enabled
141
+ ? () => { }
142
+ : startEgressLogPruner(egressRequests, { getRetentionDays: () => egressLogConfig.retentionDays });
143
+ // ADR-071 §2.3.1: политика сетевого доступа HTTP-серверов (SSRF/egress)
144
+ // резолвится при каждом connect/probe (live; без стартового снимка).
145
+ mcpManager.setNetworkPolicyResolver(() => egressResolver.resolveMcp());
86
146
  // Сидирование тестовых пользователей (debug mode) — до построения рантайма
87
147
  // (паритет с прежним `app.ts`: сид стоял между хранилищами и рантаймом).
88
148
  seedDebugTestUsers(profilesStore, config.auth);
89
149
  const eventBus = new EventBus();
90
150
  const queueManager = new QueueProcessorManager();
151
+ // PROP-102: пользовательские сообщения персистит процессор — мера `messages_user`.
152
+ queueManager.setAnalytics(analytics);
153
+ // ADR-094: доменные коллекторы. `metrics` приходит только при
154
+ // `metrics.enabled=true` — иначе реестр остаётся пустым (`/metrics` → 404).
155
+ // Фоновые таймеры `unref`-ятся; остановка — `stopMetricsCollectors` на
156
+ // graceful shutdown (`app.ts`/`main.ts`).
157
+ const stopMetricsCollectors = [];
158
+ // ADR-094: доменные хуки (колбэки сервисов) — создаются только при включённых метриках.
159
+ const schedulerJobMetrics = metrics ? createSchedulerMetrics(metrics) : undefined;
160
+ const webhookDeliveryMetrics = metrics ? createWebhookMetrics(metrics) : undefined;
161
+ const eventMetrics = metrics ? createEventMetrics(metrics) : undefined;
162
+ if (metrics) {
163
+ stopMetricsCollectors.push(attachBusMetrics(metrics, eventBus));
164
+ stopMetricsCollectors.push(startSessionMetrics(metrics, sessionManager));
165
+ stopMetricsCollectors.push(startStorageMetrics(metrics, {
166
+ sessions: fileStore,
167
+ projects: projectStore,
168
+ providers: providerStore,
169
+ models: modelStore,
170
+ agents: agentStore,
171
+ webhooks: webhookStore,
172
+ schedules: scheduleStore,
173
+ eventBindings: eventBindingStore,
174
+ eventRoutes: routeRuleStore,
175
+ dataDir,
176
+ backend: storageContext.kind,
177
+ degraded: () => Boolean(storageContext.degraded),
178
+ }));
179
+ stopMetricsCollectors.push(registerDecisionMetrics(metrics));
180
+ // ADR-094: размер журнала внешних событий (фон, раз в 5 минут).
181
+ stopMetricsCollectors.push(startEventJournalMetrics(metrics, eventJournal));
182
+ }
91
183
  // ADR-052 (этап II): исходящие webhooks — реестр подписок (signing-секрет
92
184
  // `whsec_…` шифруется at-rest мастер-ключом), append-only журнал доставок и
93
185
  // движок над той же шиной `EventBus`, что обслуживает сессии/SSE. Движок
94
186
  // подписывается на ВСЕ события шины (`subscribeAll`) — паритет с core
95
187
  // `server/app.ts`; `webhooks.enabled: false` (дефолт) глушит диспетчеризацию.
96
188
  const webhooksConfig = config.synth.webhooks;
97
- const webhookStore = new WebhookStore({
98
- dataDir: config.dataDir,
99
- secretKey: resolveSecretKey(config.synth),
100
- env: process.env,
101
- });
102
- const webhookDeliveryStore = new WebhookDeliveryStore({ dataDir: config.dataDir });
103
189
  const webhookService = new WebhookService({
104
190
  store: webhookStore,
105
191
  deliveryStore: webhookDeliveryStore,
106
192
  eventBus,
107
- config: webhooksConfig,
193
+ // ADR-094: исходящие доставки (ok/error/blocked + retries/duration).
194
+ onDelivery: webhookDeliveryMetrics,
195
+ config: {
196
+ ...webhooksConfig,
197
+ // Отдельный экземпляр политики (граница доверия не смешивается с tools).
198
+ resolvePolicy: () => egressResolver.resolveWebhooks(),
199
+ },
108
200
  });
109
- webhookService.start();
201
+ if (!storageDegraded)
202
+ webhookService.start();
110
203
  // Retention-очистка журнала доставок: сразу при старте + каждые 6 ч (unref).
111
- const stopWebhookDeliveryPruner = startWebhookDeliveryPruner(webhookDeliveryStore, {
112
- getRetentionDays: () => webhooksConfig.deliveryRetentionDays,
113
- });
204
+ const stopWebhookDeliveryPruner = storageDegraded
205
+ ? () => { }
206
+ : startWebhookDeliveryPruner(webhookDeliveryStore, {
207
+ getRetentionDays: () => webhooksConfig.deliveryRetentionDays,
208
+ });
114
209
  // Context builder
115
210
  const contextBuilder = new ContextBuilder(contextConfig, {
116
211
  profilesStore,
@@ -126,7 +221,9 @@ export async function createBackendDeps(config) {
126
221
  // ADR-038: синхронизация провайдеров/моделей из переменных окружения (общая
127
222
  // core-реализация). Вызывается ПОСЛЕ создания providerStore/modelStore, но ДО
128
223
  // заполнения кэшей, чтобы env-провайдеры попали в providerCache/modelCache.
129
- await syncProvidersFromEnv(providerStore, modelStore);
224
+ // PROP-032 (W5): в деградации не пишем в фоллбек.
225
+ if (!storageDegraded)
226
+ await syncProvidersFromEnv(providerStore, modelStore);
130
227
  // Кеш провайдеров (заполняется при старте)
131
228
  const providerCache = new Map();
132
229
  (await providerStore.list()).forEach((p) => {
@@ -211,7 +308,6 @@ export async function createBackendDeps(config) {
211
308
  // (микро-каскад, роутер, события ADR-089) через `live.setDecision`.
212
309
  const runtimeDecision = await settingsStore.getDecision();
213
310
  let effectiveDecisionSettings = mergeDecisionConfig(config.synth.decision, runtimeDecision);
214
- const protectedPathsStore = new ProtectedPathsStore({ dataDir });
215
311
  // Orchestrator
216
312
  const toolRegistry = createToolRegistry();
217
313
  const agentRegistry = createAgentRegistry(toolRegistry, join(dataDir, 'agents'));
@@ -224,10 +320,6 @@ export async function createBackendDeps(config) {
224
320
  toolsets: config.synth.skills.toolsets,
225
321
  });
226
322
  // ADR-046 §7: slash-команды и bundles (mirror core).
227
- const bundleStore = new SkillBundleStore({
228
- dataDir,
229
- bundlesPath: config.synth.commands.bundlesPath,
230
- });
231
323
  const commandService = new CommandService({
232
324
  config: {
233
325
  dataDir,
@@ -248,6 +340,8 @@ export async function createBackendDeps(config) {
248
340
  sessionManager,
249
341
  eventBus,
250
342
  hooks,
343
+ // PROP-102: сборщик `usage`/`decision` роллапов (write-path).
344
+ analytics,
251
345
  contextBuilder,
252
346
  contextConfig,
253
347
  providerLoader,
@@ -262,6 +356,8 @@ export async function createBackendDeps(config) {
262
356
  profilesStore,
263
357
  // ADR-076 §T6: тот же store, что у git/ssh-роутов — без дублей инстансов.
264
358
  sshKeyStore,
359
+ // PROP-032 (W2.4): словари классификации — порт из контекста хранения.
360
+ dictionaryStore,
265
361
  workspacesRoot: config.workspacesRoot,
266
362
  // ADR-075: backend — managed-режим, workspace вне workspacesRoot запрещён.
267
363
  workspaceManaged: true,
@@ -278,6 +374,9 @@ export async function createBackendDeps(config) {
278
374
  gatewayAuditLogger,
279
375
  gatewayPayloadLogPath,
280
376
  gatewayPatternStore: patternStore,
377
+ // ADR-094: реестр метрик (только при `metrics.enabled`) — LLM-вызовы
378
+ // сессий учитываются и при выключенном LLM Gateway.
379
+ metrics,
281
380
  cachePolicy: config.synth.llm.cache,
282
381
  toolsPolicy,
283
382
  mcpPolicy,
@@ -310,29 +409,19 @@ export async function createBackendDeps(config) {
310
409
  const processMessage = orchestrator.createProcessMessage();
311
410
  // ADR-089: ядро маршрутизации внешних событий и единый funnel создания сессий.
312
411
  // Funnel подключён к `POST /sessions` и тулу `task` (Этап 5); приём внешних
313
- // событий — на следующих этапах.
314
- const eventBindingStore = new EventBindingStore({ dataDir });
315
- // ADR-089/ADR-052: API-ключи привязок для аутентификации приёма событий.
316
- const eventApiKeyStore = new EventApiKeyStore({ dataDir });
317
- const eventJournal = new EventJournalStore({ dataDir });
318
- // ADR-089: реестр правил маршрутизации (проектные/инстанс-правила).
319
- const routeRuleStore = new RouteRuleStore({ dataDir });
320
- // ADR-089 (claim-flow): одноразовые коды подтверждения владения идентичностью.
321
- const identityClaimStore = new IdentityClaimStore({ dataDir });
412
+ // событий — на следующих этапах. Сторы bindings/ключей/журнала/правил/claim,
413
+ // дедуп и расписания/jobs — из единого контекста хранения (собраны выше).
322
414
  // ADR-089 (Блок 3): runtime-настройки «События» (админка) поверх config.yaml.
323
415
  const runtimeEvents = await settingsStore.getEvents();
324
416
  const effectiveEvents = mergeEventsConfig(config.synth.events, runtimeEvents);
325
417
  let effectiveEventsSettings = effectiveEvents;
326
- // ADR-051/ADR-089: источник дедупа — in-process (default) или файловый
327
- // межпроцессный (`events.dedupStore: file`).
328
- const dedupStore = config.synth.events.dedupStore === 'file'
329
- ? new FileDedupStore({ dataDir })
330
- : new MemoryDedupStore();
331
418
  const eventRouter = new EventRouter({
332
419
  bindingStore: eventBindingStore,
333
420
  journal: eventJournal,
334
421
  hooks,
335
422
  dedupStore,
423
+ // ADR-094: решения Router (kind; `bind` → `bound`).
424
+ metrics: eventMetrics,
336
425
  config: {
337
426
  allowedSources: effectiveEvents.allowedSources,
338
427
  defaultMode: effectiveEvents.defaultMode,
@@ -342,16 +431,13 @@ export async function createBackendDeps(config) {
342
431
  },
343
432
  });
344
433
  // ADR-089 (Блок 2): retention-очистка журнала событий (сразу + каждые 6 ч).
345
- const stopEventJournalPruner = startEventJournalPruner(eventJournal, {
346
- getRetentionDays: () => effectiveEventsSettings.journalRetentionDays,
347
- });
434
+ const stopEventJournalPruner = storageDegraded
435
+ ? () => { }
436
+ : startEventJournalPruner(eventJournal, {
437
+ getRetentionDays: () => effectiveEventsSettings.journalRetentionDays,
438
+ });
348
439
  // ADR-051 (срез) / ADR-089: правило маршрутизации cron-событий по расписанию
349
440
  // (паритет с core `server/app.ts`; store без дублей).
350
- const scheduleStore = new ScheduleStore({
351
- dataDir,
352
- crossProcess: config.synth.scheduler.crossProcessLocks,
353
- });
354
- const jobStore = new JobStore({ dataDir });
355
441
  eventRouter.registerRuleProvider(new SchedulerRuleProvider(scheduleStore, effectiveEvents.ephemeralTtl));
356
442
  // ADR-089: правила маршрутизации по матчу события (после scheduler).
357
443
  eventRouter.registerRuleProvider(new ProjectRuleProvider(routeRuleStore, effectiveEvents.ephemeralTtl));
@@ -371,6 +457,8 @@ export async function createBackendDeps(config) {
371
457
  displayName: agent.displayName,
372
458
  description: agent.description,
373
459
  })),
460
+ // PROP-102: персистентные decision-метрики (ось provider/model).
461
+ analytics,
374
462
  }));
375
463
  // ADR-089: резолвинг `agentTemplate` (события/правила) через `AgentRegistry`:
376
464
  // неизвестный или отключённый агент → `null`.
@@ -436,11 +524,17 @@ export async function createBackendDeps(config) {
436
524
  },
437
525
  // ADR-089: дефолтные provider/model инстанса (llm.defaultProvider/defaultModel)
438
526
  // — для сессий из внешних событий (materialize ephemeral/bind), чтобы агент
439
- // мог ответить без ручной простановки модели.
440
- resolveLlmDefaults: () => ({
441
- provider: config.synth.llm.defaultProvider,
442
- model: config.synth.llm.defaultModel,
443
- }),
527
+ // мог ответить без ручной простановки модели. Приоритет: runtime-пара
528
+ // «Модели» (provider+model), затем config.
529
+ resolveLlmDefaults: async () => {
530
+ const pair = await settingsStore.getDefaultModel();
531
+ if (pair)
532
+ return { provider: pair.provider, model: pair.model };
533
+ return {
534
+ provider: config.synth.llm.defaultProvider,
535
+ model: config.synth.llm.defaultModel,
536
+ };
537
+ },
444
538
  // ADR-089: агент по умолчанию инстанса — чтобы сессия из внешнего события
445
539
  // (auto-bind/bind/ephemeral) фиксировала `settings.agentRole` и UI рисовал
446
540
  // бейдж агента (паритет с `POST /api/v2/sessions`). Источник — админка
@@ -486,11 +580,17 @@ export async function createBackendDeps(config) {
486
580
  },
487
581
  });
488
582
  // ADR-089: ingress-точка приёма внешних событий (Этап 6).
489
- const eventIngress = new EventIngress({ requestSessionService });
583
+ const eventIngress = new EventIngress({ requestSessionService, metrics: eventMetrics });
490
584
  // ADR-051 (срез) / ADR-089: планировщик публикует cron-события через ingress.
491
585
  // `start()` гейтится конфигом (`scheduler.enabled: false` — тикер не стартует),
492
586
  // ошибки старта логируются и не роняют процесс; остановка — `stopScheduler`.
493
587
  const schedulerTickMs = config.synth.scheduler.tickSec * 1000;
588
+ // PROP-032: `leaderElection=postgres` требует advisory-локов backend'а
589
+ // (`storage.backend=postgres`); иначе — предупреждение и AlwaysLeader.
590
+ if (config.synth.scheduler.leaderElection === 'postgres' && !storageContext.locks) {
591
+ console.warn('[scheduler] leaderElection=postgres, но backend не предоставляет advisory-локи ' +
592
+ '(нужен storage.backend=postgres) — используется AlwaysLeader');
593
+ }
494
594
  const schedulerService = new SchedulerService({
495
595
  scheduleStore,
496
596
  ingress: eventIngress,
@@ -499,28 +599,53 @@ export async function createBackendDeps(config) {
499
599
  defaultEphemeralTtl: effectiveEvents.ephemeralTtl,
500
600
  catchUp: config.synth.scheduler.catchUp,
501
601
  jobRetentionDays: config.synth.scheduler.jobRetentionDays,
502
- // ADR-051/ADR-089: тикер стартует только у лидера (default — AlwaysLeader).
602
+ // ADR-094: завершённые Job (outcome + дрейф cron).
603
+ onJob: schedulerJobMetrics,
604
+ // ADR-051/ADR-089/PROP-032: тикер стартует только у лидера (default —
605
+ // AlwaysLeader). `file` — файловый лок на общем dataDir, `postgres` —
606
+ // session-level advisory-lock драйвера (доступен только при PG-backend).
503
607
  leader: config.synth.scheduler.leaderElection === 'file'
504
608
  ? new FileLeader({ dataDir, tickMs: schedulerTickMs })
505
- : new AlwaysLeader(),
609
+ : config.synth.scheduler.leaderElection === 'postgres' && storageContext.locks
610
+ ? storageContext.locks.createLeader({ name: 'scheduler/leader', tickMs: schedulerTickMs })
611
+ : new AlwaysLeader(),
506
612
  });
507
- if (config.synth.scheduler.enabled !== false) {
613
+ if (config.synth.scheduler.enabled !== false && !storageDegraded) {
508
614
  void schedulerService.start().catch((err) => {
509
615
  console.warn(`[scheduler] не удалось запустить: ${err instanceof Error ? err.message : String(err)}`);
510
616
  });
511
617
  }
512
- // ADR-071 §2.4 / ADR-046 §4.5: разовая миграция снапшотов скоупа существующих сессий.
513
- await migrateSessionScopeSnapshots({
514
- sessionManager,
515
- projectStore,
516
- settingsStore,
517
- resolveSystemDefaults: async () => ({
518
- mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
519
- skillsDefaultOn: (await resolveProjectSkillSeed(skillService, await settingsStore.getSkillsDisabledForNewProjects())).enabled,
520
- }),
521
- }).catch(() => 0);
618
+ // ADR-092: авто-миграции схемы данных при старте (паритет со standalone-core) —
619
+ // обязательная страховочная копия + межпроцессный лок. Миграция снапшотов скоупа —
620
+ // зарегистрированная миграция реестра (`session-scope-snapshots-v1`), отдельный
621
+ // прямой вызов больше не нужен. Fail-closed: ошибка не глушится.
622
+ // PROP-032 (W5): в деградации миграции не применяем (фоллбек-каталог пуст —
623
+ // страховочная копия/миграция были бы доменной записью в фоллбек).
624
+ if (!storageDegraded) {
625
+ await applyStartupMigrations({
626
+ dataDir,
627
+ settingsStore,
628
+ sessionManager,
629
+ projectStore,
630
+ // PROP-032: под PG — advisory-лок драйвера вместо файлового `{dataDir}/migrate`.
631
+ ...(storageContext.locks
632
+ ? { mutex: storageContext.locks.createMutex({ name: 'startup-migrate' }) }
633
+ : {}),
634
+ resolveSystemDefaults: async () => ({
635
+ mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
636
+ skillsDefaultOn: (await resolveProjectSkillSeed(skillService, await settingsStore.getSkillsDisabledForNewProjects())).enabled,
637
+ }),
638
+ });
639
+ }
522
640
  return {
523
641
  dataDir,
642
+ // PROP-032: контекст хранения инстанса — для операций, которым нужен
643
+ // целиком (напр. портативный экспорт/импорт проекта, ADR-091).
644
+ storageContext,
645
+ // ADR-094: реестр метрик (доменные коллекторы подключаются выше) и
646
+ // остановка фоновых коллекторов на graceful shutdown.
647
+ metrics,
648
+ stopMetricsCollectors,
524
649
  projectStore,
525
650
  sessionManager,
526
651
  // ADR-089: остановка sweeper'а авто-архивации ephemeral-сессий.
@@ -529,6 +654,9 @@ export async function createBackendDeps(config) {
529
654
  providerStore,
530
655
  modelStore,
531
656
  agentStore,
657
+ // PROP-032 (W2.4): конфигурационные словари и реестр service-key — из контекста.
658
+ dictionaries: dictionaryStore,
659
+ serviceApiKeyStore,
532
660
  contextConfig,
533
661
  profilesStore,
534
662
  patternStore,
@@ -536,6 +664,17 @@ export async function createBackendDeps(config) {
536
664
  defaultsStore,
537
665
  defaultWorkingDir,
538
666
  getDefaultAgentId,
667
+ egressResolver,
668
+ egressLogConfig,
669
+ securityAudit,
670
+ egressRequests,
671
+ // PROP-102 (волна 1): порт пред-агрегированных роллапов аналитики — для роутов отчётов.
672
+ analyticsRollups,
673
+ // PROP-102: write-path — сборщик роллапов (+ остановка hook-подписки и pruner'а).
674
+ analytics,
675
+ detachAnalyticsHooks,
676
+ stopAnalyticsRollupPruner,
677
+ stopEgressLogPruner,
539
678
  mcpManager,
540
679
  mcpRegistryStore,
541
680
  eventBus,
@@ -571,6 +710,8 @@ export async function createBackendDeps(config) {
571
710
  stopEventJournalPruner,
572
711
  scheduleStore,
573
712
  jobStore,
713
+ // ADR-092: аудит-журнал обслуживания — порт слоя хранения (ADR-096).
714
+ maintenanceAudit: storageContext.maintenanceAudit,
574
715
  resolveAgentTemplate,
575
716
  eventHub,
576
717
  requestSessionService,
@@ -582,13 +723,6 @@ export async function createBackendDeps(config) {
582
723
  * потребителями через замыкания (ADR-071 §2.3.1 / ADR-084 / ADR-089).
583
724
  */
584
725
  live: {
585
- /** ADR-071 §2.3.1: эффективная политика сетевого доступа MCP. */
586
- getNetworkPolicy: () => effectiveNetworkPolicy,
587
- /** ADR-071 §2.3.1: live-применение политики (админка → менеджер MCP). */
588
- setNetworkPolicy: (policy) => {
589
- effectiveNetworkPolicy = policy;
590
- mcpManager.setNetworkPolicy(policy);
591
- },
592
726
  /** ADR-089: runtime-настройки «События» (`enabled`/per-key лимит — роуты). */
593
727
  getEvents: () => effectiveEventsSettings,
594
728
  /** ADR-089: live-применение runtime-настроек «События» — Router/funnel/pruner. */
@@ -1,6 +1,6 @@
1
1
  import { IncomingMessage } from 'node:http';
2
2
  import type { Hono } from 'hono';
3
- import type { EventBus, SessionManager, QueueProcessorManager, ChatOrchestrator, ProjectStore } from '@itphx/synth-core';
3
+ import type { EventBus, SessionManager, QueueProcessorManager, ChatOrchestrator, ProjectRepository, MetricsRegistry } from '@itphx/synth-core';
4
4
  import type { AuthKit } from '../auth/middleware.js';
5
5
  import type { EventHub } from '../events/hub.js';
6
6
  export interface BackendListenDeps {
@@ -8,13 +8,18 @@ export interface BackendListenDeps {
8
8
  auth: AuthKit;
9
9
  eventHub: EventHub;
10
10
  sessionManager: SessionManager;
11
- projectStore: ProjectStore;
11
+ projectStore: ProjectRepository;
12
12
  eventBus: EventBus;
13
13
  queueManager: QueueProcessorManager;
14
14
  processMessage: ReturnType<ChatOrchestrator['createProcessMessage']>;
15
15
  orchestrator: ChatOrchestrator;
16
16
  /** Порт по умолчанию (`backendConfig.port`). */
17
17
  defaultPort: number;
18
+ /**
19
+ * ADR-094: реестр метрик (задан только при `metrics.enabled`). WS-апгрейд не
20
+ * проходит через Hono-middleware — активные соединения учитываются здесь.
21
+ */
22
+ metrics?: MetricsRegistry;
18
23
  }
19
24
  /**
20
25
  * Создать функцию `listen` хэндла приложения.
@@ -115,6 +115,16 @@ export function createBackendListen(deps) {
115
115
  const allSessions = user.id.startsWith('service:') || auth.hasRole({ get: () => user }, 'ADMIN', 'LEAD');
116
116
  wss.handleUpgrade(request, socket, head, (ws) => {
117
117
  const clientId = `ws-events-${Date.now()}-${Math.random().toString(36).slice(2, 8)}`;
118
+ // ADR-094: активное WS-соединение — в streams_active (не в гистограмме).
119
+ const streams = deps.metrics?.gauge('synth_http_streams_active', 'Number of active long-lived streams (SSE/WebSocket).');
120
+ streams?.inc();
121
+ let streamReleased = false;
122
+ const releaseStream = () => {
123
+ if (streamReleased)
124
+ return;
125
+ streamReleased = true;
126
+ streams?.dec();
127
+ };
118
128
  const client = {
119
129
  userId: user.id,
120
130
  username: user.username,
@@ -135,7 +145,6 @@ export function createBackendListen(deps) {
135
145
  ws.send(JSON.stringify({
136
146
  type: 'connected',
137
147
  client_id: clientId,
138
- engine: 'synth',
139
148
  }));
140
149
  }).catch(() => {
141
150
  ws.send(JSON.stringify({
@@ -276,9 +285,11 @@ export function createBackendListen(deps) {
276
285
  });
277
286
  ws.on('close', () => {
278
287
  console.log(`[WS /ws/events] Disconnected: client=${clientId}`);
288
+ releaseStream();
279
289
  eventHub.unregisterClient(client);
280
290
  });
281
291
  ws.on('error', () => {
292
+ releaseStream();
282
293
  eventHub.unregisterClient(client);
283
294
  });
284
295
  });
@@ -1,5 +1,5 @@
1
1
  import type { Hono } from 'hono';
2
- import type { ServiceApiKeyStore } from '@itphx/synth-core';
2
+ import type { MetricsReadiness, MetricsRegistry } from '@itphx/synth-core';
3
3
  import type { AuthKit } from '../auth/middleware.js';
4
4
  import type { BackendConfig } from '../lib/app-config.js';
5
5
  import type { BackendDeps } from './deps.js';
@@ -8,8 +8,21 @@ export interface BackendRoutesContext {
8
8
  config: BackendConfig;
9
9
  /** Зависимости backend (`createBackendDeps`). */
10
10
  deps: BackendDeps;
11
- /** ADR-052 (этап I): реестр service-key (создаётся до `auth` в `app.ts`). */
12
- serviceApiKeyStore: ServiceApiKeyStore;
11
+ /** ADR-094: live-состояние метрик для админ-раздела «Наблюдаемость». */
12
+ metrics: BackendMetricsContext;
13
+ }
14
+ /** ADR-094: live-состояние метрик (паритет с core `StandaloneMetricsContext`). */
15
+ export interface BackendMetricsContext {
16
+ /** Фактический флаг старта процесса (`metricsEnabled`). */
17
+ runningEnabled: boolean;
18
+ /** Реестр метрик процесса (нет — экспорт выключен). */
19
+ getRegistry: () => MetricsRegistry | undefined;
20
+ /** Live-readiness (`GET /ready`). */
21
+ getReadiness: () => MetricsReadiness;
22
+ /** Физический backend хранения (`file`|`memory`|`postgres`). */
23
+ storageBackend: string;
24
+ /** Uptime процесса в секундах. */
25
+ getUptimeSec: () => number;
13
26
  }
14
27
  /**
15
28
  * Смонтировать все `/api/v2/*`-роуты и служебные заглушки (`/api/config/themes`,