@itphx/synth-backend 0.10.1 → 0.11.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/dist/app/bootstrap.d.ts +2 -2
- package/dist/app/deps.d.ts +50 -32
- package/dist/app/deps.js +233 -99
- package/dist/app/listen.d.ts +7 -2
- package/dist/app/listen.js +12 -1
- package/dist/app/mount-routes.d.ts +16 -3
- package/dist/app/mount-routes.js +258 -28
- package/dist/app.d.ts +16 -7
- package/dist/app.js +104 -11
- package/dist/auth/guards.d.ts +2 -1
- package/dist/auth/guards.js +9 -1
- package/dist/auth/middleware.d.ts +2 -12
- package/dist/auth/middleware.js +20 -2
- package/dist/auth/oidc.d.ts +7 -0
- package/dist/auth/oidc.js +27 -6
- package/dist/auth/service-scope.d.ts +7 -3
- package/dist/auth/service-scope.js +8 -4
- package/dist/events/hub.js +3 -38
- package/dist/lib/app-config.d.ts +2 -0
- package/dist/lib/app-config.js +3 -2
- package/dist/lib/defaults-store.d.ts +2 -25
- package/dist/lib/defaults-store.js +5 -87
- package/dist/lib/i18n.js +48 -0
- package/dist/main.js +19 -3
- package/dist/routes/agents.d.ts +2 -2
- package/dist/routes/auth.d.ts +2 -2
- package/dist/routes/context.d.ts +2 -2
- package/dist/routes/gateway-patterns.d.ts +2 -2
- package/dist/routes/llm.d.ts +8 -2
- package/dist/routes/llm.js +4 -1
- package/dist/routes/mcp-registry.d.ts +3 -3
- package/dist/routes/mcp-registry.js +2 -2
- package/dist/routes/messages.d.ts +5 -4
- package/dist/routes/messages.js +30 -3
- package/dist/routes/models.d.ts +7 -2
- package/dist/routes/models.js +3 -1
- package/dist/routes/projects.d.ts +3 -3
- package/dist/routes/providers.d.ts +15 -3
- package/dist/routes/providers.js +33 -21
- package/dist/routes/queue.d.ts +5 -4
- package/dist/routes/queue.js +30 -3
- package/dist/routes/sessions.d.ts +13 -3
- package/dist/routes/sessions.js +197 -73
- package/dist/test-helpers/close-server.d.ts +33 -0
- package/dist/test-helpers/close-server.js +50 -0
- package/package.json +3 -3
package/dist/app/deps.js
CHANGED
|
@@ -4,27 +4,83 @@
|
|
|
4
4
|
// Вынесено из `app.ts` (ADR-095, шаг 4b) — «вынос по швам», без изменения поведения.
|
|
5
5
|
import { mkdir } from 'node:fs/promises';
|
|
6
6
|
import { join } from 'node:path';
|
|
7
|
-
import { ensureDataDir, parsePrincipalId, resolveDefaultWorkspace, resolveSecretKey, } from '@itphx/synth-shared';
|
|
8
|
-
import {
|
|
9
|
-
import { DefaultsStore } from '../lib/defaults-store.js';
|
|
7
|
+
import { ensureDataDir, parsePrincipalId, resolveDefaultWorkspace, resolveSecretKey, resolveStorageBackend, resolvePostgresConfig, resolvePostgresPassword, resolveDegradedMode, resolveStorageFallbackDir, readTlsRuntimeSettings, } from '@itphx/synth-shared';
|
|
8
|
+
import { SessionManager, EventBus, QueueProcessorManager, ContextBuilder, ContextOptimizer, ChatOrchestrator, enqueueUserMessage, createToolRegistry, createAgentRegistry, McpManager, DEFAULT_AGENT_ID, AuditLogger, mergeLlmGatewayConfig, mergeSecurityConfig, mergeEventsConfig, mergeDecisionConfig, createEgressPolicyResolver, createEgressLogSink, configureEgressRuntime, startEgressLogPruner, SkillService, resolveProjectSkillSeed, CommandService, detectRuntimeDeps, syncProvidersFromEnv, HookBus, startEphemeralSweeper, assertInstanceDataNotTooNew, applyStartupMigrations, applyPendingRestore, EventRouter, RequestSessionService, EventIngress, eventToMessage, ProjectRuleProvider, DecisionRuleProvider, SchedulerRuleProvider, SchedulerService, AlwaysLeader, FileLeader, createExternalIdentityResolver, startEventJournalPruner, WebhookService, startWebhookDeliveryPruner, AnalyticsRecorder, attachAnalyticsActivityHooks, startAnalyticsRollupPruner, sessionAxes, createStorageContextAsync, initTlsTrust, applyStartupProxyConfig, attachBusMetrics, startSessionMetrics, startStorageMetrics, registerDecisionMetrics, createSchedulerMetrics, createWebhookMetrics, createEventMetrics, startEventJournalMetrics, } from '@itphx/synth-core';
|
|
10
9
|
import { EventHub } from '../events/hub.js';
|
|
11
10
|
import { seedDebugTestUsers } from './bootstrap.js';
|
|
11
|
+
/**
|
|
12
|
+
* PROP-032 (W2.4): единая точка сборки слоя хранения backend — `app.ts` строит
|
|
13
|
+
* её до `auth` (реестр `serviceKeys` нужен резолверу ключа, `mcpRegistry` —
|
|
14
|
+
* сидированию instance-серверов), а `createBackendDeps` переиспользует инстанс.
|
|
15
|
+
*/
|
|
16
|
+
export async function createBackendStorage(config) {
|
|
17
|
+
// ADR-099: единый механизм доверия TLS/CA — применяем **до** первого исходящего
|
|
18
|
+
// запроса (сборка хранилища/PG, дискавери OIDC, сид провайдеров из env ниже).
|
|
19
|
+
// Вызывается в начале `createBackendApp` (env-оверрайды уже выставлены).
|
|
20
|
+
// Fail-closed: битый/отсутствующий CA останавливает старт (не тихий фоллбэк).
|
|
21
|
+
// ADR-099: bootstrap runtime-настройки TLS читаются до подключения к PG и
|
|
22
|
+
// передаются и в initTlsTrust, и драйверу (per-host mTLS по host БД).
|
|
23
|
+
const tlsRuntime = readTlsRuntimeSettings(config.dataDir);
|
|
24
|
+
await initTlsTrust({ security: config.synth.security, proxy: config.synth.proxy }, process.env, { dataDir: config.dataDir, tlsRuntime: tlsRuntime ?? null });
|
|
25
|
+
const kind = resolveStorageBackend(config.synth, process.env);
|
|
26
|
+
if (kind === 'memory') {
|
|
27
|
+
console.warn('storage.backend=memory: данные не сохраняются на диск');
|
|
28
|
+
}
|
|
29
|
+
const storage = await createStorageContextAsync(kind, {
|
|
30
|
+
dataDir: config.dataDir,
|
|
31
|
+
secretKey: resolveSecretKey(config.synth),
|
|
32
|
+
env: process.env,
|
|
33
|
+
postgres: resolvePostgresConfig(config.synth, process.env),
|
|
34
|
+
postgresPassword: resolvePostgresPassword({ dataDir: config.dataDir }, process.env),
|
|
35
|
+
...(config.synth.security?.tls ? { security: { tls: config.synth.security.tls } } : {}),
|
|
36
|
+
...(tlsRuntime ? { tlsRuntime } : {}),
|
|
37
|
+
degradedMode: resolveDegradedMode(config.synth),
|
|
38
|
+
fallbackDir: resolveStorageFallbackDir(config.synth, process.env),
|
|
39
|
+
dedupStore: config.synth.events.dedupStore,
|
|
40
|
+
scheduleCrossProcess: config.synth.scheduler.crossProcessLocks,
|
|
41
|
+
bundlesPath: config.synth.commands.bundlesPath,
|
|
42
|
+
});
|
|
43
|
+
// ADR-099: второй шаг egress — runtime-override прокси после хранилища и до
|
|
44
|
+
// создания deps/провайдеров (TLS/PG уже применены ранним `initTlsTrust`).
|
|
45
|
+
await applyStartupProxyConfig(storage.settings, { proxy: config.synth.proxy }, process.env, { dataDir: config.dataDir });
|
|
46
|
+
return storage;
|
|
47
|
+
}
|
|
12
48
|
/**
|
|
13
49
|
* Собрать зависимости backend-приложения (хранилища/менеджеры/оркестратор/
|
|
14
50
|
* событийное ядро/планировщик/webhooks). Роуты монтирует вызывающий
|
|
15
51
|
* (`mountBackendRoutes`), поэтому здесь нет ни одного `app.*`-вызова.
|
|
16
52
|
*/
|
|
17
|
-
export async function createBackendDeps(config) {
|
|
53
|
+
export async function createBackendDeps(config, storage, metrics) {
|
|
18
54
|
// Хранилища
|
|
19
55
|
const dataDir = config.dataDir;
|
|
20
56
|
await ensureDataDir(dataDir);
|
|
21
|
-
|
|
22
|
-
|
|
57
|
+
// ADR-091: отложенное восстановление из бэкапа (паритет со standalone-core) —
|
|
58
|
+
// офлайн-операция при старте **до** миграций и до использования стораджей.
|
|
59
|
+
// Fail-closed: невалидный запрос останавливает старт, запрос не удаляется.
|
|
60
|
+
await applyPendingRestore({ dataDir });
|
|
61
|
+
// ADR-092: guard совместимости схемы данных (паритет со standalone-core):
|
|
62
|
+
// данные новее Synth → отказ старта (fail-fast); устаревшая схема → авто-миграции
|
|
63
|
+
// с обязательной страховочной копией ниже (`applyStartupMigrations`).
|
|
64
|
+
await assertInstanceDataNotTooNew(dataDir);
|
|
65
|
+
// PROP-032 (W2.3/W2.4): единый контекст хранения — домен получает порты из
|
|
66
|
+
// одного места. По умолчанию собирается `createBackendStorage`, готовый можно
|
|
67
|
+
// передать (паритет с `app.ts`, где `serviceKeys`/`mcpRegistry` нужны до `auth`).
|
|
68
|
+
const storageContext = storage ?? (await createBackendStorage(config));
|
|
69
|
+
// PROP-032 (W5): деградированное хранилище (postgres недоступен → файловый
|
|
70
|
+
// фоллбек, read-only). Фоновые писатели отключаются (split-brain): миграции,
|
|
71
|
+
// провайдеры из env, шедулер, webhooks, sweeper/ephemeral, retention-прунеры.
|
|
72
|
+
const storageDegraded = storageContext.degraded !== undefined;
|
|
73
|
+
const { settings: settingsStore, defaults: defaultsStore, secretPatterns: patternStore, protectedPaths: protectedPathsStore, sessions: fileStore, projects: projectStore, profiles: profilesStore, sshKeys: sshKeyStore, contextFiles: contextConfig, providers: providerStore, models: modelStore, agents: agentStore, dictionaries: dictionaryStore, serviceKeys: serviceApiKeyStore, webhooks: webhookStore, securityAudit, egressRequests, webhookDeliveries: webhookDeliveryStore, eventBindings: eventBindingStore, eventApiKeys: eventApiKeyStore, eventJournal, eventRoutes: routeRuleStore, identityClaims: identityClaimStore, dedup: dedupStore, schedules: scheduleStore, jobs: jobStore, skillBundles: bundleStore, mcpRegistry: mcpRegistryStore, analyticsRollups, } = storageContext;
|
|
23
74
|
// ADR-030: ядровая шина хуков — общий инстанс для SessionManager и оркестратора.
|
|
24
75
|
const hooks = new HookBus();
|
|
76
|
+
// PROP-102: сборщик роллапов аналитики (write-path) — только через порт слоя
|
|
77
|
+
// хранения; в деградации выключен (не пишем домен в файловый фоллбек).
|
|
78
|
+
const analytics = storageDegraded ? undefined : new AnalyticsRecorder({ repo: analyticsRollups });
|
|
25
79
|
const sessionManager = new SessionManager(fileStore, {
|
|
26
80
|
projectStore,
|
|
27
81
|
hooks,
|
|
82
|
+
// PROP-102: точка персиста сообщений (`messages_assistant`/`messages_tool`).
|
|
83
|
+
analytics,
|
|
28
84
|
// ADR-071 §2.4 / ADR-046 §4.5: системные дефолты для сессий без проекта.
|
|
29
85
|
systemDefaultsProvider: async () => ({
|
|
30
86
|
mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
|
|
@@ -33,23 +89,22 @@ export async function createBackendDeps(config) {
|
|
|
33
89
|
});
|
|
34
90
|
// ADR-089: авто-архивация ephemeral-сессий по TTL (таймер `unref`).
|
|
35
91
|
// Остановка — через хэндл `stopEphemeralSweeper` на graceful shutdown.
|
|
36
|
-
const stopEphemeralSweeper = startEphemeralSweeper(sessionManager);
|
|
37
|
-
//
|
|
38
|
-
//
|
|
39
|
-
const
|
|
40
|
-
|
|
41
|
-
|
|
42
|
-
|
|
43
|
-
|
|
44
|
-
|
|
45
|
-
const
|
|
46
|
-
|
|
47
|
-
|
|
48
|
-
|
|
49
|
-
|
|
50
|
-
|
|
51
|
-
//
|
|
52
|
-
const settingsStore = new RuntimeSettingsStore({ dataDir });
|
|
92
|
+
const stopEphemeralSweeper = storageDegraded ? () => { } : startEphemeralSweeper(sessionManager);
|
|
93
|
+
// PROP-102: шов записи `activity` через hook-шину (ADR-030) + retention суточных
|
|
94
|
+
// роллапов (prune на старте и каждые 6 ч, таймер `unref`).
|
|
95
|
+
const detachAnalyticsHooks = analytics
|
|
96
|
+
? attachAnalyticsActivityHooks(hooks, {
|
|
97
|
+
recorder: analytics,
|
|
98
|
+
resolveSessionAxes: async (sessionId) => sessionAxes(await sessionManager.getSession(sessionId)),
|
|
99
|
+
})
|
|
100
|
+
: () => { };
|
|
101
|
+
const stopAnalyticsRollupPruner = storageDegraded || !analytics
|
|
102
|
+
? () => { }
|
|
103
|
+
: startAnalyticsRollupPruner(analyticsRollups, {
|
|
104
|
+
getRetentionDays: () => config.synth.analytics.retentionDays,
|
|
105
|
+
});
|
|
106
|
+
// ADR-036/ADR-005: паттерны секретов и runtime-настройки («workspace/mcp»,
|
|
107
|
+
// умолчания оформления) — из контекста хранения (собраны выше).
|
|
53
108
|
// ADR-075: дефолтный рабочий каталог — runtime-override `settings/workspace`
|
|
54
109
|
// приоритетнее config/env (`resolveDefaultWorkspace`), каталог создаётся
|
|
55
110
|
// заранее (как в core `server/app.ts`), чтобы инструменты не падали.
|
|
@@ -58,13 +113,10 @@ export async function createBackendDeps(config) {
|
|
|
58
113
|
await mkdir(defaultWorkingDir, { recursive: true });
|
|
59
114
|
// Агент по умолчанию (админка «Агенты»): runtime-настройка поверх DEFAULT_AGENT_ID.
|
|
60
115
|
const getDefaultAgentId = async () => (await settingsStore.getDefaultAgent()) ?? DEFAULT_AGENT_ID;
|
|
61
|
-
// Умолчания оформления (ADR-005): {dataDir}/defaults.json (переживают рестарт)
|
|
62
|
-
const defaultsStore = new DefaultsStore({ dataDir });
|
|
63
116
|
// MCP: единый источник истины — реестр `McpRegistryStore` (ADR-071 §2.5).
|
|
64
117
|
// Legacy `YamlMcpConfigStore` удалён: instance-серверы из config.mcp.servers
|
|
65
118
|
// сидируются в реестр при старте (seed без дублирования по имени).
|
|
66
119
|
const mcpManager = new McpManager();
|
|
67
|
-
const mcpRegistryStore = new McpRegistryStore({ dataDir });
|
|
68
120
|
await mcpRegistryStore.seedFromConfig(config.synth.mcp.servers);
|
|
69
121
|
// Одно чтение реестра на все карты менеджера (вместо пяти).
|
|
70
122
|
const mcpMaps = await mcpRegistryStore.toManagerMaps();
|
|
@@ -75,42 +127,85 @@ export async function createBackendDeps(config) {
|
|
|
75
127
|
mcpManager.setDefaultServers(mcpMaps.defaults);
|
|
76
128
|
// ADR-071 §2.4: системный мастер-флаг серверов (реестр `enabled`).
|
|
77
129
|
mcpManager.setServerSystemEnabled(mcpMaps.systemEnabled);
|
|
78
|
-
//
|
|
79
|
-
//
|
|
80
|
-
|
|
81
|
-
|
|
82
|
-
|
|
83
|
-
|
|
84
|
-
|
|
85
|
-
|
|
130
|
+
// Egress: живой резолвер политики (settings.json → config.yaml → дефолт) и
|
|
131
|
+
// журнал внешних запросов. Резолвер читает стор на каждый запрос (live).
|
|
132
|
+
const egressResolver = createEgressPolicyResolver(settingsStore, {
|
|
133
|
+
tools: config.synth.egress.tools,
|
|
134
|
+
webhooks: config.synth.egress.webhooks,
|
|
135
|
+
mcp: config.synth.mcp.networkPolicy,
|
|
136
|
+
});
|
|
137
|
+
const egressLogConfig = config.synth.egress.log;
|
|
138
|
+
const egressLog = createEgressLogSink(egressRequests, { enabled: () => egressLogConfig.enabled });
|
|
139
|
+
configureEgressRuntime({ resolver: egressResolver, log: egressLog });
|
|
140
|
+
const stopEgressLogPruner = storageDegraded || !egressLogConfig.enabled
|
|
141
|
+
? () => { }
|
|
142
|
+
: startEgressLogPruner(egressRequests, { getRetentionDays: () => egressLogConfig.retentionDays });
|
|
143
|
+
// ADR-071 §2.3.1: политика сетевого доступа HTTP-серверов (SSRF/egress)
|
|
144
|
+
// резолвится при каждом connect/probe (live; без стартового снимка).
|
|
145
|
+
mcpManager.setNetworkPolicyResolver(() => egressResolver.resolveMcp());
|
|
86
146
|
// Сидирование тестовых пользователей (debug mode) — до построения рантайма
|
|
87
147
|
// (паритет с прежним `app.ts`: сид стоял между хранилищами и рантаймом).
|
|
88
148
|
seedDebugTestUsers(profilesStore, config.auth);
|
|
89
149
|
const eventBus = new EventBus();
|
|
90
150
|
const queueManager = new QueueProcessorManager();
|
|
151
|
+
// PROP-102: пользовательские сообщения персистит процессор — мера `messages_user`.
|
|
152
|
+
queueManager.setAnalytics(analytics);
|
|
153
|
+
// ADR-094: доменные коллекторы. `metrics` приходит только при
|
|
154
|
+
// `metrics.enabled=true` — иначе реестр остаётся пустым (`/metrics` → 404).
|
|
155
|
+
// Фоновые таймеры `unref`-ятся; остановка — `stopMetricsCollectors` на
|
|
156
|
+
// graceful shutdown (`app.ts`/`main.ts`).
|
|
157
|
+
const stopMetricsCollectors = [];
|
|
158
|
+
// ADR-094: доменные хуки (колбэки сервисов) — создаются только при включённых метриках.
|
|
159
|
+
const schedulerJobMetrics = metrics ? createSchedulerMetrics(metrics) : undefined;
|
|
160
|
+
const webhookDeliveryMetrics = metrics ? createWebhookMetrics(metrics) : undefined;
|
|
161
|
+
const eventMetrics = metrics ? createEventMetrics(metrics) : undefined;
|
|
162
|
+
if (metrics) {
|
|
163
|
+
stopMetricsCollectors.push(attachBusMetrics(metrics, eventBus));
|
|
164
|
+
stopMetricsCollectors.push(startSessionMetrics(metrics, sessionManager));
|
|
165
|
+
stopMetricsCollectors.push(startStorageMetrics(metrics, {
|
|
166
|
+
sessions: fileStore,
|
|
167
|
+
projects: projectStore,
|
|
168
|
+
providers: providerStore,
|
|
169
|
+
models: modelStore,
|
|
170
|
+
agents: agentStore,
|
|
171
|
+
webhooks: webhookStore,
|
|
172
|
+
schedules: scheduleStore,
|
|
173
|
+
eventBindings: eventBindingStore,
|
|
174
|
+
eventRoutes: routeRuleStore,
|
|
175
|
+
dataDir,
|
|
176
|
+
backend: storageContext.kind,
|
|
177
|
+
degraded: () => Boolean(storageContext.degraded),
|
|
178
|
+
}));
|
|
179
|
+
stopMetricsCollectors.push(registerDecisionMetrics(metrics));
|
|
180
|
+
// ADR-094: размер журнала внешних событий (фон, раз в 5 минут).
|
|
181
|
+
stopMetricsCollectors.push(startEventJournalMetrics(metrics, eventJournal));
|
|
182
|
+
}
|
|
91
183
|
// ADR-052 (этап II): исходящие webhooks — реестр подписок (signing-секрет
|
|
92
184
|
// `whsec_…` шифруется at-rest мастер-ключом), append-only журнал доставок и
|
|
93
185
|
// движок над той же шиной `EventBus`, что обслуживает сессии/SSE. Движок
|
|
94
186
|
// подписывается на ВСЕ события шины (`subscribeAll`) — паритет с core
|
|
95
187
|
// `server/app.ts`; `webhooks.enabled: false` (дефолт) глушит диспетчеризацию.
|
|
96
188
|
const webhooksConfig = config.synth.webhooks;
|
|
97
|
-
const webhookStore = new WebhookStore({
|
|
98
|
-
dataDir: config.dataDir,
|
|
99
|
-
secretKey: resolveSecretKey(config.synth),
|
|
100
|
-
env: process.env,
|
|
101
|
-
});
|
|
102
|
-
const webhookDeliveryStore = new WebhookDeliveryStore({ dataDir: config.dataDir });
|
|
103
189
|
const webhookService = new WebhookService({
|
|
104
190
|
store: webhookStore,
|
|
105
191
|
deliveryStore: webhookDeliveryStore,
|
|
106
192
|
eventBus,
|
|
107
|
-
|
|
193
|
+
// ADR-094: исходящие доставки (ok/error/blocked + retries/duration).
|
|
194
|
+
onDelivery: webhookDeliveryMetrics,
|
|
195
|
+
config: {
|
|
196
|
+
...webhooksConfig,
|
|
197
|
+
// Отдельный экземпляр политики (граница доверия не смешивается с tools).
|
|
198
|
+
resolvePolicy: () => egressResolver.resolveWebhooks(),
|
|
199
|
+
},
|
|
108
200
|
});
|
|
109
|
-
|
|
201
|
+
if (!storageDegraded)
|
|
202
|
+
webhookService.start();
|
|
110
203
|
// Retention-очистка журнала доставок: сразу при старте + каждые 6 ч (unref).
|
|
111
|
-
const stopWebhookDeliveryPruner =
|
|
112
|
-
|
|
113
|
-
|
|
204
|
+
const stopWebhookDeliveryPruner = storageDegraded
|
|
205
|
+
? () => { }
|
|
206
|
+
: startWebhookDeliveryPruner(webhookDeliveryStore, {
|
|
207
|
+
getRetentionDays: () => webhooksConfig.deliveryRetentionDays,
|
|
208
|
+
});
|
|
114
209
|
// Context builder
|
|
115
210
|
const contextBuilder = new ContextBuilder(contextConfig, {
|
|
116
211
|
profilesStore,
|
|
@@ -126,7 +221,9 @@ export async function createBackendDeps(config) {
|
|
|
126
221
|
// ADR-038: синхронизация провайдеров/моделей из переменных окружения (общая
|
|
127
222
|
// core-реализация). Вызывается ПОСЛЕ создания providerStore/modelStore, но ДО
|
|
128
223
|
// заполнения кэшей, чтобы env-провайдеры попали в providerCache/modelCache.
|
|
129
|
-
|
|
224
|
+
// PROP-032 (W5): в деградации не пишем в фоллбек.
|
|
225
|
+
if (!storageDegraded)
|
|
226
|
+
await syncProvidersFromEnv(providerStore, modelStore);
|
|
130
227
|
// Кеш провайдеров (заполняется при старте)
|
|
131
228
|
const providerCache = new Map();
|
|
132
229
|
(await providerStore.list()).forEach((p) => {
|
|
@@ -211,7 +308,6 @@ export async function createBackendDeps(config) {
|
|
|
211
308
|
// (микро-каскад, роутер, события ADR-089) через `live.setDecision`.
|
|
212
309
|
const runtimeDecision = await settingsStore.getDecision();
|
|
213
310
|
let effectiveDecisionSettings = mergeDecisionConfig(config.synth.decision, runtimeDecision);
|
|
214
|
-
const protectedPathsStore = new ProtectedPathsStore({ dataDir });
|
|
215
311
|
// Orchestrator
|
|
216
312
|
const toolRegistry = createToolRegistry();
|
|
217
313
|
const agentRegistry = createAgentRegistry(toolRegistry, join(dataDir, 'agents'));
|
|
@@ -224,10 +320,6 @@ export async function createBackendDeps(config) {
|
|
|
224
320
|
toolsets: config.synth.skills.toolsets,
|
|
225
321
|
});
|
|
226
322
|
// ADR-046 §7: slash-команды и bundles (mirror core).
|
|
227
|
-
const bundleStore = new SkillBundleStore({
|
|
228
|
-
dataDir,
|
|
229
|
-
bundlesPath: config.synth.commands.bundlesPath,
|
|
230
|
-
});
|
|
231
323
|
const commandService = new CommandService({
|
|
232
324
|
config: {
|
|
233
325
|
dataDir,
|
|
@@ -248,6 +340,8 @@ export async function createBackendDeps(config) {
|
|
|
248
340
|
sessionManager,
|
|
249
341
|
eventBus,
|
|
250
342
|
hooks,
|
|
343
|
+
// PROP-102: сборщик `usage`/`decision` роллапов (write-path).
|
|
344
|
+
analytics,
|
|
251
345
|
contextBuilder,
|
|
252
346
|
contextConfig,
|
|
253
347
|
providerLoader,
|
|
@@ -262,6 +356,8 @@ export async function createBackendDeps(config) {
|
|
|
262
356
|
profilesStore,
|
|
263
357
|
// ADR-076 §T6: тот же store, что у git/ssh-роутов — без дублей инстансов.
|
|
264
358
|
sshKeyStore,
|
|
359
|
+
// PROP-032 (W2.4): словари классификации — порт из контекста хранения.
|
|
360
|
+
dictionaryStore,
|
|
265
361
|
workspacesRoot: config.workspacesRoot,
|
|
266
362
|
// ADR-075: backend — managed-режим, workspace вне workspacesRoot запрещён.
|
|
267
363
|
workspaceManaged: true,
|
|
@@ -278,6 +374,9 @@ export async function createBackendDeps(config) {
|
|
|
278
374
|
gatewayAuditLogger,
|
|
279
375
|
gatewayPayloadLogPath,
|
|
280
376
|
gatewayPatternStore: patternStore,
|
|
377
|
+
// ADR-094: реестр метрик (только при `metrics.enabled`) — LLM-вызовы
|
|
378
|
+
// сессий учитываются и при выключенном LLM Gateway.
|
|
379
|
+
metrics,
|
|
281
380
|
cachePolicy: config.synth.llm.cache,
|
|
282
381
|
toolsPolicy,
|
|
283
382
|
mcpPolicy,
|
|
@@ -310,29 +409,19 @@ export async function createBackendDeps(config) {
|
|
|
310
409
|
const processMessage = orchestrator.createProcessMessage();
|
|
311
410
|
// ADR-089: ядро маршрутизации внешних событий и единый funnel создания сессий.
|
|
312
411
|
// Funnel подключён к `POST /sessions` и тулу `task` (Этап 5); приём внешних
|
|
313
|
-
// событий — на следующих этапах.
|
|
314
|
-
|
|
315
|
-
// ADR-089/ADR-052: API-ключи привязок для аутентификации приёма событий.
|
|
316
|
-
const eventApiKeyStore = new EventApiKeyStore({ dataDir });
|
|
317
|
-
const eventJournal = new EventJournalStore({ dataDir });
|
|
318
|
-
// ADR-089: реестр правил маршрутизации (проектные/инстанс-правила).
|
|
319
|
-
const routeRuleStore = new RouteRuleStore({ dataDir });
|
|
320
|
-
// ADR-089 (claim-flow): одноразовые коды подтверждения владения идентичностью.
|
|
321
|
-
const identityClaimStore = new IdentityClaimStore({ dataDir });
|
|
412
|
+
// событий — на следующих этапах. Сторы bindings/ключей/журнала/правил/claim,
|
|
413
|
+
// дедуп и расписания/jobs — из единого контекста хранения (собраны выше).
|
|
322
414
|
// ADR-089 (Блок 3): runtime-настройки «События» (админка) поверх config.yaml.
|
|
323
415
|
const runtimeEvents = await settingsStore.getEvents();
|
|
324
416
|
const effectiveEvents = mergeEventsConfig(config.synth.events, runtimeEvents);
|
|
325
417
|
let effectiveEventsSettings = effectiveEvents;
|
|
326
|
-
// ADR-051/ADR-089: источник дедупа — in-process (default) или файловый
|
|
327
|
-
// межпроцессный (`events.dedupStore: file`).
|
|
328
|
-
const dedupStore = config.synth.events.dedupStore === 'file'
|
|
329
|
-
? new FileDedupStore({ dataDir })
|
|
330
|
-
: new MemoryDedupStore();
|
|
331
418
|
const eventRouter = new EventRouter({
|
|
332
419
|
bindingStore: eventBindingStore,
|
|
333
420
|
journal: eventJournal,
|
|
334
421
|
hooks,
|
|
335
422
|
dedupStore,
|
|
423
|
+
// ADR-094: решения Router (kind; `bind` → `bound`).
|
|
424
|
+
metrics: eventMetrics,
|
|
336
425
|
config: {
|
|
337
426
|
allowedSources: effectiveEvents.allowedSources,
|
|
338
427
|
defaultMode: effectiveEvents.defaultMode,
|
|
@@ -342,16 +431,13 @@ export async function createBackendDeps(config) {
|
|
|
342
431
|
},
|
|
343
432
|
});
|
|
344
433
|
// ADR-089 (Блок 2): retention-очистка журнала событий (сразу + каждые 6 ч).
|
|
345
|
-
const stopEventJournalPruner =
|
|
346
|
-
|
|
347
|
-
|
|
434
|
+
const stopEventJournalPruner = storageDegraded
|
|
435
|
+
? () => { }
|
|
436
|
+
: startEventJournalPruner(eventJournal, {
|
|
437
|
+
getRetentionDays: () => effectiveEventsSettings.journalRetentionDays,
|
|
438
|
+
});
|
|
348
439
|
// ADR-051 (срез) / ADR-089: правило маршрутизации cron-событий по расписанию
|
|
349
440
|
// (паритет с core `server/app.ts`; store без дублей).
|
|
350
|
-
const scheduleStore = new ScheduleStore({
|
|
351
|
-
dataDir,
|
|
352
|
-
crossProcess: config.synth.scheduler.crossProcessLocks,
|
|
353
|
-
});
|
|
354
|
-
const jobStore = new JobStore({ dataDir });
|
|
355
441
|
eventRouter.registerRuleProvider(new SchedulerRuleProvider(scheduleStore, effectiveEvents.ephemeralTtl));
|
|
356
442
|
// ADR-089: правила маршрутизации по матчу события (после scheduler).
|
|
357
443
|
eventRouter.registerRuleProvider(new ProjectRuleProvider(routeRuleStore, effectiveEvents.ephemeralTtl));
|
|
@@ -371,6 +457,8 @@ export async function createBackendDeps(config) {
|
|
|
371
457
|
displayName: agent.displayName,
|
|
372
458
|
description: agent.description,
|
|
373
459
|
})),
|
|
460
|
+
// PROP-102: персистентные decision-метрики (ось provider/model).
|
|
461
|
+
analytics,
|
|
374
462
|
}));
|
|
375
463
|
// ADR-089: резолвинг `agentTemplate` (события/правила) через `AgentRegistry`:
|
|
376
464
|
// неизвестный или отключённый агент → `null`.
|
|
@@ -436,11 +524,17 @@ export async function createBackendDeps(config) {
|
|
|
436
524
|
},
|
|
437
525
|
// ADR-089: дефолтные provider/model инстанса (llm.defaultProvider/defaultModel)
|
|
438
526
|
// — для сессий из внешних событий (materialize ephemeral/bind), чтобы агент
|
|
439
|
-
// мог ответить без ручной простановки модели.
|
|
440
|
-
|
|
441
|
-
|
|
442
|
-
|
|
443
|
-
|
|
527
|
+
// мог ответить без ручной простановки модели. Приоритет: runtime-пара
|
|
528
|
+
// «Модели» (provider+model), затем config.
|
|
529
|
+
resolveLlmDefaults: async () => {
|
|
530
|
+
const pair = await settingsStore.getDefaultModel();
|
|
531
|
+
if (pair)
|
|
532
|
+
return { provider: pair.provider, model: pair.model };
|
|
533
|
+
return {
|
|
534
|
+
provider: config.synth.llm.defaultProvider,
|
|
535
|
+
model: config.synth.llm.defaultModel,
|
|
536
|
+
};
|
|
537
|
+
},
|
|
444
538
|
// ADR-089: агент по умолчанию инстанса — чтобы сессия из внешнего события
|
|
445
539
|
// (auto-bind/bind/ephemeral) фиксировала `settings.agentRole` и UI рисовал
|
|
446
540
|
// бейдж агента (паритет с `POST /api/v2/sessions`). Источник — админка
|
|
@@ -486,11 +580,17 @@ export async function createBackendDeps(config) {
|
|
|
486
580
|
},
|
|
487
581
|
});
|
|
488
582
|
// ADR-089: ingress-точка приёма внешних событий (Этап 6).
|
|
489
|
-
const eventIngress = new EventIngress({ requestSessionService });
|
|
583
|
+
const eventIngress = new EventIngress({ requestSessionService, metrics: eventMetrics });
|
|
490
584
|
// ADR-051 (срез) / ADR-089: планировщик публикует cron-события через ingress.
|
|
491
585
|
// `start()` гейтится конфигом (`scheduler.enabled: false` — тикер не стартует),
|
|
492
586
|
// ошибки старта логируются и не роняют процесс; остановка — `stopScheduler`.
|
|
493
587
|
const schedulerTickMs = config.synth.scheduler.tickSec * 1000;
|
|
588
|
+
// PROP-032: `leaderElection=postgres` требует advisory-локов backend'а
|
|
589
|
+
// (`storage.backend=postgres`); иначе — предупреждение и AlwaysLeader.
|
|
590
|
+
if (config.synth.scheduler.leaderElection === 'postgres' && !storageContext.locks) {
|
|
591
|
+
console.warn('[scheduler] leaderElection=postgres, но backend не предоставляет advisory-локи ' +
|
|
592
|
+
'(нужен storage.backend=postgres) — используется AlwaysLeader');
|
|
593
|
+
}
|
|
494
594
|
const schedulerService = new SchedulerService({
|
|
495
595
|
scheduleStore,
|
|
496
596
|
ingress: eventIngress,
|
|
@@ -499,28 +599,53 @@ export async function createBackendDeps(config) {
|
|
|
499
599
|
defaultEphemeralTtl: effectiveEvents.ephemeralTtl,
|
|
500
600
|
catchUp: config.synth.scheduler.catchUp,
|
|
501
601
|
jobRetentionDays: config.synth.scheduler.jobRetentionDays,
|
|
502
|
-
// ADR-
|
|
602
|
+
// ADR-094: завершённые Job (outcome + дрейф cron).
|
|
603
|
+
onJob: schedulerJobMetrics,
|
|
604
|
+
// ADR-051/ADR-089/PROP-032: тикер стартует только у лидера (default —
|
|
605
|
+
// AlwaysLeader). `file` — файловый лок на общем dataDir, `postgres` —
|
|
606
|
+
// session-level advisory-lock драйвера (доступен только при PG-backend).
|
|
503
607
|
leader: config.synth.scheduler.leaderElection === 'file'
|
|
504
608
|
? new FileLeader({ dataDir, tickMs: schedulerTickMs })
|
|
505
|
-
:
|
|
609
|
+
: config.synth.scheduler.leaderElection === 'postgres' && storageContext.locks
|
|
610
|
+
? storageContext.locks.createLeader({ name: 'scheduler/leader', tickMs: schedulerTickMs })
|
|
611
|
+
: new AlwaysLeader(),
|
|
506
612
|
});
|
|
507
|
-
if (config.synth.scheduler.enabled !== false) {
|
|
613
|
+
if (config.synth.scheduler.enabled !== false && !storageDegraded) {
|
|
508
614
|
void schedulerService.start().catch((err) => {
|
|
509
615
|
console.warn(`[scheduler] не удалось запустить: ${err instanceof Error ? err.message : String(err)}`);
|
|
510
616
|
});
|
|
511
617
|
}
|
|
512
|
-
// ADR-
|
|
513
|
-
|
|
514
|
-
|
|
515
|
-
|
|
516
|
-
|
|
517
|
-
|
|
518
|
-
|
|
519
|
-
|
|
520
|
-
|
|
521
|
-
|
|
618
|
+
// ADR-092: авто-миграции схемы данных при старте (паритет со standalone-core) —
|
|
619
|
+
// обязательная страховочная копия + межпроцессный лок. Миграция снапшотов скоупа —
|
|
620
|
+
// зарегистрированная миграция реестра (`session-scope-snapshots-v1`), отдельный
|
|
621
|
+
// прямой вызов больше не нужен. Fail-closed: ошибка не глушится.
|
|
622
|
+
// PROP-032 (W5): в деградации миграции не применяем (фоллбек-каталог пуст —
|
|
623
|
+
// страховочная копия/миграция были бы доменной записью в фоллбек).
|
|
624
|
+
if (!storageDegraded) {
|
|
625
|
+
await applyStartupMigrations({
|
|
626
|
+
dataDir,
|
|
627
|
+
settingsStore,
|
|
628
|
+
sessionManager,
|
|
629
|
+
projectStore,
|
|
630
|
+
// PROP-032: под PG — advisory-лок драйвера вместо файлового `{dataDir}/migrate`.
|
|
631
|
+
...(storageContext.locks
|
|
632
|
+
? { mutex: storageContext.locks.createMutex({ name: 'startup-migrate' }) }
|
|
633
|
+
: {}),
|
|
634
|
+
resolveSystemDefaults: async () => ({
|
|
635
|
+
mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
|
|
636
|
+
skillsDefaultOn: (await resolveProjectSkillSeed(skillService, await settingsStore.getSkillsDisabledForNewProjects())).enabled,
|
|
637
|
+
}),
|
|
638
|
+
});
|
|
639
|
+
}
|
|
522
640
|
return {
|
|
523
641
|
dataDir,
|
|
642
|
+
// PROP-032: контекст хранения инстанса — для операций, которым нужен
|
|
643
|
+
// целиком (напр. портативный экспорт/импорт проекта, ADR-091).
|
|
644
|
+
storageContext,
|
|
645
|
+
// ADR-094: реестр метрик (доменные коллекторы подключаются выше) и
|
|
646
|
+
// остановка фоновых коллекторов на graceful shutdown.
|
|
647
|
+
metrics,
|
|
648
|
+
stopMetricsCollectors,
|
|
524
649
|
projectStore,
|
|
525
650
|
sessionManager,
|
|
526
651
|
// ADR-089: остановка sweeper'а авто-архивации ephemeral-сессий.
|
|
@@ -529,6 +654,9 @@ export async function createBackendDeps(config) {
|
|
|
529
654
|
providerStore,
|
|
530
655
|
modelStore,
|
|
531
656
|
agentStore,
|
|
657
|
+
// PROP-032 (W2.4): конфигурационные словари и реестр service-key — из контекста.
|
|
658
|
+
dictionaries: dictionaryStore,
|
|
659
|
+
serviceApiKeyStore,
|
|
532
660
|
contextConfig,
|
|
533
661
|
profilesStore,
|
|
534
662
|
patternStore,
|
|
@@ -536,6 +664,17 @@ export async function createBackendDeps(config) {
|
|
|
536
664
|
defaultsStore,
|
|
537
665
|
defaultWorkingDir,
|
|
538
666
|
getDefaultAgentId,
|
|
667
|
+
egressResolver,
|
|
668
|
+
egressLogConfig,
|
|
669
|
+
securityAudit,
|
|
670
|
+
egressRequests,
|
|
671
|
+
// PROP-102 (волна 1): порт пред-агрегированных роллапов аналитики — для роутов отчётов.
|
|
672
|
+
analyticsRollups,
|
|
673
|
+
// PROP-102: write-path — сборщик роллапов (+ остановка hook-подписки и pruner'а).
|
|
674
|
+
analytics,
|
|
675
|
+
detachAnalyticsHooks,
|
|
676
|
+
stopAnalyticsRollupPruner,
|
|
677
|
+
stopEgressLogPruner,
|
|
539
678
|
mcpManager,
|
|
540
679
|
mcpRegistryStore,
|
|
541
680
|
eventBus,
|
|
@@ -571,6 +710,8 @@ export async function createBackendDeps(config) {
|
|
|
571
710
|
stopEventJournalPruner,
|
|
572
711
|
scheduleStore,
|
|
573
712
|
jobStore,
|
|
713
|
+
// ADR-092: аудит-журнал обслуживания — порт слоя хранения (ADR-096).
|
|
714
|
+
maintenanceAudit: storageContext.maintenanceAudit,
|
|
574
715
|
resolveAgentTemplate,
|
|
575
716
|
eventHub,
|
|
576
717
|
requestSessionService,
|
|
@@ -582,13 +723,6 @@ export async function createBackendDeps(config) {
|
|
|
582
723
|
* потребителями через замыкания (ADR-071 §2.3.1 / ADR-084 / ADR-089).
|
|
583
724
|
*/
|
|
584
725
|
live: {
|
|
585
|
-
/** ADR-071 §2.3.1: эффективная политика сетевого доступа MCP. */
|
|
586
|
-
getNetworkPolicy: () => effectiveNetworkPolicy,
|
|
587
|
-
/** ADR-071 §2.3.1: live-применение политики (админка → менеджер MCP). */
|
|
588
|
-
setNetworkPolicy: (policy) => {
|
|
589
|
-
effectiveNetworkPolicy = policy;
|
|
590
|
-
mcpManager.setNetworkPolicy(policy);
|
|
591
|
-
},
|
|
592
726
|
/** ADR-089: runtime-настройки «События» (`enabled`/per-key лимит — роуты). */
|
|
593
727
|
getEvents: () => effectiveEventsSettings,
|
|
594
728
|
/** ADR-089: live-применение runtime-настроек «События» — Router/funnel/pruner. */
|
package/dist/app/listen.d.ts
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
import { IncomingMessage } from 'node:http';
|
|
2
2
|
import type { Hono } from 'hono';
|
|
3
|
-
import type { EventBus, SessionManager, QueueProcessorManager, ChatOrchestrator,
|
|
3
|
+
import type { EventBus, SessionManager, QueueProcessorManager, ChatOrchestrator, ProjectRepository, MetricsRegistry } from '@itphx/synth-core';
|
|
4
4
|
import type { AuthKit } from '../auth/middleware.js';
|
|
5
5
|
import type { EventHub } from '../events/hub.js';
|
|
6
6
|
export interface BackendListenDeps {
|
|
@@ -8,13 +8,18 @@ export interface BackendListenDeps {
|
|
|
8
8
|
auth: AuthKit;
|
|
9
9
|
eventHub: EventHub;
|
|
10
10
|
sessionManager: SessionManager;
|
|
11
|
-
projectStore:
|
|
11
|
+
projectStore: ProjectRepository;
|
|
12
12
|
eventBus: EventBus;
|
|
13
13
|
queueManager: QueueProcessorManager;
|
|
14
14
|
processMessage: ReturnType<ChatOrchestrator['createProcessMessage']>;
|
|
15
15
|
orchestrator: ChatOrchestrator;
|
|
16
16
|
/** Порт по умолчанию (`backendConfig.port`). */
|
|
17
17
|
defaultPort: number;
|
|
18
|
+
/**
|
|
19
|
+
* ADR-094: реестр метрик (задан только при `metrics.enabled`). WS-апгрейд не
|
|
20
|
+
* проходит через Hono-middleware — активные соединения учитываются здесь.
|
|
21
|
+
*/
|
|
22
|
+
metrics?: MetricsRegistry;
|
|
18
23
|
}
|
|
19
24
|
/**
|
|
20
25
|
* Создать функцию `listen` хэндла приложения.
|
package/dist/app/listen.js
CHANGED
|
@@ -115,6 +115,16 @@ export function createBackendListen(deps) {
|
|
|
115
115
|
const allSessions = user.id.startsWith('service:') || auth.hasRole({ get: () => user }, 'ADMIN', 'LEAD');
|
|
116
116
|
wss.handleUpgrade(request, socket, head, (ws) => {
|
|
117
117
|
const clientId = `ws-events-${Date.now()}-${Math.random().toString(36).slice(2, 8)}`;
|
|
118
|
+
// ADR-094: активное WS-соединение — в streams_active (не в гистограмме).
|
|
119
|
+
const streams = deps.metrics?.gauge('synth_http_streams_active', 'Number of active long-lived streams (SSE/WebSocket).');
|
|
120
|
+
streams?.inc();
|
|
121
|
+
let streamReleased = false;
|
|
122
|
+
const releaseStream = () => {
|
|
123
|
+
if (streamReleased)
|
|
124
|
+
return;
|
|
125
|
+
streamReleased = true;
|
|
126
|
+
streams?.dec();
|
|
127
|
+
};
|
|
118
128
|
const client = {
|
|
119
129
|
userId: user.id,
|
|
120
130
|
username: user.username,
|
|
@@ -135,7 +145,6 @@ export function createBackendListen(deps) {
|
|
|
135
145
|
ws.send(JSON.stringify({
|
|
136
146
|
type: 'connected',
|
|
137
147
|
client_id: clientId,
|
|
138
|
-
engine: 'synth',
|
|
139
148
|
}));
|
|
140
149
|
}).catch(() => {
|
|
141
150
|
ws.send(JSON.stringify({
|
|
@@ -276,9 +285,11 @@ export function createBackendListen(deps) {
|
|
|
276
285
|
});
|
|
277
286
|
ws.on('close', () => {
|
|
278
287
|
console.log(`[WS /ws/events] Disconnected: client=${clientId}`);
|
|
288
|
+
releaseStream();
|
|
279
289
|
eventHub.unregisterClient(client);
|
|
280
290
|
});
|
|
281
291
|
ws.on('error', () => {
|
|
292
|
+
releaseStream();
|
|
282
293
|
eventHub.unregisterClient(client);
|
|
283
294
|
});
|
|
284
295
|
});
|
|
@@ -1,5 +1,5 @@
|
|
|
1
1
|
import type { Hono } from 'hono';
|
|
2
|
-
import type {
|
|
2
|
+
import type { MetricsReadiness, MetricsRegistry } from '@itphx/synth-core';
|
|
3
3
|
import type { AuthKit } from '../auth/middleware.js';
|
|
4
4
|
import type { BackendConfig } from '../lib/app-config.js';
|
|
5
5
|
import type { BackendDeps } from './deps.js';
|
|
@@ -8,8 +8,21 @@ export interface BackendRoutesContext {
|
|
|
8
8
|
config: BackendConfig;
|
|
9
9
|
/** Зависимости backend (`createBackendDeps`). */
|
|
10
10
|
deps: BackendDeps;
|
|
11
|
-
/** ADR-
|
|
12
|
-
|
|
11
|
+
/** ADR-094: live-состояние метрик для админ-раздела «Наблюдаемость». */
|
|
12
|
+
metrics: BackendMetricsContext;
|
|
13
|
+
}
|
|
14
|
+
/** ADR-094: live-состояние метрик (паритет с core `StandaloneMetricsContext`). */
|
|
15
|
+
export interface BackendMetricsContext {
|
|
16
|
+
/** Фактический флаг старта процесса (`metricsEnabled`). */
|
|
17
|
+
runningEnabled: boolean;
|
|
18
|
+
/** Реестр метрик процесса (нет — экспорт выключен). */
|
|
19
|
+
getRegistry: () => MetricsRegistry | undefined;
|
|
20
|
+
/** Live-readiness (`GET /ready`). */
|
|
21
|
+
getReadiness: () => MetricsReadiness;
|
|
22
|
+
/** Физический backend хранения (`file`|`memory`|`postgres`). */
|
|
23
|
+
storageBackend: string;
|
|
24
|
+
/** Uptime процесса в секундах. */
|
|
25
|
+
getUptimeSec: () => number;
|
|
13
26
|
}
|
|
14
27
|
/**
|
|
15
28
|
* Смонтировать все `/api/v2/*`-роуты и служебные заглушки (`/api/config/themes`,
|