@itphx/synth-backend 0.10.0 → 0.11.3

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (62) hide show
  1. package/dist/app/bootstrap.d.ts +11 -0
  2. package/dist/app/bootstrap.js +19 -0
  3. package/dist/app/deps.d.ts +124 -0
  4. package/dist/app/deps.js +751 -0
  5. package/dist/app/listen.d.ts +34 -0
  6. package/dist/app/listen.js +309 -0
  7. package/dist/app/mount-routes.d.ts +31 -0
  8. package/dist/app/mount-routes.js +696 -0
  9. package/dist/app/sse-events.d.ts +15 -0
  10. package/dist/app/sse-events.js +83 -0
  11. package/dist/app.d.ts +30 -17
  12. package/dist/app.js +164 -1337
  13. package/dist/auth/guards.d.ts +2 -1
  14. package/dist/auth/guards.js +10 -2
  15. package/dist/auth/middleware.d.ts +9 -14
  16. package/dist/auth/middleware.js +38 -6
  17. package/dist/auth/oidc.d.ts +22 -0
  18. package/dist/auth/oidc.js +68 -9
  19. package/dist/auth/service-scope.d.ts +8 -4
  20. package/dist/auth/service-scope.js +9 -5
  21. package/dist/events/hub.d.ts +2 -2
  22. package/dist/events/hub.js +3 -38
  23. package/dist/lib/app-config.d.ts +2 -0
  24. package/dist/lib/app-config.js +3 -2
  25. package/dist/lib/cors.d.ts +23 -0
  26. package/dist/lib/cors.js +24 -0
  27. package/dist/lib/defaults-store.d.ts +2 -25
  28. package/dist/lib/defaults-store.js +5 -87
  29. package/dist/lib/i18n.js +58 -6
  30. package/dist/main.js +23 -7
  31. package/dist/middleware/rate-limiter.d.ts +4 -1
  32. package/dist/middleware/rate-limiter.js +4 -2
  33. package/dist/routes/agents.d.ts +2 -2
  34. package/dist/routes/audit.d.ts +1 -1
  35. package/dist/routes/audit.js +2 -2
  36. package/dist/routes/auth.d.ts +2 -2
  37. package/dist/routes/auth.js +28 -4
  38. package/dist/routes/context.d.ts +2 -2
  39. package/dist/routes/gateway-patterns.d.ts +3 -3
  40. package/dist/routes/gateway-patterns.js +1 -1
  41. package/dist/routes/llm.d.ts +8 -2
  42. package/dist/routes/llm.js +9 -5
  43. package/dist/routes/mcp-registry.d.ts +6 -6
  44. package/dist/routes/mcp-registry.js +10 -10
  45. package/dist/routes/mcp.d.ts +1 -1
  46. package/dist/routes/mcp.js +1 -1
  47. package/dist/routes/messages.d.ts +5 -4
  48. package/dist/routes/messages.js +30 -3
  49. package/dist/routes/models.d.ts +7 -2
  50. package/dist/routes/models.js +3 -1
  51. package/dist/routes/projects.d.ts +7 -7
  52. package/dist/routes/projects.js +7 -7
  53. package/dist/routes/providers.d.ts +15 -3
  54. package/dist/routes/providers.js +34 -21
  55. package/dist/routes/queue.d.ts +5 -4
  56. package/dist/routes/queue.js +30 -3
  57. package/dist/routes/sessions.d.ts +14 -4
  58. package/dist/routes/sessions.js +234 -34
  59. package/dist/routes/users.js +1 -1
  60. package/dist/test-helpers/close-server.d.ts +33 -0
  61. package/dist/test-helpers/close-server.js +50 -0
  62. package/package.json +3 -3
package/dist/app.js CHANGED
@@ -9,85 +9,29 @@
9
9
  // построения приложения и восстанавливает окружение после — это позволяет
10
10
  // тестам поднимать изолированный backend in-process с debug auth и
11
11
  // фейковыми провайдерами без OIDC.
12
- import { createServer } from 'node:http';
13
- import { mkdir } from 'node:fs/promises';
14
- import { join, isAbsolute, normalize, resolve } from 'node:path';
15
- import { WebSocketServer } from 'ws';
16
- import { Readable } from 'node:stream';
12
+ //
13
+ // ADR-095 (шаг 4b): фасад-композиция — зависимости (`app/deps.ts`), порядок
14
+ // монтирования роутов (`app/mount-routes.ts`), SSE-хаб (`app/sse-events.ts`),
15
+ // HTTP/WS-адаптер (`app/listen.ts`). Экспорты и поведение прежние.
17
16
  import { Hono } from 'hono';
18
17
  import { cors } from 'hono/cors';
19
18
  import { logger } from 'hono/logger';
20
19
  import { createMiddleware } from 'hono/factory';
21
- import { FileStore, SessionManager, EventBus, QueueProcessorManager, ContextConfig, ContextBuilder, ContextOptimizer, ChatOrchestrator, FileProfileStore, enqueueUserMessage, createToolRegistry, createAgentRegistry, McpManager, McpRegistryStore, RuntimeSettingsStore, createSettingsRoutes, AuditLogger, mergeLlmGatewayConfig, mergeSecurityConfig, mergeMcpNetworkPolicy, mergeEventsConfig, mergeDecisionConfig, ProtectedPathsStore, SecretPatternStore, RateLimiter, DictionaryStore, createDictionaryRoutes, SkillService, createSkillRoutes, resolveProjectSkillSeed, migrateSessionScopeSnapshots, CommandService, createCommandRoutes, createSkillBundleRoutes, SkillBundleStore, createSessionSkillScopeRoutes, createProjectSkillScopeRoutes, createSkillSettingsRoutes, createIdentityRoutes, ProjectInstructionsResolver, createInstructionsInfoResolver, createContextRoutes as createCoreContextRoutes, DEFAULT_AGENT_ID, SSHKeyStore, createGitRoutes, createSshKeyRoutes, createAgentSshKeyRoutes, createFsRoutes, resolveProjectWorkspace, detectRuntimeDeps, syncProvidersFromEnv, HookBus, startEphemeralSweeper, EventBindingStore, EventApiKeyStore, EventJournalStore, EventRouter, RequestSessionService, EventIngress, eventToMessage, RouteRuleStore, ProjectRuleProvider, DecisionRuleProvider, IdentityClaimStore, ScheduleStore, SchedulerRuleProvider, SchedulerService, JobStore, MemoryDedupStore, FileDedupStore, AlwaysLeader, FileLeader, createEventRoutes, createSchedulerRoutes, createExternalIdentityResolver, startEventJournalPruner, ServiceApiKeyStore, createServiceKeyRoutes, KeyRateLimiter, getServiceCredential, applyBootstrapServiceKeys, WebhookStore, WebhookDeliveryStore, WebhookService, startWebhookDeliveryPruner, createWebhookRoutes, getPublicOpenApiDocument, } from '@itphx/synth-core';
22
- import { nowISO, ensureDataDir, MessageRole, generateStreamId, SYNTH_VERSION, DEFAULT_LLM_GATEWAY_RATE_LIMIT, ProjectRole, resolveDefaultWorkspace, resolveSecretKey, parsePrincipalId } from '@itphx/synth-shared';
20
+ import { applyBootstrapServiceKeys, createHealthRoutes, createHttpMetricsMiddleware, createMetricsRoutes, KeyRateLimiter, getServiceCredential, MetricsRegistry, registerProcessMetrics, resolveMetricsEnabled, resolveMetricsToken, setSynthReady, } from '@itphx/synth-core';
21
+ import { createStorageDegradedGuard, createStorageStatusRoutes } from '@itphx/synth-core/server/storage-degraded.js';
23
22
  import { loadBackendConfig } from './lib/app-config.js';
23
+ import { resolveCorsOrigin } from './lib/cors.js';
24
24
  import { createAuthMiddleware } from './auth/middleware.js';
25
- import { scopeGuard, projectGuard } from './auth/service-scope.js';
26
- import { requireAdminOrScope } from './auth/guards.js';
27
25
  import { createAuthRoutes } from './routes/auth.js';
28
- import { createProjectRoutes, createProjectAccess } from './routes/projects.js';
29
- import { createSessionRoutes } from './routes/sessions.js';
30
- import { createMessageRoutes } from './routes/messages.js';
31
- import { createQueueRoutes } from './routes/queue.js';
32
- import { createProviderRoutes } from './routes/providers.js';
33
- import { createModelRoutes } from './routes/models.js';
34
- import { createAgentRoutes } from './routes/agents.js';
35
- import { createContextRoutes as createContextFileRoutes } from './routes/context.js';
36
- import { createDebugRoutes } from './routes/debug.js';
37
- import { createUserRoutes } from './routes/users.js';
38
- import { createMcpRoutes } from './routes/mcp.js';
39
- import { createAuditRoutes } from './routes/audit.js';
40
- import { createLogsRoutes, resolveLogDir } from './routes/logs.js';
41
- import { createGatewayPatternsRoutes } from './routes/gateway-patterns.js';
42
- import { createLlmRoutes } from './routes/llm.js';
43
- import { createRateLimiter } from './middleware/rate-limiter.js';
44
- import { DefaultsStore } from './lib/defaults-store.js';
45
- import { t, getTranslations } from './lib/i18n.js';
46
- import { ProjectStore } from '@itphx/synth-core';
47
- import { JsonStore } from '@itphx/synth-core';
48
- import { EventHub } from './events/hub.js';
49
- /**
50
- * Вспомогательная функция для конвертации Node Request в Web Request.
51
- */
52
- function toWebRequest(req) {
53
- const protocol = 'http';
54
- const host = req.headers.host || 'localhost';
55
- const url = `${protocol}://${host}${req.url || '/'}`;
56
- const headers = new Headers();
57
- for (const [k, v] of Object.entries(req.headers)) {
58
- if (v)
59
- headers.set(k, Array.isArray(v) ? v.join(', ') : v);
60
- }
61
- const method = req.method || 'GET';
62
- const noBody = ['GET', 'HEAD'].includes(method) || !req.headers['content-length'];
63
- return new Request(url, {
64
- method,
65
- headers,
66
- body: noBody ? undefined : Readable.toWeb(req),
67
- duplex: 'half',
68
- });
69
- }
26
+ import { t } from './lib/i18n.js';
27
+ import { createBackendDeps, createBackendStorage } from './app/deps.js';
28
+ import { mountBackendRoutes } from './app/mount-routes.js';
29
+ import { createBackendListen } from './app/listen.js';
70
30
  /**
71
- * Адаптер для auth.getCurrentUser из сырого IncomingMessage (WS upgrade).
31
+ * Backend-приложение Synth (managed): `createBackendApp` без прослушивания порта.
32
+ * Фасад-композиция: зависимости — `app/deps.ts`, порядок монтирования роутов —
33
+ * `app/mount-routes.ts`, SSE-хаб — `app/sse-events.ts`, HTTP/WS — `app/listen.ts`.
72
34
  */
73
- function reqAdapter(req) {
74
- const headers = new Headers();
75
- for (const [k, v] of Object.entries(req.headers)) {
76
- if (v)
77
- headers.set(k, Array.isArray(v) ? v.join(', ') : v);
78
- }
79
- return {
80
- req: {
81
- header(name) {
82
- const h = req.headers[name.toLowerCase()];
83
- if (!h)
84
- return undefined;
85
- return Array.isArray(h) ? h[0] : h;
86
- },
87
- raw: { headers },
88
- },
89
- };
90
- }
91
35
  export async function createBackendApp(opts = {}) {
92
36
  // Временные env-переменные: применяются только на время построения приложения
93
37
  // (loadBackendConfig и syncProvidersFromEnv читают process.env).
@@ -112,32 +56,69 @@ export async function createBackendApp(opts = {}) {
112
56
  const backendConfig = await loadBackendConfig({ configPath: opts.configPath });
113
57
  const app = new Hono();
114
58
  app.use(logger());
59
+ // PROP-032 (W2.4): единый контекст хранения — собирается до `auth`, реестр
60
+ // service-key (`storage.serviceKeys`) нужен резолверу `synth_svc_…`; тот же
61
+ // инстанс переиспользует `createBackendDeps` (в т.ч. `mcpRegistry`, который
62
+ // деп сидирует instance-серверами).
63
+ // ADR-094: контекст хранения нужен до включения метрик — runtime-настройка
64
+ // `metrics.enabled` (`settings.json`/PG) применяется при старте.
65
+ const storage = await createBackendStorage(backendConfig);
66
+ // ADR-094: метрики — реестр до middleware; при `metrics.enabled=false`
67
+ // ничего не собираем, `/metrics` отдаёт 404 (middleware не ставим).
68
+ // Приоритет: env `SYNTH_METRICS_ENABLED` > runtime (`settings.json`) >
69
+ // config.yaml `metrics.enabled` > default false.
70
+ const runtimeMetrics = await storage.settings.getMetrics();
71
+ const metricsEnabled = resolveMetricsEnabled({
72
+ configEnabled: backendConfig.synth.metrics.enabled,
73
+ runtimeEnabled: runtimeMetrics.enabled,
74
+ env: process.env,
75
+ }).enabled;
76
+ const metrics = new MetricsRegistry();
77
+ const stopProcessMetrics = metricsEnabled ? registerProcessMetrics(metrics) : null;
78
+ if (metricsEnabled)
79
+ app.use('*', createHttpMetricsMiddleware(metrics));
115
80
  // CORS настраивается после загрузки конфига
116
- // Health (без auth)
117
- app.get('/health', (c) => c.json({ status: 'healthy', version: SYNTH_VERSION, time: nowISO() }));
118
- app.get('/api/v2/health', (c) => c.json({ status: 'healthy', version: SYNTH_VERSION, time: nowISO() }));
119
- // Динамический CORS origin: если задан explicit ORIGIN через env var, использовать его;
120
- // если задан список allowedOrigins — проверять и эхо; если список пуст — разрешить все.
81
+ // Health (без auth). PROP-032 (W5): при деградации хранилища status='degraded'
82
+ // + блок storage (аддитивно к {status, version, time}). `degradedInfo`
83
+ // заполняется после сборки контекста хранения ниже (до первого запроса).
84
+ // ADR-094: `/ready` — readiness (200 и при деградации, 503 — только не готов).
85
+ const degradedInfo = storage.degraded ?? null;
86
+ let initialized = false;
87
+ app.route('/', createHealthRoutes({
88
+ getStorageDegraded: () => degradedInfo ?? null,
89
+ getReadiness: () => ({
90
+ ready: initialized,
91
+ storage: degradedInfo ? 'degraded' : 'ok',
92
+ }),
93
+ }));
94
+ // ADR-094: `/metrics` — до auth (скрейп по сети pod'а, опциональный bearer).
95
+ // Токен читается на каждый запрос — правка из UI применяется без рестарта.
96
+ app.route('/', createMetricsRoutes({
97
+ registry: metrics,
98
+ enabled: metricsEnabled,
99
+ getToken: metricsEnabled ? () => resolveMetricsToken(backendConfig.dataDir) : undefined,
100
+ }));
101
+ // Динамический CORS origin (fail-closed): явный ORIGIN через env `SYNTH_CORS_ORIGIN`;
102
+ // иначе явный dev-флаг `SYNTH_CORS_ALLOW_ALL=true` (отражать любой origin);
103
+ // иначе — точное совпадение с белым списком `server.allowedOrigins`.
104
+ // Пустой белый список НЕ разрешает все origin — заголовки CORS не выставляются.
121
105
  const allowedOrigins = backendConfig.synth.server.allowedOrigins ?? [];
122
- const envCorsOrigin = process.env.SYNTH_CORS_ORIGIN;
106
+ const envCorsOrigin = process.env.SYNTH_CORS_ORIGIN || undefined;
107
+ const allowAllOrigins = process.env.SYNTH_CORS_ALLOW_ALL === 'true';
123
108
  app.use(cors({
124
- origin: (origin) => {
125
- if (envCorsOrigin)
126
- return envCorsOrigin;
127
- if (!origin)
128
- return origin;
129
- if (allowedOrigins.length === 0)
130
- return origin;
131
- if (allowedOrigins.includes(origin))
132
- return origin;
133
- return allowedOrigins[0];
134
- },
109
+ origin: (origin) => resolveCorsOrigin(origin, {
110
+ allowedOrigins,
111
+ envOrigin: envCorsOrigin,
112
+ allowAll: allowAllOrigins,
113
+ }),
135
114
  credentials: true,
136
115
  }));
137
- // AD-052 (этап I): реестр service-key создаётся до auth — резолвер
138
- // `synth_svc_…` нужен аутентификации (паритет с core `server/app.ts`).
139
- const serviceApiKeyStore = new ServiceApiKeyStore({ dataDir: backendConfig.dataDir });
140
- // AD-052/O1: идемпотентный bootstrap installer-ключей из env/Secret
116
+ // PROP-032 (W5): состояние деградации — для health/guard/диагностики
117
+ // (уже проставлено при сборке контекста выше).
118
+ // ADR-052 (этап I): реестр service-key — резолвер ключа `synth_svc_…`
119
+ // нужен аутентификации (паритет с core `server/app.ts`).
120
+ const serviceApiKeyStore = storage.serviceKeys;
121
+ // ADR-052/O1: идемпотентный bootstrap installer-ключей из env/Secret
141
122
  // (best-effort — ошибка конфигурации не роняет старт, пишется в лог).
142
123
  await applyBootstrapServiceKeys(serviceApiKeyStore, backendConfig.synth.security.bootstrapServiceKeys ?? []);
143
124
  const auth = createAuthMiddleware({
@@ -167,7 +148,7 @@ export async function createBackendApp(opts = {}) {
167
148
  });
168
149
  // Прикрепляем пользователя ко всем запросам
169
150
  app.use('*', auth.attachUser);
170
- // AD-052: per-key rate limit service-key (`rateLimitPerMinute` ключа;
151
+ // ADR-052: per-key rate limit service-key (`rateLimitPerMinute` ключа;
171
152
  // 0/не задан — без лимита). После attachUser: `serviceKey` уже в контексте.
172
153
  const serviceKeyRateLimiter = new KeyRateLimiter(60_000);
173
154
  app.use('*', createMiddleware(async (c, next) => {
@@ -178,1019 +159,43 @@ export async function createBackendApp(opts = {}) {
178
159
  }
179
160
  await next();
180
161
  }));
181
- // Хранилища
182
- const dataDir = backendConfig.dataDir;
183
- await ensureDataDir(dataDir);
184
- const fileStore = new FileStore({ dataDir });
185
- const projectStore = new ProjectStore({ dataDir });
186
- // AD-030: ядровая шина хуков — общий инстанс для SessionManager и оркестратора.
187
- const hooks = new HookBus();
188
- const sessionManager = new SessionManager(fileStore, {
189
- projectStore,
190
- hooks,
191
- // AD-071 §2.4 / AD-046 §4.5: системные дефолты для сессий без проекта.
192
- systemDefaultsProvider: async () => ({
193
- mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
194
- skillsDefaultOn: (await resolveProjectSkillSeed(skillService, await settingsStore.getSkillsDisabledForNewProjects())).enabled,
195
- }),
196
- });
197
- // AD-089: авто-архивация ephemeral-сессий по TTL (таймер `unref`).
198
- // Остановка — через хэндл `stopEphemeralSweeper` на graceful shutdown.
199
- const stopEphemeralSweeper = startEphemeralSweeper(sessionManager);
200
- // AD-076 §T4: SSH-ключи агентов — core-хранилище поверх общего dataDir.
201
- // Мастер-ключ: env `SYNTH_SECRET_KEY` > `config.security.secretKey` > файл dataDir.
202
- const sshKeyStore = new SSHKeyStore({
203
- dataDir,
204
- secretKey: resolveSecretKey(backendConfig.synth),
205
- env: process.env,
206
- });
207
- const providerStore = new JsonStore({ dataDir, subdir: 'providers' });
208
- const modelStore = new JsonStore({ dataDir, subdir: 'models' });
209
- const agentStore = new JsonStore({ dataDir, subdir: 'agents' });
210
- const contextConfig = new ContextConfig({ userDataDir: `${dataDir}/context` });
211
- const profilesStore = new FileProfileStore({ dataDir });
212
- // AD-036: хранилище кастомных regex-паттернов детекции секретов (override ?? дефолт)
213
- const patternStore = new SecretPatternStore({ dataDir });
214
- // Runtime-настройки (AD-005): workspace/mcp из {dataDir}/settings.json (переживают рестарт)
215
- const settingsStore = new RuntimeSettingsStore({ dataDir });
216
- // AD-075: дефолтный рабочий каталог — runtime-override `settings/workspace`
217
- // приоритетнее config/env (`resolveDefaultWorkspace`), каталог создаётся
218
- // заранее (как в core `server/app.ts`), чтобы инструменты не падали.
219
- const runtimeWorkspace = await settingsStore.getWorkspace();
220
- const defaultWorkingDir = runtimeWorkspace ?? resolveDefaultWorkspace(backendConfig.synth);
221
- await mkdir(defaultWorkingDir, { recursive: true });
222
- // Агент по умолчанию (админка «Агенты»): runtime-настройка поверх DEFAULT_AGENT_ID.
223
- const getDefaultAgentId = async () => (await settingsStore.getDefaultAgent()) ?? DEFAULT_AGENT_ID;
224
- // Умолчания оформления (AD-005): {dataDir}/defaults.json (переживают рестарт)
225
- const defaultsStore = new DefaultsStore({ dataDir });
226
- // MCP: единый источник истины — реестр `McpRegistryStore` (AD-071 §2.5).
227
- // Legacy `YamlMcpConfigStore` удалён: instance-серверы из config.mcp.servers
228
- // сидируются в реестр при старте (seed без дублирования по имени).
229
- const mcpManager = new McpManager();
230
- const mcpRegistryStore = new McpRegistryStore({ dataDir });
231
- await mcpRegistryStore.seedFromConfig(backendConfig.synth.mcp.servers);
232
- // Одно чтение реестра на все карты менеджера (вместо пяти).
233
- const mcpMaps = await mcpRegistryStore.toManagerMaps();
234
- mcpManager.setConfig(mcpMaps.servers);
235
- mcpManager.setServerOrigins(mcpMaps.origins);
236
- mcpManager.setServerTrusts(mcpMaps.trusts);
237
- mcpManager.setServerAuthors(mcpMaps.authors);
238
- mcpManager.setDefaultServers(mcpMaps.defaults);
239
- // AD-071 §2.4: системный мастер-флаг серверов (реестр `enabled`).
240
- mcpManager.setServerSystemEnabled(mcpMaps.systemEnabled);
241
- // AD-071 §2.3.1: политика сетевого доступа HTTP-серверов (SSRF/egress).
242
- // Runtime-настройка из админки (settings.json) приоритетнее config.yaml и
243
- // переживает рестарт; храним в изменяемой переменной, чтобы registry-роуты
244
- // видели свежее значение без рестарта. Слияние — единым helper'ом
245
- // mergeMcpNetworkPolicy (тот же, что и в core).
246
- const runtimeMcpNetworkPolicy = await settingsStore.getMcpNetworkPolicy();
247
- let effectiveNetworkPolicy = mergeMcpNetworkPolicy(backendConfig.synth.mcp.networkPolicy, runtimeMcpNetworkPolicy);
248
- mcpManager.setNetworkPolicy(effectiveNetworkPolicy);
162
+ // Зависимости (stores/managers/оркестратор/событийное ядро/шедулер/webhooks).
163
+ // Тот же контекст хранения, что собран до `auth`. ADR-094: реестр передаётся
164
+ // только при `metrics.enabled` — иначе доменные коллекторы не подключаются.
165
+ const deps = await createBackendDeps(backendConfig, storage, metricsEnabled ? metrics : undefined);
249
166
  // Auth routes (после profilesStore)
250
- app.route('/auth', createAuthRoutes(auth, backendConfig.auth, profilesStore, dataDir, defaultsStore));
251
- // Сидирование тестовых пользователей (debug mode)
252
- if (backendConfig.auth.debugMode && backendConfig.auth.testUsers) {
253
- for (const tu of backendConfig.auth.testUsers) {
254
- profilesStore.getOrCreateProfile({
255
- username: tu.username,
256
- roles: tu.roles,
257
- }).catch((e) => console.warn('seed: failed to create profile for', tu.username, e));
258
- }
259
- }
260
- const eventBus = new EventBus();
261
- const queueManager = new QueueProcessorManager();
262
- // AD-052 (этап II): исходящие webhooks — реестр подписок (signing-секрет
263
- // `whsec_…` шифруется at-rest мастер-ключом), append-only журнал доставок и
264
- // движок над той же шиной `EventBus`, что обслуживает сессии/SSE. Движок
265
- // подписывается на ВСЕ события шины (`subscribeAll`) — паритет с core
266
- // `server/app.ts`; `webhooks.enabled: false` (дефолт) глушит диспетчеризацию.
267
- const webhooksConfig = backendConfig.synth.webhooks;
268
- const webhookStore = new WebhookStore({
269
- dataDir: backendConfig.dataDir,
270
- secretKey: resolveSecretKey(backendConfig.synth),
271
- env: process.env,
272
- });
273
- const webhookDeliveryStore = new WebhookDeliveryStore({ dataDir: backendConfig.dataDir });
274
- const webhookService = new WebhookService({
275
- store: webhookStore,
276
- deliveryStore: webhookDeliveryStore,
277
- eventBus,
278
- config: webhooksConfig,
279
- });
280
- webhookService.start();
281
- // Retention-очистка журнала доставок: сразу при старте + каждые 6 ч (unref).
282
- const stopWebhookDeliveryPruner = startWebhookDeliveryPruner(webhookDeliveryStore, {
283
- getRetentionDays: () => webhooksConfig.deliveryRetentionDays,
284
- });
285
- // Context builder
286
- const contextBuilder = new ContextBuilder(contextConfig, {
287
- profilesStore,
288
- projectDataDir: `${dataDir}/projects`,
289
- defaultLanguage: 'ru',
290
- });
291
- // Provider loader
292
- const providerLoader = (name) => {
293
- // При старте загружаем все конфиги — JsonStore.list() не подходит для быстрого lookup
294
- // поэтому кешируем провайдеров в Map
295
- return providerCache.get(name) ?? null;
296
- };
297
- // AD-038: синхронизация провайдеров/моделей из переменных окружения (общая
298
- // core-реализация). Вызывается ПОСЛЕ создания providerStore/modelStore, но ДО
299
- // заполнения кэшей, чтобы env-провайдеры попали в providerCache/modelCache.
300
- await syncProvidersFromEnv(providerStore, modelStore);
301
- // Кеш провайдеров (заполняется при старте)
302
- const providerCache = new Map();
303
- (await providerStore.list()).forEach((p) => {
304
- providerCache.set(p.name, p);
305
- });
306
- // Кеш моделей (заполняется при старте)
307
- const modelCache = new Map();
308
- (await modelStore.list()).forEach((m) => {
309
- modelCache.set(m.id, m);
310
- });
311
- // Загрузчик сохранённого контекстного окна модели (ModelConfig.contextWindow)
312
- const modelWindowLoader = (modelName) => {
313
- for (const m of modelCache.values()) {
314
- if (m.name === modelName || m.id === modelName) {
315
- return m.contextWindow && m.contextWindow > 0 ? m.contextWindow : 0;
316
- }
317
- }
318
- return 0;
319
- };
320
- // Резолв модели по id или имени (для LLM Proxy — гибридный режим).
321
- const modelLoader = (model) => {
322
- const byId = modelCache.get(model);
323
- if (byId)
324
- return byId;
325
- for (const m of modelCache.values()) {
326
- if (m.name === model)
327
- return m;
328
- }
329
- return null;
330
- };
331
- // ContextOptimizer
332
- const summarizationConfig = backendConfig.synth.summarization;
333
- const contextOptimizer = new ContextOptimizer(contextConfig, providerLoader, summarizationConfig, modelWindowLoader);
334
- // Set ContextOptimizer on QueueProcessorManager
335
- queueManager.setContextOptimizer(contextOptimizer);
336
- // Model price loader
337
- const modelPriceLoader = (modelName) => {
338
- // Поиск по имени модели в кэше (сначала по полному ID, потом по name)
339
- for (const m of modelCache.values()) {
340
- if (m.name === modelName || m.id === modelName) {
341
- return {
342
- inputPrice: m.inputPrice,
343
- outputPrice: m.outputPrice,
344
- cacheReadPrice: m.cacheReadPrice,
345
- cacheWritePrice: m.cacheWritePrice,
346
- // Валюта: модель → провайдер → USD (обратная совместимость).
347
- currency: m.currency ?? providerCache.get(m.provider)?.currency ?? 'USD',
348
- };
349
- }
350
- }
351
- return null;
352
- };
353
- // LLM Gateway: общий AuditLogger создаётся снаружи, чтобы эндпоинт
354
- // GET /api/v2/audit и оркестратор писали/читали один и тот же JSONL-файл.
355
- const gatewayAuditLogger = new AuditLogger(backendConfig.synth.llmGateway.audit.logPath || join(dataDir, 'audit', 'llm-gateway.jsonl'));
356
- // Полный лог запросов/ответов LLM (после обфускации) — один JSONL-файл для
357
- // записи (оркестратор) и чтения (GET /api/v2/logs/llm).
358
- const gatewayPayloadLogPath = backendConfig.synth.llmGateway.payloadLogPath
359
- || join(dataDir, 'audit', 'llm-payloads.jsonl');
360
- // AD-036: runtime-настройка LLM Gateway (тумблер из UI, {dataDir}/settings.json)
361
- // приоритетнее config.yaml — мёржим при старте, чтобы шлюз применялся к оркестратору.
362
- const runtimeGateway = await settingsStore.getLlmGatewaySettings();
363
- const gatewayConfig = mergeLlmGatewayConfig(backendConfig.synth.llmGateway, runtimeGateway);
364
- // AD-040: runtime-настройка защищённых путей (тумблер из UI, {dataDir}/settings.json)
365
- // приоритетнее config.yaml — мёржим при старте, чтобы защита применялась к оркестратору.
366
- const runtimeSecurity = await settingsStore.getSecuritySettings();
367
- const securityConfig = mergeSecurityConfig(backendConfig.synth.security, runtimeSecurity);
368
- // AD-071 §2.3: runtime-политика встроенных инструментов (админка) приоритетнее config.yaml
369
- const runtimeToolsPolicy = await settingsStore.getToolsPolicy();
370
- const toolsPolicy = runtimeToolsPolicy ?? backendConfig.synth.tools.policy;
371
- // AD-071 §2.3: runtime-политика MCP-инструментов (админка) приоритетнее config.yaml
372
- const runtimeMcpPolicy = await settingsStore.getMcpPolicy();
373
- const mcpPolicy = runtimeMcpPolicy ?? backendConfig.synth.mcp.policy;
374
- // AD-071 §2.6: runtime-отключение инструментов (админка) приоритетнее config.yaml
375
- const runtimeToolsDisabled = await settingsStore.getToolsDisabled();
376
- const toolsDisabled = runtimeToolsDisabled ?? backendConfig.synth.tools.disabled ?? { capabilities: [], tools: [] };
377
- // AD-046 §4.5: runtime-отключение скиллов (админка) — hard-gate системного уровня.
378
- const skillsDisabled = (await settingsStore.getSkillsDisabled())
379
- ?? { categories: [], groups: [], skills: [] };
380
- // AD-084: runtime/эффективный конфиг decision-слоя (админка) приоритетнее
381
- // config.yaml `decision`. Live-применяется ко всем трём потребителям
382
- // (микро-каскад, роутер, события AD-089) через `onDecisionChange`.
383
- const runtimeDecision = await settingsStore.getDecision();
384
- let effectiveDecisionSettings = mergeDecisionConfig(backendConfig.synth.decision, runtimeDecision);
385
- const protectedPathsStore = new ProtectedPathsStore({ dataDir });
386
- // Orchestrator
387
- const toolRegistry = createToolRegistry();
388
- const agentRegistry = createAgentRegistry(toolRegistry, join(dataDir, 'agents'));
389
- // AD-046: сервис скиллов (discovery + instance-запись + каталог промпта).
390
- const skillService = new SkillService({
391
- dataDir,
392
- configPaths: backendConfig.synth.skills.paths,
393
- urls: backendConfig.synth.skills.urls,
394
- trustedProjectDirs: backendConfig.synth.skills.trustedProjectDirs,
395
- toolsets: backendConfig.synth.skills.toolsets,
396
- });
397
- // AD-046 §7: slash-команды и bundles (mirror core).
398
- const bundleStore = new SkillBundleStore({
399
- dataDir,
400
- bundlesPath: backendConfig.synth.commands.bundlesPath,
401
- });
402
- const commandService = new CommandService({
403
- config: {
404
- dataDir,
405
- commandsPaths: backendConfig.synth.commands.paths,
406
- bundlesPath: backendConfig.synth.commands.bundlesPath,
407
- conflict: backendConfig.synth.commands.conflict,
408
- maxArgumentsLength: backendConfig.synth.commands.maxArgumentsLength,
409
- maxRenderedBytes: backendConfig.synth.commands.maxRenderedBytes,
410
- toolsets: backendConfig.synth.skills.toolsets,
411
- trustedProjectDirs: backendConfig.synth.skills.trustedProjectDirs,
412
- inlineShell: backendConfig.synth.skills.inlineShell ?? false,
413
- },
414
- skillRuntime: skillService,
415
- skillSource: skillService,
416
- bundleStore,
417
- });
418
- const orchestrator = new ChatOrchestrator({
419
- sessionManager,
420
- eventBus,
421
- hooks,
422
- contextBuilder,
423
- contextConfig,
424
- providerLoader,
425
- contextOptimizer,
426
- modelPriceLoader,
427
- dataDir,
428
- toolRegistry,
429
- agentRegistry,
430
- mcpManager,
431
- projectStore,
432
- // Онбординг: тул `profile_update` сохраняет ответы интервью в профиль.
433
- profilesStore,
434
- // AD-076 §T6: тот же store, что у git/ssh-роутов — без дублей инстансов.
435
- sshKeyStore,
436
- workspacesRoot: backendConfig.workspacesRoot,
437
- // AD-075: backend — managed-режим, workspace вне workspacesRoot запрещён.
438
- workspaceManaged: true,
439
- // AD-075: без defaultWorkingDir сессия без проекта получала бы
440
- // {dataDir}/workspaces/default мимо runtime-override settings/workspace.
441
- defaultWorkingDir,
442
- routerConfig: backendConfig.synth.router,
443
- // AD-084: decision-слой микро-каскада (config.decision).
444
- decisionConfig: effectiveDecisionSettings,
445
- permissionConfig: backendConfig.synth.permission,
446
- defaultPlanMode: backendConfig.synth.session.planMode,
447
- securityConfig,
448
- gatewayConfig,
449
- gatewayAuditLogger,
450
- gatewayPayloadLogPath,
451
- gatewayPatternStore: patternStore,
452
- cachePolicy: backendConfig.synth.llm.cache,
453
- toolsPolicy,
454
- mcpPolicy,
455
- toolsDisabled,
456
- // AD-046 §4.5: системный hard-gate скиллов (runtime-настройка).
457
- skillsDisabled,
458
- // AD-070 §2.9.1: зависимости окружения (git/rg/sh) — детекция при старте.
459
- runtimeDeps: await detectRuntimeDeps(),
460
- // AD-071 §2.6: калибровка chars-per-token по модели (runtime-настройки).
461
- tokenRatioLoader: (model) => settingsStore.getTokenRatio(model),
462
- onTokenRatioCalibrated: (model, ratio) => settingsStore.setTokenRatio(model, ratio),
463
- // AD-046 §5: каталог скиллов в промпт + тул `skill`.
464
- skillRuntime: skillService,
465
- // AD-046 §7: резолвинг `/`-команд до LLM.
466
- commandRuntime: commandService,
467
- // AD-069 Фаза 1: проектные инструкции (merged chain AGENTS.md).
468
- instructionsConfig: backendConfig.synth.instructions,
469
- // AD-069 Фаза 2a: project-trust гейт инструкций (config.skills.trustedProjectDirs).
470
- instructionsTrustedProjectDirs: backendConfig.synth.skills.trustedProjectDirs,
471
- // AD-089: late-bound funnel создания сессий для тула `task` (саб-агент).
472
- // Сервис создаётся ниже (после оркестратора) — геттер читает его в рантайме.
473
- getRequestSessionService: () => requestSessionService,
474
- // AD-051: late-bound резолвер активности расписания в сессии (ScheduleStore
475
- // создаётся ниже) — включает статический блок `Scheduler` в промпт.
476
- isSchedulerActive: (sid) => scheduleStore.hasEnabledTargetFor(sid),
477
- // «Стоп»: персистентный флаг отмены сессии — прерывает длинный
478
- // многоитерационный Tool Use на границе итерации (backoff/гонка).
479
- isCancelRequested: async (sid) => (await sessionManager.getSession(sid))?.status.cancelRequested === true,
480
- });
481
- const processMessage = orchestrator.createProcessMessage();
482
- // AD-089: ядро маршрутизации внешних событий и единый funnel создания сессий.
483
- // Funnel подключён к `POST /sessions` и тулу `task` (Этап 5); приём внешних
484
- // событий — на следующих этапах.
485
- const eventBindingStore = new EventBindingStore({ dataDir });
486
- // AD-089/AD-052: API-ключи привязок для аутентификации приёма событий.
487
- const eventApiKeyStore = new EventApiKeyStore({ dataDir });
488
- const eventJournal = new EventJournalStore({ dataDir });
489
- // AD-089: реестр правил маршрутизации (проектные/инстанс-правила).
490
- const routeRuleStore = new RouteRuleStore({ dataDir });
491
- // AD-089 (claim-flow): одноразовые коды подтверждения владения идентичностью.
492
- const identityClaimStore = new IdentityClaimStore({ dataDir });
493
- // AD-089 (Блок 3): runtime-настройки «События» (админка) поверх config.yaml.
494
- const runtimeEvents = await settingsStore.getEvents();
495
- const effectiveEvents = mergeEventsConfig(backendConfig.synth.events, runtimeEvents);
496
- let effectiveEventsSettings = effectiveEvents;
497
- // AD-051/AD-089: источник дедупа — in-process (default) или файловый
498
- // межпроцессный (`events.dedupStore: file`).
499
- const dedupStore = backendConfig.synth.events.dedupStore === 'file'
500
- ? new FileDedupStore({ dataDir })
501
- : new MemoryDedupStore();
502
- const eventRouter = new EventRouter({
503
- bindingStore: eventBindingStore,
504
- journal: eventJournal,
505
- hooks,
506
- dedupStore,
507
- config: {
508
- allowedSources: effectiveEvents.allowedSources,
509
- defaultMode: effectiveEvents.defaultMode,
510
- defaultEphemeralTtl: effectiveEvents.ephemeralTtl,
511
- autoBind: effectiveEvents.autoBind,
512
- autoBindAgentTemplate: effectiveEvents.autoBindAgentTemplate,
513
- },
514
- });
515
- // AD-089 (Блок 2): retention-очистка журнала событий (сразу + каждые 6 ч).
516
- const stopEventJournalPruner = startEventJournalPruner(eventJournal, {
517
- getRetentionDays: () => effectiveEventsSettings.journalRetentionDays,
518
- });
519
- // AD-051 (срез) / AD-089: правило маршрутизации cron-событий по расписанию
520
- // (паритет с core `server/app.ts`; store без дублей).
521
- const scheduleStore = new ScheduleStore({
522
- dataDir,
523
- crossProcess: backendConfig.synth.scheduler.crossProcessLocks,
524
- });
525
- const jobStore = new JobStore({ dataDir });
526
- eventRouter.registerRuleProvider(new SchedulerRuleProvider(scheduleStore, effectiveEvents.ephemeralTtl));
527
- // AD-089: правила маршрутизации по матчу события (после scheduler).
528
- eventRouter.registerRuleProvider(new ProjectRuleProvider(routeRuleStore, effectiveEvents.ephemeralTtl));
529
- // AD-084 × AD-089: decision-маршрутизация при промахе декларативных правил
530
- // (opt-in `events.decisionRouting`). Паритет с core `server/app.ts`.
531
- eventRouter.registerRuleProvider(new DecisionRuleProvider({
532
- resolver: {
533
- getDecisionProvider: (name, model) => orchestrator.getDecisionProvider(name, model),
534
- },
535
- getEventsConfig: () => ({
536
- decisionRouting: effectiveEventsSettings.decisionRouting,
537
- defaultEphemeralTtl: effectiveEventsSettings.ephemeralTtl,
538
- }),
539
- getDecisionConfig: () => effectiveDecisionSettings,
540
- getAgentCandidates: () => agentRegistry.list().map((agent) => ({
541
- id: agent.id,
542
- displayName: agent.displayName,
543
- description: agent.description,
544
- })),
545
- }));
546
- // AD-089: резолвинг `agentTemplate` (события/правила) через `AgentRegistry`:
547
- // неизвестный или отключённый агент → `null`.
548
- const resolveAgentTemplate = (template) => {
549
- const agent = agentRegistry.get(template);
550
- return agent && agent.enabled ? agent.id : null;
551
- };
552
- // EventHub — центральный диспетчер подписок. Создаётся до funnel: колбэк
553
- // `onSessionMaterialized` подписывает клиентов владельца на сессии,
554
- // созданные после их подключения (`subscribeToSession`, AD-089).
555
- const eventHub = new EventHub(eventBus, sessionManager);
556
- // AD-089: резолвер внешнего отправителя (профиль `identities`, principalId) в
557
- // пользователя инстанса; override `identityMap` — приоритетнее профиля.
558
- // `getIdentityMap` читает актуальное значение — `onEventsChange` обновляет
559
- // runtime-настройку live. Вынесен в локальную константу: переиспользуется
560
- // в `deps` и в `deliver` (attribution: `displayName` приоритетнее `payload.from`).
561
- const resolveExternalIdentity = createExternalIdentityResolver({
562
- profiles: profilesStore,
563
- getIdentityMap: () => effectiveEventsSettings.identityMap,
564
- });
565
- const requestSessionService = new RequestSessionService({
566
- sessionManager,
567
- eventRouter,
568
- bindingStore: eventBindingStore,
569
- hooks,
570
- config: {
571
- defaultEphemeralTtl: effectiveEvents.ephemeralTtl,
572
- unknownAgentTemplate: effectiveEvents.unknownAgentTemplate,
573
- },
574
- resolveAgentTemplate,
575
- // AD-089: маппинг идентичности внешнего отправителя на владельца сессии
576
- // (`events.identityMap`) — напр. Telegram-чат → человек.
577
- identityMap: effectiveEvents.identityMap,
578
- // AD-089: резолвинг внешнего отправителя → владелец сессии.
579
- resolveExternalIdentity,
580
- // AD-089 (claim-flow): неизвестному отправителю выдаём одноразовый код
581
- // подтверждения владения идентичностью (`provider`/`externalId` — из
582
- // серверного разбора `identity.principalId`).
583
- issueIdentityClaim: async (event) => {
584
- const principalId = event.identity?.principalId;
585
- if (!principalId)
586
- return null;
587
- const parsed = parsePrincipalId(principalId);
588
- if (!parsed)
589
- return null;
590
- const claim = await identityClaimStore.create({
591
- provider: parsed.provider,
592
- externalId: parsed.externalId,
593
- ...(event.identity?.chatKey ? { chatKey: event.identity.chatKey } : {}),
594
- principalId,
595
- });
596
- return { code: claim.code, expiresAt: claim.expiresAt };
597
- },
598
- // AD-089: подписка хаба на сессию владельца сразу после материализации —
599
- // чтобы клиент, подключённый до создания сессии (events-funnel), получал
600
- // её события. `subscribeToSession` синхронно ставит подписки, поэтому
601
- // последующая доставка события не теряется.
602
- onSessionMaterialized: (session) => {
603
- const owner = session.ownerId || session.userId;
604
- if (!owner)
605
- return;
606
- void eventHub.subscribeToSession(owner, session.id).catch((e) => console.warn('subscribeToSession failed:', e));
607
- },
608
- // AD-089: дефолтные provider/model инстанса (llm.defaultProvider/defaultModel)
609
- // — для сессий из внешних событий (materialize ephemeral/bind), чтобы агент
610
- // мог ответить без ручной простановки модели.
611
- resolveLlmDefaults: () => ({
612
- provider: backendConfig.synth.llm.defaultProvider,
613
- model: backendConfig.synth.llm.defaultModel,
614
- }),
615
- // AD-089: агент по умолчанию инстанса — чтобы сессия из внешнего события
616
- // (auto-bind/bind/ephemeral) фиксировала `settings.agentRole` и UI рисовал
617
- // бейдж агента (паритет с `POST /api/v2/sessions`). Источник — админка
618
- // «Агенты» (`getDefaultAgentId`) поверх `DEFAULT_AGENT_ID`.
619
- resolveDefaultAgent: getDefaultAgentId,
620
- // AD-089: UI-событие после материализации внешнего события.
621
- publish: (type, sessionId, data) => eventBus.publish(sessionId, type, data),
622
- deliver: async (sessionId, event, mode, context) => {
623
- // AD-051: cron-сообщение — от системного пользователя `Scheduler`, текст
624
- // задания — чистый контент сообщения (описание Scheduler — в system-блоке).
625
- let message = eventToMessage(event);
626
- // AD-089: для слинкованного человека `displayName` из резолвера приоритетнее
627
- // имени из `payload.from` (tg-имя). Cron (`Scheduler`) не переопределяем.
628
- if (event.source !== 'cron' && event.identity?.principalId) {
629
- try {
630
- const linked = await resolveExternalIdentity(event.identity);
631
- if (linked?.displayName)
632
- message.author = linked.displayName;
633
- }
634
- catch {
635
- // attribution не критична — оставляем автора из `eventToMessage`
636
- }
637
- }
638
- // AD-089 (этап 5): эффективные роли отправителя — в metadata хода.
639
- if (context) {
640
- message.metadata = {
641
- ...(message.metadata ?? {}),
642
- effective_roles: context.roles,
643
- identity_linked: context.linked,
644
- };
645
- }
646
- if (mode === 'run') {
647
- // AD-036: обфускация user-сообщения ДО сохранения в историю (паритет с
648
- // prompt-путём — core routes/sessions.ts).
649
- await enqueueUserMessage(sessionManager, eventBus, sessionId, message, queueManager, processMessage, (sid, msg) => orchestrator.obfuscateUserMessageForHistory(sid, msg));
650
- }
651
- else {
652
- // AD-036: `defer` тоже кладёт сообщение в историю — обфусцируем до
653
- // постановки. Старт процессора не выполняем (только очередь владельца).
654
- message = await orchestrator.obfuscateUserMessageForHistory(sessionId, message);
655
- await sessionManager.addPendingMessage(sessionId, message);
656
- }
657
- },
658
- });
659
- // AD-089: ingress-точка приёма внешних событий (Этап 6).
660
- const eventIngress = new EventIngress({ requestSessionService });
661
- // AD-051 (срез) / AD-089: планировщик публикует cron-события через ingress.
662
- // `start()` гейтится конфигом (`scheduler.enabled: false` — тикер не стартует),
663
- // ошибки старта логируются и не роняют процесс; остановка — `stopScheduler`.
664
- const schedulerTickMs = backendConfig.synth.scheduler.tickSec * 1000;
665
- const schedulerService = new SchedulerService({
666
- scheduleStore,
667
- ingress: eventIngress,
668
- jobStore,
669
- tickMs: schedulerTickMs,
670
- defaultEphemeralTtl: effectiveEvents.ephemeralTtl,
671
- catchUp: backendConfig.synth.scheduler.catchUp,
672
- jobRetentionDays: backendConfig.synth.scheduler.jobRetentionDays,
673
- // AD-051/AD-089: тикер стартует только у лидера (default — AlwaysLeader).
674
- leader: backendConfig.synth.scheduler.leaderElection === 'file'
675
- ? new FileLeader({ dataDir, tickMs: schedulerTickMs })
676
- : new AlwaysLeader(),
677
- });
678
- if (backendConfig.synth.scheduler.enabled !== false) {
679
- void schedulerService.start().catch((err) => {
680
- console.warn(`[scheduler] не удалось запустить: ${err instanceof Error ? err.message : String(err)}`);
681
- });
682
- }
683
- // AD-071 §2.4 / AD-046 §4.5: разовая миграция снапшотов скоупа существующих сессий.
684
- await migrateSessionScopeSnapshots({
685
- sessionManager,
686
- projectStore,
687
- settingsStore,
688
- resolveSystemDefaults: async () => ({
689
- mcpDefaultOn: await mcpRegistryStore.toDefaultServers(),
690
- skillsDefaultOn: (await resolveProjectSkillSeed(skillService, await settingsStore.getSkillsDisabledForNewProjects())).enabled,
691
- }),
692
- }).catch(() => 0);
693
- // API-заглушки для UI
694
- app.get('/api/config/themes', (c) => c.json({ themes: [] }));
695
- // i18n endpoints
696
- app.get('/api/v2/i18n/current', (c) => {
697
- const header = c.req.header('Accept-Language');
698
- const lang = header?.split(',')[0]?.trim()?.slice(0, 2) === 'en' ? 'en' : 'ru';
699
- return c.json({ language: lang, locale: lang });
700
- });
701
- app.get('/api/v2/i18n/translations/ru', (c) => c.json(getTranslations('ru')));
702
- app.get('/api/v2/i18n/translations/en', (c) => c.json(getTranslations('en')));
703
- // AD-052 (этап I): публичный OpenAPI-документ (spike) за requireAuth;
704
- // публичную выдачу без auth согласуем отдельно.
705
- app.get('/api/v2/openapi.json', auth.requireAuth, (c) => c.json(getPublicOpenApiDocument()));
706
- // Projects routes
707
- app.route('/api/v2/projects', createProjectRoutes(auth, projectStore, sessionManager, backendConfig.workspacesRoot, mcpManager, skillService, settingsStore, mcpRegistryStore));
708
- // Sessions routes
709
- app.route('/api/v2/sessions', createSessionRoutes(auth, sessionManager, eventBus, queueManager, processMessage, orchestrator, eventHub, contextOptimizer, projectStore, profilesStore, getDefaultAgentId, requestSessionService));
710
- // Messages routes
711
- app.route('/api/v2/messages', createMessageRoutes(auth, sessionManager, contextOptimizer, eventBus));
712
- // Queue routes
713
- app.route('/api/v2/queue', createQueueRoutes(auth, sessionManager, queueManager, eventBus, processMessage));
714
- // FS routes (AD-075): core-фабрика, managed поверх workspace проекта.
715
- app.route('/api/v2/fs', createFsRoutes(auth, backendConfig.workspacesRoot, undefined, {
716
- requireProjectId: true,
717
- getOutsideRootPolicy: () => 'deny',
718
- getProtectedPathsPolicy: () => protectedPathsStore.getPolicy(),
719
- getProjectWorkspace: (projectId) => resolveProjectWorkspace(projectId, {
720
- workspacesRoot: backendConfig.workspacesRoot,
721
- getProject: (id) => projectStore.load(id),
722
- outsideRootPolicy: () => 'deny',
723
- strict: true,
724
- }),
725
- }));
726
- // Providers routes
727
- app.route('/api/v2/providers', createProviderRoutes(auth, providerStore, providerCache));
728
- // Models routes
729
- app.route('/api/v2/models', createModelRoutes(auth, modelStore, providerStore, modelCache, providerCache));
730
- // Agents routes
731
- app.route('/api/v2/agents', createAgentRoutes(auth, agentStore, agentRegistry, getDefaultAgentId));
732
- // Context routes (глобальные identity-файлы; админ-мутации)
733
- app.route('/api/v2/context', createContextFileRoutes(auth, contextConfig));
734
- // User admin routes
735
- app.route('/api/v2/users', createUserRoutes(auth, profilesStore));
736
- // Git routes (AD-076 §T4): core-фабрика + managed RBAC. Write-эндпоинты
737
- // (init/clone/register/remove/fetch) требуют прав на изменение контента
738
- // проекта (owner/EDITOR/LEAD/ADMIN); read-only (scan/log/commit) — requireAuth.
739
- const projectAccess = createProjectAccess(auth);
740
- app.route('/api/v2/git', createGitRoutes(auth, projectStore, backendConfig.workspacesRoot, {
741
- sshKeyStore,
742
- authorizeProject: async (c, projectId) => {
743
- const user = await auth.getCurrentUser(c);
744
- if (!user)
745
- return false;
746
- const project = await projectStore.load(projectId);
747
- if (!project)
748
- return false;
749
- return projectAccess.canEditProjectContent(c, project, user.id);
750
- },
751
- }));
752
- // SSH-ключи агентов (AD-076 §T5): core-фабрика + managed RBAC.
753
- // Ключи — секреты: чтение — requireAuth (глобально), запись — только ADMIN.
754
- app.route('/api/v2/ssh-keys', createSshKeyRoutes(auth, sshKeyStore, {
755
- writeGuard: auth.requireAdmin,
756
- }));
757
- app.route('/api/v2/agents/:agentId/ssh-keys', createAgentSshKeyRoutes(auth, sshKeyStore, {
758
- writeGuard: auth.requireAdmin,
759
- }));
760
- // AD-089: приём внешних событий (ingress), биндинги и журнал. Ingress —
761
- // requireAuth + rate limit (внешние сервисы до AD-052 используют общий ключ);
762
- // чтение биндингов/журнала — requireAuth; мутации биндингов — ADMIN.
763
- // `GET /` не переопределяем — на этом пути SSE-хаб ниже.
764
- app.route('/api/v2/events', createEventRoutes({ requireAuth: auth.requireAuth }, { ingress: eventIngress, bindingStore: eventBindingStore, journal: eventJournal, routeRuleStore, apiKeyStore: eventApiKeyStore }, {
765
- // Rate limit — до решения о способе аутентификации; fallback-креды —
766
- // requireAuth (приём по API-ключу привязки креды пользователя не требует).
767
- ingestPreGuard: createRateLimiter(120, 60_000),
768
- ingestGuard: auth.requireAuth,
769
- // AD-089/AD-052: мутации bindings/routes/keys — LEAD и ADMIN; чтение
770
- // ключей привязки — тоже LEAD и ADMIN (чувствительные метаданные).
771
- writeGuard: auth.requirePermission('ADMIN', 'LEAD'),
772
- keyReadGuard: auth.requirePermission('ADMIN', 'LEAD'),
773
- // AD-052 (этап I): scope-гейт и проектная проекция service-key (i18n-403).
774
- scopeGuard,
775
- projectGuard,
776
- // AD-089/AD-052: per-key rate limit и мастер-выключатель приёма (live).
777
- getKeyRateLimitPerMinute: () => effectiveEventsSettings.keyRateLimitPerMinute,
778
- isEnabled: () => effectiveEventsSettings.enabled,
779
- resolveAgentTemplate,
780
- sessionExists: async (id) => (await sessionManager.getSession(id)) !== null,
781
- resolveApiKeySecret: async (raw) => {
782
- const resolved = await eventApiKeyStore.resolveBySecret(raw);
783
- if (!resolved)
784
- return null;
785
- const binding = await eventBindingStore.get(resolved.credential.bindingId);
786
- if (!binding)
787
- return null;
788
- return { binding, credential: resolved.credential };
789
- },
790
- touchApiKey: (id) => eventApiKeyStore.touch(id),
791
- messages: {
792
- invalidEvent: (c) => t('errors.validation.invalidEvent', undefined, c),
793
- invalidBinding: (c) => t('errors.validation.invalidBinding', undefined, c),
794
- bindingNotFound: (c) => t('errors.notFound.binding', undefined, c),
795
- invalidRule: (c) => t('errors.validation.invalidRule', undefined, c),
796
- ruleNotFound: (c) => t('errors.notFound.rule', undefined, c),
797
- unknownAgent: (c) => t('errors.validation.unknownAgent', undefined, c),
798
- invalidKey: (c) => t('errors.validation.invalidEventKey', undefined, c),
799
- keyNotFound: (c) => t('errors.notFound.eventKey', undefined, c),
800
- invalidKeyUpdate: (c) => t('errors.validation.invalidEventKeyUpdate', undefined, c),
801
- keyLabelConflict: (c) => t('errors.conflict.eventKeyLabel', undefined, c),
802
- rateLimitedKey: (c) => t('errors.rateLimited.eventKey', undefined, c),
803
- eventsDisabled: (c) => t('errors.unavailable.eventsDisabled', undefined, c),
804
- },
805
- }));
806
- // AD-051 / AD-089: CRUD расписаний, принудительный запуск и Job-история.
807
- // Чтение — requireAuth (дефолт core-фабрики), мутации — ADMIN. `run` —
808
- // ADMIN + rate limit (образец — ingest внешних событий): 10 запусков / 60 c
809
- // на ключ, т.к. каждый запуск ингестит событие в Router.
810
- app.route('/api/v2/schedules', createSchedulerRoutes(auth, { scheduleStore, scheduler: schedulerService, jobStore }, {
811
- writeGuard: auth.requireAdmin,
812
- runGuard: auth.requireAdmin,
813
- runMiddleware: [createRateLimiter(10, 60_000)],
814
- // AD-052 (этап I): scope-гейт, проектная проекция и резолвинг
815
- // projectId `bound`/`queue`-целей расписания.
816
- scopeGuard,
817
- projectGuard,
818
- resolveSessionProject: async (id) => (await sessionManager.getSession(id))?.projectId,
819
- }));
820
- // AD-052 (этап I): CRUD service-key инстанса (`synth_svc_…`). Managed RBAC:
821
- // только ADMIN (ключи дают машинный доступ — управление админское), i18n.
822
- app.route('/api/v2/service-keys', createServiceKeyRoutes({ requireAuth: auth.requireAuth }, { store: serviceApiKeyStore }, {
823
- writeGuard: auth.requirePermission('ADMIN'),
824
- readGuard: auth.requirePermission('ADMIN'),
825
- // createdBy: `attachUser` уже положил пользователя в контекст — берём его id.
826
- resolveUserId: (c) => {
167
+ app.route('/auth', createAuthRoutes(auth, backendConfig.auth, deps.profilesStore, deps.dataDir, deps.defaultsStore));
168
+ // PROP-032 (W5): деградированное хранилище — managed: доступ только роли
169
+ // ADMIN (остальным 503 STORAGE_DEGRADED), мутации — 503 STORAGE_DEGRADED_READONLY
170
+ // (кроме ремонтных операций maintenance). Guard — после auth-роутов (логин/health
171
+ // не блокируются) и до admin-роутов.
172
+ app.use('/api/*', createStorageDegradedGuard({
173
+ getDegraded: () => degradedInfo,
174
+ isAdmin: (c) => {
827
175
  const user = c.get('user');
828
- return user?.id ?? '';
829
- },
830
- messages: {
831
- invalidKey: (c) => t('errors.validation.invalidServiceKey', undefined, c),
832
- keyNotFound: (c) => t('errors.notFound.serviceKey', undefined, c),
833
- keyLabelConflict: (c) => t('errors.conflict.serviceKeyLabel', undefined, c),
834
- },
835
- }));
836
- // AD-052 (этап II): подписки на исходящие webhooks (CRUD + журнал + тест).
837
- // Managed RBAC: только ADMIN (webhook может утекать данные на произвольный
838
- // URL), i18n. Мастер-выключатель `webhooks.enabled` → 503 на мутации/тест.
839
- app.route('/api/v2/webhooks', createWebhookRoutes({ requireAuth: auth.requireAuth }, { store: webhookStore, deliveryStore: webhookDeliveryStore, service: webhookService }, {
840
- writeGuard: auth.requirePermission('ADMIN'),
841
- readGuard: auth.requirePermission('ADMIN'),
842
- resolveUserId: (c) => {
843
- const user = c.get('user');
844
- return user?.id ?? 'unknown';
845
- },
846
- isEnabled: () => webhooksConfig.enabled,
847
- allowPrivateTargets: webhooksConfig.allowPrivateTargets,
848
- messages: {
849
- invalid: (c) => t('errors.validation.invalidWebhook', undefined, c),
850
- notFound: (c) => t('errors.notFound.webhook', undefined, c),
851
- labelConflict: (c) => t('errors.conflict.webhookLabel', undefined, c),
852
- targetForbidden: (c) => t('errors.validation.webhookTargetForbidden', undefined, c),
853
- disabled: (c) => t('errors.unavailable.webhooksDisabled', undefined, c),
854
- },
855
- }));
856
- // MCP routes (единый реестр; legacy /servers — адаптеры над ним)
857
- app.route('/api/v2/mcp', createMcpRoutes(auth, mcpManager, sessionManager, {
858
- registry: mcpRegistryStore,
859
- networkPolicy: effectiveNetworkPolicy,
860
- getNetworkPolicy: () => effectiveNetworkPolicy,
861
- }));
862
- // Скиллы (AD-046 §9.1/§9.2): core-фабрика + RBAC ADMIN на запись.
863
- app.route('/api/v2/skills', createSkillRoutes(auth, {
864
- skillService,
865
- resolveProjectWorkspace: async (projectId) => {
866
- const project = await projectStore.load(projectId);
867
- if (!project?.workspace)
868
- return undefined;
869
- return isAbsolute(project.workspace)
870
- ? normalize(project.workspace)
871
- : resolve(backendConfig.workspacesRoot, project.workspace);
872
- },
873
- }, { writeGuard: requireAdminOrScope('addons:install') }));
874
- // AD-046 §7/§9.1: команды и bundles (mirror core, мутации — ADMIN).
875
- app.route('/api/v2/commands', createCommandRoutes(auth, {
876
- commandService,
877
- resolveProjectWorkspace: async (projectId) => {
878
- const project = await projectStore.load(projectId);
879
- if (!project?.workspace)
880
- return undefined;
881
- return isAbsolute(project.workspace)
882
- ? normalize(project.workspace)
883
- : resolve(backendConfig.workspacesRoot, project.workspace);
884
- },
885
- }));
886
- app.route('/api/v2/skill-bundles', createSkillBundleRoutes(auth, {
887
- bundleStore,
888
- validateSkills: async (names) => {
889
- const missing = [];
890
- for (const name of names) {
891
- if (!(await skillService.get(name)))
892
- missing.push(name);
893
- }
894
- return missing;
895
- },
896
- }, { writeGuard: auth.requireAdmin }));
897
- // AD-046 §4.5: scope-API скиллов. Доступ к сессии — владелец|ADMIN
898
- // (canAccess, как в session-роутах); проект — owner/LEAD/ADMIN.
899
- const resolveSkillWorkspace = async (projectId) => {
900
- const project = await projectStore.load(projectId);
901
- if (!project?.workspace)
902
- return undefined;
903
- return isAbsolute(project.workspace)
904
- ? normalize(project.workspace)
905
- : resolve(backendConfig.workspacesRoot, project.workspace);
906
- };
907
- app.route('/api/v2/sessions', createSessionSkillScopeRoutes(auth, {
908
- sessionManager, skillService, settingsStore, projectStore,
909
- permissionConfig: backendConfig.synth.permission,
910
- resolveProjectWorkspace: resolveSkillWorkspace,
911
- }, {
912
- writeGuard: auth.requireAuth,
913
- resolveUserId: async (c) => (await auth.getCurrentUser(c))?.id ?? '',
914
- canAccess: (session, c, userId) => (session.ownerId ?? session.userId) === userId
915
- || auth.isAdmin(c),
916
- }));
917
- app.route('/api/v2/projects', createProjectSkillScopeRoutes(auth, {
918
- sessionManager, skillService, settingsStore, projectStore,
919
- permissionConfig: backendConfig.synth.permission,
920
- resolveProjectWorkspace: resolveSkillWorkspace,
921
- }, {
922
- // AD-046 §4.5: проектным уровнем управляют owner/LEAD/ADMIN — как в
923
- // project-MCP (`canManageProjectMcp`), поэтому writeGuard не requireAdmin;
924
- // владение проверяет canAccessProject (403 не-членам, 404 — нет проекта).
925
- writeGuard: auth.requireAuth,
926
- resolveUserId: async (c) => (await auth.getCurrentUser(c))?.id ?? '',
927
- canAccessProject: (project, c, userId) => auth.isAdmin(c)
928
- || auth.hasRole(c, 'LEAD')
929
- || project.ownerId === userId
930
- || project.members?.[userId] === ProjectRole.OWNER,
931
- }));
932
- app.route('/api/v2/settings', createSkillSettingsRoutes(auth, { settingsStore }, {
933
- writeGuard: auth.requireAdmin,
934
- onSkillsDisabledChange: (disabled) => orchestrator.setSkillsDisabled(disabled),
935
- }));
936
- // AD-089: идентичности текущего пользователя (`GET/DELETE /api/v2/me/identities`).
937
- // RBAC: аутентифицированный пользователь (только свои); линковка — claim-flow
938
- // (`POST /api/v2/me/identities/claim`).
939
- // Резолвим **id профиля** по `username` аутентифицированного пользователя
940
- // (OIDC `sub` — не id профиля: профили хранятся под сгенерированным id).
941
- // Не передаём `roles` — чтобы не перезаписывать роли существующего профиля.
942
- app.route('/api/v2/me', createIdentityRoutes(auth, profilesStore, {
943
- resolveProfileId: async (c) => {
944
- const u = await auth.getCurrentUser(c);
945
- if (!u)
946
- return '';
947
- const profile = (await profilesStore.getProfileByUsername(u.username))
948
- ?? (await profilesStore.getOrCreateProfile({ username: u.username, email: u.email }));
949
- return profile.id;
950
- },
951
- claimStore: identityClaimStore,
952
- messages: {
953
- identityNotFound: (c) => t('errors.notFound.identity', undefined, c),
954
- claimNotFound: (c) => t('errors.notFound.identityClaim', undefined, c),
955
- claimConflict: (c) => t('errors.conflict.identityClaim', undefined, c),
956
- claimCodeRequired: (c) => t('errors.validation.claimCodeRequired', undefined, c),
957
- unauthorized: (c) => t('auth.unauthorized', undefined, c),
958
- },
959
- }));
960
- // LLM Gateway audit routes (AD-036) — GET только ADMIN/AUDITOR, POST /revealed — все авторизованные
961
- app.route('/api/v2/audit', createAuditRoutes(auth, {
962
- auditLogPath: gatewayAuditLogger.logPath,
963
- sessionExists: async (sessionId) => {
964
- const session = await sessionManager.getSession(sessionId);
965
- return session !== null;
176
+ return Array.isArray(user?.roles) && user.roles.includes('ADMIN');
966
177
  },
967
- logger: gatewayAuditLogger,
178
+ mutationAllowlist: ['/api/v2/maintenance'],
968
179
  }));
969
- // Логи сервисов (core/ui/backend) + полный лог запросов/ответов LLM — чтение, только ADMIN/AUDITOR
970
- app.route('/api/v2/logs', createLogsRoutes(auth, {
971
- logDir: resolveLogDir(),
972
- payloadLogPath: gatewayPayloadLogPath,
973
- }));
974
- // LLM Gateway patterns routes (AD-036) — управление regex-паттернами детекции секретов, только ADMIN
975
- app.route('/api/v2/gateway', createGatewayPatternsRoutes(auth, patternStore));
976
- // LLM Proxy (гибридный режим, Часть 5) — OpenAI-совместимый POST /api/v2/llm/chat/completions.
977
- // Локальный core гоняет LLM-запросы централизованно через LLM Gateway (AD-036):
978
- // обфускация/блокировка секретов, rate limit, аудит, полный payload-лог.
979
- app.route('/api/v2/llm', createLlmRoutes(auth, {
980
- providerLoader,
981
- modelLoader,
982
- // mergeLlmGatewayConfig может вернуть undefined, если ни base, ни runtime не заданы —
983
- // но schema с default({}) гарантирует base, поэтому подставляем его.
984
- gatewayConfig: gatewayConfig ?? backendConfig.synth.llmGateway,
985
- gatewayAuditLogger,
986
- gatewayRateLimiter: new RateLimiter((gatewayConfig ?? backendConfig.synth.llmGateway).rateLimit.userPerMinute, (gatewayConfig ?? backendConfig.synth.llmGateway).rateLimit.providerPerMinute),
987
- gatewayPayloadLogPath,
988
- patternStore,
989
- rateLimiter: createRateLimiter(120, 60_000),
990
- }));
991
- // Settings routes (runtime-настройки для UI: workspace + mcp; переиспользуем core-реализацию)
992
- app.route('/api/v2/settings', createSettingsRoutes(auth, {
993
- settingsStore,
994
- fallbackWorkspace: defaultWorkingDir,
995
- // AD-075: managed-развёртывание — политика вне `workspacesRoot` всегда `deny`
996
- // (enforcement — в `routes/projects.ts`); строго read-only: GET отдаёт
997
- // fallback + readOnly, PUT/DELETE → 403 WORKSPACE_POLICY_READ_ONLY.
998
- fallbackWorkspaceOutsideRootPolicy: 'deny',
999
- workspacePolicyReadOnly: true,
1000
- // Агент по умолчанию при первом развёртывании (config.yaml не задаёт — DEFAULT_AGENT_ID).
1001
- fallbackDefaultAgent: DEFAULT_AGENT_ID,
1002
- // AD-072 Ф2: дефолты из config.yaml (без runtime) — для GET/DELETE-сброса к умолчанию.
1003
- fallbackLlmGateway: {
1004
- enabled: backendConfig.synth.llmGateway.enabled,
1005
- inputMode: backendConfig.synth.llmGateway.inputMode,
1006
- logPayloads: backendConfig.synth.llmGateway.logPayloads,
1007
- rateLimit: {
1008
- userPerMinute: backendConfig.synth.llmGateway.rateLimit?.userPerMinute ?? DEFAULT_LLM_GATEWAY_RATE_LIMIT.userPerMinute,
1009
- providerPerMinute: backendConfig.synth.llmGateway.rateLimit?.providerPerMinute ?? DEFAULT_LLM_GATEWAY_RATE_LIMIT.providerPerMinute,
1010
- },
1011
- },
1012
- fallbackSecurity: {
1013
- protectedPaths: { enabled: backendConfig.synth.security.protectedPaths?.enabled ?? true },
1014
- // AD-029: askTimeoutMs живёт в permission-секции конфига (не в security).
1015
- askTimeoutMs: backendConfig.synth.permission?.askTimeoutMs,
1016
- },
1017
- // AD-036: live-применение тумблера LLM Gateway из UI — без рестарта сервера.
1018
- onLlmGatewayChange: async (runtime) => {
1019
- const merged = mergeLlmGatewayConfig(backendConfig.synth.llmGateway, runtime);
1020
- orchestrator.setGatewayConfig(merged);
1021
- },
1022
- // live-применение тумблера защищённых путей из UI — без рестарта сервера.
1023
- onSecurityChange: async (runtime) => {
1024
- const merged = mergeSecurityConfig(backendConfig.synth.security, runtime);
1025
- orchestrator.setSecurityConfig(merged);
1026
- },
1027
- // AD-071 §2.3: live-применение политики встроенных инструментов из админки.
1028
- fallbackToolsPolicy: backendConfig.synth.tools.policy,
1029
- onToolsPolicyChange: async (policy) => {
1030
- orchestrator.setToolsPolicy(policy);
1031
- },
1032
- // AD-071 §2.3: live-применение политики MCP-инструментов из админки.
1033
- fallbackMcpPolicy: backendConfig.synth.mcp.policy,
1034
- onMcpPolicyChange: async (policy) => {
1035
- orchestrator.setMcpPolicy(policy);
1036
- },
1037
- // AD-071 §2.6: live-применение instance-wide отключения инструментов.
1038
- fallbackToolsDisabled: backendConfig.synth.tools.disabled,
1039
- onToolsDisabledChange: async (disabled) => {
1040
- orchestrator.setToolsDisabled(disabled);
1041
- },
1042
- knownTools: () => toolRegistry.list().map((tool) => ({
1043
- name: tool.name,
1044
- capabilities: [...tool.capabilities],
1045
- })),
1046
- // AD-071 §2.3.1: live-применение политики сетевого доступа MCP из админки.
1047
- fallbackMcpNetworkPolicy: backendConfig.synth.mcp.networkPolicy,
1048
- onMcpNetworkPolicyChange: async (policy) => {
1049
- effectiveNetworkPolicy = policy;
1050
- mcpManager.setNetworkPolicy(policy);
1051
- },
1052
- // AD-089: дефолт config.yaml для GET/DELETE-сброса раздела «События».
1053
- fallbackEvents: backendConfig.synth.events,
1054
- // AD-089: live-применение runtime-настроек «События» — Router/funnel/pruner.
1055
- onEventsChange: (effective) => {
1056
- effectiveEventsSettings = effective;
1057
- eventRouter.updateConfig({
1058
- allowedSources: effective.allowedSources,
1059
- defaultMode: effective.defaultMode,
1060
- defaultEphemeralTtl: effective.ephemeralTtl,
1061
- autoBind: effective.autoBind,
1062
- autoBindAgentTemplate: effective.autoBindAgentTemplate,
1063
- });
1064
- requestSessionService.updateConfig({
1065
- defaultEphemeralTtl: effective.ephemeralTtl,
1066
- unknownAgentTemplate: effective.unknownAgentTemplate,
1067
- identityMap: effective.identityMap,
1068
- });
1069
- },
1070
- // AD-084: дефолт config.yaml для GET/DELETE-сброса decision-слоя.
1071
- fallbackDecision: backendConfig.synth.decision,
1072
- // AD-084: live-применение runtime-настроек decision-слоя — микро-каскад и
1073
- // роутер читают конфиг геттером оркестратора; события — геттером выше.
1074
- onDecisionChange: (effective) => {
1075
- effectiveDecisionSettings = effective;
1076
- orchestrator.setDecisionConfig(effective);
1077
- },
1078
- protectedPathsStore,
1079
- }, {
1080
- // AD-089: мутации раздела «События» — только ADMIN (managed RBAC).
1081
- eventsWriteGuard: auth.requirePermission('ADMIN'),
1082
- // AD-084: мутации decision-слоя — только ADMIN (managed RBAC).
1083
- decisionWriteGuard: auth.requirePermission('ADMIN'),
1084
- }));
1085
- // Словари классификации: чтение — все авторизованные, запись/сброс — ADMIN
1086
- // (тот же guard, что у users.ts). Реализация общая с core.
1087
- const dictionaryStore = new DictionaryStore(dataDir);
1088
- app.route('/api/v2/dictionaries', createDictionaryRoutes(auth, dictionaryStore, { writeGuard: auth.requireAdmin }));
1089
- // AD-069 §9.3: прозрачность проектных инструкций — core-фабрика (резолвер не
1090
- // дублируется). RBAC: сессия — владелец|ADMIN (canAccess, как в session-роутах);
1091
- // проект — owner/LEAD/ADMIN (canAccessProject, как в project-скиллах).
1092
- const instructionsInfoResolver = createInstructionsInfoResolver(new ProjectInstructionsResolver({
1093
- config: backendConfig.synth.instructions,
1094
- dictionaryStore,
1095
- dataDir,
1096
- trustedProjectDirs: backendConfig.synth.skills.trustedProjectDirs,
1097
- // AD-069 R3: авто-trust workspace внутри workspacesRoot (managed-каталоги).
1098
- workspacesRoot: backendConfig.workspacesRoot,
1099
- }), backendConfig.synth.instructions);
1100
- app.route('/api/v2/context', createCoreContextRoutes(auth, {
1101
- resolveInstructions: instructionsInfoResolver,
1102
- sessionManager,
1103
- projectStore,
1104
- resolveProjectWorkspace: resolveSkillWorkspace,
1105
- resolveContextWindow: (session) => {
1106
- const model = session?.settings.model;
1107
- return model ? modelWindowLoader(model) || undefined : undefined;
180
+ // PROP-032 (W5): диагностика деградации (проверка соединения + «нужен рестарт»).
181
+ app.route('/', createStorageStatusRoutes({ getDegraded: () => degradedInfo }));
182
+ // Роуты API v2 (порядок монтирования — как раньше, см. mount-routes.ts).
183
+ mountBackendRoutes(app, auth, {
184
+ config: backendConfig,
185
+ deps,
186
+ // ADR-094: админ-раздел «Наблюдаемость» — running-флаг, реестр,
187
+ // readiness, backend хранения и uptime.
188
+ metrics: {
189
+ runningEnabled: metricsEnabled,
190
+ getRegistry: () => metrics,
191
+ getReadiness: () => ({
192
+ ready: initialized,
193
+ storage: degradedInfo ? 'degraded' : 'ok',
194
+ }),
195
+ storageBackend: storage.kind,
196
+ getUptimeSec: () => Math.floor(process.uptime()),
1108
197
  },
1109
- resolveUserId: async (c) => (await auth.getCurrentUser(c))?.id ?? '',
1110
- canAccess: (session, c, userId) => (session.ownerId ?? session.userId) === userId
1111
- || auth.isAdmin(c),
1112
- canAccessProject: (project, c, userId) => auth.isAdmin(c)
1113
- || auth.hasRole(c, 'LEAD')
1114
- || project.ownerId === userId
1115
- || project.members?.[userId] === ProjectRole.OWNER,
1116
- }));
1117
- // Глобальный SSE-хаб для всех сессий пользователя.
1118
- // AD-052: `events:watch` — scope service-key для подписки на поток событий.
1119
- app.get('/api/v2/events', auth.requireAuth, scopeGuard('events:watch'), async (c) => {
1120
- const user = (await auth.getCurrentUser(c));
1121
- const signal = c.req.raw.signal;
1122
- // AD-052 (этап IV) / AD-089: машинный watcher (service-key со scope
1123
- // `events:watch`) и роли сквозного обзора ADMIN/LEAD получают события ВСЕХ
1124
- // сессий (паритет со standalone-core `subscribeAll`), обычный пользователь —
1125
- // только своих. Без этого синтетический `service:<keyId>` шлюза не владеет
1126
- // сессиями → подписок 0 → ответы агента не доходят до Telegram.
1127
- const allSessions = Boolean(getServiceCredential(c)) || auth.hasRole(c, 'ADMIN', 'LEAD');
1128
- return new Response(new ReadableStream({
1129
- async start(controller) {
1130
- const encoder = new TextEncoder();
1131
- const sseClient = {
1132
- userId: user.id,
1133
- username: user.username,
1134
- allSessions,
1135
- send(event) {
1136
- try {
1137
- const line = `data: ${JSON.stringify(event)}\n\n`;
1138
- controller.enqueue(encoder.encode(line));
1139
- }
1140
- catch {
1141
- // client disconnected
1142
- }
1143
- },
1144
- };
1145
- try {
1146
- console.log(`[SSE /api/v2/events] Connected: user=${user.username} allSessions=${allSessions}`);
1147
- await eventHub.registerClient(sseClient);
1148
- // Keepalive: раз в 30 секунд отправляем комментарий для предотвращения разрыва
1149
- const keepalive = setInterval(() => {
1150
- try {
1151
- controller.enqueue(encoder.encode(':keepalive\n\n'));
1152
- }
1153
- catch {
1154
- clearInterval(keepalive);
1155
- }
1156
- }, 30_000);
1157
- // Keep connection alive until abort or disconnect
1158
- try {
1159
- await new Promise((resolve) => {
1160
- if (signal.aborted) {
1161
- resolve();
1162
- return;
1163
- }
1164
- signal.addEventListener('abort', () => resolve(), { once: true });
1165
- });
1166
- }
1167
- finally {
1168
- clearInterval(keepalive);
1169
- }
1170
- }
1171
- catch (err) {
1172
- console.error('[SSE /api/v2/events] Error:', err);
1173
- }
1174
- finally {
1175
- eventHub.unregisterClient(sseClient);
1176
- try {
1177
- controller.close();
1178
- }
1179
- catch { /* already closed */ }
1180
- }
1181
- },
1182
- }), {
1183
- status: 200,
1184
- headers: {
1185
- 'Content-Type': 'text/event-stream',
1186
- 'Cache-Control': 'no-cache',
1187
- 'Connection': 'keep-alive',
1188
- 'X-Accel-Buffering': 'no',
1189
- },
1190
- });
1191
198
  });
1192
- // Admin routes (кроме graceful shutdown — он живёт в main.ts, т.к. требует server)
1193
- app.route('/api/v2/admin/debug', createDebugRoutes(auth));
1194
199
  // 404
1195
200
  app.notFound((c) => {
1196
201
  return c.json({
@@ -1200,249 +205,71 @@ export async function createBackendApp(opts = {}) {
1200
205
  },
1201
206
  }, 404);
1202
207
  });
1203
- /**
1204
- * Поднять HTTP-сервер с WebSocket /ws/events на указанном порту
1205
- * (порт 0 → эфемерный). Возвращает фактический порт.
1206
- */
1207
- async function listen(port = backendConfig.port, host = '0.0.0.0') {
1208
- // Создаем HTTP сервер с WebSocket
1209
- const server = createServer(async (req, res) => {
1210
- try {
1211
- const webReq = toWebRequest(req);
1212
- const response = await app.fetch(webReq, {});
1213
- if (!response) {
1214
- res.writeHead(500);
1215
- res.end();
1216
- return;
1217
- }
1218
- const headers = Object.fromEntries(response.headers.entries());
1219
- res.writeHead(response.status, headers);
1220
- // SSE/долгоживущие стримы: при chunked-кодировании Node не сбрасывает
1221
- // заголовки в сокет до первого write()/end(). Для пустого начала стрима
1222
- // (SSE до первого события/keepalive) клиент иначе не получит заголовки
1223
- // вовсе — сбрасываем head принудительно.
1224
- res.flushHeaders();
1225
- if (response.body) {
1226
- const reader = response.body.getReader();
1227
- const pump = async () => {
1228
- while (true) {
1229
- const { done, value } = await reader.read();
1230
- if (done)
1231
- break;
1232
- res.write(value);
1233
- }
1234
- res.end();
1235
- };
1236
- pump().catch(() => res.end());
1237
- }
1238
- else {
1239
- res.end();
1240
- }
1241
- }
1242
- catch {
1243
- res.writeHead(500);
1244
- res.end();
1245
- }
1246
- });
1247
- // WebSocket /ws/chat
1248
- const wss = new WebSocketServer({ noServer: true });
1249
- server.on('upgrade', async (request, socket, head) => {
1250
- const url = new URL(request.url || '', `http://${request.headers.host}`);
1251
- // Глобальный event-хаб для всех сессий пользователя
1252
- if (url.pathname === '/ws/events') {
1253
- const user = await auth.getCurrentUser(reqAdapter(request)).catch(() => null);
1254
- if (!user) {
1255
- socket.write('HTTP/1.1 401 Unauthorized\r\n\r\n');
1256
- socket.destroy();
1257
- return;
1258
- }
1259
- // AD-052 (этап IV) / AD-089: тот же watch-all, что у SSE. В WS-апгрейде
1260
- // Hono-контекста нет, поэтому service-key распознаётся по синтетическому
1261
- // id `service:<keyId>` (его ставит резолвер `getCurrentUser`); ADMIN/LEAD —
1262
- // сквозной обзор. Обычный USER получает только свои сессии.
1263
- const allSessions = user.id.startsWith('service:') || auth.hasRole({ get: () => user }, 'ADMIN', 'LEAD');
1264
- wss.handleUpgrade(request, socket, head, (ws) => {
1265
- const clientId = `ws-events-${Date.now()}-${Math.random().toString(36).slice(2, 8)}`;
1266
- const client = {
1267
- userId: user.id,
1268
- username: user.username,
1269
- allSessions,
1270
- send(event) {
1271
- try {
1272
- if (ws.readyState === ws.OPEN) {
1273
- ws.send(JSON.stringify(event));
1274
- }
1275
- }
1276
- catch {
1277
- // ignore send errors
1278
- }
1279
- },
1280
- };
1281
- eventHub.registerClient(client).then(() => {
1282
- console.log(`[WS /ws/events] Connected: client=${clientId} user=${user.username}`);
1283
- ws.send(JSON.stringify({
1284
- type: 'connected',
1285
- client_id: clientId,
1286
- engine: 'synth',
1287
- }));
1288
- }).catch(() => {
1289
- ws.send(JSON.stringify({
1290
- type: 'error',
1291
- data: { error: 'Failed to register client' },
1292
- timestamp: nowISO(),
1293
- }));
1294
- });
1295
- ws.on('message', (raw) => {
1296
- try {
1297
- const msg = JSON.parse(raw.toString());
1298
- if (msg.type === 'ping') {
1299
- ws.send(JSON.stringify({ type: 'pong' }));
1300
- }
1301
- else if (msg.type === 'send_message') {
1302
- const sid = msg.session_id;
1303
- if (!sid || !msg.content?.trim())
1304
- return;
1305
- const streamId = msg.stream_id || generateStreamId();
1306
- ws.send(JSON.stringify({
1307
- type: 'queued',
1308
- session_id: sid,
1309
- stream_id: streamId,
1310
- timestamp: nowISO(),
1311
- }));
1312
- (async () => {
1313
- const session = await sessionManager.getSession(sid);
1314
- if (!session) {
1315
- ws.send(JSON.stringify({
1316
- type: 'error',
1317
- session_id: sid,
1318
- data: { error: 'Session not found' },
1319
- timestamp: nowISO(),
1320
- }));
1321
- return;
1322
- }
1323
- const message = {
1324
- id: streamId,
1325
- role: MessageRole.USER,
1326
- seq: session.messages.length + 1,
1327
- origin: 'local',
1328
- parts: [{ id: generateStreamId(), type: 'text', data: msg.content.trim() }],
1329
- content: msg.content.trim(),
1330
- createdAt: nowISO(),
1331
- disabled: false,
1332
- pinned: false,
1333
- hidden: false,
1334
- author: user.username,
1335
- agentRole: msg.agent_role || session.settings.agentRole,
1336
- provider: msg.provider || session.settings.provider,
1337
- model: msg.model || session.settings.model,
1338
- metadata: { stream_id: streamId },
1339
- };
1340
- const result = await enqueueUserMessage(sessionManager, eventBus, sid, message, queueManager, processMessage, (msgSid, msg) => orchestrator.obfuscateUserMessageForHistory(msgSid, msg));
1341
- if (!result) {
1342
- ws.send(JSON.stringify({
1343
- type: 'queue.stalled',
1344
- session_id: sid,
1345
- data: { pending_count: session.pendingMessages.length },
1346
- timestamp: nowISO(),
1347
- }));
1348
- }
1349
- })().catch(() => { });
1350
- }
1351
- else if (msg.type === 'cancel') {
1352
- const sid = msg.session_id;
1353
- if (!sid)
1354
- return;
1355
- (async () => {
1356
- const session = await sessionManager.getSession(sid);
1357
- if (session?.currentStream) {
1358
- orchestrator.cancel(session.currentStream.streamId);
1359
- }
1360
- })().catch(() => { });
1361
- }
1362
- else if (msg.type === 'permission_reply') {
1363
- const sid = msg.session_id;
1364
- const approvalId = msg.approval_id;
1365
- if (!sid || !approvalId)
1366
- return;
1367
- // Новый формат: { action: 'allow'|'deny', once?: boolean }.
1368
- // Старый формат { approved: boolean } остаётся совместимым.
1369
- const action = msg.action === 'allow' || msg.action === 'deny' ? msg.action : undefined;
1370
- eventBus.publish(sid, 'permission.replied', {
1371
- approval_id: approvalId,
1372
- session_id: sid,
1373
- approved: action !== undefined ? action === 'allow' : msg.approved === true,
1374
- ...(action ? { action } : {}),
1375
- ...(typeof msg.once === 'boolean' ? { once: msg.once } : {}),
1376
- });
1377
- }
1378
- else if (msg.type === 'permission_hold') {
1379
- const sid = msg.session_id;
1380
- const approvalId = msg.approval_id;
1381
- if (!sid || !approvalId)
1382
- return;
1383
- // «Остановить таймер»: publish permission.hold — оркестратор снимает
1384
- // авто-отклонение по таймауту, запрос ждёт ответа пользователя.
1385
- eventBus.publish(sid, 'permission.hold', {
1386
- approval_id: approvalId,
1387
- session_id: sid,
1388
- });
1389
- }
1390
- }
1391
- catch {
1392
- // ignore parse errors
1393
- }
1394
- });
1395
- ws.on('close', () => {
1396
- console.log(`[WS /ws/events] Disconnected: client=${clientId}`);
1397
- eventHub.unregisterClient(client);
1398
- });
1399
- ws.on('error', () => {
1400
- eventHub.unregisterClient(client);
1401
- });
1402
- });
1403
- return;
1404
- }
1405
- socket.write('HTTP/1.1 404 Not Found\r\n\r\n');
1406
- socket.destroy();
1407
- });
1408
- await new Promise((resolve, reject) => {
1409
- server.once('error', reject);
1410
- server.listen(port, host, () => resolve());
1411
- });
1412
- const address = server.address();
1413
- const actualPort = typeof address === 'object' && address ? address.port : port;
1414
- return { server, wss, port: actualPort };
1415
- }
208
+ // HTTP-сервер (раздача Hono-приложения) + WebSocket /ws/events.
209
+ const listen = createBackendListen({
210
+ app,
211
+ auth,
212
+ eventHub: deps.eventHub,
213
+ sessionManager: deps.sessionManager,
214
+ projectStore: deps.projectStore,
215
+ eventBus: deps.eventBus,
216
+ queueManager: deps.queueManager,
217
+ processMessage: deps.processMessage,
218
+ orchestrator: deps.orchestrator,
219
+ defaultPort: backendConfig.port,
220
+ // ADR-094: активные WS-соединения — в streams_active (если метрики включены).
221
+ metrics: metricsEnabled ? metrics : undefined,
222
+ });
223
+ // Композиция завершена — readiness переключается в ready (ADR-094).
224
+ initialized = true;
225
+ if (metricsEnabled)
226
+ setSynthReady(metrics, 1);
1416
227
  return {
1417
228
  app,
1418
- dataDir,
229
+ dataDir: deps.dataDir,
1419
230
  port: backendConfig.port,
1420
231
  config: backendConfig,
1421
232
  auth,
1422
- eventBus,
1423
- eventHub,
1424
- sessionManager,
1425
- projectStore,
1426
- orchestrator,
1427
- queueManager,
1428
- settingsStore,
1429
- // AD-089: ядро событий (понадобится на этапах 5–6).
1430
- eventRouter,
1431
- requestSessionService,
1432
- eventBindingStore,
1433
- eventJournal,
1434
- ingress: eventIngress,
1435
- // AD-051 (срез) / AD-089: реестр расписаний и планировщик.
1436
- scheduleStore,
1437
- scheduler: schedulerService,
1438
- stopScheduler: () => schedulerService.stop(),
1439
- stopEphemeralSweeper,
1440
- stopEventJournalPruner,
1441
- // AD-052 (этап II): реестр подписок и движок webhooks + остановка на shutdown.
1442
- webhookStore,
1443
- webhookService,
1444
- stopWebhookService: () => webhookService.stop(),
1445
- stopWebhookDeliveryPruner: () => stopWebhookDeliveryPruner(),
233
+ eventBus: deps.eventBus,
234
+ eventHub: deps.eventHub,
235
+ sessionManager: deps.sessionManager,
236
+ projectStore: deps.projectStore,
237
+ orchestrator: deps.orchestrator,
238
+ queueManager: deps.queueManager,
239
+ settingsStore: deps.settingsStore,
240
+ // ADR-094: реестр метрик и остановка процессных **и** доменных коллекторов
241
+ // (таймеры сессий/хранилища, подписка шины, decision/journal).
242
+ metrics,
243
+ stopMetrics: () => {
244
+ stopProcessMetrics?.stop();
245
+ for (const stop of deps.stopMetricsCollectors) {
246
+ try {
247
+ stop();
248
+ }
249
+ catch {
250
+ // Остановка метрик не должна ломать shutdown.
251
+ }
252
+ }
253
+ },
254
+ // ADR-089: ядро событий (понадобится на этапах 5–6).
255
+ eventRouter: deps.eventRouter,
256
+ requestSessionService: deps.requestSessionService,
257
+ eventBindingStore: deps.eventBindingStore,
258
+ eventJournal: deps.eventJournal,
259
+ ingress: deps.eventIngress,
260
+ // ADR-051 (срез) / ADR-089: реестр расписаний и планировщик.
261
+ scheduleStore: deps.scheduleStore,
262
+ scheduler: deps.schedulerService,
263
+ stopScheduler: () => deps.schedulerService.stop(),
264
+ stopEphemeralSweeper: deps.stopEphemeralSweeper,
265
+ stopEventJournalPruner: deps.stopEventJournalPruner,
266
+ stopAnalyticsRollupPruner: deps.stopAnalyticsRollupPruner,
267
+ // ADR-052 (этап II): реестр подписок и движок webhooks + остановка на shutdown.
268
+ webhookStore: deps.webhookStore,
269
+ webhookService: deps.webhookService,
270
+ stopWebhookService: () => deps.webhookService.stop(),
271
+ stopWebhookDeliveryPruner: () => deps.stopWebhookDeliveryPruner(),
272
+ stopEgressLogPruner: () => deps.stopEgressLogPruner(),
1446
273
  listen,
1447
274
  };
1448
275
  }