@itphx/synth-backend 0.11.3 → 0.13.4
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/dist/app/deps.d.ts +37 -5
- package/dist/app/deps.js +1172 -37
- package/dist/app/listen.d.ts +7 -1
- package/dist/app/listen.js +182 -16
- package/dist/app/mount-routes.js +493 -12
- package/dist/app/sse-events.d.ts +4 -0
- package/dist/app/sse-events.js +53 -6
- package/dist/app.d.ts +30 -2
- package/dist/app.js +54 -8
- package/dist/auth/guards.d.ts +15 -0
- package/dist/auth/guards.js +37 -1
- package/dist/auth/plugin-scope.d.ts +10 -0
- package/dist/auth/plugin-scope.js +69 -0
- package/dist/events/hub.d.ts +17 -0
- package/dist/events/hub.js +46 -14
- package/dist/lib/app-config.d.ts +4 -0
- package/dist/lib/app-config.js +4 -2
- package/dist/lib/defaults-store.d.ts +1 -1
- package/dist/lib/defaults-store.js +2 -2
- package/dist/lib/i18n.js +123 -2
- package/dist/lib/recalc-can-summarize.js +8 -3
- package/dist/main.js +52 -3
- package/dist/routes/agents.d.ts +11 -2
- package/dist/routes/agents.js +15 -2
- package/dist/routes/auth.d.ts +11 -1
- package/dist/routes/auth.js +45 -3
- package/dist/routes/llm.js +29 -7
- package/dist/routes/mcp-registry.d.ts +13 -1
- package/dist/routes/mcp-registry.js +120 -19
- package/dist/routes/messages.d.ts +4 -2
- package/dist/routes/messages.js +7 -1
- package/dist/routes/processes.d.ts +34 -0
- package/dist/routes/processes.js +26 -0
- package/dist/routes/projects.d.ts +14 -2
- package/dist/routes/projects.js +28 -1
- package/dist/routes/queue.d.ts +4 -1
- package/dist/routes/queue.js +4 -1
- package/dist/routes/sessions.d.ts +74 -6
- package/dist/routes/sessions.js +85 -93
- package/package.json +6 -6
package/dist/app/deps.js
CHANGED
|
@@ -4,12 +4,77 @@
|
|
|
4
4
|
// Вынесено из `app.ts` (ADR-095, шаг 4b) — «вынос по швам», без изменения поведения.
|
|
5
5
|
import { mkdir } from 'node:fs/promises';
|
|
6
6
|
import { join } from 'node:path';
|
|
7
|
-
import { ensureDataDir, parsePrincipalId, resolveDefaultWorkspace, resolveSecretKey, resolveStorageBackend, resolvePostgresConfig, resolvePostgresPassword, resolveDegradedMode, resolveStorageFallbackDir, readTlsRuntimeSettings, } from '@itphx/synth-shared';
|
|
8
|
-
import {
|
|
7
|
+
import { ensureDataDir, mergeModelCompatibility, parsePrincipalId, resolveDefaultWorkspace, resolveSecretKey, resolveStorageBackend, resolvePostgresConfig, resolvePostgresPassword, resolveDegradedMode, resolveStorageFallbackDir, resolveExecutionConfig, readTlsRuntimeSettings, SYNTH_VERSION, generateId, makeTextPart, nowISO, MessageRole, } from '@itphx/synth-shared';
|
|
8
|
+
import { DEFAULT_TOOL_OUTPUT_MAX_BYTES, DEFAULT_TOOL_OUTPUT_MAX_LINES } from '@itphx/synth-shared/config';
|
|
9
|
+
import { SessionManager, EventBus, QueueProcessorManager, ContextBuilder, ContextOptimizer, ChatOrchestrator, enqueueUserMessage, requeueMessages, createToolRegistry, createAgentRegistry, McpManager, DEFAULT_AGENT_ID, registerStoredAgents, migrateLegacyStoredAgents, AuditLogger, mergeLlmGatewayConfig, mergeSecurityConfig, mergeEventsConfig, mergeDecisionConfig, mergePluginsConfig,
|
|
10
|
+
// ADR-115: живое состояние runtime-настроек вложений (`/settings/attachments`).
|
|
11
|
+
createLiveAttachmentsSettings,
|
|
12
|
+
// Политика контекстного окна (`/settings/context-window`).
|
|
13
|
+
createLiveContextWindowPolicy,
|
|
14
|
+
// Бюджет промпта саб-агента (`/settings/agents-limits`).
|
|
15
|
+
createLiveSubagentMaxInputTokens,
|
|
16
|
+
// Дефолты оптимизации контекста новых сессий (`/settings/context-defaults`).
|
|
17
|
+
createLiveContextDefaults,
|
|
18
|
+
// Instance-wide лимиты заметок сессии (`/settings/sticky-notes`).
|
|
19
|
+
createLiveStickyNotesLimits, createEgressPolicyResolver, createEgressLogSink, configureEgressRuntime, startEgressLogPruner,
|
|
20
|
+
// ADR-105 (Ф3): источник access-токена для MCP-коннекторов + OAuth-сервис.
|
|
21
|
+
OAuthCredentialService, OAuthProviderRegistry, registerOAuthProvidersFromConfig, createRepositoryCredentialSource, SkillService, resolveProjectSkillSeed, CommandService, detectRuntimeDeps, syncProvidersFromEnv,
|
|
22
|
+
// ADR-115 × ADR-101: доступность `ffmpeg` — обработчик вложения aux-моделью шага.
|
|
23
|
+
isFfmpegAvailable, HookBus, startEphemeralSweeper, assertInstanceDataNotTooNew, applyStartupMigrations, applyPendingRestore, EventRouter, RequestSessionService, EventIngress, eventToMessage, addEventAttachmentRefs, AttachmentService, ProjectRuleProvider, DecisionRuleProvider, PipelineTracker, SchedulerRuleProvider, SchedulerService, AlwaysLeader, FileLeader, createExternalIdentityResolver, startEventJournalPruner,
|
|
24
|
+
// Этап 1 roadmap 0.13 (блок 3): сервис вопросов пользователю + retention.
|
|
25
|
+
QuestionService, startQuestionPruner,
|
|
26
|
+
// Этап 1 roadmap 0.13 (блок 4): реестр фоновых прогонов + retention.
|
|
27
|
+
BackgroundRunService, startBackgroundRunPruner, createBackgroundParentNotifier,
|
|
28
|
+
// PROP-097 (блок 5b): сервис фоновых шелл-процессов + retention логов.
|
|
29
|
+
ProcessService, startProcessLogPruner,
|
|
30
|
+
// ADR-115: GC осиротевших вложений сообщений.
|
|
31
|
+
startAttachmentPruner,
|
|
32
|
+
// ADR-115 × ADR-077: медиа-раннер (ffmpeg inline/remote) и серверные миниатюры.
|
|
33
|
+
createMediaRunner, ThumbnailService,
|
|
34
|
+
// ADR-115 × ADR-077: уборка временных каталогов медиа-раннера
|
|
35
|
+
// (`{workspacesRoot}/.synth-media/*`) — после жёсткого kill они остаются.
|
|
36
|
+
startMediaTempPruner,
|
|
37
|
+
// ADR-114: сервис worktree'ов (per-session рабочий каталог) + публикация
|
|
38
|
+
// `worktree.updated` в каналы сессий проекта.
|
|
39
|
+
WorktreeService, publishWorktreeUpdated, startWorktreeSweeper, WebhookService, startWebhookDeliveryPruner, AnalyticsRecorder, attachAnalyticsActivityHooks, startAnalyticsRollupPruner, sessionAxes, createStorageContextAsync, initTlsTrust, applyStartupProxyConfig, attachBusMetrics, startSessionMetrics, startStorageMetrics,
|
|
40
|
+
// ADR-094/PROP-047: метрики памяти (`synth_memory_*`).
|
|
41
|
+
startMemoryMetrics,
|
|
42
|
+
// ADR-107: телеметрия контекста памяти и recall (`synth_memory_context_*`,
|
|
43
|
+
// `synth_memory_recall_*`).
|
|
44
|
+
createMemoryTelemetry, registerDecisionMetrics, createSchedulerMetrics,
|
|
45
|
+
// ADR-094/ADR-077: метрики пула исполнителей (`synth_executor_*`).
|
|
46
|
+
createExecutorMetricsCollector, createWebhookMetrics, createEventMetrics,
|
|
47
|
+
// ADR-094/ADR-115: метрики вложений (`synth_attachment_*`) + установка их
|
|
48
|
+
// sink'а (сервис вложений собирается внутри фабрики роутов сессий).
|
|
49
|
+
createAttachmentMetrics, setAttachmentMetricsHook,
|
|
50
|
+
// ADR-106 Ф1/Ф2: счётчик решений Authority-слоя (`synth_authority_decisions_total`)
|
|
51
|
+
// и guard-слоя (решение считается; в enforced-режиме — применяется).
|
|
52
|
+
createAuthorityMetrics, AuthorityGuard,
|
|
53
|
+
// ADR-106 Ф3: реестр подтверждений + покрытие (носитель покрывающего гранта).
|
|
54
|
+
ApprovalRegistry, buildApprovalResponderProfile, createApprovalCoverageResolver, startEventJournalMetrics,
|
|
55
|
+
// ADR-101 (Э5): движок пайплайнов, исполнители шагов, обработчики выходов.
|
|
56
|
+
PipelineArtifactStore, PipelineEngine,
|
|
57
|
+
// ADR-101: реестр активных прогонов (soft-lock + отмена) — общий экземпляр
|
|
58
|
+
// для HTTP-роута пайплайнов и встроенных тулов агента.
|
|
59
|
+
PipelineRunControl, createToolStepExecutor, createScriptStepExecutor, createHumanStepExecutor, createAgentStepExecutor, createPipelineExitHandler, createPipelineMetrics,
|
|
60
|
+
// ADR-115 × ADR-101: вложения прогона — derive для text-only модели шага.
|
|
61
|
+
createPipelineAttachmentDerive, ensureBuiltinPipelines,
|
|
62
|
+
// ADR-101 §4 × `AgentDefinition`: провайдер агентского шага (код общий с core).
|
|
63
|
+
resolvePipelineStepProvider, toCoreProviderConfig, ProviderFactory,
|
|
64
|
+
// ADR-077: порт исполнения команд (inline/remote).
|
|
65
|
+
createExecutionPortForConfig,
|
|
66
|
+
// ADR-090 (Ф3а) / §5, §10 (Ф5б-1): общий реестр
|
|
67
|
+
// блоков промпта (композер + фасад плагинов) и рантайм плагинов.
|
|
68
|
+
PromptBlockRegistry, PluginRuntime, PluginProcessManager, PluginFacadeError, createInlinePluginLoader, createRemotePluginLoader, resolvePluginLayout, serializeMessage, } from '@itphx/synth-core';
|
|
9
69
|
import { EventHub } from '../events/hub.js';
|
|
10
70
|
import { seedDebugTestUsers } from './bootstrap.js';
|
|
11
71
|
/**
|
|
12
|
-
*
|
|
72
|
+
* Fallback-текст info-блока автопродолжения после рестарта: content — en-текст
|
|
73
|
+
* по контракту ADR-041 (LLM-контекст), UI локализует по `metadata.i18n`.
|
|
74
|
+
*/
|
|
75
|
+
const RESTART_RESUMED_TEXT = 'The turn was interrupted by an instance restart and continued automatically';
|
|
76
|
+
/**
|
|
77
|
+
* ADR-096 (W2.4): единая точка сборки слоя хранения backend — `app.ts` строит
|
|
13
78
|
* её до `auth` (реестр `serviceKeys` нужен резолверу ключа, `mcpRegistry` —
|
|
14
79
|
* сидированию instance-серверов), а `createBackendDeps` переиспользует инстанс.
|
|
15
80
|
*/
|
|
@@ -39,6 +104,11 @@ export async function createBackendStorage(config) {
|
|
|
39
104
|
dedupStore: config.synth.events.dedupStore,
|
|
40
105
|
scheduleCrossProcess: config.synth.scheduler.crossProcessLocks,
|
|
41
106
|
bundlesPath: config.synth.commands.bundlesPath,
|
|
107
|
+
// ADR-090: путь lock-файла плагинов задаёт раскладка (композиционный
|
|
108
|
+
// корень) — `<home>/plugin/plugins.lock.json` либо `{dataDir}/plugin/…`.
|
|
109
|
+
// Резолвер один — `resolvePluginLayout` (его же использует `PluginRuntime`),
|
|
110
|
+
// поэтому порт и каталоги установки согласованы.
|
|
111
|
+
pluginLockPath: resolvePluginLayout({ dataDir: config.dataDir, env: process.env }).lockPath,
|
|
42
112
|
});
|
|
43
113
|
// ADR-099: второй шаг egress — runtime-override прокси после хранилища и до
|
|
44
114
|
// создания deps/провайдеров (TLS/PG уже применены ранним `initTlsTrust`).
|
|
@@ -50,7 +120,12 @@ export async function createBackendStorage(config) {
|
|
|
50
120
|
* событийное ядро/планировщик/webhooks). Роуты монтирует вызывающий
|
|
51
121
|
* (`mountBackendRoutes`), поэтому здесь нет ни одного `app.*`-вызова.
|
|
52
122
|
*/
|
|
53
|
-
export async function createBackendDeps(config, storage, metrics
|
|
123
|
+
export async function createBackendDeps(config, storage, metrics,
|
|
124
|
+
/**
|
|
125
|
+
* ADR-077: эффективная секция `execution` (режим исполнения + параметры
|
|
126
|
+
* удалённого исполнителя). Не задана — резолвится из конфигу инстанса.
|
|
127
|
+
*/
|
|
128
|
+
executionConfig) {
|
|
54
129
|
// Хранилища
|
|
55
130
|
const dataDir = config.dataDir;
|
|
56
131
|
await ensureDataDir(dataDir);
|
|
@@ -62,24 +137,57 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
62
137
|
// данные новее Synth → отказ старта (fail-fast); устаревшая схема → авто-миграции
|
|
63
138
|
// с обязательной страховочной копией ниже (`applyStartupMigrations`).
|
|
64
139
|
await assertInstanceDataNotTooNew(dataDir);
|
|
65
|
-
//
|
|
140
|
+
// ADR-096 (W2.3/W2.4): единый контекст хранения — домен получает порты из
|
|
66
141
|
// одного места. По умолчанию собирается `createBackendStorage`, готовый можно
|
|
67
142
|
// передать (паритет с `app.ts`, где `serviceKeys`/`mcpRegistry` нужны до `auth`).
|
|
68
143
|
const storageContext = storage ?? (await createBackendStorage(config));
|
|
69
|
-
//
|
|
144
|
+
// ADR-098 (W5): деградированное хранилище (postgres недоступен → файловый
|
|
70
145
|
// фоллбек, read-only). Фоновые писатели отключаются (split-brain): миграции,
|
|
71
146
|
// провайдеры из env, шедулер, webhooks, sweeper/ephemeral, retention-прунеры.
|
|
72
147
|
const storageDegraded = storageContext.degraded !== undefined;
|
|
73
|
-
const { settings: settingsStore, defaults: defaultsStore, secretPatterns: patternStore, protectedPaths: protectedPathsStore, sessions: fileStore, projects: projectStore, profiles: profilesStore, sshKeys: sshKeyStore, contextFiles: contextConfig, providers: providerStore, models: modelStore, agents: agentStore, dictionaries: dictionaryStore, serviceKeys: serviceApiKeyStore, webhooks: webhookStore, securityAudit, egressRequests, webhookDeliveries: webhookDeliveryStore, eventBindings: eventBindingStore, eventApiKeys: eventApiKeyStore, eventJournal, eventRoutes: routeRuleStore, identityClaims: identityClaimStore, dedup: dedupStore, schedules: scheduleStore, jobs: jobStore, skillBundles: bundleStore, mcpRegistry: mcpRegistryStore, analyticsRollups,
|
|
148
|
+
const { settings: settingsStore, defaults: defaultsStore, secretPatterns: patternStore, protectedPaths: protectedPathsStore, sessions: fileStore, projects: projectStore, profiles: profilesStore, sshKeys: sshKeyStore, contextFiles: contextConfig, providers: providerStore, models: modelStore, agents: agentStore, dictionaries: dictionaryStore, serviceKeys: serviceApiKeyStore, webhooks: webhookStore, securityAudit, egressRequests, webhookDeliveries: webhookDeliveryStore, eventBindings: eventBindingStore, eventApiKeys: eventApiKeyStore, eventJournal, eventRoutes: routeRuleStore, identityClaims: identityClaimStore, dedup: dedupStore, schedules: scheduleStore, jobs: jobStore, skillBundles: bundleStore, mcpRegistry: mcpRegistryStore, analyticsRollups,
|
|
149
|
+
// ADR-051/ADR-100: реестр пайплайнов; ADR-086 §5: реестр установок пакетов.
|
|
150
|
+
pipelines: pipelineStore, packs: packStore, } = storageContext;
|
|
151
|
+
// ADR-101: реестр активных прогонов пайплайнов — **один на процесс**.
|
|
152
|
+
// Его получают и HTTP-роут пайплайнов, и встроенные тулы агента: поэтому
|
|
153
|
+
// soft-lock «не запустить второй прогон того же пайплайна» и отмена
|
|
154
|
+
// идущего прогона работают одинаково для обоих контуров.
|
|
155
|
+
const pipelineRunControl = new PipelineRunControl();
|
|
156
|
+
// ADR-101/ADR-051: рантайм автоматизации для встроенных тулов
|
|
157
|
+
// (`pipeline_*`/`schedule_*`). Движок пайплайнов и шедулер создаются
|
|
158
|
+
// **ниже** (после оркестратора), поэтому объект заполняется по мере сборки,
|
|
159
|
+
// а оркестратор получает late-bound геттер (`engine/tools/automation-runtime.ts`).
|
|
160
|
+
const automationRuntime = {
|
|
161
|
+
pipelines: storageContext.projectPipelines,
|
|
162
|
+
runs: storageContext.pipelineRuns,
|
|
163
|
+
runControl: pipelineRunControl,
|
|
164
|
+
templates: pipelineStore,
|
|
165
|
+
schedules: scheduleStore,
|
|
166
|
+
jobs: jobStore,
|
|
167
|
+
};
|
|
74
168
|
// ADR-030: ядровая шина хуков — общий инстанс для SessionManager и оркестратора.
|
|
75
169
|
const hooks = new HookBus();
|
|
76
|
-
//
|
|
170
|
+
// Дефолты оптимизации контекста для новых сессий (`context.defaults`):
|
|
171
|
+
// runtime-патч поверх config.yaml; применяются без рестарта.
|
|
172
|
+
const contextDefaultsSettings = createLiveContextDefaults({
|
|
173
|
+
config: config.synth.context?.defaults,
|
|
174
|
+
runtime: await settingsStore.getContextDefaults(),
|
|
175
|
+
});
|
|
176
|
+
// Instance-wide лимиты заметок сессии (`context.stickyNotes`): runtime-патч
|
|
177
|
+
// поверх config.yaml; применятся без рестарта (резолвер читается на операцию).
|
|
178
|
+
const stickyNotesLimitsSettings = createLiveStickyNotesLimits({
|
|
179
|
+
config: config.synth.context?.stickyNotes,
|
|
180
|
+
runtime: await settingsStore.getStickyNotesLimits(),
|
|
181
|
+
});
|
|
182
|
+
// ADR-102: сборщик роллапов аналитики (write-path) — только через порт слоя
|
|
77
183
|
// хранения; в деградации выключен (не пишем домен в файловый фоллбек).
|
|
78
184
|
const analytics = storageDegraded ? undefined : new AnalyticsRecorder({ repo: analyticsRollups });
|
|
79
185
|
const sessionManager = new SessionManager(fileStore, {
|
|
80
186
|
projectStore,
|
|
81
187
|
hooks,
|
|
82
|
-
//
|
|
188
|
+
// Дефолты оптимизации контекста новых сессий (`context.defaults` + runtime).
|
|
189
|
+
contextDefaults: () => contextDefaultsSettings.getDefaults(),
|
|
190
|
+
// ADR-102: точка персиста сообщений (`messages_assistant`/`messages_tool`).
|
|
83
191
|
analytics,
|
|
84
192
|
// ADR-071 §2.4 / ADR-046 §4.5: системные дефолты для сессий без проекта.
|
|
85
193
|
systemDefaultsProvider: async () => ({
|
|
@@ -90,7 +198,7 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
90
198
|
// ADR-089: авто-архивация ephemeral-сессий по TTL (таймер `unref`).
|
|
91
199
|
// Остановка — через хэндл `stopEphemeralSweeper` на graceful shutdown.
|
|
92
200
|
const stopEphemeralSweeper = storageDegraded ? () => { } : startEphemeralSweeper(sessionManager);
|
|
93
|
-
//
|
|
201
|
+
// ADR-102: шов записи `activity` через hook-шину (ADR-030) + retention суточных
|
|
94
202
|
// роллапов (prune на старте и каждые 6 ч, таймер `unref`).
|
|
95
203
|
const detachAnalyticsHooks = analytics
|
|
96
204
|
? attachAnalyticsActivityHooks(hooks, {
|
|
@@ -137,19 +245,365 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
137
245
|
const egressLogConfig = config.synth.egress.log;
|
|
138
246
|
const egressLog = createEgressLogSink(egressRequests, { enabled: () => egressLogConfig.enabled });
|
|
139
247
|
configureEgressRuntime({ resolver: egressResolver, log: egressLog });
|
|
248
|
+
// ADR-115: живое состояние настроек вложений. Приоритет env > runtime
|
|
249
|
+
// (`settings.json`/PG) > config.yaml > defaults; мутации — админ-API
|
|
250
|
+
// `/api/v2/settings/attachments`. Резолвер синхронный: сервис вложений,
|
|
251
|
+
// промпт и GC читают его на каждый вызов (применение без рестарта).
|
|
252
|
+
const attachmentsSettings = createLiveAttachmentsSettings({
|
|
253
|
+
config: config.synth.attachments,
|
|
254
|
+
runtime: await settingsStore.getAttachments(),
|
|
255
|
+
});
|
|
256
|
+
// Политика ограничения контекстного окна (`context.windowPolicy`):
|
|
257
|
+
// приоритет env > runtime > config.yaml > default; применяется сразу.
|
|
258
|
+
const contextWindowSettings = createLiveContextWindowPolicy({
|
|
259
|
+
config: config.synth.context?.windowPolicy,
|
|
260
|
+
runtime: await settingsStore.getContextWindowPolicy(),
|
|
261
|
+
});
|
|
262
|
+
// Предохранитель объёма промпта саб-агента (`agents.subagentMaxInputTokens`):
|
|
263
|
+
// приоритет env > runtime > config.yaml > 0; читается при сборке `task` extra.
|
|
264
|
+
const subagentMaxInputTokensSettings = createLiveSubagentMaxInputTokens({
|
|
265
|
+
config: config.synth.agents.subagentMaxInputTokens,
|
|
266
|
+
runtime: await settingsStore.getSubagentMaxInputTokens(),
|
|
267
|
+
});
|
|
140
268
|
const stopEgressLogPruner = storageDegraded || !egressLogConfig.enabled
|
|
141
269
|
? () => { }
|
|
142
270
|
: startEgressLogPruner(egressRequests, { getRetentionDays: () => egressLogConfig.retentionDays });
|
|
143
271
|
// ADR-071 §2.3.1: политика сетевого доступа HTTP-серверов (SSRF/egress)
|
|
144
272
|
// резолвится при каждом connect/probe (live; без стартового снимка).
|
|
145
273
|
mcpManager.setNetworkPolicyResolver(() => egressResolver.resolveMcp());
|
|
274
|
+
// ADR-105 (Ф3): коннекторы с `auth.kind='credential'` авторизуются токеном
|
|
275
|
+
// из слоя доступов (подстановка в транспорт, refresh при 401).
|
|
276
|
+
const oauthProviders = new OAuthProviderRegistry();
|
|
277
|
+
// Каталог OAuth-провайдеров из конфига инстанса (`oauth.providers`): без него
|
|
278
|
+
// refresh живого доступа не работает — провайдера не найти.
|
|
279
|
+
await registerOAuthProvidersFromConfig(oauthProviders, config.synth.oauth.providers, {
|
|
280
|
+
dataDir,
|
|
281
|
+
});
|
|
282
|
+
const oauthCredentialService = new OAuthCredentialService({
|
|
283
|
+
repo: storageContext.externalCredentials,
|
|
284
|
+
clientFor: (provider) => oauthProviders.clientFor(provider),
|
|
285
|
+
// ADR-105 (Ф4): журнал операций со слоем доступов (append-only).
|
|
286
|
+
audit: storageContext.credentialAudit,
|
|
287
|
+
});
|
|
288
|
+
mcpManager.setCredentialSource(createRepositoryCredentialSource({
|
|
289
|
+
repo: storageContext.externalCredentials,
|
|
290
|
+
refresh: async (credentialId) => {
|
|
291
|
+
await oauthCredentialService.refresh(credentialId);
|
|
292
|
+
},
|
|
293
|
+
// ADR-105 (Ф4): подстановка токена в транспорт журналируется (`use`).
|
|
294
|
+
audit: storageContext.credentialAudit,
|
|
295
|
+
}));
|
|
146
296
|
// Сидирование тестовых пользователей (debug mode) — до построения рантайма
|
|
147
297
|
// (паритет с прежним `app.ts`: сид стоял между хранилищами и рантаймом).
|
|
148
298
|
seedDebugTestUsers(profilesStore, config.auth);
|
|
149
299
|
const eventBus = new EventBus();
|
|
150
300
|
const queueManager = new QueueProcessorManager();
|
|
151
|
-
//
|
|
301
|
+
// ADR-102: пользовательские сообщения персистит процессор — мера `messages_user`.
|
|
152
302
|
queueManager.setAnalytics(analytics);
|
|
303
|
+
// Этап 1 roadmap 0.13 (блок 3): сервис «вопрос пользователю» (`ask_user`).
|
|
304
|
+
//
|
|
305
|
+
// Паритет с standalone-core: тот же порт записи (ADR-096), тот же срок
|
|
306
|
+
// ожидания ответа из конфигурации `questions.timeoutMs` (`0` — без
|
|
307
|
+
// таймаута). Один инстанс на процесс: его получают и оркестратор (тул
|
|
308
|
+
// `question`), и HTTP-роуты сессий.
|
|
309
|
+
const questionService = storageDegraded
|
|
310
|
+
? undefined
|
|
311
|
+
: new QuestionService({
|
|
312
|
+
repository: storageContext.questions,
|
|
313
|
+
eventBus,
|
|
314
|
+
timeoutMs: config.synth.questions.timeoutMs,
|
|
315
|
+
});
|
|
316
|
+
// Старт: открытые вопросы прошлого процесса не пережили рестарт (ожидание
|
|
317
|
+
// в памяти) — снимаем их с причиной `interrupted`. Best-effort: ошибка не
|
|
318
|
+
// роняет старт.
|
|
319
|
+
if (questionService) {
|
|
320
|
+
try {
|
|
321
|
+
await questionService.recoverOnStart();
|
|
322
|
+
}
|
|
323
|
+
catch (err) {
|
|
324
|
+
console.warn(`[questions] восстановление открытых вопросов не удалось: ${err instanceof Error ? err.message : String(err)}`);
|
|
325
|
+
}
|
|
326
|
+
}
|
|
327
|
+
// Retention-очистка терминальных записей вопросов (сразу + каждые 6 ч).
|
|
328
|
+
const stopQuestionPruner = storageDegraded
|
|
329
|
+
? () => { }
|
|
330
|
+
: startQuestionPruner(storageContext.questions, {
|
|
331
|
+
getRetentionDays: () => config.synth.questions.retentionDays,
|
|
332
|
+
});
|
|
333
|
+
// Этап 1 roadmap 0.13 (блок 4): единый реестр фоновых прогонов (PROP-096).
|
|
334
|
+
//
|
|
335
|
+
// Паритет с standalone-core: тот же порт записи (ADR-096), те же лимиты из
|
|
336
|
+
// конфигурации `background.*`. Один инстанс на процесс: его получают тул
|
|
337
|
+
// `task` (фоновый запуск саб-агента) и HTTP-точки обслуживания реестра.
|
|
338
|
+
//
|
|
339
|
+
// Уведомление родителя о завершении фонового прогона (ADR-111): ОДИН путь —
|
|
340
|
+
// постановка в очередь (`enqueueUserMessage`); процессор добавит сообщение в
|
|
341
|
+
// историю сам и опубликует `message.added` (двух копий больше нет).
|
|
342
|
+
// `processMessage` собирается ниже (после оркестратора) — нотификатор
|
|
343
|
+
// создаётся лениво, при первом вызове колбэка (он приходит только из
|
|
344
|
+
// фонового прогона, т.е. уже после старта).
|
|
345
|
+
let backgroundNotifier = null;
|
|
346
|
+
/**
|
|
347
|
+
* ADR-111/ADR-113: идёт ли ход в сессии (одна функция на нотификатор и
|
|
348
|
+
* матрицу ретрансляции результата из дочерней сессии).
|
|
349
|
+
*/
|
|
350
|
+
const isBackgroundTurnActive = async (sid) => {
|
|
351
|
+
if (queueManager.isRunning(sid))
|
|
352
|
+
return true;
|
|
353
|
+
const current = await sessionManager.getSession(sid);
|
|
354
|
+
const stream = current?.currentStream;
|
|
355
|
+
if (!stream || stream.cancelled)
|
|
356
|
+
return false;
|
|
357
|
+
return current?.status?.cancelRequested !== true;
|
|
358
|
+
};
|
|
359
|
+
/**
|
|
360
|
+
* Корень дерева сессий (обход `parentId` вверх, глубина ≤ 5, защита от
|
|
361
|
+
* циклов). Ошибка/нет сессии → `null` (fail-safe: доставим владельцу).
|
|
362
|
+
*/
|
|
363
|
+
const resolveRootSession = async (sessionId) => {
|
|
364
|
+
let current = await sessionManager.getSession(sessionId);
|
|
365
|
+
if (!current)
|
|
366
|
+
return null;
|
|
367
|
+
const seen = new Set([current.id]);
|
|
368
|
+
for (let depth = 0; depth < 5 && current.parentId; depth += 1) {
|
|
369
|
+
if (seen.has(current.parentId))
|
|
370
|
+
break;
|
|
371
|
+
const parent = await sessionManager.getSession(current.parentId);
|
|
372
|
+
if (!parent)
|
|
373
|
+
break;
|
|
374
|
+
seen.add(parent.id);
|
|
375
|
+
current = parent;
|
|
376
|
+
}
|
|
377
|
+
return { id: current.id, ...(current.title ? { title: current.title } : {}) };
|
|
378
|
+
};
|
|
379
|
+
const notifyBackgroundParent = async (sessionId, message) => {
|
|
380
|
+
backgroundNotifier ??= createBackgroundParentNotifier({
|
|
381
|
+
sessionManager,
|
|
382
|
+
eventBus,
|
|
383
|
+
processorManager: queueManager,
|
|
384
|
+
processMessage,
|
|
385
|
+
isTurnActive: isBackgroundTurnActive,
|
|
386
|
+
});
|
|
387
|
+
await backgroundNotifier(sessionId, message);
|
|
388
|
+
};
|
|
389
|
+
/**
|
|
390
|
+
* ADR-111/ADR-113 × ADR-104: остаток steer-очереди в конце хода возвращается
|
|
391
|
+
* в обычную очередь (`autostart` — нормальное завершение; после «Стопа» — нет).
|
|
392
|
+
*/
|
|
393
|
+
/**
|
|
394
|
+
* ADR-104 × ADR-111/ADR-113: остаток steer-очереди в конце хода не теряется —
|
|
395
|
+
* **все** сообщения возвращаются в `pendingMessages`; `autostart` поднимает
|
|
396
|
+
* ход (нормальное завершение), при «Стопе» — нет.
|
|
397
|
+
* `processMessage` объявлен ниже — вызов происходит уже в рантайме.
|
|
398
|
+
*/
|
|
399
|
+
const requeueSteerMessages = async (sessionId, messages, autostart) => {
|
|
400
|
+
return requeueMessages({
|
|
401
|
+
sessionManager,
|
|
402
|
+
eventBus,
|
|
403
|
+
sessionId,
|
|
404
|
+
messages,
|
|
405
|
+
...(autostart
|
|
406
|
+
? { autostart: { processorManager: queueManager, processMessage, eventBus } }
|
|
407
|
+
: {}),
|
|
408
|
+
});
|
|
409
|
+
};
|
|
410
|
+
const backgroundService = storageDegraded
|
|
411
|
+
? undefined
|
|
412
|
+
: new BackgroundRunService({
|
|
413
|
+
repository: storageContext.backgroundRuns,
|
|
414
|
+
eventBus,
|
|
415
|
+
limits: {
|
|
416
|
+
maxSubagentsPerSession: config.synth.background.maxSubagentsPerSession,
|
|
417
|
+
// PROP-097: лимит одновременных фоновых шелл-процессов на сессию.
|
|
418
|
+
maxProcessesPerSession: config.synth.background.maxProcessesPerSession,
|
|
419
|
+
maxRunsPerSession: config.synth.background.maxRunsPerSession,
|
|
420
|
+
},
|
|
421
|
+
// Точка сборки уведомления — здесь (глобальных синглтонов нет).
|
|
422
|
+
//
|
|
423
|
+
// ADR-036: обфускация user-сообщений НЕ применяется — уведомление
|
|
424
|
+
// системное (автор `Subagent`/`Process`), а не пользовательский ввод;
|
|
425
|
+
// секреты в исходящих LLM-запросах обфусцирует сам Gateway.
|
|
426
|
+
onNotifyParent: notifyBackgroundParent,
|
|
427
|
+
// ADR-111/ADR-113: матрица доставки — прогон из дочерней сессии без
|
|
428
|
+
// активного хода ретранслируется в корень (дочернюю не будим).
|
|
429
|
+
isTurnActive: isBackgroundTurnActive,
|
|
430
|
+
resolveRootSessionId: resolveRootSession,
|
|
431
|
+
// «Стоп» сессии останавливает и живые прогоны детей (ADR-111 §detach,
|
|
432
|
+
// решение 2026-10-28): дерево обходит сам сервис (глубина ≤ 5).
|
|
433
|
+
getChildSessionIds: async (parentId) => (await sessionManager.getChildren(parentId, { light: true })).map((s) => s.id),
|
|
434
|
+
});
|
|
435
|
+
// Старт: прогоны прошлого процесса не пережили рестарт (хэндлы отмены — в
|
|
436
|
+
// памяти) — помечаем их `orphaned`. Best-effort: ошибка не роняет старт.
|
|
437
|
+
if (backgroundService) {
|
|
438
|
+
try {
|
|
439
|
+
await backgroundService.recoverOnStart();
|
|
440
|
+
}
|
|
441
|
+
catch (err) {
|
|
442
|
+
console.warn(`[background] восстановление фоновых прогонов не удалось: ${err instanceof Error ? err.message : String(err)}`);
|
|
443
|
+
}
|
|
444
|
+
}
|
|
445
|
+
/**
|
|
446
|
+
* Info-блок «ход продолжен после рестарта»: пишется в историю (роль INFO — в
|
|
447
|
+
* LLM-контекст не попадает) и публикуется `message.added`. Дубль для того же
|
|
448
|
+
* `stream_id` не пишется: recovery и автоскан очередей могут указывать на одно
|
|
449
|
+
* и то же сообщение.
|
|
450
|
+
*/
|
|
451
|
+
const addRestartResumedNotice = async (sessionId, streamId) => {
|
|
452
|
+
const session = await sessionManager.getSession(sessionId);
|
|
453
|
+
const alreadyNotified = session?.messages.some((m) => m.metadata?.type === 'restart_resumed'
|
|
454
|
+
&& m.metadata?.stream_id === streamId);
|
|
455
|
+
if (alreadyNotified)
|
|
456
|
+
return;
|
|
457
|
+
const info = {
|
|
458
|
+
id: generateId(),
|
|
459
|
+
role: MessageRole.INFO,
|
|
460
|
+
seq: 0,
|
|
461
|
+
origin: 'local',
|
|
462
|
+
parts: [makeTextPart(RESTART_RESUMED_TEXT)],
|
|
463
|
+
content: RESTART_RESUMED_TEXT,
|
|
464
|
+
createdAt: nowISO(),
|
|
465
|
+
disabled: false,
|
|
466
|
+
pinned: false,
|
|
467
|
+
hidden: false,
|
|
468
|
+
metadata: {
|
|
469
|
+
type: 'restart_resumed',
|
|
470
|
+
...(streamId ? { stream_id: streamId } : {}),
|
|
471
|
+
i18n: { key: 'chat.notice.restartResumedText' },
|
|
472
|
+
},
|
|
473
|
+
};
|
|
474
|
+
let index = 0;
|
|
475
|
+
try {
|
|
476
|
+
const updated = await sessionManager.addMessage(sessionId, info);
|
|
477
|
+
if (updated)
|
|
478
|
+
index = Math.max(0, updated.messages.length - 1);
|
|
479
|
+
}
|
|
480
|
+
catch (err) {
|
|
481
|
+
console.warn(`[sessions] info-блок восстановления не записан: ${err instanceof Error ? err.message : String(err)}`);
|
|
482
|
+
}
|
|
483
|
+
eventBus.publish(sessionId, 'message.added', serializeMessage(info, index));
|
|
484
|
+
};
|
|
485
|
+
// Session-маркеры хода/блокировки переживают рестарт: процесс, убитый при
|
|
486
|
+
// rolling update, не успевает снять `currentStream`/`status.blocked`, а
|
|
487
|
+
// процессор очереди такую сессию считает занятой и не стартует — UI вечно
|
|
488
|
+
// показывает активность. Восстановление отложено на 60 с, чтобы старый под
|
|
489
|
+
// успел умереть, а живые маркеры работающего процесса не были сняты.
|
|
490
|
+
// В деградации хранилище read-only — ничего не пишем и не запускаем.
|
|
491
|
+
if (!storageDegraded) {
|
|
492
|
+
const bootRecovery = setTimeout(() => {
|
|
493
|
+
void sessionManager.recoverInterruptedSessions()
|
|
494
|
+
.then(async (recovered) => {
|
|
495
|
+
for (const r of recovered) {
|
|
496
|
+
eventBus.publish(r.sessionId, 'turn.finished', {
|
|
497
|
+
turn_id: r.turnId,
|
|
498
|
+
turnId: r.turnId,
|
|
499
|
+
stream_id: r.streamId,
|
|
500
|
+
status: 'stopped',
|
|
501
|
+
});
|
|
502
|
+
eventBus.publish(r.sessionId, 'session.updated', { session_id: r.sessionId });
|
|
503
|
+
if (!r.resumeMessage)
|
|
504
|
+
continue;
|
|
505
|
+
// Автопродолжение: info-блок в истории (в LLM-контекст не попадает —
|
|
506
|
+
// роль INFO исключена из промпта) и resume-сообщение процессору.
|
|
507
|
+
await addRestartResumedNotice(r.sessionId, r.streamId);
|
|
508
|
+
queueManager.createProcessor(r.sessionId, sessionManager, eventBus, processMessage, {
|
|
509
|
+
resumeMessage: r.resumeMessage,
|
|
510
|
+
});
|
|
511
|
+
}
|
|
512
|
+
if (recovered.length) {
|
|
513
|
+
console.log(`[sessions] сняты маркеры прерванных ходов: ${recovered.length}`);
|
|
514
|
+
}
|
|
515
|
+
// Автозапуск очередей, переживших рестарт: pending без активного хода
|
|
516
|
+
// и без осознанной остановки (`queueStopped`). Сессии саб-агентов не
|
|
517
|
+
// продолжаем — решение за родителем. `light`-список не подходит:
|
|
518
|
+
// он очищает `pendingMessages`.
|
|
519
|
+
try {
|
|
520
|
+
// `light`: без истории (`messages`/`checkpoints`) — полный список
|
|
521
|
+
// сессий с историями давал пик heap и OOM на инстансах с сотнями
|
|
522
|
+
// сессий. Очередь (`pendingMessages`) в light сохраняется.
|
|
523
|
+
const sessions = await sessionManager.listSessions(undefined, {
|
|
524
|
+
includeArchived: false,
|
|
525
|
+
});
|
|
526
|
+
let queueCandidates = 0;
|
|
527
|
+
let inFlightResumed = 0;
|
|
528
|
+
for (const s of sessions) {
|
|
529
|
+
if (s.archivedAt || s.sessionOrigin === 'subagent')
|
|
530
|
+
continue;
|
|
531
|
+
if (s.currentStream || s.status.blocked)
|
|
532
|
+
continue;
|
|
533
|
+
if (s.pendingMessages.length === 0)
|
|
534
|
+
continue;
|
|
535
|
+
queueCandidates += 1;
|
|
536
|
+
if (s.status.queueStopped) {
|
|
537
|
+
eventBus.publish(s.id, 'queue.stalled', {
|
|
538
|
+
pending_count: s.pendingMessages.length,
|
|
539
|
+
});
|
|
540
|
+
continue;
|
|
541
|
+
}
|
|
542
|
+
// Маркеры мог снять прошлый recovery, а сообщение осталось и в
|
|
543
|
+
// истории, и в очереди. Это прерванный in-flight ход: продолжаем
|
|
544
|
+
// его как resume (info-блок + метка `resumed`), а не как новую
|
|
545
|
+
// очередь — иначе сообщение материализуется в историю повторно.
|
|
546
|
+
const resume = await sessionManager.takePendingInFlight(s.id);
|
|
547
|
+
if (resume) {
|
|
548
|
+
inFlightResumed += 1;
|
|
549
|
+
await addRestartResumedNotice(s.id, resume.metadata?.stream_id);
|
|
550
|
+
queueManager.createProcessor(s.id, sessionManager, eventBus, processMessage, {
|
|
551
|
+
resumeMessage: resume,
|
|
552
|
+
});
|
|
553
|
+
continue;
|
|
554
|
+
}
|
|
555
|
+
queueManager.createProcessor(s.id, sessionManager, eventBus, processMessage);
|
|
556
|
+
}
|
|
557
|
+
if (queueCandidates > 0) {
|
|
558
|
+
// Только счётчики: ни id, ни содержимого сессий/сообщений.
|
|
559
|
+
console.log(`[sessions] автозапуск очередей: кандидатов ${queueCandidates}, in-flight продолжено ${inFlightResumed}`);
|
|
560
|
+
}
|
|
561
|
+
}
|
|
562
|
+
catch (err) {
|
|
563
|
+
console.warn(`[sessions] автозапуск очередей после рестарта: ${err instanceof Error ? err.message : String(err)}`);
|
|
564
|
+
}
|
|
565
|
+
})
|
|
566
|
+
.catch((err) => {
|
|
567
|
+
console.warn(`[sessions] восстановление прерванных ходов: ${err instanceof Error ? err.message : String(err)}`);
|
|
568
|
+
});
|
|
569
|
+
}, 60_000);
|
|
570
|
+
bootRecovery.unref?.();
|
|
571
|
+
}
|
|
572
|
+
// Retention-очистка терминальных записей реестра (сразу + каждые 6 ч).
|
|
573
|
+
const stopBackgroundRunPruner = storageDegraded
|
|
574
|
+
? () => { }
|
|
575
|
+
: startBackgroundRunPruner(storageContext.backgroundRuns, {
|
|
576
|
+
getRetentionDays: () => config.synth.background.retentionDays,
|
|
577
|
+
});
|
|
578
|
+
// PROP-097 (блок 5b): retention логов фоновых процессов. Создаётся **до**
|
|
579
|
+
// pruner'а записей реестра: лог удаляется, пока его запись ещё видна.
|
|
580
|
+
const stopProcessLogPruner = storageDegraded
|
|
581
|
+
? () => { }
|
|
582
|
+
: startProcessLogPruner(storageContext.backgroundRuns, storageContext.blobs, {
|
|
583
|
+
getRetentionDays: () => config.synth.background.retentionDays,
|
|
584
|
+
});
|
|
585
|
+
// ADR-094/ADR-115: метрики вложений (`synth_attachment_*`) — создаются до GC,
|
|
586
|
+
// чтобы счётчик удалённых объектов был доступен при первом прогоне.
|
|
587
|
+
const attachmentMetrics = metrics ? createAttachmentMetrics(metrics) : undefined;
|
|
588
|
+
// ADR-115: GC осиротевших вложений (нет ссылок `blob_refs` + объект старше
|
|
589
|
+
// `attachments.gcDays`; `<= 0` — без ограничения).
|
|
590
|
+
const stopAttachmentPruner = storageDegraded
|
|
591
|
+
? () => { }
|
|
592
|
+
: startAttachmentPruner({
|
|
593
|
+
blobs: storageContext.blobs,
|
|
594
|
+
blobRefs: storageContext.blobRefs,
|
|
595
|
+
gcDays: () => attachmentsSettings.getConfig().gcDays,
|
|
596
|
+
...(attachmentMetrics ? { metrics: attachmentMetrics } : {}),
|
|
597
|
+
});
|
|
598
|
+
// ADR-115 × ADR-077: уборка временных каталогов медиа-раннера
|
|
599
|
+
// (`{workspacesRoot}/.synth-media/<uuid>`). После жёсткого kill раннер не
|
|
600
|
+
// успевает убрать каталог (`finally` не выполняется) — такие каталоги
|
|
601
|
+
// копятся на общем томе. TTL 1 ч, интервал 6 ч, best-effort: каталога нет —
|
|
602
|
+
// нечего убирать (создавать его не надо). В деградированном режиме
|
|
603
|
+
// хранилища уборка не нужна (медиа не обрабатывается).
|
|
604
|
+
const stopMediaTempPruner = storageDegraded
|
|
605
|
+
? () => { }
|
|
606
|
+
: startMediaTempPruner({ workspacesRoot: config.workspacesRoot });
|
|
153
607
|
// ADR-094: доменные коллекторы. `metrics` приходит только при
|
|
154
608
|
// `metrics.enabled=true` — иначе реестр остаётся пустым (`/metrics` → 404).
|
|
155
609
|
// Фоновые таймеры `unref`-ятся; остановка — `stopMetricsCollectors` на
|
|
@@ -159,7 +613,13 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
159
613
|
const schedulerJobMetrics = metrics ? createSchedulerMetrics(metrics) : undefined;
|
|
160
614
|
const webhookDeliveryMetrics = metrics ? createWebhookMetrics(metrics) : undefined;
|
|
161
615
|
const eventMetrics = metrics ? createEventMetrics(metrics) : undefined;
|
|
616
|
+
// ADR-106 Ф1: решения Authority-слоя (`synth_authority_decisions_total`) —
|
|
617
|
+
// лейблы только `action`/`effect`/`source`, без id (ADR-094).
|
|
618
|
+
const authorityMetrics = metrics ? createAuthorityMetrics(metrics) : undefined;
|
|
162
619
|
if (metrics) {
|
|
620
|
+
// ADR-115: сервис вложений собирается внутри фабрики роутов сессий, куда
|
|
621
|
+
// метрики не прокинуть — ставим хуки в sink коллектора (снимается на stop).
|
|
622
|
+
stopMetricsCollectors.push(setAttachmentMetricsHook(attachmentMetrics ?? null));
|
|
163
623
|
stopMetricsCollectors.push(attachBusMetrics(metrics, eventBus));
|
|
164
624
|
stopMetricsCollectors.push(startSessionMetrics(metrics, sessionManager));
|
|
165
625
|
stopMetricsCollectors.push(startStorageMetrics(metrics, {
|
|
@@ -179,7 +639,16 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
179
639
|
stopMetricsCollectors.push(registerDecisionMetrics(metrics));
|
|
180
640
|
// ADR-094: размер журнала внешних событий (фон, раз в 5 минут).
|
|
181
641
|
stopMetricsCollectors.push(startEventJournalMetrics(metrics, eventJournal));
|
|
642
|
+
// ADR-094/PROP-047: метрики памяти (`synth_memory_*`) — пересчёт на скрейпе.
|
|
643
|
+
stopMetricsCollectors.push(startMemoryMetrics(metrics, {
|
|
644
|
+
facts: storageContext.memoryFacts,
|
|
645
|
+
indexes: storageContext.memoryIndexes,
|
|
646
|
+
}));
|
|
182
647
|
}
|
|
648
|
+
// ADR-107: телеметрия памяти — блоки памяти в промпте хода и recall-запросы
|
|
649
|
+
// плагина памяти. Метрики выключены — телеметрии нет (плагин и ход работают
|
|
650
|
+
// как раньше).
|
|
651
|
+
const memoryTelemetry = metrics ? createMemoryTelemetry(metrics) : undefined;
|
|
183
652
|
// ADR-052 (этап II): исходящие webhooks — реестр подписок (signing-секрет
|
|
184
653
|
// `whsec_…` шифруется at-rest мастер-ключом), append-only журнал доставок и
|
|
185
654
|
// движок над той же шиной `EventBus`, что обслуживает сессии/SSE. Движок
|
|
@@ -216,12 +685,17 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
216
685
|
const providerLoader = (name) => {
|
|
217
686
|
// При старте загружаем все конфиги — JsonStore.list() не подходит для быстрого lookup
|
|
218
687
|
// поэтому кешируем провайдеров в Map
|
|
219
|
-
|
|
688
|
+
const provider = providerCache.get(name);
|
|
689
|
+
// Fail-closed: отключённый администратором провайдер не создаётся ни в чате,
|
|
690
|
+
// ни в ретраях, ни в пайплайнах/эмбеддингах/суммаризации.
|
|
691
|
+
if (!provider || provider.enabled === false)
|
|
692
|
+
return null;
|
|
693
|
+
return provider;
|
|
220
694
|
};
|
|
221
695
|
// ADR-038: синхронизация провайдеров/моделей из переменных окружения (общая
|
|
222
696
|
// core-реализация). Вызывается ПОСЛЕ создания providerStore/modelStore, но ДО
|
|
223
697
|
// заполнения кэшей, чтобы env-провайдеры попали в providerCache/modelCache.
|
|
224
|
-
//
|
|
698
|
+
// ADR-098 (W5): в деградации не пишем в фоллбек.
|
|
225
699
|
if (!storageDegraded)
|
|
226
700
|
await syncProvidersFromEnv(providerStore, modelStore);
|
|
227
701
|
// Кеш провайдеров (заполняется при старте)
|
|
@@ -311,9 +785,44 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
311
785
|
// Orchestrator
|
|
312
786
|
const toolRegistry = createToolRegistry();
|
|
313
787
|
const agentRegistry = createAgentRegistry(toolRegistry, join(dataDir, 'agents'));
|
|
788
|
+
// ADR-090 (Ф3а): **один** реестр провайдеров блоков
|
|
789
|
+
// системного промпта на инстанс — композер добавляет блоки в промпт сессии,
|
|
790
|
+
// фасад плагинов (`PluginRuntime` → `PluginHost`) их регистрирует.
|
|
791
|
+
const promptBlocks = new PromptBlockRegistry();
|
|
792
|
+
// Набор ролей прежней поставки (`pm`/`developer`/`qa`/`analyst`/`auditor`)
|
|
793
|
+
// заменён на `leader`/`fixer`/`tester`/`researcher`/`security-auditor`, но в
|
|
794
|
+
// сторе остаются полные копии прежних встроенных агентов. Без миграции в
|
|
795
|
+
// списке живут две роли сразу, а старая несёт подменённый `contextFile` при
|
|
796
|
+
// прежней идентичности/правах (агент получает чужую роль с чужими правами).
|
|
797
|
+
// Переносим пользовательские настройки в целевого встроенного агента,
|
|
798
|
+
// устаревшую запись удаляем; идемпотентно.
|
|
799
|
+
try {
|
|
800
|
+
const migratedAgents = await migrateLegacyStoredAgents(agentStore);
|
|
801
|
+
if (migratedAgents.length > 0) {
|
|
802
|
+
console.info(`[agents] миграция устаревших агентов: ${migratedAgents.join(', ')}`);
|
|
803
|
+
}
|
|
804
|
+
}
|
|
805
|
+
catch (err) {
|
|
806
|
+
console.warn(`[agents] не удалось мигрировать устаревших агентов: ${err instanceof Error ? err.message : String(err)}`);
|
|
807
|
+
}
|
|
808
|
+
// ADR-096 + ADR-086 §5: агенты из **стора** — в реестр при старте.
|
|
809
|
+
// `createAgentRegistry` читает только файловый каталог `{dataDir}/agents`,
|
|
810
|
+
// а при `storage.backend=postgres` стор агентов — это БД: агент, поставленный
|
|
811
|
+
// пакетом расширения, после рестарта не попадал в реестр → Router не
|
|
812
|
+
// резолвил `agentTemplate` (`resolveAgentTemplate` → `null`) и сессия не
|
|
813
|
+
// создавалась. Merge — как в `GET /api/v2/agents` (override выигрывает).
|
|
814
|
+
try {
|
|
815
|
+
registerStoredAgents(agentRegistry, await agentStore.list());
|
|
816
|
+
}
|
|
817
|
+
catch (err) {
|
|
818
|
+
console.warn(`[agents] не удалось загрузить агентов из стора: ${err instanceof Error ? err.message : String(err)}`);
|
|
819
|
+
}
|
|
314
820
|
// ADR-046: сервис скиллов (discovery + instance-запись + каталог промпта).
|
|
821
|
+
// ADR-116: instance-скиллы — порт слоя хранения (`storageContext.skills`):
|
|
822
|
+
// при `storage.backend=postgres` это метаданные в SQL + содержимое в blobs.
|
|
315
823
|
const skillService = new SkillService({
|
|
316
824
|
dataDir,
|
|
825
|
+
store: storageContext.skills,
|
|
317
826
|
configPaths: config.synth.skills.paths,
|
|
318
827
|
urls: config.synth.skills.urls,
|
|
319
828
|
trustedProjectDirs: config.synth.skills.trustedProjectDirs,
|
|
@@ -336,11 +845,217 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
336
845
|
skillSource: skillService,
|
|
337
846
|
bundleStore,
|
|
338
847
|
});
|
|
848
|
+
// ADR-077: порт исполнения команд. Режим (`inline`/`remote`) — параметр
|
|
849
|
+
// запуска процесса (инвариант 24), поэтому порт собирается здесь, при старте.
|
|
850
|
+
// Тот же порт получают оркестратор (тулы, inline-shell, детект зависимостей)
|
|
851
|
+
// и резолвер проектных инструкций.
|
|
852
|
+
const execution = executionConfig ?? resolveExecutionConfig(config.synth, process.env);
|
|
853
|
+
// ADR-094/ADR-077: метрики пула исполнителей (`synth_executor_*`) — приёмник
|
|
854
|
+
// для клиента удалённого порта (очередь, занятость, ожидание, исход).
|
|
855
|
+
const executorMetrics = metrics ? createExecutorMetricsCollector(metrics) : undefined;
|
|
856
|
+
const executionPort = await createExecutionPortForConfig(execution, executorMetrics ? { metricsSink: executorMetrics } : undefined);
|
|
857
|
+
// PROP-097 (блок 5b): сервис фоновых шелл-процессов (паритет с standalone).
|
|
858
|
+
//
|
|
859
|
+
// Тот же порт исполнения, что у тулов (ADR-077): фон — это лишь способ
|
|
860
|
+
// ожидания, а не отдельный путь исполнения. Учёт прогона — общий реестр
|
|
861
|
+
// фоновых прогонов (`kind: 'process'`), лог — blob-хранилище (ADR-096).
|
|
862
|
+
// В деградированном режиме хранилища сервиса нет (писать некуда).
|
|
863
|
+
const processService = backgroundService
|
|
864
|
+
? new ProcessService({
|
|
865
|
+
executionPort,
|
|
866
|
+
background: backgroundService,
|
|
867
|
+
blobs: storageContext.blobs,
|
|
868
|
+
eventBus,
|
|
869
|
+
limits: { maxLogBytes: config.synth.background.logMaxBytes },
|
|
870
|
+
})
|
|
871
|
+
: undefined;
|
|
872
|
+
// ADR-114: сервис worktree'ов (per-session рабочий каталог).
|
|
873
|
+
//
|
|
874
|
+
// Один инстанс на процесс: его получают HTTP-роуты проектов
|
|
875
|
+
// (`/projects/:id/worktrees*`), тулы `git_worktree_*` и привязка сессии
|
|
876
|
+
// (`PATCH /sessions/:id { worktreeId }`). Порт инвентаря — из контекста
|
|
877
|
+
// хранения (ADR-096); git-команды — через порт исполнения (ADR-077);
|
|
878
|
+
// `onUpdated` публикует `worktree.updated` в каналы сессий проекта
|
|
879
|
+
// (ADR-114 §6, ADR-024). В деградированном режиме хранилища сервиса нет
|
|
880
|
+
// (писать некуда — split-brain).
|
|
881
|
+
const worktreeService = storageDegraded
|
|
882
|
+
? undefined
|
|
883
|
+
: new WorktreeService({
|
|
884
|
+
repository: storageContext.worktrees,
|
|
885
|
+
workspacesRoot: config.workspacesRoot,
|
|
886
|
+
execution: executionPort,
|
|
887
|
+
defaultWorkingDir,
|
|
888
|
+
// Привязанная живая сессия — по полю `session.worktree` (ADR-114 §1.3).
|
|
889
|
+
resolveAttachedSession: async (worktreeId) => {
|
|
890
|
+
const sessions = await sessionManager.listSessions(undefined);
|
|
891
|
+
return sessions.find((s) => s.worktree?.worktreeId === worktreeId)?.id;
|
|
892
|
+
},
|
|
893
|
+
onUpdated: (projectId, detail) => {
|
|
894
|
+
void publishWorktreeUpdated({ eventBus, sessionStore: sessionManager }, {
|
|
895
|
+
projectId,
|
|
896
|
+
...(detail.worktreeId !== undefined ? { worktreeId: detail.worktreeId } : {}),
|
|
897
|
+
action: detail.action,
|
|
898
|
+
});
|
|
899
|
+
},
|
|
900
|
+
});
|
|
901
|
+
// ADR-114 §7.4: sweep осиротевших записей worktree'ов при старте процесса
|
|
902
|
+
// (записи без каталога — их чистит и prune проекта, §7.3). Фоново: старт
|
|
903
|
+
// **не блокируется**, ошибка — в лог, процесс продолжает жить. В деградированном
|
|
904
|
+
// режиме хранилища сервиса нет — вычищать нечего.
|
|
905
|
+
if (worktreeService)
|
|
906
|
+
startWorktreeSweeper(worktreeService);
|
|
907
|
+
// ADR-070 §2.9.1/ADR-101: зависимости окружения (git/rg/sh) — детекция при
|
|
908
|
+
// старте, fail-open при ошибке. Общий для оркестратора и движка пайплайнов
|
|
909
|
+
// (контекст шага, ADR-101 §10).
|
|
910
|
+
//
|
|
911
|
+
// ADR-077: проба бинарников идёт **через порт исполнения** — в split-режиме
|
|
912
|
+
// они ищутся в окружении исполнителя. Порт передаётся здесь: кэш детекции
|
|
913
|
+
// модульный, порт берётся из первого вызова (fail-closed в remote-режиме).
|
|
914
|
+
const runtimeDeps = await detectRuntimeDeps(executionPort);
|
|
915
|
+
// ADR-106 Ф1/Ф2: Authority-слой. Решение считается и пишется в журнал
|
|
916
|
+
// (`{dataDir}/audit/authority.jsonl` через порт). При `authority.enabled`
|
|
917
|
+
// **без** `authority.shadow` решение **применяется** (Ф2): `deny`/`ask`
|
|
918
|
+
// сужают решение permission-слоя. Секция `authority` выключена по умолчанию:
|
|
919
|
+
// слой считает решения только когда его явно включили.
|
|
920
|
+
const authorityPolicy = (await storageContext.authorityPolicy?.getPolicy()) ?? null;
|
|
921
|
+
const authorityGuard = config.synth.authority?.enabled
|
|
922
|
+
? new AuthorityGuard({
|
|
923
|
+
enabled: true,
|
|
924
|
+
shadow: config.synth.authority.shadow,
|
|
925
|
+
journal: storageContext.authorityDecisions,
|
|
926
|
+
policy: authorityPolicy,
|
|
927
|
+
// ADR-094: счётчик решений Authority-слоя (`synth_authority_decisions_total`).
|
|
928
|
+
onDecision: authorityMetrics?.onDecision,
|
|
929
|
+
})
|
|
930
|
+
: undefined;
|
|
931
|
+
// ADR-106 Ф3: реестр подтверждений. Задаётся **только** в enforced-режиме
|
|
932
|
+
// (слой Authority применяет решения): ответ на `permission_reply` принимает
|
|
933
|
+
// лишь носитель покрывающего гранта — не «кто видит сессию» (дыра
|
|
934
|
+
// «`VIEWER` подтверждает мутирующий тул»).
|
|
935
|
+
const approvalRegistry = authorityGuard?.enforced
|
|
936
|
+
? new ApprovalRegistry({
|
|
937
|
+
coverage: createApprovalCoverageResolver({
|
|
938
|
+
policy: authorityPolicy,
|
|
939
|
+
profile: async (sessionId, principal) => {
|
|
940
|
+
const session = await sessionManager.getSession(sessionId);
|
|
941
|
+
const project = session?.projectId
|
|
942
|
+
? await projectStore.load(session.projectId)
|
|
943
|
+
: null;
|
|
944
|
+
return buildApprovalResponderProfile({
|
|
945
|
+
principal,
|
|
946
|
+
sources: { session, project },
|
|
947
|
+
});
|
|
948
|
+
},
|
|
949
|
+
}),
|
|
950
|
+
})
|
|
951
|
+
: undefined;
|
|
952
|
+
/**
|
|
953
|
+
* ADR-115: модальности модели — только из её конфига (каталог провайдера при
|
|
954
|
+
* синхронизации моделей либо ручной override). Справочника модальностей в
|
|
955
|
+
* ядре нет (решение 2026-10-27): не нашли — `undefined`, и гидратация
|
|
956
|
+
* вложений их не фильтрует (ошибку модальности вернёт провайдер).
|
|
957
|
+
*
|
|
958
|
+
* Один резолвер на инстанс: тот же нужен шагам пайплайна (ADR-115 × ADR-101),
|
|
959
|
+
* иначе сессии и прогоны разошлись бы по фильтру модальностей.
|
|
960
|
+
*/
|
|
961
|
+
const resolveModelModalities = (providerName, modelId) => {
|
|
962
|
+
const direct = modelCache.get(`${providerName}/${modelId}`) ?? modelCache.get(modelId);
|
|
963
|
+
if (direct?.modalities?.length)
|
|
964
|
+
return direct.modalities;
|
|
965
|
+
let prefixMatch;
|
|
966
|
+
for (const model of modelCache.values()) {
|
|
967
|
+
if (model.provider !== providerName || !model.modalities?.length)
|
|
968
|
+
continue;
|
|
969
|
+
if (model.name === modelId)
|
|
970
|
+
return model.modalities;
|
|
971
|
+
// В сессии имя может нести суффикс (например, `-1017`).
|
|
972
|
+
if (!prefixMatch && modelId.startsWith(model.name))
|
|
973
|
+
prefixMatch = model.modalities;
|
|
974
|
+
}
|
|
975
|
+
return prefixMatch;
|
|
976
|
+
};
|
|
977
|
+
/**
|
|
978
|
+
* Совместимость протокола по каталогу: `provider.compatibility` (JSON
|
|
979
|
+
* провайдера) + shorthand `ModelConfig.requiresReasoning` +
|
|
980
|
+
* `model.compatibility` (каталог/ручной override). Порядок слоёв —
|
|
981
|
+
* provider → shorthand → модель (модель перекрывает).
|
|
982
|
+
* `undefined` — явных значений нет, работают эвристики провайдера.
|
|
983
|
+
*/
|
|
984
|
+
const resolveModelCompatibility = (providerName, modelId) => {
|
|
985
|
+
const providerCompat = providerCache.get(providerName)?.compatibility;
|
|
986
|
+
let model = modelCache.get(`${providerName}/${modelId}`) ?? modelCache.get(modelId);
|
|
987
|
+
if (!model) {
|
|
988
|
+
for (const candidate of modelCache.values()) {
|
|
989
|
+
if (candidate.provider !== providerName)
|
|
990
|
+
continue;
|
|
991
|
+
if (candidate.name === modelId) {
|
|
992
|
+
model = candidate;
|
|
993
|
+
break;
|
|
994
|
+
}
|
|
995
|
+
}
|
|
996
|
+
}
|
|
997
|
+
const shorthand = model?.requiresReasoning !== undefined
|
|
998
|
+
? { requireReasoning: model.requiresReasoning }
|
|
999
|
+
: undefined;
|
|
1000
|
+
if (!providerCompat && !shorthand && !model?.compatibility)
|
|
1001
|
+
return undefined;
|
|
1002
|
+
return mergeModelCompatibility(providerCompat, shorthand, model?.compatibility);
|
|
1003
|
+
};
|
|
1004
|
+
/**
|
|
1005
|
+
* Лимит вывода модели из каталога (`ModelConfig.maxOutputTokens`): кап для
|
|
1006
|
+
* резолва `max_tokens` и источник значения при авто-лимите сессии.
|
|
1007
|
+
* `undefined` — у модели лимит неизвестен (или не положителен).
|
|
1008
|
+
*/
|
|
1009
|
+
const resolveModelMaxOutputTokens = (providerName, modelId) => {
|
|
1010
|
+
let model = modelCache.get(`${providerName}/${modelId}`) ?? modelCache.get(modelId);
|
|
1011
|
+
if (!model) {
|
|
1012
|
+
for (const candidate of modelCache.values()) {
|
|
1013
|
+
if (candidate.provider !== providerName)
|
|
1014
|
+
continue;
|
|
1015
|
+
if (candidate.name === modelId) {
|
|
1016
|
+
model = candidate;
|
|
1017
|
+
break;
|
|
1018
|
+
}
|
|
1019
|
+
}
|
|
1020
|
+
}
|
|
1021
|
+
return typeof model?.maxOutputTokens === 'number' && model.maxOutputTokens > 0
|
|
1022
|
+
? model.maxOutputTokens
|
|
1023
|
+
: undefined;
|
|
1024
|
+
};
|
|
1025
|
+
/** Доступность провайдера для понятной ошибки хода (`provider_disabled`). */
|
|
1026
|
+
const providerAvailability = (name) => {
|
|
1027
|
+
const provider = providerCache.get(name);
|
|
1028
|
+
if (!provider)
|
|
1029
|
+
return 'missing';
|
|
1030
|
+
return provider.enabled === false ? 'disabled' : 'ok';
|
|
1031
|
+
};
|
|
1032
|
+
/** Включена ли модель (`false` — отключена); нет записи — `undefined`. */
|
|
1033
|
+
const resolveModelEnabled = (providerName, modelId) => {
|
|
1034
|
+
let model = modelCache.get(`${providerName}/${modelId}`) ?? modelCache.get(modelId);
|
|
1035
|
+
if (!model) {
|
|
1036
|
+
for (const candidate of modelCache.values()) {
|
|
1037
|
+
if (candidate.provider !== providerName)
|
|
1038
|
+
continue;
|
|
1039
|
+
if (candidate.name === modelId) {
|
|
1040
|
+
model = candidate;
|
|
1041
|
+
break;
|
|
1042
|
+
}
|
|
1043
|
+
}
|
|
1044
|
+
}
|
|
1045
|
+
return model ? model.enabled !== false : undefined;
|
|
1046
|
+
};
|
|
339
1047
|
const orchestrator = new ChatOrchestrator({
|
|
340
1048
|
sessionManager,
|
|
341
1049
|
eventBus,
|
|
342
1050
|
hooks,
|
|
343
|
-
//
|
|
1051
|
+
// ADR-106 Ф1/Ф2: шов решения Authority-слоя (считает, журналит и —
|
|
1052
|
+
// в enforced-режиме — применяет решение).
|
|
1053
|
+
authorityGate: authorityGuard?.gate,
|
|
1054
|
+
// ADR-106 Ф3: реестр подтверждений (привязка к ходу + носитель гранта).
|
|
1055
|
+
...(approvalRegistry ? { approvalRegistry } : {}),
|
|
1056
|
+
// ADR-077: порт исполнения команд (inline — исполнение в процессе).
|
|
1057
|
+
executionPort,
|
|
1058
|
+
// ADR-102: сборщик `usage`/`decision` роллапов (write-path).
|
|
344
1059
|
analytics,
|
|
345
1060
|
contextBuilder,
|
|
346
1061
|
contextConfig,
|
|
@@ -350,14 +1065,60 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
350
1065
|
dataDir,
|
|
351
1066
|
toolRegistry,
|
|
352
1067
|
agentRegistry,
|
|
1068
|
+
// ADR-090: тот же реестр, что у фасада плагинов
|
|
1069
|
+
// (ниже, `PluginRuntime`) — блоки плагинов попадают в промпт сессии.
|
|
1070
|
+
promptBlocks,
|
|
353
1071
|
mcpManager,
|
|
354
1072
|
projectStore,
|
|
355
1073
|
// Онбординг: тул `profile_update` сохраняет ответы интервью в профиль.
|
|
356
1074
|
profilesStore,
|
|
357
1075
|
// ADR-076 §T6: тот же store, что у git/ssh-роутов — без дублей инстансов.
|
|
358
1076
|
sshKeyStore,
|
|
359
|
-
//
|
|
1077
|
+
// ADR-076: таймауты сетевых git-операций (`git.cloneTimeoutMs`/`fetchTimeoutMs`)
|
|
1078
|
+
// для git-сервиса тулов `project_repo_*`; git-роуты получают те же значения.
|
|
1079
|
+
...(config.synth.git?.cloneTimeoutMs !== undefined
|
|
1080
|
+
? { gitCloneTimeoutMs: config.synth.git.cloneTimeoutMs }
|
|
1081
|
+
: {}),
|
|
1082
|
+
...(config.synth.git?.fetchTimeoutMs !== undefined
|
|
1083
|
+
? { gitFetchTimeoutMs: config.synth.git.fetchTimeoutMs }
|
|
1084
|
+
: {}),
|
|
1085
|
+
// Таймауты git-тулов по классу операции: локальные изменяющие и сетевые.
|
|
1086
|
+
...(config.synth.git?.localTimeoutMs !== undefined
|
|
1087
|
+
? { gitLocalTimeoutMs: config.synth.git.localTimeoutMs }
|
|
1088
|
+
: {}),
|
|
1089
|
+
...(config.synth.git?.networkTimeoutMs !== undefined
|
|
1090
|
+
? { gitNetworkTimeoutMs: config.synth.git.networkTimeoutMs }
|
|
1091
|
+
: {}),
|
|
1092
|
+
// ADR-096 (W2.4): словари классификации — порт из контекста хранения.
|
|
360
1093
|
dictionaryStore,
|
|
1094
|
+
// ADR-115/ADR-116: blob-порт гидратации вложений — из контекста хранения
|
|
1095
|
+
// (managed: тот же корень, что у раздачи/записи blob'ов).
|
|
1096
|
+
blobs: storageContext.blobs,
|
|
1097
|
+
// ADR-115: модальности модели — из её конфига (общий резолвер инстанса,
|
|
1098
|
+
// выше: им же пользуются шаги пайплайнов).
|
|
1099
|
+
resolveModelModalities,
|
|
1100
|
+
// Совместимость протокола (provider+model) из каталога.
|
|
1101
|
+
resolveModelCompatibility,
|
|
1102
|
+
// Лимит вывода модели из каталога (кап `max_tokens`) + дефолт `llm.maxTokens`.
|
|
1103
|
+
resolveModelMaxOutputTokens,
|
|
1104
|
+
// Понятные ошибки движка: провайдер/модель отключены — fail-closed.
|
|
1105
|
+
providerAvailability,
|
|
1106
|
+
resolveModelEnabled,
|
|
1107
|
+
defaultMaxOutputTokens: config.synth.llm.maxTokens,
|
|
1108
|
+
// ADR-115: `attachments.workspaceFallback` — материализация отброшенных
|
|
1109
|
+
// вложений в workspace; live-конфиг (проверяется на каждый ход).
|
|
1110
|
+
attachmentsConfig: () => attachmentsSettings.getConfig(),
|
|
1111
|
+
// Политика контекстного окна — live-геттер (перед каждым LLM-вызовом).
|
|
1112
|
+
contextWindowPolicy: () => contextWindowSettings.getPolicy(),
|
|
1113
|
+
// Бюджет промпта саб-агента — live-геттер (runtime-настройка из UI).
|
|
1114
|
+
getSubagentMaxInputTokens: () => subagentMaxInputTokensSettings.getValue(),
|
|
1115
|
+
// ADR-115: каталог моделей инстанса для агента (тул `list_models`):
|
|
1116
|
+
// тот же `modelStore`, что у `GET /api/v2/models` (каталог провайдеров +
|
|
1117
|
+
// ручные override), поэтому модальности совпадают с UI.
|
|
1118
|
+
listModels: () => modelStore.list(),
|
|
1119
|
+
// ADR-115: порт ссылок на blob-объекты — для инъекции вложений тулов
|
|
1120
|
+
// (`ToolResult.attachments`, включая `attach_workspace_file`).
|
|
1121
|
+
blobRefs: storageContext.blobRefs,
|
|
361
1122
|
workspacesRoot: config.workspacesRoot,
|
|
362
1123
|
// ADR-075: backend — managed-режим, workspace вне workspacesRoot запрещён.
|
|
363
1124
|
workspaceManaged: true,
|
|
@@ -369,14 +1130,22 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
369
1130
|
decisionConfig: effectiveDecisionSettings,
|
|
370
1131
|
permissionConfig: config.synth.permission,
|
|
371
1132
|
defaultPlanMode: config.synth.session.planMode,
|
|
1133
|
+
// Секция `session.autoTitle` — авто-именование сессии (ранний триггер).
|
|
1134
|
+
...(config.synth.session?.autoTitle ? { autoTitle: config.synth.session.autoTitle } : {}),
|
|
372
1135
|
securityConfig,
|
|
373
1136
|
gatewayConfig,
|
|
374
1137
|
gatewayAuditLogger,
|
|
375
1138
|
gatewayPayloadLogPath,
|
|
376
1139
|
gatewayPatternStore: patternStore,
|
|
1140
|
+
// ADR-090: бюджет времени фильтров LLM-вызовов
|
|
1141
|
+
// (`plugins.llmFilterTimeoutMs`); реестр — `orchestrator.getLlmFilters()`.
|
|
1142
|
+
llmFilterTimeoutMs: config.synth.plugins?.llmFilterTimeoutMs,
|
|
377
1143
|
// ADR-094: реестр метрик (только при `metrics.enabled`) — LLM-вызовы
|
|
378
1144
|
// сессий учитываются и при выключенном LLM Gateway.
|
|
379
1145
|
metrics,
|
|
1146
|
+
// ADR-107: телеметрия блоков памяти в промпте хода
|
|
1147
|
+
// (`synth_memory_context_*`).
|
|
1148
|
+
...(memoryTelemetry ? { onMemoryContext: memoryTelemetry.recordContext } : {}),
|
|
380
1149
|
cachePolicy: config.synth.llm.cache,
|
|
381
1150
|
toolsPolicy,
|
|
382
1151
|
mcpPolicy,
|
|
@@ -384,7 +1153,8 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
384
1153
|
// ADR-046 §4.5: системный hard-gate скиллов (runtime-настройка).
|
|
385
1154
|
skillsDisabled,
|
|
386
1155
|
// ADR-070 §2.9.1: зависимости окружения (git/rg/sh) — детекция при старте.
|
|
387
|
-
|
|
1156
|
+
// Проба бинарников — через тот же порт исполнения (ADR-077).
|
|
1157
|
+
runtimeDeps: await detectRuntimeDeps(executionPort),
|
|
388
1158
|
// ADR-071 §2.6: калибровка chars-per-token по модели (runtime-настройки).
|
|
389
1159
|
tokenRatioLoader: (model) => settingsStore.getTokenRatio(model),
|
|
390
1160
|
onTokenRatioCalibrated: (model, ratio) => settingsStore.setTokenRatio(model, ratio),
|
|
@@ -402,9 +1172,114 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
402
1172
|
// ADR-051: late-bound резолвер активности расписания в сессии (ScheduleStore
|
|
403
1173
|
// создаётся ниже) — включает статический блок `Scheduler` в промпт.
|
|
404
1174
|
isSchedulerActive: (sid) => scheduleStore.hasEnabledTargetFor(sid),
|
|
1175
|
+
// ADR-101/ADR-051: late-bound рантайм автоматизации для встроенных тулов
|
|
1176
|
+
// (`pipeline_*`/`schedule_*`) — движок пайплайнов и шедулер создаются ниже,
|
|
1177
|
+
// поэтому геттер отдаёт актуальный снимок в момент хода.
|
|
1178
|
+
getAutomationRuntime: () => automationRuntime,
|
|
405
1179
|
// «Стоп»: персистентный флаг отмены сессии — прерывает длинный
|
|
406
1180
|
// многоитерационный Tool Use на границе итерации (backoff/гонка).
|
|
407
1181
|
isCancelRequested: async (sid) => (await sessionManager.getSession(sid))?.status.cancelRequested === true,
|
|
1182
|
+
// Этап 1 roadmap 0.13 (блок 3): сервис «вопрос пользователю» — тул
|
|
1183
|
+
// `question` задаёт вопрос и ждёт ответа пользователя.
|
|
1184
|
+
...(questionService ? { questionService } : {}),
|
|
1185
|
+
// Этап 1 roadmap 0.13 (блок 4): единый реестр фоновых прогонов — тул
|
|
1186
|
+
// `task` с `background: true` регистрирует фонового саб-агента и
|
|
1187
|
+
// возвращает управление сразу (PROP-096).
|
|
1188
|
+
...(backgroundService ? { backgroundService } : {}),
|
|
1189
|
+
// ADR-104 × ADR-111/ADR-113: остаток steer-очереди в конце хода — в очередь.
|
|
1190
|
+
requeueSteerMessages: (sessionId, messages, opts) => requeueSteerMessages(sessionId, messages, opts.autostart),
|
|
1191
|
+
// PROP-097: сервис фоновых шелл-процессов — тот же экземпляр, что у
|
|
1192
|
+
// реестра и тула `execute_shell` (через `ctx.extra.processService`).
|
|
1193
|
+
...(processService ? { processService } : {}),
|
|
1194
|
+
// ADR-114: сервис worktree'ов — тулы `git_worktree_*` (инвентарь
|
|
1195
|
+
// per-session рабочих каталогов проекта).
|
|
1196
|
+
...(worktreeService ? { worktreeService } : {}),
|
|
1197
|
+
backgroundEnabled: config.synth.background.enabled,
|
|
1198
|
+
// Предохранитель по объёму промпта саб-агента (`agents.subagentMaxInputTokens`).
|
|
1199
|
+
subagentMaxInputTokens: config.synth.agents.subagentMaxInputTokens,
|
|
1200
|
+
// Лимит глубины вложенности саб-агентов (`agents.subagentDepth`): при
|
|
1201
|
+
// превышении тул `task` отказывает до создания дочерней сессии.
|
|
1202
|
+
subagentDepth: config.synth.agents.subagentDepth,
|
|
1203
|
+
// Общий предел вывода инструментов (`tools.outputMaxLines`/
|
|
1204
|
+
// `tools.outputMaxBytes`) — усечение результата тула с пояснением.
|
|
1205
|
+
toolOutputLimits: {
|
|
1206
|
+
maxLines: config.synth.tools.outputMaxLines ?? DEFAULT_TOOL_OUTPUT_MAX_LINES,
|
|
1207
|
+
maxBytes: config.synth.tools.outputMaxBytes ?? DEFAULT_TOOL_OUTPUT_MAX_BYTES,
|
|
1208
|
+
},
|
|
1209
|
+
});
|
|
1210
|
+
// ADR-090 (Ф5б-2): эффективный конфиг слоя = config.yaml (+env) поверх
|
|
1211
|
+
// runtime-настроек (`settings.json`/PG): админка `/api/v2/settings/plugins`
|
|
1212
|
+
// пишет runtime, рантайм собирается при старте (применение — рестартом,
|
|
1213
|
+
// инвариант 24), поэтому слияние делается **здесь**, а не в рантайме.
|
|
1214
|
+
const effectivePluginsConfig = mergePluginsConfig(config.synth.plugins, await settingsStore.getPlugins());
|
|
1215
|
+
// ADR-090 (Ф5б-1): рантайм плагинов — старт-активация установленного
|
|
1216
|
+
// (`plugins.lock.json` — источник истины), список со статусом активации и
|
|
1217
|
+
// точки `activate`/`deactivate` для HTTP API/CLI (Ф5б-2/3). Реестры — **те же**
|
|
1218
|
+
// экземпляры, что у оркестратора (`promptBlocks`, `getLlmFilters()`, `toolRegistry`).
|
|
1219
|
+
// `plugins.executionEnabled=false` (дефолт) → `activateInstalled()` — no-op.
|
|
1220
|
+
// Ф4б-2: транспорты исполнения плагина (`inline` — в процессе core,
|
|
1221
|
+
// `remote` — отдельный процесс на loopback). Менеджер процессов гасится в
|
|
1222
|
+
// `PluginRuntime.dispose()` при остановке инстанса.
|
|
1223
|
+
const pluginProcessManager = new PluginProcessManager({
|
|
1224
|
+
secretsDir: join(dataDir, 'secrets'),
|
|
1225
|
+
logger: { warn: (message) => console.warn(`[plugin-process] ${message}`) },
|
|
1226
|
+
});
|
|
1227
|
+
// ADR-090 (WP-F): сервис эмбеддингов фасада (`facade.embed`).
|
|
1228
|
+
//
|
|
1229
|
+
// Эмбеддинги плагина идут **тем же** путём, что и остальные LLM-вызовы:
|
|
1230
|
+
// провайдер создаётся `ProviderFactory`, оборачивается в `GatewayProvider`
|
|
1231
|
+
// (`orchestrator.wrapProviderWithGateway`) — значит, работают guard'ы,
|
|
1232
|
+
// обфускация, rate-limit, аудит и embedding-фаза фильтров `llmFilters`
|
|
1233
|
+
// (инвариант 3, ADR-036). Плагин провайдера напрямую не достаёт.
|
|
1234
|
+
//
|
|
1235
|
+
// Провайдер/модель приходят из фасада: конфиг инстанса
|
|
1236
|
+
// (`plugins.embeddingProvider`/`plugins.embeddingModel`) с перекрытием
|
|
1237
|
+
// аргументом вызова. `GatewayProvider.embed` принимает **одну** строку —
|
|
1238
|
+
// батча в v1 нет, поэтому цикл по текстам.
|
|
1239
|
+
const pluginEmbed = async (texts, opts) => {
|
|
1240
|
+
const providerName = opts?.provider?.trim() ?? '';
|
|
1241
|
+
if (!providerName) {
|
|
1242
|
+
throw new PluginFacadeError('plugin.embedding_not_configured', 'Эмбеддинги не сконфигурированы: задайте plugins.embeddingProvider ' +
|
|
1243
|
+
'(или передайте провайдера в вызове facade.embed).');
|
|
1244
|
+
}
|
|
1245
|
+
const sharedConfig = providerLoader(providerName);
|
|
1246
|
+
if (!sharedConfig) {
|
|
1247
|
+
throw new PluginFacadeError('plugin.embedding_not_configured', `Провайдер «${providerName}» не найден в инстансе — эмбеддинги недоступны.`);
|
|
1248
|
+
}
|
|
1249
|
+
const model = opts?.model?.trim() || sharedConfig.defaultModel || '';
|
|
1250
|
+
const provider = orchestrator.wrapProviderWithGateway(ProviderFactory.create(providerName, toCoreProviderConfig(sharedConfig, model, undefined, resolveModelCompatibility(providerName, model))));
|
|
1251
|
+
const vectors = [];
|
|
1252
|
+
for (const text of texts) {
|
|
1253
|
+
vectors.push(await provider.embed(text));
|
|
1254
|
+
}
|
|
1255
|
+
return vectors;
|
|
1256
|
+
};
|
|
1257
|
+
const pluginRuntime = new PluginRuntime({
|
|
1258
|
+
layout: resolvePluginLayout({ dataDir, env: process.env }),
|
|
1259
|
+
config: effectivePluginsConfig,
|
|
1260
|
+
hostVersion: SYNTH_VERSION,
|
|
1261
|
+
audit: storageContext.pluginAudit,
|
|
1262
|
+
lock: storageContext.pluginLock,
|
|
1263
|
+
promptBlocks,
|
|
1264
|
+
llmFilters: orchestrator.getLlmFilters(),
|
|
1265
|
+
tools: toolRegistry,
|
|
1266
|
+
// PROP-047 §2.1: порты памяти инстанса — фасад плагина отдаёт **scoped**
|
|
1267
|
+
// доступ (namespace навязывает хост). Порты обязательны в
|
|
1268
|
+
// `StorageContext`, поэтому сервис доступен всегда.
|
|
1269
|
+
memory: {
|
|
1270
|
+
memoryFacts: storageContext.memoryFacts,
|
|
1271
|
+
memoryIndexes: storageContext.memoryIndexes,
|
|
1272
|
+
},
|
|
1273
|
+
loaders: {
|
|
1274
|
+
inline: createInlinePluginLoader(),
|
|
1275
|
+
remote: createRemotePluginLoader({ processManager: pluginProcessManager }),
|
|
1276
|
+
},
|
|
1277
|
+
processManager: pluginProcessManager,
|
|
1278
|
+
// ADR-090 (WP-F): сервис эмбеддингов фасада — через Gateway (инвариант 3).
|
|
1279
|
+
embed: pluginEmbed,
|
|
1280
|
+
// ADR-107: телеметрия recall/search-запросов памяти
|
|
1281
|
+
// (`synth_memory_recall_*`).
|
|
1282
|
+
...(memoryTelemetry ? { memoryTelemetry: memoryTelemetry.recordRecall } : {}),
|
|
408
1283
|
});
|
|
409
1284
|
const processMessage = orchestrator.createProcessMessage();
|
|
410
1285
|
// ADR-089: ядро маршрутизации внешних событий и единый funnel создания сессий.
|
|
@@ -457,7 +1332,7 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
457
1332
|
displayName: agent.displayName,
|
|
458
1333
|
description: agent.description,
|
|
459
1334
|
})),
|
|
460
|
-
//
|
|
1335
|
+
// ADR-102: персистентные decision-метрики (ось provider/model).
|
|
461
1336
|
analytics,
|
|
462
1337
|
}));
|
|
463
1338
|
// ADR-089: резолвинг `agentTemplate` (события/правила) через `AgentRegistry`:
|
|
@@ -479,6 +1354,22 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
479
1354
|
profiles: profilesStore,
|
|
480
1355
|
getIdentityMap: () => effectiveEventsSettings.identityMap,
|
|
481
1356
|
});
|
|
1357
|
+
// ADR-089/ADR-051: учёт экземпляров пайплайна (ADR-100) — состояние
|
|
1358
|
+
// автомата публикации живёт в ядре (решение владельца), add-on отдаёт
|
|
1359
|
+
// артефакт по id. Трекер работает через порт `storage.pipelines`.
|
|
1360
|
+
const pipelineTracker = new PipelineTracker({ repository: pipelineStore });
|
|
1361
|
+
// ADR-089: дефолтные `provider`/`model` инстанса — общий seam для funnel'а
|
|
1362
|
+
// сессий и движка пайплайнов (ADR-101): приоритет — runtime-пара «Модели»
|
|
1363
|
+
// (provider+model), затем config.yaml (llm.defaultProvider/defaultModel).
|
|
1364
|
+
const resolveLlmDefaults = async () => {
|
|
1365
|
+
const pair = await settingsStore.getDefaultModel();
|
|
1366
|
+
if (pair)
|
|
1367
|
+
return { provider: pair.provider, model: pair.model };
|
|
1368
|
+
return {
|
|
1369
|
+
provider: config.synth.llm.defaultProvider,
|
|
1370
|
+
model: config.synth.llm.defaultModel,
|
|
1371
|
+
};
|
|
1372
|
+
};
|
|
482
1373
|
const requestSessionService = new RequestSessionService({
|
|
483
1374
|
sessionManager,
|
|
484
1375
|
eventRouter,
|
|
@@ -526,20 +1417,15 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
526
1417
|
// — для сессий из внешних событий (materialize ephemeral/bind), чтобы агент
|
|
527
1418
|
// мог ответить без ручной простановки модели. Приоритет: runtime-пара
|
|
528
1419
|
// «Модели» (provider+model), затем config.
|
|
529
|
-
resolveLlmDefaults
|
|
530
|
-
const pair = await settingsStore.getDefaultModel();
|
|
531
|
-
if (pair)
|
|
532
|
-
return { provider: pair.provider, model: pair.model };
|
|
533
|
-
return {
|
|
534
|
-
provider: config.synth.llm.defaultProvider,
|
|
535
|
-
model: config.synth.llm.defaultModel,
|
|
536
|
-
};
|
|
537
|
-
},
|
|
1420
|
+
resolveLlmDefaults,
|
|
538
1421
|
// ADR-089: агент по умолчанию инстанса — чтобы сессия из внешнего события
|
|
539
1422
|
// (auto-bind/bind/ephemeral) фиксировала `settings.agentRole` и UI рисовал
|
|
540
1423
|
// бейдж агента (паритет с `POST /api/v2/sessions`). Источник — админка
|
|
541
1424
|
// «Агенты» (`getDefaultAgentId`) поверх `DEFAULT_AGENT_ID`.
|
|
542
1425
|
resolveDefaultAgent: getDefaultAgentId,
|
|
1426
|
+
// ADR-089/ADR-051: учёт экземпляров пайплайна (ADR-100) — решение с
|
|
1427
|
+
// `pipeline: {id, step}` продвигает автомат пайплайна; учёт best-effort.
|
|
1428
|
+
pipelineTracker,
|
|
543
1429
|
// ADR-089: UI-событие после материализации внешнего события.
|
|
544
1430
|
publish: (type, sessionId, data) => eventBus.publish(sessionId, type, data),
|
|
545
1431
|
deliver: async (sessionId, event, mode, context) => {
|
|
@@ -569,23 +1455,196 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
569
1455
|
if (mode === 'run') {
|
|
570
1456
|
// ADR-036: обфускация user-сообщения ДО сохранения в историю (паритет с
|
|
571
1457
|
// prompt-путём — core routes/sessions.ts).
|
|
572
|
-
await enqueueUserMessage(sessionManager, eventBus, sessionId, message, queueManager, processMessage, (sid, msg) => orchestrator.obfuscateUserMessageForHistory(sid, msg));
|
|
1458
|
+
const queued = await enqueueUserMessage(sessionManager, eventBus, sessionId, message, queueManager, processMessage, (sid, msg) => orchestrator.obfuscateUserMessageForHistory(sid, msg));
|
|
1459
|
+
// ADR-115 × ADR-089: ссылки на вложения события — только после успешной
|
|
1460
|
+
// постановки (иначе GC удалит объект, на который сообщение не ссылается).
|
|
1461
|
+
if (queued) {
|
|
1462
|
+
await addEventAttachmentRefs(storageContext.blobRefs, event, message.id);
|
|
1463
|
+
}
|
|
573
1464
|
}
|
|
574
1465
|
else {
|
|
575
1466
|
// ADR-036: `defer` тоже кладёт сообщение в историю — обфусцируем до
|
|
576
1467
|
// постановки. Старт процессора не выполняем (только очередь владельца).
|
|
577
1468
|
message = await orchestrator.obfuscateUserMessageForHistory(sessionId, message);
|
|
578
|
-
await sessionManager.addPendingMessage(sessionId, message);
|
|
1469
|
+
const queued = await sessionManager.addPendingMessage(sessionId, message);
|
|
1470
|
+
if (queued) {
|
|
1471
|
+
await addEventAttachmentRefs(storageContext.blobRefs, event, message.id);
|
|
1472
|
+
}
|
|
579
1473
|
}
|
|
580
1474
|
},
|
|
581
1475
|
});
|
|
582
1476
|
// ADR-089: ingress-точка приёма внешних событий (Этап 6).
|
|
583
|
-
|
|
1477
|
+
// ADR-115 × ADR-089: сервис вложений проверяет ссылки `attachments[]` события
|
|
1478
|
+
// (объект есть, метаданные совпадают со sidecar) и даёт лимиты
|
|
1479
|
+
// `attachments.maxFilesPerMessage`/`maxBytesPerFile` (runtime-настройки — живые).
|
|
1480
|
+
// ADR-115 × ADR-077: медиа-раннер — единая точка запуска ffmpeg. Inline —
|
|
1481
|
+
// локально, remote — на исполнителе в общем workspace (`requires: ['ffmpeg']`).
|
|
1482
|
+
const mediaRunner = createMediaRunner({
|
|
1483
|
+
blobs: storageContext.blobs,
|
|
1484
|
+
executionPort,
|
|
1485
|
+
workspacesRoot: config.workspacesRoot,
|
|
1486
|
+
log: (message) => console.warn(message),
|
|
1487
|
+
});
|
|
1488
|
+
// ADR-115: серверные миниатюры вложений (content-addressed `.thumbs`).
|
|
1489
|
+
// Настройки (`attachments.thumbnail`: enabled/maxWidthPx) — тот же live-резолвер,
|
|
1490
|
+
// что у `AttachmentService` (runtime-патч применяется без рестарта).
|
|
1491
|
+
const attachmentThumbnails = new ThumbnailService({
|
|
1492
|
+
blobs: storageContext.blobs,
|
|
1493
|
+
runner: mediaRunner,
|
|
1494
|
+
config: () => attachmentsSettings.getConfig().thumbnail,
|
|
1495
|
+
log: (message) => console.warn(message),
|
|
1496
|
+
});
|
|
1497
|
+
const eventAttachmentService = new AttachmentService({
|
|
1498
|
+
blobs: storageContext.blobs,
|
|
1499
|
+
config: () => attachmentsSettings.getConfig(),
|
|
1500
|
+
thumbnails: attachmentThumbnails,
|
|
1501
|
+
});
|
|
1502
|
+
const eventIngress = new EventIngress({
|
|
1503
|
+
requestSessionService,
|
|
1504
|
+
metrics: eventMetrics,
|
|
1505
|
+
attachments: eventAttachmentService,
|
|
1506
|
+
});
|
|
1507
|
+
// ADR-101 (Э5): движок пайплайнов — второй движок рядом с оркестратором
|
|
1508
|
+
// (ADR-101 §1). Собирается в точке сборки (никаких глобальных синглтонов):
|
|
1509
|
+
// шаг пайплайна не сессия, но окружение то же — порты хранилища (ADR-096),
|
|
1510
|
+
// permission-слой (ADR-029), промпт (ADR-070), Gateway (ADR-036).
|
|
1511
|
+
//
|
|
1512
|
+
// HTTP-роутов у движка нет (Э6): он живёт в `deps` и используется
|
|
1513
|
+
// вызывающим кодом (запуск прогона/возобновление — Э6).
|
|
1514
|
+
const pipelinePermissions = {
|
|
1515
|
+
permissionConfig: config.synth.permission,
|
|
1516
|
+
runtimeDeps,
|
|
1517
|
+
};
|
|
1518
|
+
// ADR-036/ADR-101: провайдер шага — **всегда** через `GatewayProvider`
|
|
1519
|
+
// (обёртка оркестратора: та же точка, что у пула провайдеров). Провайдер
|
|
1520
|
+
// не кэшируется — обёртка подхватывает live-конфиг LLM Gateway.
|
|
1521
|
+
// ADR-101 §4 × `AgentDefinition`: провайдер/модель/температура/sampling
|
|
1522
|
+
// агента шага (`ctx.step.agent`) приоритетнее дефолтов инстанса — резолвер
|
|
1523
|
+
// общий с core-точкой сборки (`resolvePipelineStepProvider`).
|
|
1524
|
+
const resolvePipelineProvider = (ctx) => resolvePipelineStepProvider(ctx, {
|
|
1525
|
+
resolveLlmDefaults,
|
|
1526
|
+
loadProviderConfig: providerLoader,
|
|
1527
|
+
toProviderConfig: (shared, model) => toCoreProviderConfig(shared, model, undefined, resolveModelCompatibility(shared.name, model)),
|
|
1528
|
+
createProvider: (name, config, temperature, topP, topK) => ProviderFactory.create(name, config, temperature, topP, topK),
|
|
1529
|
+
wrapProvider: (provider) => orchestrator.wrapProviderWithGateway(provider),
|
|
1530
|
+
});
|
|
1531
|
+
// ADR-101 §9 / ADR-116: артефакты прогонов — байты в общем blob-порте
|
|
1532
|
+
// (отдельного хранилища артефактов нет). Тот же инстанс получают выход `file`
|
|
1533
|
+
// (запись) и HTTP-раздача артефактов прогона (`GET
|
|
1534
|
+
// /pipeline-runs/:runId/artifacts/:name`), иначе route отдавал бы 404.
|
|
1535
|
+
const pipelineArtifacts = new PipelineArtifactStore({
|
|
1536
|
+
blobs: storageContext.blobs,
|
|
1537
|
+
blobRefs: storageContext.blobRefs,
|
|
1538
|
+
});
|
|
1539
|
+
const pipelineEngine = new PipelineEngine({
|
|
1540
|
+
// ADR-096: порты спецификаций пайплайнов и прогонов — из контекста хранения.
|
|
1541
|
+
pipelines: storageContext.projectPipelines,
|
|
1542
|
+
runs: storageContext.pipelineRuns,
|
|
1543
|
+
// ADR-101 §4: исполнители видов шага (tool/script/human/agent).
|
|
1544
|
+
executors: [
|
|
1545
|
+
createToolStepExecutor({ toolRegistry, permissions: pipelinePermissions }),
|
|
1546
|
+
createScriptStepExecutor({ toolRegistry, permissions: pipelinePermissions }),
|
|
1547
|
+
createHumanStepExecutor(),
|
|
1548
|
+
createAgentStepExecutor({ toolRegistry, permissions: pipelinePermissions }),
|
|
1549
|
+
],
|
|
1550
|
+
// ADR-101 §9: выходы пайплайна — сессия/файл/шлюз/none.
|
|
1551
|
+
exits: [
|
|
1552
|
+
createPipelineExitHandler({
|
|
1553
|
+
sessionManager,
|
|
1554
|
+
projectStore,
|
|
1555
|
+
eventBus,
|
|
1556
|
+
ingress: eventIngress,
|
|
1557
|
+
// ADR-116: выход `file` дополнительно кладёт байты в blob-порт —
|
|
1558
|
+
// артефакт прогона переживает очистку workspace.
|
|
1559
|
+
artifacts: pipelineArtifacts,
|
|
1560
|
+
workspacesRoot: config.workspacesRoot,
|
|
1561
|
+
resolveLlmDefaults,
|
|
1562
|
+
// ADR-089: владелец сессии, созданной выходом, — владелец проекта
|
|
1563
|
+
// прогона (резолвится в обработчике выхода). Без проекта владельца нет:
|
|
1564
|
+
// сессия инстансная (видима ADMIN/LEAD) — права уточняются в Э6.
|
|
1565
|
+
onSessionMaterialized: (session) => {
|
|
1566
|
+
const owner = session.ownerId || session.userId;
|
|
1567
|
+
if (!owner)
|
|
1568
|
+
return;
|
|
1569
|
+
void eventHub.subscribeToSession(owner, session.id).catch((e) => console.warn('subscribeToSession failed:', e));
|
|
1570
|
+
},
|
|
1571
|
+
}),
|
|
1572
|
+
],
|
|
1573
|
+
// ADR-101 §2.12: инстансные события прогона (новая шина не заводится).
|
|
1574
|
+
eventBus,
|
|
1575
|
+
// ADR-094: метрики прогонов (`synth_pipeline_*`).
|
|
1576
|
+
metrics: metrics ? createPipelineMetrics(metrics) : undefined,
|
|
1577
|
+
// ADR-101 §4/ADR-070: промпт шага — тем же сборщиком, что у сессий.
|
|
1578
|
+
composer: orchestrator.getComposer(),
|
|
1579
|
+
resolveProvider: resolvePipelineProvider,
|
|
1580
|
+
resolveLlmDefaults,
|
|
1581
|
+
// ADR-115 × ADR-101: вложения прогона — тот же сервис вложений, что у
|
|
1582
|
+
// приёма событий (чтение `attachments/…`, sidecar-метаданные, лимиты) и
|
|
1583
|
+
// тот же blob-порт артефактов, что у HTTP-раздачи (`artifacts/…`).
|
|
1584
|
+
attachments: eventAttachmentService,
|
|
1585
|
+
artifacts: pipelineArtifacts,
|
|
1586
|
+
resolveModalities: resolveModelModalities,
|
|
1587
|
+
deriveAttachment: createPipelineAttachmentDerive({
|
|
1588
|
+
config: () => attachmentsSettings.getConfig(),
|
|
1589
|
+
attachments: eventAttachmentService,
|
|
1590
|
+
blobs: storageContext.blobs,
|
|
1591
|
+
// Инвариант 3: LLM-вызов только через gateway — провайдер aux-модели
|
|
1592
|
+
// обёрнут той же обвязкой, что и провайдер шага.
|
|
1593
|
+
resolveProvider: async (provider, model) => {
|
|
1594
|
+
try {
|
|
1595
|
+
const sharedConfig = providerLoader(provider);
|
|
1596
|
+
if (!sharedConfig)
|
|
1597
|
+
return null;
|
|
1598
|
+
return orchestrator.wrapProviderWithGateway(ProviderFactory.create(provider, toCoreProviderConfig(sharedConfig, model, undefined, resolveModelCompatibility(provider, model))));
|
|
1599
|
+
}
|
|
1600
|
+
catch {
|
|
1601
|
+
return null;
|
|
1602
|
+
}
|
|
1603
|
+
},
|
|
1604
|
+
hasFfmpeg: () => isFfmpegAvailable(executionPort).catch(() => false),
|
|
1605
|
+
executionPort,
|
|
1606
|
+
workspacesRoot: config.workspacesRoot,
|
|
1607
|
+
promptTemplate: (language) => contextConfig.getMediaDeriveTemplate(language),
|
|
1608
|
+
language: 'ru',
|
|
1609
|
+
log: (message) => console.warn(message),
|
|
1610
|
+
}),
|
|
1611
|
+
attachmentsNoticeTemplate: (language) => contextConfig.getAttachmentsDroppedTemplate(language),
|
|
1612
|
+
// ADR-101 §10: контекст шага — те же объекты, что собраны для сессий.
|
|
1613
|
+
projectStore,
|
|
1614
|
+
toolRegistry,
|
|
1615
|
+
mcpManager,
|
|
1616
|
+
instructionsResolver: orchestrator.getInstructionsResolver(),
|
|
1617
|
+
agentRegistry,
|
|
1618
|
+
skillsCatalog: skillService,
|
|
1619
|
+
runtimeDeps,
|
|
1620
|
+
workspacesRoot: config.workspacesRoot,
|
|
1621
|
+
});
|
|
1622
|
+
// ADR-101/ADR-051: движок пайплайнов появился — отдаём его тулам
|
|
1623
|
+
// `pipeline_*` через рантайм автоматизации (late-bound).
|
|
1624
|
+
automationRuntime.engine = pipelineEngine;
|
|
1625
|
+
// ADR-101: встроенные шаблоны пайплайнов инстанса (сид при старте).
|
|
1626
|
+
// Идемпотентно: существующий шаблон не перезаписывается. Ошибка сидирования
|
|
1627
|
+
// **не** роняет старт — только предупреждение в лог. В деградированном
|
|
1628
|
+
// режиме (ADR-098) хранилище read-only — запись не выполняется вовсе.
|
|
1629
|
+
if (!storageDegraded) {
|
|
1630
|
+
try {
|
|
1631
|
+
await ensureBuiltinPipelines({
|
|
1632
|
+
pipelines: storageContext.projectPipelines,
|
|
1633
|
+
logger: {
|
|
1634
|
+
info: (message) => console.log(message),
|
|
1635
|
+
warn: (message) => console.warn(message),
|
|
1636
|
+
},
|
|
1637
|
+
});
|
|
1638
|
+
}
|
|
1639
|
+
catch (err) {
|
|
1640
|
+
console.warn(`[pipelines] не удалось засеять встроенные шаблоны: ${err instanceof Error ? err.message : String(err)}`);
|
|
1641
|
+
}
|
|
1642
|
+
}
|
|
584
1643
|
// ADR-051 (срез) / ADR-089: планировщик публикует cron-события через ingress.
|
|
585
1644
|
// `start()` гейтится конфигом (`scheduler.enabled: false` — тикер не стартует),
|
|
586
1645
|
// ошибки старта логируются и не роняют процесс; остановка — `stopScheduler`.
|
|
587
1646
|
const schedulerTickMs = config.synth.scheduler.tickSec * 1000;
|
|
588
|
-
//
|
|
1647
|
+
// ADR-097: `leaderElection=postgres` требует advisory-локов backend'а
|
|
589
1648
|
// (`storage.backend=postgres`); иначе — предупреждение и AlwaysLeader.
|
|
590
1649
|
if (config.synth.scheduler.leaderElection === 'postgres' && !storageContext.locks) {
|
|
591
1650
|
console.warn('[scheduler] leaderElection=postgres, но backend не предоставляет advisory-локи ' +
|
|
@@ -599,9 +1658,29 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
599
1658
|
defaultEphemeralTtl: effectiveEvents.ephemeralTtl,
|
|
600
1659
|
catchUp: config.synth.scheduler.catchUp,
|
|
601
1660
|
jobRetentionDays: config.synth.scheduler.jobRetentionDays,
|
|
1661
|
+
// ADR-030 (Ф0 ADR-090): хук `schedule_fired` (async, метаданные расписания).
|
|
1662
|
+
hooks,
|
|
602
1663
|
// ADR-094: завершённые Job (outcome + дрейф cron).
|
|
603
1664
|
onJob: schedulerJobMetrics,
|
|
604
|
-
// ADR-
|
|
1665
|
+
// ADR-101: цель расписания `mode:'pipeline'` — прямой запуск прогона.
|
|
1666
|
+
// Прогон идёт в фоне: ждём только `onStarted` (id прогона), не конца.
|
|
1667
|
+
runPipeline: async ({ projectId, pipelineId, version, payload, dedupKey }) => {
|
|
1668
|
+
const started = new Promise((resolve, reject) => {
|
|
1669
|
+
const p = pipelineEngine.run({
|
|
1670
|
+
projectId,
|
|
1671
|
+
pipelineId,
|
|
1672
|
+
...(version !== undefined ? { version } : {}),
|
|
1673
|
+
trigger: { kind: 'schedule', source: 'cron', type: 'schedule_fired', payload, dedupKey },
|
|
1674
|
+
onStarted: resolve,
|
|
1675
|
+
});
|
|
1676
|
+
// Ошибка до старта — reject (Job → error). Ошибка после старта — в журнале
|
|
1677
|
+
// прогона; обработчик снимает unhandled rejection, `reject` уже не сработает.
|
|
1678
|
+
p.catch(reject);
|
|
1679
|
+
});
|
|
1680
|
+
const run = await started;
|
|
1681
|
+
return { runId: run.id };
|
|
1682
|
+
},
|
|
1683
|
+
// ADR-051/ADR-089/ADR-096: тикер стартует только у лидера (default —
|
|
605
1684
|
// AlwaysLeader). `file` — файловый лок на общем dataDir, `postgres` —
|
|
606
1685
|
// session-level advisory-lock драйвера (доступен только при PG-backend).
|
|
607
1686
|
leader: config.synth.scheduler.leaderElection === 'file'
|
|
@@ -615,11 +1694,14 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
615
1694
|
console.warn(`[scheduler] не удалось запустить: ${err instanceof Error ? err.message : String(err)}`);
|
|
616
1695
|
});
|
|
617
1696
|
}
|
|
1697
|
+
// ADR-101/ADR-051: шедулер появился — отдаём его тулам `schedule_*`
|
|
1698
|
+
// через рантайм автоматизации (late-bound).
|
|
1699
|
+
automationRuntime.scheduler = schedulerService;
|
|
618
1700
|
// ADR-092: авто-миграции схемы данных при старте (паритет со standalone-core) —
|
|
619
1701
|
// обязательная страховочная копия + межпроцессный лок. Миграция снапшотов скоупа —
|
|
620
1702
|
// зарегистрированная миграция реестра (`session-scope-snapshots-v1`), отдельный
|
|
621
1703
|
// прямой вызов больше не нужен. Fail-closed: ошибка не глушится.
|
|
622
|
-
//
|
|
1704
|
+
// ADR-098 (W5): в деградации миграции не применяем (фоллбек-каталог пуст —
|
|
623
1705
|
// страховочная копия/миграция были бы доменной записью в фоллбек).
|
|
624
1706
|
if (!storageDegraded) {
|
|
625
1707
|
await applyStartupMigrations({
|
|
@@ -627,7 +1709,7 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
627
1709
|
settingsStore,
|
|
628
1710
|
sessionManager,
|
|
629
1711
|
projectStore,
|
|
630
|
-
//
|
|
1712
|
+
// ADR-097: под PG — advisory-лок драйвера вместо файлового `{dataDir}/migrate`.
|
|
631
1713
|
...(storageContext.locks
|
|
632
1714
|
? { mutex: storageContext.locks.createMutex({ name: 'startup-migrate' }) }
|
|
633
1715
|
: {}),
|
|
@@ -639,7 +1721,9 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
639
1721
|
}
|
|
640
1722
|
return {
|
|
641
1723
|
dataDir,
|
|
642
|
-
//
|
|
1724
|
+
// ADR-106 Ф3: реестр подтверждений (enforced-режим Authority-слоя).
|
|
1725
|
+
approvalRegistry,
|
|
1726
|
+
// ADR-096: контекст хранения инстанса — для операций, которым нужен
|
|
643
1727
|
// целиком (напр. портативный экспорт/импорт проекта, ADR-091).
|
|
644
1728
|
storageContext,
|
|
645
1729
|
// ADR-094: реестр метрик (доменные коллекторы подключаются выше) и
|
|
@@ -654,7 +1738,7 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
654
1738
|
providerStore,
|
|
655
1739
|
modelStore,
|
|
656
1740
|
agentStore,
|
|
657
|
-
//
|
|
1741
|
+
// ADR-096 (W2.4): конфигурационные словари и реестр service-key — из контекста.
|
|
658
1742
|
dictionaries: dictionaryStore,
|
|
659
1743
|
serviceApiKeyStore,
|
|
660
1744
|
contextConfig,
|
|
@@ -668,17 +1752,62 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
668
1752
|
egressLogConfig,
|
|
669
1753
|
securityAudit,
|
|
670
1754
|
egressRequests,
|
|
671
|
-
//
|
|
1755
|
+
// ADR-102 (волна 1): порт пред-агрегированных роллапов аналитики — для роутов отчётов.
|
|
672
1756
|
analyticsRollups,
|
|
673
|
-
//
|
|
1757
|
+
// ADR-102: write-path — сборщик роллапов (+ остановка hook-подписки и pruner'а).
|
|
674
1758
|
analytics,
|
|
675
1759
|
detachAnalyticsHooks,
|
|
676
1760
|
stopAnalyticsRollupPruner,
|
|
677
1761
|
stopEgressLogPruner,
|
|
678
1762
|
mcpManager,
|
|
679
1763
|
mcpRegistryStore,
|
|
1764
|
+
// ADR-105 (Ф3/Ф4): реестр описаний OAuth-провайдеров и сервис слоя доступов
|
|
1765
|
+
// (HTTP-контур `/api/v2/oauth/credentials`).
|
|
1766
|
+
oauthProviders,
|
|
1767
|
+
oauthCredentialService,
|
|
1768
|
+
// ADR-051/ADR-100: порт реестра пайплайнов (определения + экземпляры).
|
|
1769
|
+
pipelines: pipelineStore,
|
|
1770
|
+
// ADR-101 (Э5): движок пайплайнов (второй движок) — HTTP-роутов нет (Э6).
|
|
1771
|
+
pipelineEngine,
|
|
1772
|
+
// ADR-101 §9/ADR-116: хранилище артефактов прогонов поверх blob-порта —
|
|
1773
|
+
// получает HTTP-раздача `GET /pipeline-runs/:runId/artifacts/:name`.
|
|
1774
|
+
pipelineArtifacts,
|
|
1775
|
+
// ADR-115 × ADR-101: сервис вложений — проверка `attachments[]` в теле
|
|
1776
|
+
// запуска прогона (тот же экземпляр, что у приёма событий).
|
|
1777
|
+
pipelineAttachments: eventAttachmentService,
|
|
1778
|
+
// ADR-115: провайдер серверных миниатюр (`?variant=thumb` в роутах вложений).
|
|
1779
|
+
attachmentThumbnails,
|
|
1780
|
+
// ADR-101: реестр активных прогонов — общий для HTTP-роута пайплайнов и
|
|
1781
|
+
// встроенных тулов агента (soft-lock + отмена идущего прогона).
|
|
1782
|
+
pipelineRunControl,
|
|
1783
|
+
// ADR-086 §5: порт реестра установок пакетов расширений.
|
|
1784
|
+
packs: packStore,
|
|
680
1785
|
eventBus,
|
|
681
1786
|
queueManager,
|
|
1787
|
+
// Этап 1 roadmap 0.13 (блок 3): сервис вопросов пользователю (+ pruner).
|
|
1788
|
+
questionService,
|
|
1789
|
+
stopQuestionPruner,
|
|
1790
|
+
// Этап 1 roadmap 0.13 (блок 4): реестр фоновых прогонов (+ pruner).
|
|
1791
|
+
backgroundService,
|
|
1792
|
+
stopBackgroundRunPruner,
|
|
1793
|
+
// PROP-097 (блок 5b): сервис фоновых шелл-процессов (+ pruner логов).
|
|
1794
|
+
processService,
|
|
1795
|
+
stopProcessLogPruner,
|
|
1796
|
+
// ADR-115: GC осиротевших вложений сообщений.
|
|
1797
|
+
stopAttachmentPruner,
|
|
1798
|
+
// ADR-115 × ADR-077: уборка временных каталогов медиа-раннера.
|
|
1799
|
+
stopMediaTempPruner,
|
|
1800
|
+
// ADR-115: живое состояние настроек вложений (сервис/промпт/GC + админ-API).
|
|
1801
|
+
attachmentsSettings,
|
|
1802
|
+
// Политика ограничения контекстного окна (live, админ-API).
|
|
1803
|
+
contextWindowSettings,
|
|
1804
|
+
subagentMaxInputTokensSettings,
|
|
1805
|
+
// Дефолты оптимизации контекста новых сессий (live, админ-API).
|
|
1806
|
+
contextDefaultsSettings,
|
|
1807
|
+
// Instance-wide лимиты заметок сессии (live, админ-API).
|
|
1808
|
+
stickyNotesLimitsSettings,
|
|
1809
|
+
// ADR-114: сервис worktree'ов — HTTP-контур проектов и привязка сессии.
|
|
1810
|
+
worktreeService,
|
|
682
1811
|
webhookStore,
|
|
683
1812
|
webhookDeliveryStore,
|
|
684
1813
|
webhookService,
|
|
@@ -700,6 +1829,12 @@ export async function createBackendDeps(config, storage, metrics) {
|
|
|
700
1829
|
bundleStore,
|
|
701
1830
|
commandService,
|
|
702
1831
|
orchestrator,
|
|
1832
|
+
// ADR-090 (Ф5б-1): рантайм плагинов — старт-активация установленного
|
|
1833
|
+
// (`app.ts`/`main.ts`) и точки для HTTP API/CLI (Ф5б-2/3). `host`+`installer` внутри.
|
|
1834
|
+
pluginRuntime,
|
|
1835
|
+
// ADR-077: порт исполнения — тот же инстанс, что у оркестратора и тулов
|
|
1836
|
+
// (резолвер проектных инструкций берёт его для `git rev-parse`).
|
|
1837
|
+
executionPort,
|
|
703
1838
|
processMessage,
|
|
704
1839
|
eventBindingStore,
|
|
705
1840
|
eventApiKeyStore,
|