devcontour-harness 0.1.0-alpha.26 → 0.1.0-alpha.27
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +9 -2
- package/docs/architecture.md +59 -0
- package/docs/compatibility.md +24 -12
- package/docs/connectors.md +5 -2
- package/docs/contracts.md +47 -25
- package/docs/release-notes/0.1.0-alpha.27.md +36 -0
- package/docs/review-protocol.md +10 -4
- package/docs/toolchains.md +83 -0
- package/docs/upgrade.md +10 -0
- package/lib/cli.js +13 -0
- package/lib/contracts/cli.d.ts +124 -0
- package/lib/contracts/cli.js +66 -0
- package/lib/contracts/policy.d.ts +30 -0
- package/lib/contracts/policy.js +23 -0
- package/lib/contracts/published.d.ts +8 -0
- package/lib/control/harness.d.ts +12 -0
- package/lib/control/harness.js +4 -0
- package/lib/control/review.js +6 -1
- package/lib/engine/joint-runner.js +34 -1
- package/lib/engine/runner.d.ts +29 -0
- package/lib/engine/runner.js +200 -2
- package/lib/engine/worktree-cleanup.d.ts +131 -0
- package/lib/engine/worktree-cleanup.js +520 -0
- package/lib/environment/isolation.d.ts +1 -0
- package/lib/environment/isolation.js +2 -1
- package/lib/environment/os-tools.d.ts +4 -2
- package/lib/environment/os-tools.js +4 -2
- package/lib/environment/process.d.ts +5 -0
- package/lib/environment/process.js +40 -17
- package/lib/environment/resources.d.ts +9 -0
- package/lib/environment/resources.js +24 -0
- package/lib/index.d.ts +1 -0
- package/lib/index.js +1 -0
- package/lib/integrations/connector/commands.d.ts +2 -1
- package/lib/integrations/connector/commands.js +10 -2
- package/lib/integrations/connector/store.d.ts +1 -1
- package/lib/integrations/connector/store.js +11 -6
- package/lib/profiles/resolve.d.ts +6 -0
- package/lib/toolchains/inspect.d.ts +1 -1
- package/lib/toolchains/inspect.js +29 -1
- package/lib/toolchains/probe.d.ts +16 -0
- package/lib/toolchains/probe.js +20 -0
- package/lib/verification/confirm.d.ts +3 -1
- package/lib/verification/confirm.js +16 -2
- package/lib/verification/dependencies.d.ts +3 -0
- package/lib/verification/dependencies.js +11 -0
- package/lib/verification/dependency-store.d.ts +117 -0
- package/lib/verification/dependency-store.js +811 -0
- package/lib/verification/gates-at.js +18 -0
- package/package.json +1 -1
- package/schemas/execution-policy.schema.json +34 -0
|
@@ -245,22 +245,37 @@ export function hostGitArgs(cwd, args) {
|
|
|
245
245
|
assertTrustedCheckout(cwd);
|
|
246
246
|
return [...gitHardening, ...args];
|
|
247
247
|
}
|
|
248
|
+
const gitEnv = () => ({
|
|
249
|
+
...process.env,
|
|
250
|
+
GIT_TERMINAL_PROMPT: '0',
|
|
251
|
+
GIT_AUTHOR_NAME: 'devcontour-harness',
|
|
252
|
+
GIT_AUTHOR_EMAIL: 'harness@localhost',
|
|
253
|
+
GIT_COMMITTER_NAME: 'devcontour-harness',
|
|
254
|
+
GIT_COMMITTER_EMAIL: 'harness@localhost',
|
|
255
|
+
});
|
|
256
|
+
/**
|
|
257
|
+
* Вывод git целиком. `git` хранит только хвост вывода (предел `command`): для
|
|
258
|
+
* содержимого файла, которое разбирают, усечение незаметно и опасно.
|
|
259
|
+
*/
|
|
260
|
+
export async function gitOutput(cwd, ...args) {
|
|
261
|
+
let text = '';
|
|
262
|
+
const result = await command(['git', ...hostGitArgs(cwd, args)], cwd, {
|
|
263
|
+
env: gitEnv(),
|
|
264
|
+
onRawStdout: (chunk) => {
|
|
265
|
+
text += chunk;
|
|
266
|
+
},
|
|
267
|
+
});
|
|
268
|
+
if (result.code !== 0)
|
|
269
|
+
throw new Error(`git ${args[0]}: ${result.stderr.trim()}`);
|
|
270
|
+
return text.trim();
|
|
271
|
+
}
|
|
248
272
|
export async function git(cwd, ...args) {
|
|
249
273
|
const added = worktreeAddPath(args);
|
|
250
274
|
// Путь убираемого дерева — до удаления: потом настоящий путь уже не узнать.
|
|
251
275
|
const removed = args[0] === 'worktree' && args[1] === 'remove'
|
|
252
276
|
? worktreeKey(resolve(cwd, args.at(-1)))
|
|
253
277
|
: undefined;
|
|
254
|
-
const result = await command(['git', ...hostGitArgs(cwd, args)], cwd, {
|
|
255
|
-
env: {
|
|
256
|
-
...process.env,
|
|
257
|
-
GIT_TERMINAL_PROMPT: '0',
|
|
258
|
-
GIT_AUTHOR_NAME: 'devcontour-harness',
|
|
259
|
-
GIT_AUTHOR_EMAIL: 'harness@localhost',
|
|
260
|
-
GIT_COMMITTER_NAME: 'devcontour-harness',
|
|
261
|
-
GIT_COMMITTER_EMAIL: 'harness@localhost',
|
|
262
|
-
},
|
|
263
|
-
});
|
|
278
|
+
const result = await command(['git', ...hostGitArgs(cwd, args)], cwd, { env: gitEnv() });
|
|
264
279
|
if (result.code !== 0)
|
|
265
280
|
throw new Error(`git ${args[0]}: ${result.stderr.trim() || result.stdout.trim()}`);
|
|
266
281
|
if (added)
|
|
@@ -273,9 +288,11 @@ export async function git(cwd, ...args) {
|
|
|
273
288
|
* Вывод системной утилиты или null, если она не выполнилась. Не блокирует
|
|
274
289
|
* event loop. Локаль фиксирована (`osToolEnv`): вывод разбирается.
|
|
275
290
|
*/
|
|
276
|
-
function output(command, args, timeout
|
|
291
|
+
function output(command, args, timeout,
|
|
292
|
+
/** Код выхода, при котором вывод остаётся верным (lsof: часть процессов уже завершилась). */
|
|
293
|
+
partial) {
|
|
277
294
|
return new Promise((resolve) => {
|
|
278
|
-
execFile(command, args, { encoding: 'utf8', env: osToolEnv(), timeout, maxBuffer: 64_000_000 }, (error, stdout) => resolve(error ? null : stdout));
|
|
295
|
+
execFile(command, args, { encoding: 'utf8', env: osToolEnv(), timeout, maxBuffer: 64_000_000 }, (error, stdout) => resolve(error && (!partial || error.code !== partial) ? null : stdout));
|
|
279
296
|
});
|
|
280
297
|
}
|
|
281
298
|
/** Процессы пользователя, в окружении которых есть метка. */
|
|
@@ -334,7 +351,7 @@ async function descendants(root, known) {
|
|
|
334
351
|
* одного из её каталогов. Время старта отсекает процессы пользователя —
|
|
335
352
|
* например, терминал, открытый в worktree раньше.
|
|
336
353
|
*/
|
|
337
|
-
async function inside(dirs, since) {
|
|
354
|
+
async function inside(dirs, since, table) {
|
|
338
355
|
if (!dirs.length)
|
|
339
356
|
return [];
|
|
340
357
|
// lsof и /proc сообщают настоящие пути; временный каталог macOS — за symlink.
|
|
@@ -346,7 +363,7 @@ async function inside(dirs, since) {
|
|
|
346
363
|
return d;
|
|
347
364
|
}
|
|
348
365
|
});
|
|
349
|
-
const started = new Map(
|
|
366
|
+
const started = new Map(table.map((r) => [r.pid, Date.parse(r.start)]));
|
|
350
367
|
// Нечитаемое время старта — не повод оставить процесс: каталоги принадлежат
|
|
351
368
|
// только этой команде, и утечка её потомка хуже ошибочной остановки.
|
|
352
369
|
// Отсекается только процесс, о котором точно известно, что он старше
|
|
@@ -373,7 +390,12 @@ async function inside(dirs, since) {
|
|
|
373
390
|
return [];
|
|
374
391
|
}
|
|
375
392
|
});
|
|
376
|
-
|
|
393
|
+
// Только процессы моложе команды: обход всех процессов пользователя занимает
|
|
394
|
+
// сотни миллисекунд на каждую команду. Код 1 — часть из них уже завершилась.
|
|
395
|
+
const candidates = [...started.keys()].filter((pid) => pid !== process.pid && fresh(pid));
|
|
396
|
+
if (!candidates.length)
|
|
397
|
+
return [];
|
|
398
|
+
const stdout = await output(osTool('lsof'), ['-a', '-d', 'cwd', '-Fpn', '-u', String(process.getuid?.()), '-p', candidates.join(',')], 15000, 1);
|
|
377
399
|
const pids = [];
|
|
378
400
|
let pid = 0;
|
|
379
401
|
for (const line of (stdout ?? '').split('\n')) {
|
|
@@ -392,14 +414,15 @@ async function sweep(mark, seen, dirs, since) {
|
|
|
392
414
|
let left = [];
|
|
393
415
|
for (let attempt = 0; attempt < 20; attempt++) {
|
|
394
416
|
try {
|
|
395
|
-
const
|
|
417
|
+
const rows = await processTable();
|
|
418
|
+
const table = new Map(rows.map((r) => [r.pid, r.start]));
|
|
396
419
|
left = [
|
|
397
420
|
...new Set([
|
|
398
421
|
...(await marked(mark)),
|
|
399
422
|
// Замеченный опросом потомок — только если это тот же процесс, а
|
|
400
423
|
// не новый, получивший освободившийся PID.
|
|
401
424
|
...[...seen].filter(([pid, start]) => table.get(pid) === start).map(([pid]) => pid),
|
|
402
|
-
...(await inside(dirs, since)),
|
|
425
|
+
...(await inside(dirs, since, rows)),
|
|
403
426
|
]),
|
|
404
427
|
];
|
|
405
428
|
}
|
|
@@ -23,6 +23,15 @@ export declare class ResourcePool {
|
|
|
23
23
|
heartbeat(token: string, count: number, ttl: number): void;
|
|
24
24
|
release(token: string): void;
|
|
25
25
|
clearAbandoned(key: string, token: string): void;
|
|
26
|
+
/**
|
|
27
|
+
* Digest манифеста seed зависимостей (`verification/dependency-store.ts`).
|
|
28
|
+
* Лежит здесь, а не рядом с seed: подмена seed вместе с его манифестом не
|
|
29
|
+
* совпадёт с записью, а песочнице база на запись закрыта. От кода с правами
|
|
30
|
+
* хоста (`prepare`, `lifecycle`) закрепление не защищает.
|
|
31
|
+
*/
|
|
32
|
+
seedPin(root: string, key: string): string | undefined;
|
|
33
|
+
setSeedPin(root: string, key: string, digest: string | undefined): void;
|
|
34
|
+
private seedPins;
|
|
26
35
|
close(): void;
|
|
27
36
|
}
|
|
28
37
|
export declare function withResources<T>(config: Pick<ExecutionPolicy, 'resources' | 'leaseMs'> & {
|
|
@@ -71,6 +71,30 @@ export class ResourcePool {
|
|
|
71
71
|
throw new Error('Владелец ресурса ещё работает');
|
|
72
72
|
this.db.prepare('DELETE FROM leases WHERE key=? AND token=?').run(key, token);
|
|
73
73
|
}
|
|
74
|
+
/**
|
|
75
|
+
* Digest манифеста seed зависимостей (`verification/dependency-store.ts`).
|
|
76
|
+
* Лежит здесь, а не рядом с seed: подмена seed вместе с его манифестом не
|
|
77
|
+
* совпадёт с записью, а песочнице база на запись закрыта. От кода с правами
|
|
78
|
+
* хоста (`prepare`, `lifecycle`) закрепление не защищает.
|
|
79
|
+
*/
|
|
80
|
+
seedPin(root, key) {
|
|
81
|
+
this.seedPins();
|
|
82
|
+
const row = this.db
|
|
83
|
+
.prepare('SELECT digest FROM seed_pins WHERE root=? AND key=?')
|
|
84
|
+
.get(root, key);
|
|
85
|
+
return row?.digest;
|
|
86
|
+
}
|
|
87
|
+
setSeedPin(root, key, digest) {
|
|
88
|
+
this.seedPins();
|
|
89
|
+
if (digest === undefined)
|
|
90
|
+
this.db.prepare('DELETE FROM seed_pins WHERE root=? AND key=?').run(root, key);
|
|
91
|
+
else
|
|
92
|
+
this.db.prepare('INSERT OR REPLACE INTO seed_pins VALUES (?,?,?)').run(root, key, digest);
|
|
93
|
+
}
|
|
94
|
+
// Таблица создаётся при первом обращении: база установок без хранилища не меняется.
|
|
95
|
+
seedPins() {
|
|
96
|
+
this.db.exec('CREATE TABLE IF NOT EXISTS seed_pins (root TEXT NOT NULL, key TEXT NOT NULL, digest TEXT NOT NULL, PRIMARY KEY (root, key))');
|
|
97
|
+
}
|
|
74
98
|
close() {
|
|
75
99
|
this.db.close();
|
|
76
100
|
}
|
package/lib/index.d.ts
CHANGED
|
@@ -57,6 +57,7 @@ export { JointRunner, type JointRunnerOptions } from './engine/joint-runner.ts';
|
|
|
57
57
|
export { moveBase, fencedRefMove, type BaseMoved, type RefMove } from './control/base-move.ts';
|
|
58
58
|
export { junitSummary, prepareReportPath, runCheck, runGate, sandboxBlockedHosts, type GateRun, } from './verification/gates.ts';
|
|
59
59
|
export { runGatesAt, type GatesAtContext, type GatesAtInput, type GatesAtResult, } from './verification/gates-at.ts';
|
|
60
|
+
export { dependencyStoreRoot, materializeStore, type StoreContext, type StoreReceipt, } from './verification/dependency-store.ts';
|
|
60
61
|
export { explicitPrerequisites, gatePrerequisites, orderedScope, standaloneScope, } from './verification/gate-scope.ts';
|
|
61
62
|
export { requirementProof, uncoveredGates, unprovenReason } from './verification/proof.ts';
|
|
62
63
|
export { ReviewProbes, probeLimits, observeReproductions } from './agents/review-probe.ts';
|
package/lib/index.js
CHANGED
|
@@ -57,6 +57,7 @@ export { JointRunner } from "./engine/joint-runner.js";
|
|
|
57
57
|
export { moveBase, fencedRefMove } from "./control/base-move.js";
|
|
58
58
|
export { junitSummary, prepareReportPath, runCheck, runGate, sandboxBlockedHosts, } from "./verification/gates.js";
|
|
59
59
|
export { runGatesAt, } from "./verification/gates-at.js";
|
|
60
|
+
export { dependencyStoreRoot, materializeStore, } from "./verification/dependency-store.js";
|
|
60
61
|
export { explicitPrerequisites, gatePrerequisites, orderedScope, standaloneScope, } from "./verification/gate-scope.js";
|
|
61
62
|
export { requirementProof, uncoveredGates, unprovenReason } from "./verification/proof.js";
|
|
62
63
|
export { ReviewProbes, probeLimits, observeReproductions } from "./agents/review-probe.js";
|
|
@@ -207,7 +207,8 @@ export declare class Connector {
|
|
|
207
207
|
/**
|
|
208
208
|
* Прочитать и предпросмотреть снимок; записать graph/context/manifest для
|
|
209
209
|
* `review-plan`/`approve`. Снимок закрепляется в состоянии коннектора по
|
|
210
|
-
* semantic digest: повтор неизменной постановки ничего не
|
|
210
|
+
* semantic digest: повтор неизменной постановки ничего не меняет, а возврат
|
|
211
|
+
* к прежней редакции снова закрепляет её запись (`created: false`).
|
|
211
212
|
*/
|
|
212
213
|
snapshot(outDir?: string): Promise<{
|
|
213
214
|
tasks: {
|
|
@@ -109,7 +109,14 @@ export class Connector {
|
|
|
109
109
|
const file = this.loaded.file;
|
|
110
110
|
if (!this.config.baseline || !file)
|
|
111
111
|
return undefined;
|
|
112
|
-
|
|
112
|
+
let real;
|
|
113
|
+
try {
|
|
114
|
+
real = realpathSync(file);
|
|
115
|
+
}
|
|
116
|
+
catch {
|
|
117
|
+
// Защиту файла, которого уже нет, не проверить: отказ, а не внутренняя ошибка.
|
|
118
|
+
return `Конфигурация коннектора с baseline недоступна после загрузки (${file}): восстановите файл и повторите команду`;
|
|
119
|
+
}
|
|
113
120
|
for (const repo of policy.repositories) {
|
|
114
121
|
const root = resolveFrom(baseDir, repo.path);
|
|
115
122
|
if (!existsSync(root))
|
|
@@ -220,7 +227,8 @@ export class Connector {
|
|
|
220
227
|
/**
|
|
221
228
|
* Прочитать и предпросмотреть снимок; записать graph/context/manifest для
|
|
222
229
|
* `review-plan`/`approve`. Снимок закрепляется в состоянии коннектора по
|
|
223
|
-
* semantic digest: повтор неизменной постановки ничего не
|
|
230
|
+
* semantic digest: повтор неизменной постановки ничего не меняет, а возврат
|
|
231
|
+
* к прежней редакции снова закрепляет её запись (`created: false`).
|
|
224
232
|
*/
|
|
225
233
|
async snapshot(outDir) {
|
|
226
234
|
const snapshot = await this.source.snapshot();
|
|
@@ -99,7 +99,7 @@ export declare class ConnectorStore {
|
|
|
99
99
|
created: boolean;
|
|
100
100
|
};
|
|
101
101
|
snapshot(revision: string): SnapshotRecord | undefined;
|
|
102
|
-
/** Последний снимок
|
|
102
|
+
/** Последний закреплённый снимок графа: порядок записи, а не время создания редакции. */
|
|
103
103
|
latestSnapshot(graphId: string): SnapshotRecord | undefined;
|
|
104
104
|
/** Последний закреплённый снимок любого графа этого коннектора. */
|
|
105
105
|
latestSnapshotAny(): SnapshotRecord | undefined;
|
|
@@ -94,8 +94,15 @@ export class ConnectorStore {
|
|
|
94
94
|
return this.tx(() => {
|
|
95
95
|
const prior = this.snapshot(record.revision);
|
|
96
96
|
// Повтор той же редакции не меняет записанный снимок (и время его создания).
|
|
97
|
-
|
|
97
|
+
// Возврат к прежней редакции снова делает её последней: иначе снимок,
|
|
98
|
+
// совпавший со свежим чтением, не закрепить ничем, кроме новой правки.
|
|
99
|
+
if (prior) {
|
|
100
|
+
this.db
|
|
101
|
+
.prepare(`UPDATE snapshots SET rowid=(SELECT max(rowid) + 1 FROM snapshots)
|
|
102
|
+
WHERE revision=? AND rowid<(SELECT max(rowid) FROM snapshots)`)
|
|
103
|
+
.run(record.revision);
|
|
98
104
|
return { record: prior, created: false };
|
|
105
|
+
}
|
|
99
106
|
const full = { ...record, createdAt: now() };
|
|
100
107
|
this.db
|
|
101
108
|
.prepare('INSERT INTO snapshots VALUES(?, ?, ?, ?)')
|
|
@@ -107,18 +114,16 @@ export class ConnectorStore {
|
|
|
107
114
|
const row = this.db.prepare('SELECT data FROM snapshots WHERE revision=?').get(revision);
|
|
108
115
|
return row ? JSON.parse(row.data) : undefined;
|
|
109
116
|
}
|
|
110
|
-
/** Последний снимок
|
|
117
|
+
/** Последний закреплённый снимок графа: порядок записи, а не время создания редакции. */
|
|
111
118
|
latestSnapshot(graphId) {
|
|
112
119
|
const row = this.db
|
|
113
|
-
.prepare('SELECT data FROM snapshots WHERE graph_id=? ORDER BY
|
|
120
|
+
.prepare('SELECT data FROM snapshots WHERE graph_id=? ORDER BY rowid DESC LIMIT 1')
|
|
114
121
|
.get(graphId);
|
|
115
122
|
return row ? JSON.parse(row.data) : undefined;
|
|
116
123
|
}
|
|
117
124
|
/** Последний закреплённый снимок любого графа этого коннектора. */
|
|
118
125
|
latestSnapshotAny() {
|
|
119
|
-
const row = this.db
|
|
120
|
-
.prepare('SELECT data FROM snapshots ORDER BY created_at DESC, rowid DESC LIMIT 1')
|
|
121
|
-
.get();
|
|
126
|
+
const row = this.db.prepare('SELECT data FROM snapshots ORDER BY rowid DESC LIMIT 1').get();
|
|
122
127
|
return row ? JSON.parse(row.data) : undefined;
|
|
123
128
|
}
|
|
124
129
|
/* ---------------------------------------------------------------- */
|
|
@@ -228,6 +228,12 @@ export declare function repositoryFromProfile(profile: ResolvedProfile, own: Pic
|
|
|
228
228
|
timeoutMs: number;
|
|
229
229
|
}[];
|
|
230
230
|
} | undefined;
|
|
231
|
+
dependencyStore?: {
|
|
232
|
+
manager: "pnpm";
|
|
233
|
+
lockfile: string;
|
|
234
|
+
maxBytes: number;
|
|
235
|
+
timeoutMs: number;
|
|
236
|
+
} | undefined;
|
|
231
237
|
toolchain?: {
|
|
232
238
|
tools: Record<string, string>;
|
|
233
239
|
packageManagers: Record<string, "npm" | "pnpm">;
|
|
@@ -7,7 +7,7 @@ type Field = (string | number)[];
|
|
|
7
7
|
* Коды проблем диагностики toolchain. Каждая проблема называет поле
|
|
8
8
|
* конфигурации (`field`) и, когда причина в файле проекта, — путь (`path`).
|
|
9
9
|
*/
|
|
10
|
-
export declare const toolchainProblemCodes: readonly ["REPOSITORY_MISSING", "CWD_MISSING", "TOOL_MISSING", "TOOL_VERSION", "TOOL_VERSION_UNKNOWN", "TOOL_NOT_LOCKED", "MANIFEST_MISSING", "LOCKFILE_MISSING", "LOCKFILE_AMBIGUOUS", "SCRIPT_UNKNOWN", "TASK_UNKNOWN", "FILTER_UNKNOWN", "INSTALL_UNLOCKED", "UNPINNED", "IF_PRESENT", "CACHE_REPLAY", "REPORT_MISMATCH", "COMPOSITION_CONFLICT", "PROJECT_FILE_MISSING", "SCRIPT_UNRESOLVED", "TOOL_IN_PROJECT"];
|
|
10
|
+
export declare const toolchainProblemCodes: readonly ["REPOSITORY_MISSING", "CWD_MISSING", "TOOL_MISSING", "TOOL_VERSION", "TOOL_VERSION_UNKNOWN", "TOOL_NOT_LOCKED", "MANIFEST_MISSING", "LOCKFILE_MISSING", "LOCKFILE_AMBIGUOUS", "SCRIPT_UNKNOWN", "TASK_UNKNOWN", "FILTER_UNKNOWN", "INSTALL_UNLOCKED", "UNPINNED", "IF_PRESENT", "CACHE_REPLAY", "REPORT_MISMATCH", "COMPOSITION_CONFLICT", "PROJECT_FILE_MISSING", "SCRIPT_UNRESOLVED", "TOOL_IN_PROJECT", "DEPENDENCY_STORE"];
|
|
11
11
|
export type ToolchainProblemCode = (typeof toolchainProblemCodes)[number];
|
|
12
12
|
export interface ToolchainProblem {
|
|
13
13
|
code: ToolchainProblemCode;
|
|
@@ -2,7 +2,7 @@ import { existsSync, realpathSync } from 'node:fs';
|
|
|
2
2
|
import { basename, isAbsolute, posix, resolve, sep } from 'node:path';
|
|
3
3
|
import { HarnessError, } from "../contracts/index.js";
|
|
4
4
|
import { Manifests, goModule, join2, lockedVersion, lockfiles, packageManagerField, scriptsOf, turboTasks, uvLocked, workspacePackages, } from "./manifests.js";
|
|
5
|
-
import { PROBE_TIMEOUT_MS, defaultProbe, moduleVersionOf, resolveExecutable, satisfies, versionOf, } from "./probe.js";
|
|
5
|
+
import { PROBE_TIMEOUT_MS, defaultProbe, dependencyStoreSupports, dependencyStoreVersions, moduleVersionOf, resolveExecutable, satisfies, versionOf, } from "./probe.js";
|
|
6
6
|
/**
|
|
7
7
|
* Коды проблем диагностики toolchain. Каждая проблема называет поле
|
|
8
8
|
* конфигурации (`field`) и, когда причина в файле проекта, — путь (`path`).
|
|
@@ -29,6 +29,7 @@ export const toolchainProblemCodes = [
|
|
|
29
29
|
'PROJECT_FILE_MISSING',
|
|
30
30
|
'SCRIPT_UNRESOLVED',
|
|
31
31
|
'TOOL_IN_PROJECT',
|
|
32
|
+
'DEPENDENCY_STORE',
|
|
32
33
|
];
|
|
33
34
|
/**
|
|
34
35
|
* Исполняемый файл под контролем проекта: его канонический путь (после всех
|
|
@@ -638,6 +639,33 @@ export async function inspectRepository(repo, root, field, options = {}) {
|
|
|
638
639
|
steps('prepare', repo.prepare, [...field, 'prepare']);
|
|
639
640
|
steps('dependencyBuild', repo.dependencyBuild, [...field, 'dependencyBuild']);
|
|
640
641
|
steps('preflight', repo.preflight, [...field, 'preflight']);
|
|
642
|
+
// Хранилище зависимостей — ускорение: что мешает ему, остаётся предупреждением,
|
|
643
|
+
// и работа идёт с обычной установкой.
|
|
644
|
+
if (repo.dependencyStore) {
|
|
645
|
+
const store = repo.dependencyStore;
|
|
646
|
+
const storeField = [...field, 'dependencyStore'];
|
|
647
|
+
if (!m.isFile(store.lockfile))
|
|
648
|
+
warning('LOCKFILE_MISSING', [...storeField, 'lockfile'], 'Хранилищу зависимостей нужен lockfile: ' + store.lockfile);
|
|
649
|
+
const { from, below } = dependencyStoreVersions[store.manager];
|
|
650
|
+
const executable = resolveExecutable(store.manager, PATH);
|
|
651
|
+
if (!executable)
|
|
652
|
+
warning('TOOL_MISSING', [...storeField, 'manager'], `Не найден ${store.manager}`);
|
|
653
|
+
else {
|
|
654
|
+
const found = await probe([store.manager, '--version'], {
|
|
655
|
+
timeoutMs,
|
|
656
|
+
env: { ...env, PATH },
|
|
657
|
+
}).catch(() => undefined);
|
|
658
|
+
const version = versionOf(found?.stdout ?? '');
|
|
659
|
+
if (!version)
|
|
660
|
+
warning('DEPENDENCY_STORE', [...storeField, 'manager'], `Версия ${store.manager} не определена: хранилище не действует, установка обычная`);
|
|
661
|
+
const declared = packageManagerField(m, '.');
|
|
662
|
+
for (const v of [version, declared?.name === store.manager ? declared.version : undefined])
|
|
663
|
+
if (v && !dependencyStoreSupports(store.manager, v))
|
|
664
|
+
warning('DEPENDENCY_STORE', [...storeField, 'manager'], `${store.manager} ${v} вне проверенных версий ${from} … <${below}: хранилище не действует, установка обычная`);
|
|
665
|
+
}
|
|
666
|
+
if (repo.prepare.length)
|
|
667
|
+
warning('DEPENDENCY_STORE', [...storeField], 'prepare идёт на хосте, на integration — над слитым деревом: если шаг исполняет код кандидата, он может изменить seed');
|
|
668
|
+
}
|
|
641
669
|
const lifecycle = repo.lifecycle ?? options.lifecycle;
|
|
642
670
|
const lifecycleField = repo.lifecycle ? [...field, 'lifecycle'] : ['lifecycle'];
|
|
643
671
|
if (lifecycle)
|
|
@@ -26,3 +26,19 @@ export declare function versionOf(output: string): string | undefined;
|
|
|
26
26
|
export declare function moduleVersionOf(output: string): string | undefined;
|
|
27
27
|
/** Требование версии: `1.12.3` — названные компоненты совпадают, `>=1.24` — не ниже. */
|
|
28
28
|
export declare function satisfies(version: string, required: string): boolean;
|
|
29
|
+
/**
|
|
30
|
+
* Версии менеджера, на которых хранилище зависимостей проверено настоящим
|
|
31
|
+
* прогоном. Граница сверху — не осторожность: с pnpm 10.27.0 `pnpm fetch` кладёт
|
|
32
|
+
* в store символическую ссылку `<store>/v10/projects/<hash>`, а seed с ссылками
|
|
33
|
+
* отклоняется; с 11.0.0 pnpm ещё и не читает `npm_config_store_dir`. Вне диапазона
|
|
34
|
+
* хранилище не вмешивается в окружение.
|
|
35
|
+
*/
|
|
36
|
+
export declare const dependencyStoreVersions: {
|
|
37
|
+
readonly pnpm: {
|
|
38
|
+
readonly from: "9.15.0";
|
|
39
|
+
readonly below: "10.27.0";
|
|
40
|
+
};
|
|
41
|
+
};
|
|
42
|
+
export declare function dependencyStoreSupports(manager: keyof typeof dependencyStoreVersions, version: string): boolean;
|
|
43
|
+
/** Версия менеджера из поля `packageManager`: `pnpm@10.12.3+sha512…` → `10.12.3`. */
|
|
44
|
+
export declare function declaredManagerVersion(field: unknown, manager: string): string | undefined;
|
package/lib/toolchains/probe.js
CHANGED
|
@@ -52,3 +52,23 @@ export function satisfies(version, required) {
|
|
|
52
52
|
const have = parse(version);
|
|
53
53
|
return want.every((n, i) => have[i] === n);
|
|
54
54
|
}
|
|
55
|
+
/**
|
|
56
|
+
* Версии менеджера, на которых хранилище зависимостей проверено настоящим
|
|
57
|
+
* прогоном. Граница сверху — не осторожность: с pnpm 10.27.0 `pnpm fetch` кладёт
|
|
58
|
+
* в store символическую ссылку `<store>/v10/projects/<hash>`, а seed с ссылками
|
|
59
|
+
* отклоняется; с 11.0.0 pnpm ещё и не читает `npm_config_store_dir`. Вне диапазона
|
|
60
|
+
* хранилище не вмешивается в окружение.
|
|
61
|
+
*/
|
|
62
|
+
export const dependencyStoreVersions = {
|
|
63
|
+
pnpm: { from: '9.15.0', below: '10.27.0' },
|
|
64
|
+
};
|
|
65
|
+
export function dependencyStoreSupports(manager, version) {
|
|
66
|
+
const { from, below } = dependencyStoreVersions[manager];
|
|
67
|
+
return satisfies(version, '>=' + from) && !satisfies(version, '>=' + below);
|
|
68
|
+
}
|
|
69
|
+
/** Версия менеджера из поля `packageManager`: `pnpm@10.12.3+sha512…` → `10.12.3`. */
|
|
70
|
+
export function declaredManagerVersion(field, manager) {
|
|
71
|
+
if (typeof field !== 'string' || !field.startsWith(manager + '@'))
|
|
72
|
+
return undefined;
|
|
73
|
+
return /^\d+\.\d+\.\d+/.exec(field.slice(manager.length + 1))?.[0];
|
|
74
|
+
}
|
|
@@ -32,8 +32,8 @@ export declare const caseInputSchema: z.ZodObject<{
|
|
|
32
32
|
command: "command";
|
|
33
33
|
tolerance: "tolerance";
|
|
34
34
|
coverage: "coverage";
|
|
35
|
-
add: "add";
|
|
36
35
|
remove: "remove";
|
|
36
|
+
add: "add";
|
|
37
37
|
"replace-expected": "replace-expected";
|
|
38
38
|
checker: "checker";
|
|
39
39
|
}>>;
|
|
@@ -65,6 +65,8 @@ export interface ConfirmContext {
|
|
|
65
65
|
checkout?(repositoryId: string, kind: string, id: string): string;
|
|
66
66
|
/** Источник переменных окружения (по умолчанию — процесс). */
|
|
67
67
|
environment?: NodeJS.ProcessEnv;
|
|
68
|
+
/** База закреплений и аренд хранилища зависимостей. */
|
|
69
|
+
resourceDatabase?: string;
|
|
68
70
|
}
|
|
69
71
|
/** Изменённые закреплённые файлы на SHA: checker должен быть утверждённой редакцией. */
|
|
70
72
|
export declare function staleArtifacts(repoPath: string, sha: string, artifacts: ContractArtifact[]): Promise<string[]>;
|
|
@@ -7,8 +7,10 @@ import { HarnessError, idSchema, } from "../contracts/index.js";
|
|
|
7
7
|
import { OversizedFile, readBounded } from "../environment/bounded-read.js";
|
|
8
8
|
import { executionEnvironment, runSteps, withEnvironment } from "../environment/lifecycle.js";
|
|
9
9
|
import { git, hostGitArgs } from "../environment/process.js";
|
|
10
|
+
import { defaultResourceDatabase } from "../environment/resources.js";
|
|
10
11
|
import { contractDocuments, obligationOf } from "./checks.js";
|
|
11
12
|
import { MAX_CASE_BYTES, canonicalJson, scrubLocalPaths, sha256, } from "./corpus.js";
|
|
13
|
+
import { materializeStore } from "./dependency-store.js";
|
|
12
14
|
import { runCheck } from "./gates.js";
|
|
13
15
|
/**
|
|
14
16
|
* Быстрый маршрут: подтверждённый пример становится обязательным случаем.
|
|
@@ -293,12 +295,24 @@ async function decide(ctx, work, ref, input, source) {
|
|
|
293
295
|
DEVCONTOUR_TASK_ID: work.id,
|
|
294
296
|
DEVCONTOUR_PHASE: 'case',
|
|
295
297
|
}, ctx.environment ?? process.env);
|
|
296
|
-
const
|
|
298
|
+
const limitMs = gate.timeoutMs * 3 + 120000;
|
|
299
|
+
const deadline = Date.now() + limitMs;
|
|
300
|
+
const signal = AbortSignal.timeout(limitMs);
|
|
297
301
|
await withEnvironment(repo.lifecycle ?? ctx.policy.lifecycle, dir, join(io, 'environment'), execution, signal, async () => {
|
|
302
|
+
const boundary = ctx.boundary();
|
|
303
|
+
await materializeStore({
|
|
304
|
+
policy: ctx.policy,
|
|
305
|
+
root: (id) => ctx.checkout?.(id, 'dependency-store', '') ??
|
|
306
|
+
join(ctx.stateDir, 'dependency-store', id),
|
|
307
|
+
repoPath: (r) => ctx.repoPath(r),
|
|
308
|
+
boundary,
|
|
309
|
+
resourceDatabase: ctx.resourceDatabase ?? defaultResourceDatabase(),
|
|
310
|
+
deadline,
|
|
311
|
+
phaseMs: limitMs,
|
|
312
|
+
}, { repo, cwd: dir, execution, signal, dir: io });
|
|
298
313
|
await runSteps(repo.prepare, dir, join(io, 'prepare'), execution, signal);
|
|
299
314
|
const request = join(io, 'case.json');
|
|
300
315
|
await writeFile(request, JSON.stringify({ property: input.property, input: JSON.parse(text) }));
|
|
301
|
-
const boundary = ctx.boundary();
|
|
302
316
|
for (let i = 0; i < 2; i++) {
|
|
303
317
|
const out = join(io, `result-${i}.json`);
|
|
304
318
|
const started = Date.now();
|
|
@@ -1,5 +1,6 @@
|
|
|
1
1
|
import type { ExecutionPolicy } from '../contracts/index.ts';
|
|
2
2
|
import type { AttemptState } from '../contracts/index.ts';
|
|
3
|
+
import { type StoreContext } from './dependency-store.ts';
|
|
3
4
|
type Repo = ExecutionPolicy['repositories'][number];
|
|
4
5
|
export type DependencySnapshot = NonNullable<AttemptState['dependencies']>[number];
|
|
5
6
|
export type DependencyFreshness = NonNullable<AttemptState['dependencyFreshness']>[number];
|
|
@@ -41,6 +42,8 @@ export declare function snapshotDependencies(input: {
|
|
|
41
42
|
path: string;
|
|
42
43
|
sha: string;
|
|
43
44
|
}>;
|
|
45
|
+
/** Хранилище зависимостей для `dependencyBuild` снимков. */
|
|
46
|
+
store?: StoreContext;
|
|
44
47
|
}): Promise<{
|
|
45
48
|
repositoryId: string;
|
|
46
49
|
sha: string;
|
|
@@ -3,6 +3,7 @@ import { mkdir, readFile, realpath, writeFile } from 'node:fs/promises';
|
|
|
3
3
|
import { join, sep } from 'node:path';
|
|
4
4
|
import { git } from "../environment/process.js";
|
|
5
5
|
import { executionEnvironment, runSteps } from "../environment/lifecycle.js";
|
|
6
|
+
import { materializeStore } from "./dependency-store.js";
|
|
6
7
|
/** Зависимости компонентов в топологическом порядке, транзитивно. */
|
|
7
8
|
export function dependencyOrder(repos, ids) {
|
|
8
9
|
const ordered = [];
|
|
@@ -88,6 +89,16 @@ export async function snapshotDependencies(input) {
|
|
|
88
89
|
DEVCONTOUR_RUN_ID: input.runId,
|
|
89
90
|
DEVCONTOUR_COMPONENTS_JSON: JSON.stringify(paths),
|
|
90
91
|
}, input.environment);
|
|
92
|
+
// Подставленное дерево (`overrides`) снимку не принадлежит: его хранилище
|
|
93
|
+
// уже развёрнуто на своей фазе.
|
|
94
|
+
if (input.store && repo.dependencyBuild.length && created.includes(snapshot))
|
|
95
|
+
await materializeStore(input.store, {
|
|
96
|
+
repo,
|
|
97
|
+
cwd: snapshot.path,
|
|
98
|
+
execution,
|
|
99
|
+
signal,
|
|
100
|
+
dir: join(input.artifacts, 'dependency-build', repo.id),
|
|
101
|
+
});
|
|
91
102
|
await runSteps(repo.dependencyBuild, snapshot.path, join(input.artifacts, 'dependency-build', repo.id), execution, signal);
|
|
92
103
|
for (const path of repo.dependencyArtifacts)
|
|
93
104
|
snapshot.artifacts.push({ path, digest: await artifactDigest(snapshot.path, path) });
|
|
@@ -0,0 +1,117 @@
|
|
|
1
|
+
import { type DependencyStorePolicy, type ExecutionPolicy } from '../contracts/index.ts';
|
|
2
|
+
import { type CheckoutRoot } from '../environment/checkout-root.ts';
|
|
3
|
+
import type { executionEnvironment } from '../environment/lifecycle.ts';
|
|
4
|
+
import { runCheck, type Boundary } from './gates.ts';
|
|
5
|
+
/**
|
|
6
|
+
* Хранилище зависимостей: один seed на lockfile целевой ветки и его копия в
|
|
7
|
+
* каждом checkout. Проект ничего не пишет сам: установка остаётся обычным
|
|
8
|
+
* `pnpm install --frozen-lockfile` в его gate, только хранилище уже заполнено.
|
|
9
|
+
*
|
|
10
|
+
* Граница доверия:
|
|
11
|
+
*
|
|
12
|
+
* - Seed собирается только из lockfile целевой ветки — принятой истории.
|
|
13
|
+
* Сам harness не даёт кандидату запустить сборку или выбрать её содержимое:
|
|
14
|
+
* его lockfile только сравнивается с seed (частичное попадание).
|
|
15
|
+
* - Сборка идёт в песочнице проверок с её `isolation.domains`, в каталоге из
|
|
16
|
+
* одного lockfile: `.npmrc`, `.pnpmfile.cjs` и `pnpm-workspace.yaml` проекта
|
|
17
|
+
* туда не попадают, и его хуки не исполняются.
|
|
18
|
+
* - Seed лежит под корнем рабочих деревьев или в каталоге состояния: оба
|
|
19
|
+
* закрыты песочницей на чтение и запись. Копия в checkout принадлежит этому
|
|
20
|
+
* checkout: обратно в seed ничего не возвращается, а integration и следующая
|
|
21
|
+
* попытка получают новую копию.
|
|
22
|
+
* - Проверяются байты копии, а не источника: те, что прочитает менеджер, и без
|
|
23
|
+
* окна между сверкой и копированием. Манифест закреплён в базе ресурсов, вне
|
|
24
|
+
* дерева seed. Несовпадение — отказ от seed с причиной в квитанции.
|
|
25
|
+
* - Байты, докачанные менеджером при частичном попадании, защищены не seed, а
|
|
26
|
+
* lockfile: в дереве кандидата они доверены не больше, чем `node_modules`.
|
|
27
|
+
*
|
|
28
|
+
* Условие границы: шаги `prepare` и `lifecycle` идут на хосте вне песочницы, а на
|
|
29
|
+
* integration — над слитым деревом. Если они исполняют код кандидата (скрипт из
|
|
30
|
+
* репозитория), он работает с правами controller и может изменить seed и базу
|
|
31
|
+
* закреплений: граница seed держится только там, где эти шаги кода кандидата не
|
|
32
|
+
* исполняют. `doctor` предупреждает о хранилище рядом с непустым `prepare`.
|
|
33
|
+
*
|
|
34
|
+
* Отсутствие seed, отказ сборки и частичное попадание сводятся к обычной
|
|
35
|
+
* установке: хранилище — ускорение, и проверка из-за него не падает.
|
|
36
|
+
*/
|
|
37
|
+
type Repo = ExecutionPolicy['repositories'][number];
|
|
38
|
+
type Execution = ReturnType<typeof executionEnvironment>;
|
|
39
|
+
export interface StoreContext {
|
|
40
|
+
policy: Pick<ExecutionPolicy, 'isolation'>;
|
|
41
|
+
/** Каталог seeds репозитория (`dependencyStoreRoot`). */
|
|
42
|
+
root(repositoryId: string): string;
|
|
43
|
+
repoPath(repo: Repo): string;
|
|
44
|
+
/** Граница сборки seed — та же, что у проверок этого контура. */
|
|
45
|
+
boundary: Pick<Boundary, 'hidden' | 'checkouts'>;
|
|
46
|
+
resourceDatabase: string;
|
|
47
|
+
/** Момент (ms), когда истекает время фазы; от остатка считается бюджет хранилища. */
|
|
48
|
+
deadline: number;
|
|
49
|
+
/** Полная длина этого предела фазы: так видно, что фаза пришла с остатком. */
|
|
50
|
+
phaseMs: number;
|
|
51
|
+
}
|
|
52
|
+
export interface StoreReceipt {
|
|
53
|
+
outcome: 'hit' | 'partial' | 'miss';
|
|
54
|
+
manager: DependencyStorePolicy['manager'];
|
|
55
|
+
/** Ключ использованного seed. */
|
|
56
|
+
seed?: string;
|
|
57
|
+
mode?: 'clone' | 'copy';
|
|
58
|
+
/** Seed собран этим вызовом. */
|
|
59
|
+
built?: boolean;
|
|
60
|
+
files?: number;
|
|
61
|
+
bytes?: number;
|
|
62
|
+
durationMs: number;
|
|
63
|
+
/** Причина промаха. */
|
|
64
|
+
reason?: string;
|
|
65
|
+
/** Seeds, от которых отказались: причина отказа. */
|
|
66
|
+
refused?: string[];
|
|
67
|
+
/** Переменные окружения процессов этого checkout. */
|
|
68
|
+
env: NodeJS.ProcessEnv;
|
|
69
|
+
}
|
|
70
|
+
/** Каталог seeds: том рабочих деревьев и уже закрытое песочницей место. */
|
|
71
|
+
export declare function dependencyStoreRoot(placement: CheckoutRoot, stateDir: string, repositoryId: string): string;
|
|
72
|
+
/** Способы размещения дерева; тест подменяет `cloneable`, чтобы проверить обычную копию. */
|
|
73
|
+
export declare const storeTree: {
|
|
74
|
+
/**
|
|
75
|
+
* Предел файлов seed: копия лежит в checkout и входит в сверку защищённых
|
|
76
|
+
* путей. Seed больше неё превратил бы ускорение в отказ каждой проверки.
|
|
77
|
+
*/
|
|
78
|
+
maxFiles: number;
|
|
79
|
+
/**
|
|
80
|
+
* Предел элементов checkout вместе с копией seed. Запас — на то, что проверки
|
|
81
|
+
* допишут в дерево после развёртывания.
|
|
82
|
+
*/
|
|
83
|
+
maxEntries: number;
|
|
84
|
+
/**
|
|
85
|
+
* Меньше этого остатка сборка не начинается и ничего не отмечает: за такое время
|
|
86
|
+
* она не успеет, а опоздавшая фаза не должна закрывать сборку остальным.
|
|
87
|
+
*/
|
|
88
|
+
minBuildMs: number;
|
|
89
|
+
/** Запуск сборки; тест подменяет его: исход гонки с отменой иначе не воспроизвести. */
|
|
90
|
+
run: typeof runCheck;
|
|
91
|
+
/** Запись `.gitignore` хранилища; тест подменяет её, чтобы проверить отказ. */
|
|
92
|
+
ignore: (dest: string) => Promise<void>;
|
|
93
|
+
/**
|
|
94
|
+
* Том клонирует файлы. `cp -c` на другом томе молча копирует, поэтому способ
|
|
95
|
+
* выясняется заранее: от него зависит проверка свободного места.
|
|
96
|
+
*/
|
|
97
|
+
cloneable(from: string, to: string, sample: string, signal: AbortSignal): Promise<boolean>;
|
|
98
|
+
freeBytes(path: string): Promise<number>;
|
|
99
|
+
/** Копия-при-записи порциями: один `cp` на всё дерево вдвое медленнее. */
|
|
100
|
+
clone(from: string, to: string, signal: AbortSignal): Promise<void>;
|
|
101
|
+
copy(from: string, to: string): Promise<void>;
|
|
102
|
+
};
|
|
103
|
+
/**
|
|
104
|
+
* Подготовить хранилище checkout до `prepare` и gates. Промах — обычный исход:
|
|
105
|
+
* исключение бывает только при отмене, а сводка пишется в `dir`.
|
|
106
|
+
* Окружение менеджера дописывается в `execution` (как `withEnvironment` дописывает
|
|
107
|
+
* каталог окружения) и повторяется в квитанции для хостов с окружением на gate.
|
|
108
|
+
*/
|
|
109
|
+
export declare function materializeStore(ctx: StoreContext, input: {
|
|
110
|
+
repo: Repo;
|
|
111
|
+
cwd: string;
|
|
112
|
+
execution: Execution;
|
|
113
|
+
signal: AbortSignal;
|
|
114
|
+
/** Каталог артефактов фазы: квитанция и журнал сборки. */
|
|
115
|
+
dir: string;
|
|
116
|
+
}): Promise<StoreReceipt | undefined>;
|
|
117
|
+
export {};
|