@quark-fw/clisma 0.1.15 → 0.1.16

package/dist/client.js

@@ -5,6 +5,7 @@ import { buildMigrationPlan, buildSettingsPlan, parseEngineSettings, } from "./m
 import { assertReplicatedSchema } from "./assert-replicated-schema.js";
 import { ensureTablesOnNodes, } from "./ensure-tables-on-nodes.js";
 import { ensureDictionariesOnNodes } from "./ensure-dictionaries-on-nodes.js";
+import { MigrationError } from "./migration-error.js";
 import { runCommand, runQuery, runQueryJson, } from "./query.js";
 export function createClient(schema, options) {
     const database = options.database ?? schema.database ?? "default";
@@ -14,7 +15,9 @@ export function createClient(schema, options) {
         username: options.username,
         password: options.password,
         ...(withDatabase ? { database } : {}),
-        ...(options.requestTimeoutMs ? { request_timeout: options.requestTimeoutMs } : {}),
+        ...(options.requestTimeoutMs
+            ? { request_timeout: options.requestTimeoutMs }
+            : {}),
     });
     const ch = connect(options.url, true);
     // клиенты DDL-нод создаются один раз; основная нода переиспользует `ch`
@@ -23,6 +26,9 @@ export function createClient(schema, options) {
         url,
         client: url === options.url ? ch : connect(url, true),
     }));
+    // источник истины схемы: `url` может быть балансировщиком или нодой вне
+    // ddlNodes, и план с него разошёлся бы с тем, куда пишется DDL
+    const primary = nodes[0];
     const db = {};
     for (const tableName in schema.tables) {
         db[tableName] = new TableClient(database, tableName, schema.tables[tableName], ch);
@@ -69,7 +75,7 @@ export function createClient(schema, options) {
         assertReplicatedSchema(nodes.length, schema.tables);
         if (!opts?.dryRun)
             await ensureDatabase();
-        const result = await ch.query({
+        const result = await primary.client.query({
             query: `
 				SELECT table, name, type
 				FROM system.columns
@@ -92,17 +98,33 @@ export function createClient(schema, options) {
             return { ...plan, settings, executed: [] };
         // план (CREATE недостающих, ALTER ADD/MODIFY) выполняется на первой
         // ноде: реплицируемый ALTER сам разъезжается по репликам, а недостающие
-        // на репликах таблицы докладывает ensureTablesOnNodes копией SHOW CREATE
+        // на репликах таблицы докладывает ensureTablesOnNodes копией SHOW CREATE.
+        // Сбой посередине — MigrationError со списком уже выполненного
         const executed = [];
-        for (const statement of plan.statements) {
-            await ch.command({ query: statement });
-            executed.push({ node: options.url, sql: statement });
+        const run = async (node, sql) => {
+            try {
+                await node.client.command({ query: sql });
+            }
+            catch (cause) {
+                throw new MigrationError({
+                    executed,
+                    failed: { node: node.url, sql },
+                    cause,
+                });
+            }
+            executed.push({ node: node.url, sql });
+        };
+        for (const statement of plan.statements)
+            await run(primary, statement);
+        try {
+            executed.push(...(await ensureEverywhere("replace")));
+        }
+        catch (cause) {
+            throw new MigrationError({ executed, cause });
         }
-        executed.push(...(await ensureEverywhere("replace")));
         for (const statement of settings) {
             const node = nodes.find((n) => n.url === statement.node);
-            await node.client.command({ query: statement.sql });
-            executed.push(statement);
+            await run(node, statement.sql);
         }
         return { ...plan, settings, executed };
     };

package/dist/ddl.js

@@ -5,7 +5,9 @@ import { quoteString, renderEngine, renderKeyList, renderKeyPart, } from "./ddl-
 // список для `SETTINGS` / `MODIFY SETTING`: числа как есть, строки в кавычках
 export function renderSettings(settings) {
     return Object.entries(settings)
-        .map(([key, value]) => typeof value === "number" ? `${key} = ${value}` : `${key} = ${quoteString(value)}`)
+        .map(([key, value]) => typeof value === "number"
+        ? `${key} = ${value}`
+        : `${key} = ${quoteString(value)}`)
         .join(", ");
 }
 export function buildColumnSQL(name, col) {

package/dist/index.d.ts

@@ -11,6 +11,7 @@ export * from "./table-client.js";
 export * from "./rows.js";
 export * from "./migrate.js";
 export * from "./ddl.js";
+export * from "./migration-error.js";
 export * from "./build-create-dictionary-query.js";
 export type { QueryOptions, QueryJsonResult, QuerySettings } from "./query.js";
 export type { DdlNode, DdlStatement } from "./ensure-tables-on-nodes.js";

package/dist/index.js

@@ -11,4 +11,5 @@ export * from "./table-client.js";
 export * from "./rows.js";
 export * from "./migrate.js";
 export * from "./ddl.js";
+export * from "./migration-error.js";
 export * from "./build-create-dictionary-query.js";

package/dist/migrate.js

@@ -11,7 +11,9 @@ export function parseEngineSettings(engineFull) {
     const re = /(\w+)\s*=\s*('(?:[^'\\]|\\.)*'|[^,]+)/g;
     for (const m of engineFull.slice(at + " SETTINGS ".length).matchAll(re)) {
         const raw = m[2].trim();
-        out[m[1]] = raw.startsWith("'") ? raw.slice(1, -1).replace(/\\(.)/g, "$1") : raw;
+        out[m[1]] = raw.startsWith("'")
+            ? raw.slice(1, -1).replace(/\\(.)/g, "$1")
+            : raw;
     }
     return out;
 }

package/dist/migration-error.d.ts

@@ -0,0 +1,10 @@
+import type { DdlStatement } from "./ensure-tables-on-nodes.js";
+export declare class MigrationError extends Error {
+    readonly executed: DdlStatement[];
+    readonly failed?: DdlStatement;
+    constructor(args: {
+        executed: DdlStatement[];
+        failed?: DdlStatement;
+        cause: unknown;
+    });
+}

package/dist/migration-error.js

@@ -0,0 +1,24 @@
+// src/migration-error.ts
+// DDL в ClickHouse не транзакционен: упавший посередине $migrate оставляет
+// выполненную часть на нодах. Без списка выполненного вызывающий не знает,
+// что уже применено, поэтому ошибка несёт его вместе с упавшим оператором.
+export class MigrationError extends Error {
+    // успешно выполненные до сбоя операторы, в порядке выполнения
+    executed;
+    // упавший оператор; нет, если сбой внутри докладки таблиц/словарей на
+    // ноды — тогда их выполненная часть видна только по самим нодам
+    failed;
+    constructor(args) {
+        const reason = args.cause instanceof Error
+            ? args.cause.message
+            : String(args.cause);
+        super(`$migrate failed after ${args.executed.length} statement(s)` +
+            (args.failed
+                ? ` on ${args.failed.node}: ${args.failed.sql}`
+                : "") +
+            `\n${reason}`, { cause: args.cause });
+        this.name = "MigrationError";
+        this.executed = args.executed;
+        this.failed = args.failed;
+    }
+}

package/package.json

@@ -1,6 +1,6 @@
 {
 	"name": "@quark-fw/clisma",
-	"version": "0.1.15",
+	"version": "0.1.16",
 	"description": "Prisma-like typed client and schema migrator for ClickHouse",
 	"keywords": [
 		"clickhouse",
@@ -31,9 +31,9 @@
 	"scripts": {
 		"build": "tsc -p tsconfig.build.json",
 		"typecheck": "tsc --noEmit",
-		"test": "tsx --env-file=./src/test/.env ./src/test/index.ts",
-		"test:unit": "tsx --test src/test/unit.test.ts src/test/ddl.test.ts",
-		"prepublishOnly": "npm run typecheck && npm run test:unit && npm run build"
+		"test:integration": "tsx --env-file=./src/test/.env ./src/test/index.ts",
+		"test": "tsx --test src/test/unit.test.ts src/test/ddl.test.ts src/test/migrate-nodes.test.ts",
+		"prepublishOnly": "npm run typecheck && npm test && npm run build"
 	},
 	"dependencies": {
 		"@clickhouse/client": "^1.17.0"