micro-models-agent 2.16.0 → 2.17.1

package/dist/modules/certification/manifest.js

@@ -1,231 +0,0 @@
-// Манифест сертификации: проектный и глобальный (per-user) файлы, мерж и синк bundled-копии.
-import { existsSync, readFileSync, mkdirSync, writeFileSync } from "fs";
-import { dirname, join } from "path";
-import { fileURLToPath } from "url";
-import { homedir } from "os";
-import { MMA_DIR_NAME } from "../../config/paths";
-import { readEnv } from "../../config/env";
-/** Путь к проектному манифесту внутри каталога проекта. */
-export function manifestPath(projectDir) {
-    return join(projectDir, "certification", "certifications.json");
-}
-/** Каталог глобального (per-user) манифеста. Переопределяется для тестов. */
-export function globalManifestDir(override) {
-    return override || readEnv("CERT_HOME") || join(homedir(), MMA_DIR_NAME);
-}
-/** Путь к глобальному манифесту. */
-export function globalManifestPath(override) {
-    return join(globalManifestDir(override), "certifications.json");
-}
-/** Читает проектный манифест; битый/отсутствующий даёт пустой. */
-export function readManifest(projectDir) {
-    const path = manifestPath(projectDir);
-    try {
-        if (existsSync(path)) {
-            const raw = JSON.parse(readFileSync(path, "utf-8"));
-            return { version: 1, certifications: raw.certifications ?? [] };
-        }
-    }
-    catch {
-        /* битый манифест → начинаем с чистого */
-    }
-    return { version: 1, certifications: [] };
-}
-/** Сохраняет проектный манифест (каталог создаётся). */
-export function saveManifest(m, projectDir) {
-    const path = manifestPath(projectDir);
-    mkdirSync(join(projectDir, "certification"), { recursive: true });
-    writeFileSync(path, JSON.stringify(m, null, 2), "utf-8");
-}
-/** Читает глобальный манифест; битый/отсутствующий даёт пустой. */
-export function readGlobalManifest(override) {
-    const path = globalManifestPath(override);
-    try {
-        if (existsSync(path)) {
-            const raw = JSON.parse(readFileSync(path, "utf-8"));
-            return { version: 1, certifications: raw.certifications ?? [] };
-        }
-    }
-    catch {
-        /* битый глобальный манифест → начинаем с чистого */
-    }
-    return { version: 1, certifications: [] };
-}
-/** Сохраняет глобальный манифест. */
-export function saveGlobalManifest(m, override) {
-    const dir = globalManifestDir(override);
-    mkdirSync(dir, { recursive: true });
-    writeFileSync(globalManifestPath(override), JSON.stringify(m, null, 2), "utf-8");
-}
-const certKey = (e) => `${e.model}::${e.providerUrl}`;
-/**
- * Глобальный + проектный манифесты, сведённые по (model, providerUrl). Побеждает
- * БОЛЕЕ НОВАЯ запись (сначала mmaVersion, затем certifiedAt); легаси-проектный
- * манифест свежую глобальную сертификацию больше не затеняет.
- */
-export function readMergedManifest(projectDir, override) {
-    const merged = new Map();
-    for (const e of readGlobalManifest(override).certifications)
-        merged.set(certKey(e), e);
-    for (const e of readManifest(projectDir).certifications) {
-        const key = certKey(e);
-        const existing = merged.get(key);
-        if (!existing || isEntryNewer(e, existing))
-            merged.set(key, e);
-    }
-    return { version: 1, certifications: [...merged.values()] };
-}
-/**
- * Добавляет/обновляет запись в глобальном манифесте по ключу (model, providerUrl).
- * Возвращает обновлённый манифест.
- */
-export function upsertCertification(entry, override) {
-    const m = readGlobalManifest(override);
-    const idx = m.certifications.findIndex((e) => certKey(e) === certKey(entry));
-    if (idx >= 0)
-        m.certifications[idx] = entry;
-    else
-        m.certifications.push(entry);
-    saveGlobalManifest(m, override);
-    return m;
-}
-/**
- * Удаляет запись из глобального и легаси-проектного манифестов.
- * Возвращает флаги, откуда реально удалили.
- */
-export function removeCertification(model, providerUrl, opts) {
-    const key = `${model}::${providerUrl}`;
-    const g = readGlobalManifest(opts?.globalDir);
-    const beforeG = g.certifications.length;
-    g.certifications = g.certifications.filter((e) => certKey(e) !== key);
-    const removedGlobal = g.certifications.length !== beforeG;
-    if (removedGlobal)
-        saveGlobalManifest(g, opts?.globalDir);
-    // В легаси-проектных манифестах запись могла остаться — чистим и их.
-    let removedProject = false;
-    try {
-        const projectDir = opts?.projectDir ?? process.cwd();
-        const p = readManifest(projectDir);
-        const beforeP = p.certifications.length;
-        p.certifications = p.certifications.filter((e) => certKey(e) !== key);
-        if (p.certifications.length !== beforeP) {
-            saveManifest(p, projectDir);
-            removedProject = true;
-        }
-    }
-    catch {
-        /* проектного манифеста нет — нормально */
-    }
-    return { global: removedGlobal, project: removedProject };
-}
-/** True, если запись сделана не на текущей версии MMA (протухла). */
-export function isStale(entry, currentVersion) {
-    return entry.mmaVersion !== currentVersion;
-}
-/** Numeric semver-ish comparison; non-numeric/missing parts count as 0. */
-function compareVersions(a, b) {
-    const pa = String(a ?? "").split(".").map((n) => parseInt(n, 10) || 0);
-    const pb = String(b ?? "").split(".").map((n) => parseInt(n, 10) || 0);
-    const len = Math.max(pa.length, pb.length);
-    for (let i = 0; i < len; i++) {
-        const d = (pa[i] ?? 0) - (pb[i] ?? 0);
-        if (d !== 0)
-            return d > 0 ? 1 : -1;
-    }
-    return 0;
-}
-/**
- * Действительно ли `candidate` новее `current` (сначала mmaVersion, затем
- * certifiedAt)? Защита от даунгрейда свежей сертификации — и при синке
- * bundled-манифеста, и при мерже легаси-проектного.
- */
-function isEntryNewer(candidate, current) {
-    const v = compareVersions(candidate.mmaVersion, current.mmaVersion);
-    if (v !== 0)
-        return v > 0;
-    const ec = Date.parse(candidate.certifiedAt ?? "");
-    const ee = Date.parse(current.certifiedAt ?? "");
-    if (!Number.isNaN(ec) && !Number.isNaN(ee))
-        return ec > ee;
-    return false;
-}
-/** True, если в записи нет провалов и есть хоть один пройденный сценарий. */
-export function isFullyPassed(entry) {
-    return entry.suite.failed === 0 && entry.suite.passed > 0;
-}
-/**
- * Метка модели: `certified` (всё прошло на текущей версии), `stale` (запись от
- * старой версии) или `none` (нет записи / есть провалы).
- */
-export function getCertMark(model, providerUrl, currentVersion, projectDir, globalOverride) {
-    const m = readMergedManifest(projectDir, globalOverride);
-    const entry = m.certifications.find((e) => e.model === model && e.providerUrl === providerUrl);
-    if (!entry)
-        return "none";
-    if (isStale(entry, currentVersion))
-        return "stale";
-    return isFullyPassed(entry) ? "certified" : "none";
-}
-/** Snapshot file marking which bundled manifest was last synced to the global one. */
-function syncSnapshotPath(override) {
-    return join(globalManifestDir(override), "certifications.synced.json");
-}
-/**
- * Ищет certifications.json, упакованный в установленный пакет MMA.
- * - бандл dist/main.js: <dist>/certification/certifications.json (копирует copy-assets)
- * - исходники:          <repo-root>/certification/certifications.json
- */
-export function bundledManifestPath() {
-    const here = dirname(fileURLToPath(import.meta.url));
-    const candidates = [
-        join(here, "certification", "certifications.json"),
-        join(here, "..", "certification", "certifications.json"),
-        join(here, "..", "..", "..", "certification", "certifications.json"),
-    ];
-    for (const p of candidates) {
-        if (existsSync(p))
-            return p;
-    }
-    return null;
-}
-/**
- * Вливает упакованный (поставляемый с пакетом) манифест в глобальный
- * ~/.mma/certifications.json. Работает раз на старт процесса:
- * bundled-файл при каждом обновлении пакета перезаписывает СВОИ записи;
- * пользовательские сертификации под ДРУГИМИ ключами сохраняются. Снапшот
- * сырого bundled-содержимого фиксирует, что уже синкнуто, чтобы между
- * обновлениями ничего не переписывать.
- */
-export function syncGlobalManifest(override, bundledPathOverride) {
-    try {
-        const bundledPath = bundledPathOverride ?? bundledManifestPath();
-        if (!bundledPath || !existsSync(bundledPath))
-            return { synced: false, reason: "no-bundled" };
-        const raw = readFileSync(bundledPath, "utf-8");
-        const snapshotPath = syncSnapshotPath(override);
-        if (existsSync(snapshotPath) && readFileSync(snapshotPath, "utf-8") === raw) {
-            return { synced: false, reason: "unchanged" };
-        }
-        const bundled = JSON.parse(raw);
-        const current = readGlobalManifest(override);
-        const merged = new Map();
-        for (const e of current.certifications)
-            merged.set(certKey(e), e);
-        for (const e of bundled.certifications ?? []) {
-            const key = certKey(e);
-            const existing = merged.get(key);
-            // Не перезаписываем более свежую пользовательскую сертификацию старой
-            // bundled-копией (иначе запуск CLI затирает только что сделанный certify).
-            if (existing && !isEntryNewer(e, existing))
-                continue;
-            merged.set(key, e);
-        }
-        saveGlobalManifest({ version: 1, certifications: [...merged.values()] }, override);
-        mkdirSync(globalManifestDir(override), { recursive: true });
-        writeFileSync(snapshotPath, raw, "utf-8");
-        return { synced: true, reason: "synced" };
-    }
-    catch {
-        return { synced: false, reason: "error" };
-    }
-}

package/dist/modules/certification/runner.js

@@ -1,233 +0,0 @@
-// Прогон сценариев сертификации: песочница на повтор, запуск MMA, проверки.
-import { spawn } from "child_process";
-import { existsSync, mkdirSync, rmSync, cpSync, writeFileSync, readdirSync, readFileSync, } from "fs";
-import { join, resolve, dirname, relative } from "path";
-import { checkSandbox } from "./fact-checker";
-import { killTree } from "../processes/kill-tree";
-import { toForwardSlash } from "../../tools/path-utils";
-import { projectMmaDir } from "../../config/paths";
-import { MMA_ENV } from "../../config/env";
-/**
- * Прогоняет сценарий N повторов в изолированных песочницах.
- * `pass`, когда прошли не меньше порога; при провале прикладывает диагностику.
- */
-export async function runScenario(scenario, opts) {
-    if (scenario.mode === "skip") {
-        return {
-            id: scenario.id,
-            title: scenario.title,
-            status: "skipped",
-            passed: 0,
-            of: 0,
-        };
-    }
-    const reps = scenario.reps ?? opts.defaultReps;
-    const threshold = Math.min(scenario.passThreshold ?? opts.defaultThreshold, reps);
-    const runner = opts.runner ?? defaultRunner;
-    const timeoutMs = scenario.timeoutMs ?? opts.timeoutMs ?? 300_000;
-    const entryPoint = resolveMmaEntry(opts.mmaRoot);
-    let passed = 0;
-    let firstError;
-    let lastFailedSandbox;
-    for (let i = 1; i <= reps; i++) {
-        const sandbox = join(opts.sandboxBase, `run-${scenario.id}-${i}`);
-        let failures = [];
-        let exitCode = -1;
-        let output = "";
-        try {
-            prepareSandbox(sandbox, scenario, opts.mmaRoot);
-            const args = [
-                entryPoint,
-                "--no-agents-md",
-                "--exit-on-complete",
-                "-d",
-                sandbox,
-                scenario.prompt,
-            ];
-            const env = {
-                ...process.env,
-                [MMA_ENV.MODEL]: opts.model,
-                [MMA_ENV.PROVIDER_BASEURL]: opts.providerUrl,
-                [MMA_ENV.CONTEXT_WINDOW]: String(opts.contextWindow ?? 32000),
-            };
-            if (opts.providerKey)
-                env[MMA_ENV.PROVIDER_APIKEY] = opts.providerKey;
-            // Пишем cert-конфиг, если сценарий объявил оверрайды
-            if (scenario.config && opts.baseConfig) {
-                const merged = deepMergeAny(opts.baseConfig, scenario.config);
-                const certConfigDir = projectMmaDir(sandbox);
-                mkdirSync(certConfigDir, { recursive: true });
-                writeFileSync(join(certConfigDir, "config.json"), JSON.stringify(merged, null, 2), "utf-8");
-                env[MMA_ENV.CONFIG_DIR] = certConfigDir;
-            }
-            const res = await runner(env, opts.mmaRoot, args, timeoutMs);
-            output = `${res.stdout}\n${res.stderr}`;
-            exitCode = res.code ?? -1;
-            const outcome = checkSandbox(sandbox, scenario.checks, exitCode, output);
-            failures = outcome.failures;
-            if (res.timedOut)
-                failures.push(`rep ${i} timed out`);
-        }
-        catch (e) {
-            return {
-                id: scenario.id,
-                title: scenario.title,
-                status: "error",
-                passed,
-                of: reps,
-                error: e.message,
-            };
-        }
-        const pass = failures.length === 0;
-        if (pass)
-            passed++;
-        else {
-            if (!firstError)
-                firstError = failures.join("; ");
-            lastFailedSandbox = sandbox;
-        }
-        opts.onRep?.(scenario.id, i, reps, pass, failures);
-    }
-    const status = passed >= threshold ? "pass" : "fail";
-    const diagnostics = status === "fail" && lastFailedSandbox
-        ? collectDiagnostics(lastFailedSandbox)
-        : undefined;
-    return {
-        id: scenario.id,
-        title: scenario.title,
-        status,
-        passed,
-        of: reps,
-        error: status === "pass" ? undefined : firstError,
-        diagnostics,
-    };
-}
-function prepareSandbox(sandbox, scenario, mmaRoot) {
-    rmSync(sandbox, { recursive: true, force: true });
-    mkdirSync(sandbox, { recursive: true });
-    for (const f of scenario.fixtures ?? []) {
-        const src = join(mmaRoot, f.source);
-        if (!existsSync(src)) {
-            throw new Error(`fixture missing: ${f.source}`);
-        }
-        const dest = join(sandbox, f.dest);
-        mkdirSync(dirname(dest), { recursive: true });
-        cpSync(src, dest);
-    }
-}
-/** Собирает диагностику из проваленной песочницы для понятного фидбэка. */
-export function collectDiagnostics(sandbox) {
-    const lines = [];
-    // Список созданных пользователем файлов (внутренности .mma пропускаем)
-    const files = listFiles(sandbox, sandbox);
-    if (files.length > 0) {
-        lines.push(`  Files created: ${files.join(", ")}`);
-    }
-    else {
-        lines.push("  Files created: (none)");
-    }
-    // Читаем активный план, если есть
-    const planPath = join(projectMmaDir(sandbox), "plans", "active.json");
-    if (existsSync(planPath)) {
-        try {
-            const plan = JSON.parse(readFileSync(planPath, "utf-8"));
-            const steps = plan.steps ?? [];
-            const done = steps.filter((s) => s.status === "done").length;
-            const pending = steps.filter((s) => s.status === "pending" || s.status === "in_progress");
-            lines.push(`  Plan: ${done}/${steps.length} steps done`);
-            if (pending.length > 0) {
-                lines.push(`  Pending: ${pending.map((s) => `#${s.id} ${s.description}`).join("; ")}`);
-            }
-        }
-        catch {
-            /* битый план — пропускаем */
-        }
-    }
-    return lines.join("\n");
-}
-function listFiles(dir, root) {
-    const result = [];
-    try {
-        for (const entry of readdirSync(dir, { withFileTypes: true })) {
-            if (entry.name === ".mma")
-                continue;
-            const abs = join(dir, entry.name);
-            const rel = toForwardSlash(relative(root, abs));
-            if (entry.isDirectory()) {
-                result.push(...listFiles(abs, root));
-            }
-            else {
-                result.push(rel);
-            }
-        }
-    }
-    catch {
-        /* ignore */
-    }
-    return result;
-}
-/** Резолвит точку входа MMA: исходники в dev-дереве, иначе собранный бандл. */
-export function resolveMmaEntry(mmaRoot) {
-    const dev = join(mmaRoot, "src", "cli", "main.ts");
-    if (existsSync(dev))
-        return dev;
-    return join(mmaRoot, "dist", "main.js");
-}
-/** Ищет корень MMA вверх от каталога (по package.json). */
-export function findMmaRoot(fromDir) {
-    const candidates = [resolve(fromDir, "..", "..", ".."), resolve(fromDir, "..")];
-    for (const c of candidates) {
-        if (existsSync(join(c, "package.json")))
-            return c;
-    }
-    return process.cwd();
-}
-/** Дефолтный раннер: спавнит MMA дочерним процессом с таймаутом и киллом дерева. */
-export const defaultRunner = (env, cwd, args, timeoutMs) => new Promise((resolvePromise) => {
-    const child = spawn(process.execPath, args, {
-        cwd,
-        env,
-        windowsHide: true,
-        stdio: ["ignore", "pipe", "pipe"],
-    });
-    let stdout = "";
-    let stderr = "";
-    let timedOut = false;
-    child.stdout?.on("data", (c) => {
-        stdout += c.toString("utf-8");
-    });
-    child.stderr?.on("data", (c) => {
-        stderr += c.toString("utf-8");
-    });
-    const timer = setTimeout(() => {
-        timedOut = true;
-        killTree(child);
-    }, timeoutMs);
-    child.on("close", (code) => {
-        clearTimeout(timer);
-        resolvePromise({ code, stdout, stderr, timedOut });
-    });
-    child.on("error", () => {
-        clearTimeout(timer);
-        resolvePromise({ code: null, stdout, stderr, timedOut });
-    });
-});
-// eslint-disable-next-line @typescript-eslint/no-explicit-any
-function deepMergeAny(target, source) {
-    if (!source || typeof source !== "object")
-        return source;
-    if (!target || typeof target !== "object")
-        return source;
-    const result = { ...target };
-    for (const key of Object.keys(source)) {
-        const sv = source[key];
-        const tv = result[key];
-        if (sv && typeof sv === "object" && !Array.isArray(sv) && tv && typeof tv === "object" && !Array.isArray(tv)) {
-            result[key] = deepMergeAny(tv, sv);
-        }
-        else {
-            result[key] = sv;
-        }
-    }
-    return result;
-}