micro-models-agent 2.16.0 → 2.17.1

package/dist/modules/certification/cli.js

@@ -1,264 +0,0 @@
-// CLI-команды сертификации: прогон сценариев, статусы, список и снятие меток.
-import { rmSync, writeFileSync } from "fs";
-import { join, dirname } from "path";
-import { fileURLToPath } from "url";
-import { existsSync, readFileSync } from "fs";
-import { projectMmaDir } from "../../config/paths";
-import { t } from "../../i18n/index";
-import { pc } from "../../ui/colors";
-import { loadScenarios, filterByTags, filterByScenarios, unknownScenarioIds } from "./loader";
-import { runScenario, findMmaRoot } from "./runner";
-import { readMergedManifest, upsertCertification, removeCertification, isFullyPassed, } from "./manifest";
-import { getDefaultChannel } from "../../output";
-const HERE = dirname(fileURLToPath(import.meta.url));
-const MMA_ROOT = findMmaRoot(HERE);
-function readVersion() {
-    const candidates = [join(MMA_ROOT, "package.json")];
-    for (const p of candidates) {
-        if (existsSync(p)) {
-            try {
-                const raw = JSON.parse(readFileSync(p, "utf-8"));
-                if (raw.version)
-                    return raw.version;
-            }
-            catch {
-                // Битый package.json — откат на версию по умолчанию
-            }
-        }
-    }
-    return "0.0.0";
-}
-/** Разбирает строку тегов через запятую в список `CertTag`. */
-export function parseTags(s) {
-    return s
-        .split(",")
-        .map((x) => x.trim())
-        .filter(Boolean);
-}
-/**
- * Прогоняет выбранные сценарии на модели и сохраняет запись в манифест.
- * Частичный прогон (по id) мержится с предыдущей записью.
- */
-export async function certify(opts) {
-    const providerUrl = opts.providerUrl || opts.config.provider.baseUrl;
-    const { scenarios, errors } = loadScenarios(join(projectMmaDir(opts.projectDir), "certification", "scenarios"));
-    for (const e of errors)
-        getDefaultChannel().writeLine(pc.yellow(`  ${e}`), "stderr");
-    let selected = filterByTags(scenarios, opts.tags);
-    const isPartial = Array.isArray(opts.scenarios) && opts.scenarios.length > 0;
-    if (isPartial) {
-        const unknown = unknownScenarioIds(scenarios, opts.scenarios);
-        if (unknown.length > 0) {
-            getDefaultChannel().writeLine(pc.red(t("cli.cert_scenarios_unknown", {
-                ids: unknown.join(", "),
-                available: scenarios.map((s) => s.id).join(", "),
-            })), "stderr");
-            process.exitCode = 1;
-            return;
-        }
-        // Точечный перепрогон выбирает из ВСЕХ загруженных сценариев (объединение
-        // тегов), а не из отфильтрованного по тегам подмножества — иначе перепрогон
-        // security-сценария с дефолтными core-тегами молча давал пустую выборку.
-        selected = filterByScenarios(scenarios, opts.scenarios);
-    }
-    if (selected.length === 0) {
-        getDefaultChannel().writeLine(pc.red(t("cli.cert_no_scenarios", { tags: opts.tags.join(",") })), "stderr");
-        process.exitCode = 1;
-        return;
-    }
-    const manifest = readMergedManifest(opts.projectDir);
-    const existing = manifest.certifications.find((e) => e.model === opts.name && e.providerUrl === providerUrl);
-    // Полный перепрогон перезаписывает запись и требует --force; частичный
-    // прогон (по id сценариев) по определению — инкрементальное обновление.
-    if (existing && !opts.force && !isPartial) {
-        getDefaultChannel().writeLine(pc.yellow(t("cli.cert_exists", { model: opts.name })), "stderr");
-        getDefaultChannel().writeLine(pc.yellow(t("cli.cert_exists_hint")), "stderr");
-        process.exitCode = 1;
-        return;
-    }
-    getDefaultChannel().writeLine(t("cli.cert_started", { model: opts.name, provider: providerUrl }));
-    const sandboxBase = join(projectMmaDir(process.cwd()), "certification");
-    const results = [];
-    const total = selected.length;
-    let idx = 0;
-    for (const scenario of selected) {
-        idx++;
-        if (scenario.mode === "skip") {
-            getDefaultChannel().writeLine(pc.dim(`[${idx}/${total}] ${scenario.id} ... skipped`));
-            results.push({
-                id: scenario.id,
-                title: scenario.title,
-                status: "skipped",
-                passed: 0,
-                of: 0,
-            });
-            continue;
-        }
-        const res = await runScenario(scenario, {
-            model: opts.name,
-            providerUrl,
-            providerKey: opts.providerKey,
-            contextWindow: opts.contextWindow,
-            mmaRoot: MMA_ROOT,
-            sandboxBase,
-            defaultReps: opts.reps,
-            defaultThreshold: 2,
-            timeoutMs: opts.timeout,
-            baseConfig: opts.config,
-            onRep: (id, rep, reps, passed, failures) => {
-                const word = passed ? pc.green(t("cli.cert_rep_pass")) : pc.red(t("cli.cert_rep_fail"));
-                getDefaultChannel().writeLine(`[${idx}/${total}] ${id} (${rep}/${reps})... ${word}`);
-                if (!passed)
-                    getDefaultChannel().writeLine(`    ${pc.dim(failures.join("; "))}`);
-            },
-        });
-        results.push(res);
-    }
-    if (opts.clean) {
-        try {
-            rmSync(sandboxBase, { recursive: true, force: true });
-        }
-        catch {
-            /* ignore */
-        }
-    }
-    // Частичный прогон: сохраняем прежние результаты неперегнанных сценариев.
-    const runIds = new Set(selected.map((s) => s.id));
-    const finalResults = isPartial && existing ? mergePartialResults(results, existing.results, runIds) : results;
-    const suite = summarize(finalResults);
-    // Только прогон, покрывший ВСЕ сценарии набора, вправе обновить
-    // mmaVersion — частичный оставляет большинство результатов от старого MMA,
-    // и штамп текущей версии выдавал бы их за свежую сертификацию.
-    const ranEntireSuite = scenarios.every((s) => runIds.has(s.id));
-    const entry = {
-        model: opts.name,
-        providerUrl,
-        mmaVersion: ranEntireSuite ? readVersion() : (existing?.mmaVersion ?? readVersion()),
-        certifiedAt: new Date().toISOString(),
-        suite,
-        results: finalResults,
-    };
-    // Сертификации привязаны к паре (модель, providerUrl) — это машинный, а не
-    // проектный скоуп: храним в глобальном манифесте, чтобы метки следовали
-    // за пользователем в любой каталог.
-    upsertCertification(entry);
-    getDefaultChannel().writeLine(t("cli.cert_done", {
-        passed: String(suite.passed),
-        failed: String(suite.failed),
-        skipped: String(suite.skipped),
-        total: String(suite.total),
-    }));
-    printResults(finalResults);
-    if (isFullyPassed(entry)) {
-        getDefaultChannel().writeLine(pc.green(`\n✔ ${opts.name} is certified`));
-    }
-    else {
-        getDefaultChannel().writeLine(pc.yellow(`\n⚠ ${opts.name} is NOT certified — all scenarios must pass`));
-    }
-    // Файл отчёта пишется всегда
-    writeReport(entry, opts.projectDir);
-}
-/** Печатает статус сертификации модели (провайдер, версия, сводка, сценарии). */
-export async function certStatus(name, config, projectDir) {
-    const m = readMergedManifest(projectDir);
-    const providerUrl = config.provider.baseUrl;
-    const entry = m.certifications.find((e) => e.model === name && e.providerUrl === providerUrl);
-    if (!entry) {
-        getDefaultChannel().writeLine(t("cli.cert_not_found", { model: name }));
-        return;
-    }
-    getDefaultChannel().writeLine(`${t("cli.cert_provider_col")}: ${entry.providerUrl}`);
-    getDefaultChannel().writeLine(`${t("cli.cert_version_col")}: ${entry.mmaVersion}  ${t("cli.cert_date_col")}: ${entry.certifiedAt.slice(0, 10)}`);
-    getDefaultChannel().writeLine(`${t("cli.cert_suite_col")}: ${entry.suite.passed} pass / ${entry.suite.failed} fail / ${entry.suite.skipped} skipped`);
-    const status = isFullyPassed(entry) ? pc.green("✔ certified") : pc.yellow("⚠ NOT certified");
-    getDefaultChannel().writeLine(`Status: ${status}`);
-    printResults(entry.results);
-}
-/** Печатает все записи манифеста (модель, провайдер, версия, счёт). */
-export async function certList(projectDir) {
-    const m = readMergedManifest(projectDir);
-    if (m.certifications.length === 0) {
-        getDefaultChannel().writeLine(t("cli.cert_empty"));
-        return;
-    }
-    for (const e of m.certifications) {
-        const mark = isFullyPassed(e) ? pc.green("✔") : pc.red("✘");
-        getDefaultChannel().writeLine(`  ${mark} ${e.model}  ${pc.dim(e.providerUrl)}  ${e.mmaVersion}  ${e.certifiedAt.slice(0, 10)}  ${e.suite.passed}/${e.suite.total} pass`);
-    }
-}
-/** Удаляет запись о сертификации модели из глобального и проектного манифестов. */
-export async function uncertify(name, config, projectDir) {
-    const removed = removeCertification(name, config.provider.baseUrl, {
-        projectDir,
-    });
-    if (removed.global || removed.project)
-        getDefaultChannel().writeLine(t("cli.cert_uncertified", { model: name }));
-    else
-        getDefaultChannel().writeLine(t("cli.cert_not_found", { model: name }));
-}
-function summarize(results) {
-    return {
-        passed: results.filter((r) => r.status === "pass").length,
-        failed: results.filter((r) => r.status === "fail").length,
-        skipped: results.filter((r) => r.status === "skipped").length,
-        total: results.length,
-    };
-}
-/**
- * Сливает результаты частичного прогона с прежней сертификацией: свежие
- * заменяют старые по id сценария; неперегнанные сохраняются как есть.
- */
-export function mergePartialResults(fresh, previous, rerunIds) {
-    const preserved = previous.filter((r) => !rerunIds.has(r.id));
-    if (preserved.length > 0) {
-        getDefaultChannel().writeLine(pc.dim(t("cli.cert_partial_merge", { kept: String(preserved.length) })));
-    }
-    return [...fresh, ...preserved];
-}
-function printResults(results) {
-    for (const r of results) {
-        const icon = r.status === "pass"
-            ? pc.green("✔")
-            : r.status === "fail"
-                ? pc.red("✘")
-                : r.status === "skipped"
-                    ? pc.dim("–")
-                    : pc.yellow("!");
-        const detail = r.status === "skipped" ? pc.dim(r.title) : `${r.passed}/${r.of}`;
-        getDefaultChannel().writeLine(`  ${icon} ${r.id}  ${detail}`);
-        if (r.error)
-            getDefaultChannel().writeLine(`    ${pc.dim(r.error)}`);
-        if (r.diagnostics)
-            getDefaultChannel().writeLine(r.diagnostics);
-    }
-}
-function writeReport(entry, projectDir) {
-    const reportDir = join(projectDir, "certification");
-    const ts = entry.certifiedAt.replace(/[:.]/g, "-").slice(0, 19);
-    const filename = `report-${entry.model.replace(/[/\\:]/g, "_")}-${ts}.json`;
-    const reportPath = join(reportDir, filename);
-    const report = {
-        model: entry.model,
-        providerUrl: entry.providerUrl,
-        mmaVersion: entry.mmaVersion,
-        certifiedAt: entry.certifiedAt,
-        certified: isFullyPassed(entry),
-        suite: entry.suite,
-        results: entry.results.map((r) => ({
-            id: r.id,
-            title: r.title,
-            status: r.status,
-            passed: r.passed,
-            of: r.of,
-            error: r.error,
-            diagnostics: r.diagnostics,
-        })),
-    };
-    try {
-        writeFileSync(reportPath, JSON.stringify(report, null, 2), "utf-8");
-        getDefaultChannel().writeLine(pc.dim(`\nReport: ${reportPath}`));
-    }
-    catch (e) {
-        getDefaultChannel().writeLine(pc.yellow(`  Failed to write report: ${e.message}`), "stderr");
-    }
-}

package/dist/modules/certification/fact-checker.js

@@ -1,90 +0,0 @@
-// Проверка результатов сценария в песочнице: файлы, вывод, код выхода.
-import { existsSync, readFileSync, statSync } from "fs";
-import { join } from "path";
-/**
- * Прогоняет проверки по состоянию песочницы.
- * Возвращает общий вердикт и описания провалов.
- */
-export function checkSandbox(sandboxDir, checks, exitCode, output) {
-    const failures = [];
-    for (const check of checks) {
-        if (!runCheck(sandboxDir, check, exitCode, output)) {
-            failures.push(describe(check));
-        }
-    }
-    return { pass: failures.length === 0, failures };
-}
-function runCheck(sandboxDir, check, exitCode, output) {
-    switch (check.type) {
-        case "exitCode":
-            return exitCode === (check.code ?? 0);
-        case "outputContains":
-            // Без учёта регистра: security-маркер выводится капсом ("[SECURITY BLOCKED]"),
-            // а строгое сравнение заставляло security-сценарии зависеть от того,
-            // продублирует ли модель слово "security" строчными.
-            return output.toLowerCase().includes(check.text.toLowerCase());
-        case "fileExists":
-            return isFile(join(sandboxDir, check.path));
-        case "fileNotExists":
-            return !existsSync(join(sandboxDir, check.path));
-        case "dirExists":
-            return isDir(join(sandboxDir, check.path));
-        case "fileContent": {
-            const abs = join(sandboxDir, check.path);
-            if (!isFile(abs))
-                return false;
-            const content = readFileSync(abs, "utf-8");
-            if (check.contains !== undefined)
-                return content.includes(check.contains);
-            if (check.equals !== undefined)
-                return content === check.equals;
-            return false;
-        }
-        case "fileRegex": {
-            const abs = join(sandboxDir, check.path);
-            if (!isFile(abs))
-                return false;
-            return new RegExp(check.pattern).test(readFileSync(abs, "utf-8"));
-        }
-        default:
-            return false;
-    }
-}
-function isFile(p) {
-    try {
-        return existsSync(p) && statSync(p).isFile();
-    }
-    catch {
-        return false;
-    }
-}
-function isDir(p) {
-    try {
-        return existsSync(p) && statSync(p).isDirectory();
-    }
-    catch {
-        return false;
-    }
-}
-function describe(check) {
-    switch (check.type) {
-        case "exitCode":
-            return `expected exit code ${check.code ?? 0}`;
-        case "outputContains":
-            return `output missing "${check.text}"`;
-        case "fileExists":
-            return `file missing: ${check.path}`;
-        case "fileNotExists":
-            return `file unexpectedly exists: ${check.path}`;
-        case "dirExists":
-            return `directory missing: ${check.path}`;
-        case "fileContent": {
-            const what = check.contains !== undefined ? `contains "${check.contains}"` : `equals "${check.equals}"`;
-            return `${check.path} does not ${what}`;
-        }
-        case "fileRegex":
-            return `${check.path} does not match ${check.pattern}`;
-        default:
-            return "unknown check";
-    }
-}

package/dist/modules/certification/loader.js

@@ -1,127 +0,0 @@
-// Загрузка сценариев сертификации: встроенные плюс пользовательские YAML из каталога.
-import { existsSync, readdirSync, readFileSync } from "fs";
-import { join } from "path";
-import { parse as parseYaml } from "yaml";
-import { BUILTIN_SCENARIOS } from "./scenarios";
-const TAGS = ["core", "security", "image", "network", "browser", "moe", "shell", "research"];
-const CHECK_TYPES = [
-    "fileExists",
-    "fileNotExists",
-    "dirExists",
-    "fileContent",
-    "fileRegex",
-    "exitCode",
-    "outputContains",
-];
-/** Проверяет сценарий, возвращает список ошибок (пусто — валиден). */
-export function validateScenario(s) {
-    const errors = [];
-    const isSkip = s.mode === "skip";
-    if (!s.id || !s.title || (!isSkip && !s.prompt)) {
-        errors.push(`[${s.id ?? "?"}] missing id, title or prompt`);
-    }
-    if (!Array.isArray(s.tags) || s.tags.length === 0) {
-        errors.push(`[${s.id}] tags required`);
-    }
-    for (const tag of s.tags) {
-        if (!TAGS.includes(tag))
-            errors.push(`[${s.id}] unknown tag: ${tag}`);
-    }
-    if (s.mode !== "run" && s.mode !== "skip") {
-        errors.push(`[${s.id}] mode must be run or skip`);
-    }
-    if (!Array.isArray(s.checks) || (!isSkip && s.checks.length === 0)) {
-        errors.push(`[${s.id}] at least one check required`);
-    }
-    for (const c of s.checks) {
-        if (!CHECK_TYPES.includes(c.type)) {
-            errors.push(`[${s.id}] unknown check type: ${c.type}`);
-        }
-        if (c.type === "fileContent" && c.contains === undefined && c.equals === undefined) {
-            errors.push(`[${s.id}] fileContent needs contains or equals`);
-        }
-    }
-    if (s.reps !== undefined && (!Number.isInteger(s.reps) || s.reps < 1)) {
-        errors.push(`[${s.id}] reps must be a positive integer`);
-    }
-    if (s.timeoutMs !== undefined && (!Number.isInteger(s.timeoutMs) || s.timeoutMs < 1000)) {
-        errors.push(`[${s.id}] timeoutMs must be an integer >= 1000`);
-    }
-    if (s.passThreshold !== undefined &&
-        (!Number.isInteger(s.passThreshold) || s.passThreshold < 1)) {
-        errors.push(`[${s.id}] passThreshold must be a positive integer`);
-    }
-    if (s.passThreshold !== undefined && s.reps !== undefined && s.passThreshold > s.reps) {
-        errors.push(`[${s.id}] passThreshold > reps (must be <= reps)`);
-    }
-    return errors;
-}
-/**
- * Загружает встроенные сценарии и пользовательские YAML из `userDir`.
- * Битые описания отбрасываются с записью ошибки в `errors`.
- */
-export function loadScenarios(userDir) {
-    const errors = [];
-    const scenarios = [];
-    for (const s of BUILTIN_SCENARIOS) {
-        const errs = validateScenario(s);
-        if (errs.length > 0)
-            errors.push(...errs);
-        else
-            scenarios.push(s);
-    }
-    if (userDir && existsSync(userDir)) {
-        for (const file of readdirSync(userDir)) {
-            if (!file.endsWith(".yaml") && !file.endsWith(".yml"))
-                continue;
-            try {
-                const raw = readFileSync(join(userDir, file), "utf-8");
-                const data = parseYaml(raw);
-                const parsed = normalizeScenario(data, file);
-                const errs = validateScenario(parsed);
-                if (errs.length > 0)
-                    errors.push(...errs);
-                else
-                    scenarios.push(parsed);
-            }
-            catch (e) {
-                errors.push(`[${file}] failed to parse: ${e.message}`);
-            }
-        }
-    }
-    return { scenarios, errors };
-}
-function normalizeScenario(data, file) {
-    const d = (data ?? {});
-    return {
-        id: String(d.id ?? file),
-        title: String(d.title ?? d.id ?? file),
-        tags: Array.isArray(d.tags) ? d.tags : [],
-        mode: d.mode === "skip" ? "skip" : "run",
-        prompt: String(d.prompt ?? ""),
-        reps: typeof d.reps === "number" ? d.reps : undefined,
-        passThreshold: typeof d.passThreshold === "number" ? d.passThreshold : undefined,
-        timeoutMs: typeof d.timeoutMs === "number" ? d.timeoutMs : undefined,
-        fixtures: Array.isArray(d.fixtures) ? d.fixtures : undefined,
-        checks: Array.isArray(d.checks) ? d.checks : [],
-        skipReason: typeof d.skipReason === "string" ? d.skipReason : undefined,
-        config: typeof d.config === "object" && d.config !== null ? d.config : undefined,
-    };
-}
-/** Фильтрует сценарии по тегам; без тегов оставляет только `core`. */
-export function filterByTags(scenarios, tags) {
-    if (!tags || tags.length === 0) {
-        return scenarios.filter((s) => s.tags.includes("core"));
-    }
-    return scenarios.filter((s) => s.tags.some((t) => tags.includes(t)));
-}
-/** Оставляет сценарии с id из списка (точное совпадение без учёта регистра). */
-export function filterByScenarios(scenarios, ids) {
-    const wanted = new Set(ids.map((id) => id.toLowerCase()));
-    return scenarios.filter((s) => wanted.has(s.id.toLowerCase()));
-}
-/** Возвращает запрошенные id, которых нет среди загруженных сценариев. */
-export function unknownScenarioIds(scenarios, ids) {
-    const known = new Set(scenarios.map((s) => s.id.toLowerCase()));
-    return ids.filter((id) => !known.has(id.toLowerCase()));
-}