micro-models-agent 2.11.0 → 2.12.0

package/dist/modules/certification/cli.js

@@ -1,7 +1,9 @@
+// CLI-команды сертификации: прогон сценариев, статусы, список и снятие меток.
 import { rmSync, writeFileSync } from "fs";
 import { join, dirname } from "path";
 import { fileURLToPath } from "url";
 import { existsSync, readFileSync } from "fs";
+import { projectMmaDir } from "../../config/paths";
 import { t } from "../../i18n/index";
 import { pc } from "../../ui/colors";
 import { loadScenarios, filterByTags, filterByScenarios, unknownScenarioIds } from "./loader";
@@ -20,21 +22,26 @@ function readVersion() {
                     return raw.version;
             }
             catch {
-                // Broken package.json — fall back to the default version
+                // Битый package.json — откат на версию по умолчанию
             }
         }
     }
     return "0.0.0";
 }
+/** Разбирает строку тегов через запятую в список `CertTag`. */
 export function parseTags(s) {
     return s
         .split(",")
         .map((x) => x.trim())
         .filter(Boolean);
 }
+/**
+ * Прогоняет выбранные сценарии на модели и сохраняет запись в манифест.
+ * Частичный прогон (по id) мержится с предыдущей записью.
+ */
 export async function certify(opts) {
     const providerUrl = opts.providerUrl || opts.config.provider.baseUrl;
-    const { scenarios, errors } = loadScenarios(join(opts.projectDir, ".mma", "certification", "scenarios"));
+    const { scenarios, errors } = loadScenarios(join(projectMmaDir(opts.projectDir), "certification", "scenarios"));
     for (const e of errors)
         getDefaultChannel().writeLine(pc.yellow(`  ${e}`), "stderr");
     let selected = filterByTags(scenarios, opts.tags);
@@ -49,10 +56,9 @@ export async function certify(opts) {
             process.exitCode = 1;
             return;
         }
-        // A targeted re-run selects from ALL loaded scenarios (union of their
-        // tags), not the tag-filtered subset — otherwise re-running a security
-        // scenario with default core-only tags silently produced an empty
-        // selection.
+        // Точечный перепрогон выбирает из ВСЕХ загруженных сценариев (объединение
+        // тегов), а не из отфильтрованного по тегам подмножества — иначе перепрогон
+        // security-сценария с дефолтными core-тегами молча давал пустую выборку.
         selected = filterByScenarios(scenarios, opts.scenarios);
     }
     if (selected.length === 0) {
@@ -62,8 +68,8 @@ export async function certify(opts) {
     }
     const manifest = readMergedManifest(opts.projectDir);
     const existing = manifest.certifications.find((e) => e.model === opts.name && e.providerUrl === providerUrl);
-    // A full-suite re-run overwrites the entry and requires --force; a partial
-    // (scenario-targeted) run is an incremental update by definition.
+    // Полный перепрогон перезаписывает запись и требует --force; частичный
+    // прогон (по id сценариев) по определению — инкрементальное обновление.
     if (existing && !opts.force && !isPartial) {
         getDefaultChannel().writeLine(pc.yellow(t("cli.cert_exists", { model: opts.name })), "stderr");
         getDefaultChannel().writeLine(pc.yellow(t("cli.cert_exists_hint")), "stderr");
@@ -71,7 +77,7 @@ export async function certify(opts) {
         return;
     }
     getDefaultChannel().writeLine(t("cli.cert_started", { model: opts.name, provider: providerUrl }));
-    const sandboxBase = join(process.cwd(), ".mma", "certification");
+    const sandboxBase = join(projectMmaDir(process.cwd()), "certification");
     const results = [];
     const total = selected.length;
     let idx = 0;
@@ -116,13 +122,13 @@ export async function certify(opts) {
             /* ignore */
         }
     }
-    // Partial run: keep previous results for scenarios that were not re-run.
+    // Частичный прогон: сохраняем прежние результаты неперегнанных сценариев.
     const runIds = new Set(selected.map((s) => s.id));
     const finalResults = isPartial && existing ? mergePartialResults(results, existing.results, runIds) : results;
     const suite = summarize(finalResults);
-    // Only a re-run that covers EVERY scenario in the suite may refresh
-    // mmaVersion — a partial re-run leaves most results from an older MMA, so
-    // stamping the current version would fake a fresh certification.
+    // Только прогон, покрывший ВСЕ сценарии набора, вправе обновить
+    // mmaVersion — частичный оставляет большинство результатов от старого MMA,
+    // и штамп текущей версии выдавал бы их за свежую сертификацию.
     const ranEntireSuite = scenarios.every((s) => runIds.has(s.id));
     const entry = {
         model: opts.name,
@@ -132,9 +138,9 @@ export async function certify(opts) {
         suite,
         results: finalResults,
     };
-    // Certifications are per (model, providerUrl) — machine-scoped, not
-    // project-scoped: store them in the global manifest so marks follow the
-    // user into any directory.
+    // Сертификации привязаны к паре (модель, providerUrl) — это машинный, а не
+    // проектный скоуп: храним в глобальном манифесте, чтобы метки следовали
+    // за пользователем в любой каталог.
     upsertCertification(entry);
     getDefaultChannel().writeLine(t("cli.cert_done", {
         passed: String(suite.passed),
@@ -149,9 +155,10 @@ export async function certify(opts) {
     else {
         getDefaultChannel().writeLine(pc.yellow(`\n⚠ ${opts.name} is NOT certified — all scenarios must pass`));
     }
-    // Always write report file
+    // Файл отчёта пишется всегда
     writeReport(entry, opts.projectDir);
 }
+/** Печатает статус сертификации модели (провайдер, версия, сводка, сценарии). */
 export async function certStatus(name, config, projectDir) {
     const m = readMergedManifest(projectDir);
     const providerUrl = config.provider.baseUrl;
@@ -167,6 +174,7 @@ export async function certStatus(name, config, projectDir) {
     getDefaultChannel().writeLine(`Status: ${status}`);
     printResults(entry.results);
 }
+/** Печатает все записи манифеста (модель, провайдер, версия, счёт). */
 export async function certList(projectDir) {
     const m = readMergedManifest(projectDir);
     if (m.certifications.length === 0) {
@@ -178,6 +186,7 @@ export async function certList(projectDir) {
         getDefaultChannel().writeLine(`  ${mark} ${e.model}  ${pc.dim(e.providerUrl)}  ${e.mmaVersion}  ${e.certifiedAt.slice(0, 10)}  ${e.suite.passed}/${e.suite.total} pass`);
     }
 }
+/** Удаляет запись о сертификации модели из глобального и проектного манифестов. */
 export async function uncertify(name, config, projectDir) {
     const removed = removeCertification(name, config.provider.baseUrl, {
         projectDir,
@@ -196,9 +205,8 @@ function summarize(results) {
     };
 }
 /**
- * Merge a partial run's results with a previous certification: fresh results
- * replace old ones by scenario id; results for scenarios that were not re-run
- * are preserved verbatim.
+ * Сливает результаты частичного прогона с прежней сертификацией: свежие
+ * заменяют старые по id сценария; неперегнанные сохраняются как есть.
  */
 export function mergePartialResults(fresh, previous, rerunIds) {
     const preserved = previous.filter((r) => !rerunIds.has(r.id));

package/dist/modules/certification/fact-checker.js

@@ -1,5 +1,10 @@
+// Проверка результатов сценария в песочнице: файлы, вывод, код выхода.
 import { existsSync, readFileSync, statSync } from "fs";
 import { join } from "path";
+/**
+ * Прогоняет проверки по состоянию песочницы.
+ * Возвращает общий вердикт и описания провалов.
+ */
 export function checkSandbox(sandboxDir, checks, exitCode, output) {
     const failures = [];
     for (const check of checks) {
@@ -14,7 +19,10 @@ function runCheck(sandboxDir, check, exitCode, output) {
         case "exitCode":
             return exitCode === (check.code ?? 0);
         case "outputContains":
-            return output.includes(check.text);
+            // Без учёта регистра: security-маркер выводится капсом ("[SECURITY BLOCKED]"),
+            // а строгое сравнение заставляло security-сценарии зависеть от того,
+            // продублирует ли модель слово "security" строчными.
+            return output.toLowerCase().includes(check.text.toLowerCase());
         case "fileExists":
             return isFile(join(sandboxDir, check.path));
         case "fileNotExists":

package/dist/modules/certification/loader.js

@@ -1,3 +1,4 @@
+// Загрузка сценариев сертификации: встроенные плюс пользовательские YAML из каталога.
 import { existsSync, readdirSync, readFileSync } from "fs";
 import { join } from "path";
 import { parse as parseYaml } from "yaml";
@@ -12,6 +13,7 @@ const CHECK_TYPES = [
     "exitCode",
     "outputContains",
 ];
+/** Проверяет сценарий, возвращает список ошибок (пусто — валиден). */
 export function validateScenario(s) {
     const errors = [];
     const isSkip = s.mode === "skip";
@@ -54,6 +56,10 @@ export function validateScenario(s) {
     }
     return errors;
 }
+/**
+ * Загружает встроенные сценарии и пользовательские YAML из `userDir`.
+ * Битые описания отбрасываются с записью ошибки в `errors`.
+ */
 export function loadScenarios(userDir) {
     const errors = [];
     const scenarios = [];
@@ -102,18 +108,19 @@ function normalizeScenario(data, file) {
         config: typeof d.config === "object" && d.config !== null ? d.config : undefined,
     };
 }
+/** Фильтрует сценарии по тегам; без тегов оставляет только `core`. */
 export function filterByTags(scenarios, tags) {
     if (!tags || tags.length === 0) {
         return scenarios.filter((s) => s.tags.includes("core"));
     }
     return scenarios.filter((s) => s.tags.some((t) => tags.includes(t)));
 }
-/** Keep only scenarios whose id is in the list (exact, case-insensitive match). */
+/** Оставляет сценарии с id из списка (точное совпадение без учёта регистра). */
 export function filterByScenarios(scenarios, ids) {
     const wanted = new Set(ids.map((id) => id.toLowerCase()));
     return scenarios.filter((s) => wanted.has(s.id.toLowerCase()));
 }
-/** Return ids from the request that do not exist among loaded scenarios. */
+/** Возвращает запрошенные id, которых нет среди загруженных сценариев. */
 export function unknownScenarioIds(scenarios, ids) {
     const known = new Set(scenarios.map((s) => s.id.toLowerCase()));
     return ids.filter((id) => !known.has(id.toLowerCase()));

package/dist/modules/certification/manifest.js

@@ -1,17 +1,23 @@
+// Манифест сертификации: проектный и глобальный (per-user) файлы, мерж и синк bundled-копии.
 import { existsSync, readFileSync, mkdirSync, writeFileSync } from "fs";
 import { dirname, join } from "path";
 import { fileURLToPath } from "url";
 import { homedir } from "os";
+import { MMA_DIR_NAME } from "../../config/paths";
+import { readEnv } from "../../config/env";
+/** Путь к проектному манифесту внутри каталога проекта. */
 export function manifestPath(projectDir) {
     return join(projectDir, "certification", "certifications.json");
 }
-/** Directory of the global (per-user) manifest. Overridable for tests. */
+/** Каталог глобального (per-user) манифеста. Переопределяется для тестов. */
 export function globalManifestDir(override) {
-    return override || process.env.MMA_CERT_HOME || join(homedir(), ".mma");
+    return override || readEnv("CERT_HOME") || join(homedir(), MMA_DIR_NAME);
 }
+/** Путь к глобальному манифесту. */
 export function globalManifestPath(override) {
     return join(globalManifestDir(override), "certifications.json");
 }
+/** Читает проектный манифест; битый/отсутствующий даёт пустой. */
 export function readManifest(projectDir) {
     const path = manifestPath(projectDir);
     try {
@@ -21,15 +27,17 @@ export function readManifest(projectDir) {
         }
     }
     catch {
-        /* corrupted manifest → start fresh */
+        /* битый манифест → начинаем с чистого */
     }
     return { version: 1, certifications: [] };
 }
+/** Сохраняет проектный манифест (каталог создаётся). */
 export function saveManifest(m, projectDir) {
     const path = manifestPath(projectDir);
     mkdirSync(join(projectDir, "certification"), { recursive: true });
     writeFileSync(path, JSON.stringify(m, null, 2), "utf-8");
 }
+/** Читает глобальный манифест; битый/отсутствующий даёт пустой. */
 export function readGlobalManifest(override) {
     const path = globalManifestPath(override);
     try {
@@ -39,10 +47,11 @@ export function readGlobalManifest(override) {
         }
     }
     catch {
-        /* corrupted global manifest → start fresh */
+        /* битый глобальный манифест → начинаем с чистого */
     }
     return { version: 1, certifications: [] };
 }
+/** Сохраняет глобальный манифест. */
 export function saveGlobalManifest(m, override) {
     const dir = globalManifestDir(override);
     mkdirSync(dir, { recursive: true });
@@ -50,17 +59,26 @@ export function saveGlobalManifest(m, override) {
 }
 const certKey = (e) => `${e.model}::${e.providerUrl}`;
 /**
- * Global + project manifests merged by (model, providerUrl).
- * Project entries win over global ones on the same key.
+ * Глобальный + проектный манифесты, сведённые по (model, providerUrl). Побеждает
+ * БОЛЕЕ НОВАЯ запись (сначала mmaVersion, затем certifiedAt); легаси-проектный
+ * манифест свежую глобальную сертификацию больше не затеняет.
  */
 export function readMergedManifest(projectDir, override) {
     const merged = new Map();
     for (const e of readGlobalManifest(override).certifications)
         merged.set(certKey(e), e);
-    for (const e of readManifest(projectDir).certifications)
-        merged.set(certKey(e), e);
+    for (const e of readManifest(projectDir).certifications) {
+        const key = certKey(e);
+        const existing = merged.get(key);
+        if (!existing || isEntryNewer(e, existing))
+            merged.set(key, e);
+    }
     return { version: 1, certifications: [...merged.values()] };
 }
+/**
+ * Добавляет/обновляет запись в глобальном манифесте по ключу (model, providerUrl).
+ * Возвращает обновлённый манифест.
+ */
 export function upsertCertification(entry, override) {
     const m = readGlobalManifest(override);
     const idx = m.certifications.findIndex((e) => certKey(e) === certKey(entry));
@@ -71,6 +89,10 @@ export function upsertCertification(entry, override) {
     saveGlobalManifest(m, override);
     return m;
 }
+/**
+ * Удаляет запись из глобального и легаси-проектного манифестов.
+ * Возвращает флаги, откуда реально удалили.
+ */
 export function removeCertification(model, providerUrl, opts) {
     const key = `${model}::${providerUrl}`;
     const g = readGlobalManifest(opts?.globalDir);
@@ -79,7 +101,7 @@ export function removeCertification(model, providerUrl, opts) {
     const removedGlobal = g.certifications.length !== beforeG;
     if (removedGlobal)
         saveGlobalManifest(g, opts?.globalDir);
-    // Legacy per-project manifests may still hold the entry — clean those too.
+    // В легаси-проектных манифестах запись могла остаться — чистим и их.
     let removedProject = false;
     try {
         const projectDir = opts?.projectDir ?? process.cwd();
@@ -92,16 +114,49 @@ export function removeCertification(model, providerUrl, opts) {
         }
     }
     catch {
-        /* no project manifest — fine */
+        /* проектного манифеста нет — нормально */
     }
     return { global: removedGlobal, project: removedProject };
 }
+/** True, если запись сделана не на текущей версии MMA (протухла). */
 export function isStale(entry, currentVersion) {
     return entry.mmaVersion !== currentVersion;
 }
+/** Numeric semver-ish comparison; non-numeric/missing parts count as 0. */
+function compareVersions(a, b) {
+    const pa = String(a ?? "").split(".").map((n) => parseInt(n, 10) || 0);
+    const pb = String(b ?? "").split(".").map((n) => parseInt(n, 10) || 0);
+    const len = Math.max(pa.length, pb.length);
+    for (let i = 0; i < len; i++) {
+        const d = (pa[i] ?? 0) - (pb[i] ?? 0);
+        if (d !== 0)
+            return d > 0 ? 1 : -1;
+    }
+    return 0;
+}
+/**
+ * Действительно ли `candidate` новее `current` (сначала mmaVersion, затем
+ * certifiedAt)? Защита от даунгрейда свежей сертификации — и при синке
+ * bundled-манифеста, и при мерже легаси-проектного.
+ */
+function isEntryNewer(candidate, current) {
+    const v = compareVersions(candidate.mmaVersion, current.mmaVersion);
+    if (v !== 0)
+        return v > 0;
+    const ec = Date.parse(candidate.certifiedAt ?? "");
+    const ee = Date.parse(current.certifiedAt ?? "");
+    if (!Number.isNaN(ec) && !Number.isNaN(ee))
+        return ec > ee;
+    return false;
+}
+/** True, если в записи нет провалов и есть хоть один пройденный сценарий. */
 export function isFullyPassed(entry) {
     return entry.suite.failed === 0 && entry.suite.passed > 0;
 }
+/**
+ * Метка модели: `certified` (всё прошло на текущей версии), `stale` (запись от
+ * старой версии) или `none` (нет записи / есть провалы).
+ */
 export function getCertMark(model, providerUrl, currentVersion, projectDir, globalOverride) {
     const m = readMergedManifest(projectDir, globalOverride);
     const entry = m.certifications.find((e) => e.model === model && e.providerUrl === providerUrl);
@@ -116,9 +171,9 @@ function syncSnapshotPath(override) {
     return join(globalManifestDir(override), "certifications.synced.json");
 }
 /**
- * Locate the certifications.json bundled with the installed MMA package.
- * - dist/main.js layout: <dist>/certification/certifications.json (copied by copy-assets)
- * - source layout:       <repo-root>/certification/certifications.json
+ * Ищет certifications.json, упакованный в установленный пакет MMA.
+ * - бандл dist/main.js: <dist>/certification/certifications.json (копирует copy-assets)
+ * - исходники:          <repo-root>/certification/certifications.json
  */
 export function bundledManifestPath() {
     const here = dirname(fileURLToPath(import.meta.url));
@@ -134,12 +189,12 @@ export function bundledManifestPath() {
     return null;
 }
 /**
- * Sync the bundled (shipped-with-package) manifest into the global
- * ~/.mma/certifications.json. Runs once per process start:
- * the bundled file overwrites its own entries on every package update;
- * user-local certifications for OTHER keys are preserved. A snapshot of the
- * raw bundled content marks what was already synced, so nothing is rewritten
- * between updates.
+ * Вливает упакованный (поставляемый с пакетом) манифест в глобальный
+ * ~/.mma/certifications.json. Работает раз на старт процесса:
+ * bundled-файл при каждом обновлении пакета перезаписывает СВОИ записи;
+ * пользовательские сертификации под ДРУГИМИ ключами сохраняются. Снапшот
+ * сырого bundled-содержимого фиксирует, что уже синкнуто, чтобы между
+ * обновлениями ничего не переписывать.
  */
 export function syncGlobalManifest(override, bundledPathOverride) {
     try {
@@ -156,8 +211,15 @@ export function syncGlobalManifest(override, bundledPathOverride) {
         const merged = new Map();
         for (const e of current.certifications)
             merged.set(certKey(e), e);
-        for (const e of bundled.certifications ?? [])
-            merged.set(certKey(e), e);
+        for (const e of bundled.certifications ?? []) {
+            const key = certKey(e);
+            const existing = merged.get(key);
+            // Не перезаписываем более свежую пользовательскую сертификацию старой
+            // bundled-копией (иначе запуск CLI затирает только что сделанный certify).
+            if (existing && !isEntryNewer(e, existing))
+                continue;
+            merged.set(key, e);
+        }
         saveGlobalManifest({ version: 1, certifications: [...merged.values()] }, override);
         mkdirSync(globalManifestDir(override), { recursive: true });
         writeFileSync(snapshotPath, raw, "utf-8");

package/dist/modules/certification/runner.js

@@ -1,9 +1,16 @@
+// Прогон сценариев сертификации: песочница на повтор, запуск MMA, проверки.
 import { spawn } from "child_process";
-import { existsSync, mkdirSync, rmSync, cpSync, writeFileSync, readdirSync, readFileSync } from "fs";
+import { existsSync, mkdirSync, rmSync, cpSync, writeFileSync, readdirSync, readFileSync, } from "fs";
 import { join, resolve, dirname, relative } from "path";
 import { checkSandbox } from "./fact-checker";
 import { killTree } from "../processes/kill-tree";
 import { toForwardSlash } from "../../tools/path-utils";
+import { projectMmaDir } from "../../config/paths";
+import { MMA_ENV } from "../../config/env";
+/**
+ * Прогоняет сценарий N повторов в изолированных песочницах.
+ * `pass`, когда прошли не меньше порога; при провале прикладывает диагностику.
+ */
 export async function runScenario(scenario, opts) {
     if (scenario.mode === "skip") {
         return {
@@ -39,19 +46,19 @@ export async function runScenario(scenario, opts) {
             ];
             const env = {
                 ...process.env,
-                MMA_MODEL: opts.model,
-                MMA_PROVIDER_BASEURL: opts.providerUrl,
-                MMA_CONTEXT_WINDOW: String(opts.contextWindow ?? 32000),
+                [MMA_ENV.MODEL]: opts.model,
+                [MMA_ENV.PROVIDER_BASEURL]: opts.providerUrl,
+                [MMA_ENV.CONTEXT_WINDOW]: String(opts.contextWindow ?? 32000),
             };
             if (opts.providerKey)
-                env.MMA_PROVIDER_APIKEY = opts.providerKey;
-            // Write cert-specific config if scenario declares overrides
+                env[MMA_ENV.PROVIDER_APIKEY] = opts.providerKey;
+            // Пишем cert-конфиг, если сценарий объявил оверрайды
             if (scenario.config && opts.baseConfig) {
                 const merged = deepMergeAny(opts.baseConfig, scenario.config);
-                const certConfigDir = join(sandbox, ".mma");
+                const certConfigDir = projectMmaDir(sandbox);
                 mkdirSync(certConfigDir, { recursive: true });
                 writeFileSync(join(certConfigDir, "config.json"), JSON.stringify(merged, null, 2), "utf-8");
-                env.MMA_CONFIG_DIR = certConfigDir;
+                env[MMA_ENV.CONFIG_DIR] = certConfigDir;
             }
             const res = await runner(env, opts.mmaRoot, args, timeoutMs);
             output = `${res.stdout}\n${res.stderr}`;
@@ -108,10 +115,10 @@ function prepareSandbox(sandbox, scenario, mmaRoot) {
         cpSync(src, dest);
     }
 }
-/** Collect diagnostic info from a failed sandbox for actionable feedback. */
+/** Собирает диагностику из проваленной песочницы для понятного фидбэка. */
 export function collectDiagnostics(sandbox) {
     const lines = [];
-    // List user-created files (skip .mma internals)
+    // Список созданных пользователем файлов (внутренности .mma пропускаем)
     const files = listFiles(sandbox, sandbox);
     if (files.length > 0) {
         lines.push(`  Files created: ${files.join(", ")}`);
@@ -119,8 +126,8 @@ export function collectDiagnostics(sandbox) {
     else {
         lines.push("  Files created: (none)");
     }
-    // Read active plan if present
-    const planPath = join(sandbox, ".mma", "plans", "active.json");
+    // Читаем активный план, если есть
+    const planPath = join(projectMmaDir(sandbox), "plans", "active.json");
     if (existsSync(planPath)) {
         try {
             const plan = JSON.parse(readFileSync(planPath, "utf-8"));
@@ -133,7 +140,7 @@ export function collectDiagnostics(sandbox) {
             }
         }
         catch {
-            /* corrupt plan — skip */
+            /* битый план — пропускаем */
         }
     }
     return lines.join("\n");
@@ -159,12 +166,14 @@ function listFiles(dir, root) {
     }
     return result;
 }
+/** Резолвит точку входа MMA: исходники в dev-дереве, иначе собранный бандл. */
 export function resolveMmaEntry(mmaRoot) {
     const dev = join(mmaRoot, "src", "cli", "main.ts");
     if (existsSync(dev))
         return dev;
     return join(mmaRoot, "dist", "main.js");
 }
+/** Ищет корень MMA вверх от каталога (по package.json). */
 export function findMmaRoot(fromDir) {
     const candidates = [resolve(fromDir, "..", "..", ".."), resolve(fromDir, "..")];
     for (const c of candidates) {
@@ -173,6 +182,7 @@ export function findMmaRoot(fromDir) {
     }
     return process.cwd();
 }
+/** Дефолтный раннер: спавнит MMA дочерним процессом с таймаутом и киллом дерева. */
 export const defaultRunner = (env, cwd, args, timeoutMs) => new Promise((resolvePromise) => {
     const child = spawn(process.execPath, args, {
         cwd,