agent-quality-kit 0.12.0 → 0.13.0

package/tool/selfcheck/units-level.mjs

@@ -12,7 +12,7 @@ import assert from "node:assert/strict";
 import { commandFor, verdict } from "../lib/prove.mjs";
 import { assessLevel, layoutChecks, unknownKeys, KNOWN_KEYS, parseManifest, coversOf, coversUnproven, unparsedLines } from "../lib/manifest.mjs";
 import { pickLang, langFromText } from "../i18n/index.mjs";
-import { progress } from "../lib/run.mjs";
+import { progress, selectGates } from "../lib/run.mjs";
 
 // --- строка «идёт» во время прогона ---------------------------------------------------
 // ЗАЧЕМ. Гейт идёт через spawnSync, и строка про него печаталась только по завершении: минута
@@ -249,7 +249,7 @@ test("заявка подтверждена, когда коды правил е
 test("заявка не подтверждена, когда кодов нет нигде", () => {
   const man = parseManifest('gates:\n  lint: "ruff check ."\ncovers:\n  lint: [no-print-in-prod]\n');
   const catalog = [{ slug: "no-print-in-prod", recipes: { python: "ruff check --select T20 {dir}" } }];
-  assert.deepEqual(coversUnproven(man, catalog, ""), [{ entry: "no-print-in-prod", gate: "lint", codes: ["T20"] }]);
+  assert.deepEqual(coversUnproven(man, catalog, ""), [{ entry: "no-print-in-prod", gate: "lint", codes: ["T20"], linter: "ruff", kind: "unproven" }]);
 });
 
 // Правило может стоять не в команде, а в конфиге линтера — это нормальный уклад, и краснеть
@@ -267,6 +267,49 @@ test("запись без кодов правил в рецепте не пор
   assert.deepEqual(coversUnproven(man, catalog, ""), []);
 });
 
+// --- заявка сверяется правилами ТОГО линтера, которым закрыт гейт --------------------
+// Отзыв с живого проекта 2026-09-11 (TypeScript на Biome): заявка «lint держит no-print-in-prod»
+// всегда была «не подтверждена» — комплект искал коды ruff (T20, C901, BLE), а у Biome это
+// noConsole, noExcessiveCognitiveComplexity, noEmptyBlockStatements, и они стояли. Поле, которое
+// должно снимать шум, само его производило и подталкивало ставить второй линтер.
+const NP = { slug: "no-print-in-prod", biome_rules: "noConsole",
+  recipes: { python: "ruff check --select T20 {dir}", javascript: `eslint --rule '{"no-console":"error"}' {dir}` } };
+const TODO = { slug: "todo-without-task", biome_rules: "none", recipes: { python: "ruff check --select FIX,TD {dir}" } };
+
+test("Biome: правило записи стоит в biome.json — заявка подтверждена", () => {
+  const man = parseManifest('gates:\n  lint: "npx biome check ."\ncovers:\n  lint: [no-print-in-prod]\n');
+  const biome = '{"linter":{"rules":{"suspicious":{"noConsole":"error"}}}}';
+  assert.deepEqual(coversUnproven(man, [NP], { biome }), []);
+  const miss = coversUnproven(man, [NP], { biome: '{"linter":{"enabled":true}}' });
+  assert.equal(miss[0].kind, "unproven");
+  assert.deepEqual(miss[0].codes, ["noConsole"], "человеку названо ПРАВИЛО BIOME, а не код ruff");
+});
+
+test("линтер гейта узнаётся и через npm-скрипт", () => {
+  const man = parseManifest('gates:\n  lint: "npm run lint"\ncovers:\n  lint: [no-print-in-prod]\n');
+  const scripts = { lint: "biome check ." };
+  const r = coversUnproven(man, [NP], { biome: '"noConsole": "error"', scripts });
+  assert.deepEqual(r, []);
+});
+
+test("eslint: правило берётся из рецепта записи и ищется в конфиге eslint", () => {
+  const man = parseManifest('gates:\n  lint: "eslint ."\ncovers:\n  lint: [no-print-in-prod]\n');
+  assert.deepEqual(coversUnproven(man, [NP], { eslint: "rules: { 'no-console': 'error' }" }), []);
+  assert.equal(coversUnproven(man, [NP], { eslint: "rules: {}" })[0].kind, "unproven");
+});
+
+test("у линтера нет такого правила вовсе — заявка заведомо неверна, а не «не подтверждена»", () => {
+  const man = parseManifest('gates:\n  lint: "biome check ."\ncovers:\n  lint: [todo-without-task]\n');
+  const r = coversUnproven(man, [TODO], { biome: "{}" });
+  assert.equal(r[0].kind, "impossible");
+});
+
+test("линтер не распознан — «не умею проверить», а не обвинение", () => {
+  const man = parseManifest('gates:\n  lint: "make lint"\ncovers:\n  lint: [no-print-in-prod]\n');
+  const r = coversUnproven(man, [NP], {});
+  assert.equal(r[0].kind, "unknown");
+});
+
 // --- строка манифеста, которую разбор не понял, не исчезает молча ---------------
 // Найдено 2026-09-09 случайно: подсаживал падающий гейт с именем «плохой», чтобы посмотреть
 // на строку присутствия, — и прогон вышел с НУЛЁМ. Гейт не упал: его вообще не было. Разбор
@@ -321,3 +364,34 @@ test("сбой арбитра отнимает ступень, законная
 
   assert.equal(verdict([{ state: "proven" }, { state: "broken" }]).ok, false);
 });
+
+// --- группы гейтов и --only / --skip ----------------------------------------------------
+// ЗАЧЕМ. Отзыв с живого проекта 2026-09-11: гейт цены меряет план на засеянной базе. Объявишь
+// его — он валит прогон без стенда; уберёшь — promise-has-gate справедливо ругается. Пришлось
+// выкручиваться через advisory. Прогон бывал только «всё или ничего».
+test("выбор гейтов: --skip группой и именем, --only сужает, пропущенные названы", () => {
+  const man = parseManifest('gates:\n  lint: "x"\n  unit: "x"\n  cost: "x"\n  e2e: "x"\ngroups:\n  stack: [cost, e2e]\n');
+  const names = Object.entries(man.gates);
+  const s = selectGates(names, man, { skip: ["stack"] });
+  assert.deepEqual(s.run.map(([n]) => n), ["lint", "unit"]);
+  assert.deepEqual(s.skipped, ["cost", "e2e"]);
+  const o = selectGates(names, man, { only: ["lint", "cost"] });
+  assert.deepEqual(o.run.map(([n]) => n), ["lint", "cost"]);
+  assert.deepEqual(o.skipped, ["unit", "e2e"]);
+});
+
+test("выбор гейтов: неизвестное имя — ошибка, а не тихое «пропустили ничего»", () => {
+  const man = parseManifest('gates:\n  lint: "x"\ngroups:\n  stack: [lint]\n');
+  const s = selectGates(Object.entries(man.gates), man, { skip: ["stak"] });
+  assert.deepEqual(s.unknown, ["stak"]);
+  // Группа, в которой назван необъявленный гейт, — тоже названа: иначе группа молча пустеет.
+  const man2 = parseManifest('gates:\n  lint: "x"\ngroups:\n  stack: [cots]\n');
+  assert.deepEqual(selectGates(Object.entries(man2.gates), man2, { skip: ["stack"] }).unknown, ["cots"]);
+});
+
+test("выбор гейтов: без флагов гоняется всё, как раньше", () => {
+  const man = parseManifest('gates:\n  a: "x"\n  b: "x"\n');
+  const s = selectGates(Object.entries(man.gates), man, {});
+  assert.equal(s.run.length, 2);
+  assert.deepEqual(s.skipped, []);
+});

package/tool/selfcheck/units-probe.mjs

@@ -3,7 +3,8 @@
 import test from "node:test";
 import assert from "node:assert/strict";
 import { isFix, fixHotspots, probeSummary, probeVerdictPaired, countProbe } from "../lib/history.mjs";
-import { probeableGates, gatesState, extAlternatives, planProbeGates, blindAdvice, isCode } from "../commands/probe.mjs";
+import { probeableGates, gatesState, extAlternatives, planProbeGates, isCode } from "../commands/probe.mjs";
+import { blindAdvice } from "../lib/advice.mjs";
 
 // Признак починки берётся из ТЕМЫ коммита, а не из тела: тема — единственное, что пишут все,
 // и единственное, что видно в `git log --oneline`. Три написания, потому что репозитории

package/tool/selfcheck/units-repo.mjs

@@ -8,7 +8,8 @@
 //   node --test tool/selfcheck/units-repo.mjs
 import test from "node:test";
 import assert from "node:assert/strict";
-import { triggerVerdict, recipeFor, EXT_LANG, whichSync, browserServerAdvice, MARKS, isApiSpec, startWith } from "../lib/repo.mjs";
+import { triggerVerdict, recipeFor, EXT_LANG, whichSync, browserServerAdvice, MARKS, isApiSpec } from "../lib/repo.mjs";
+import { startWith } from "../lib/advice.mjs";
 import { proposeGates } from "../lib/adopt.mjs";
 import { CATALOGS, L } from "../i18n/index.mjs";
 import { dirname } from "node:path";
@@ -284,3 +285,26 @@ test("с чего начать: при равенстве признаков п
   ];
   assert.deepEqual(startWith(list, { langs: new Set() }, 2).map((e) => e.slug), ["a", "b"]);
 });
+
+// Совет под линтер ПРОЕКТА, а не под язык. Отзыв с живого проекта 2026-09-11: «начни с этих
+// трёх» советовал завести eslint проекту на Biome — комплект читал package.json и Makefile, но не
+// biome.json. Команда для Biome — одно правило разово (`--only`), и `--error-on-warnings`
+// обязателен: правило вне рекомендованных Biome ставит на «предупреждение», и без флага команда
+// выходила с нулём, напечатав находку. Проверено на Biome 2.5.12.
+test("совет проекту на Biome: команда Biome, а не eslint", async () => {
+  const { blindAdvice } = await import("../lib/advice.mjs");
+  const entry = {
+    slug: "no-print-in-prod", biome_rules: "suspicious/noConsole",
+    tool: "https://github.com/eslint/eslint",
+    recipes: { javascript: `eslint --no-config-lookup --rule '{"no-console":"error"}' {dir}` },
+  };
+  const biome = blindAdvice(entry, { langs: new Set(["typescript"]), has_biome: true });
+  assert.equal(biome.command, "npx @biomejs/biome lint --error-on-warnings --only=suspicious/noConsole .");
+  assert.equal(biome.tool, "https://github.com/biomejs/biome");
+  // Без biome.json — прежний совет под язык.
+  const plain = blindAdvice(entry, { langs: new Set(["javascript"]), has_biome: false });
+  assert.match(plain.command, /^eslint /);
+  // У Biome правила нет вовсе (`none`) — прежний совет, а не выдуманная команда Biome.
+  const none = blindAdvice({ ...entry, biome_rules: "none" }, { langs: new Set(["javascript"]), has_biome: true });
+  assert.match(none.command, /^eslint /);
+});

package/tool/selfcheck/units-verdict.mjs

@@ -0,0 +1,76 @@
+// tool/selfcheck/units-verdict.mjs — вердикт пробы: «поймано» только ПО ДЕЛУ.
+//
+// ОТДЕЛЬНЫМ ФАЙЛОМ: units-probe.mjs у предела в 500 строк, и шов настоящий — там разбор
+// истории и план пробы, здесь то, на чём держится главное обещание пробы.
+//
+// ЗАЧЕМ. Отзыв с живого проекта 2026-09-11 (Amplifie, TypeScript на Biome): класс «цвет из
+// токена темы» проба отметила пойманным линтером, хотя Biome цвета не проверяет. Подсаженный
+// кусок сломал форматирование — упал форматтер. Вердикт считал «покраснел» равным «поймал»:
+// код возврата сравнивался, вывод выбрасывался. Итог — «every applicable class is caught by
+// something», ложная уверенность ровно в сторону самоуспокоения. К себе комплект был мягче,
+// чем к проекту: от чужого гейта мы требуем покраснеть НА БРАКЕ, а свой вердикт этого не
+// проверял.
+import test from "node:test";
+import assert from "node:assert/strict";
+import { namesPlant, probeVerdictPaired, catchVerdict } from "../lib/history.mjs";
+
+test("назвал подсаженный файл: путь появился в выводе после подсадки", () => {
+  assert.equal(namesPlant("", "src/ui/card.tsx:12:5 lint/style/noColorLiteral", "src/ui/card.tsx"), true);
+  // Любая форма пути: относительная с ./, абсолютная из песочницы, с обратными слешами Windows.
+  assert.equal(namesPlant("", "./src/ui/card.tsx:3 print found", "src/ui/card.tsx"), true);
+  assert.equal(namesPlant("", "/tmp/aqk-probe-x/src/ui/card.tsx:3", "src/ui/card.tsx"), true);
+  assert.equal(namesPlant("", "src\\ui\\card.tsx(3,1): error", "src/ui/card.tsx"), true);
+});
+
+test("не назвал: упал по своей причине — форматтер, чужой файл, общий итог", () => {
+  assert.equal(namesPlant("", "Formatter would have printed the following content.\nFound 1 error.", "src/ui/card.tsx"), false);
+  assert.equal(namesPlant("", "src/other.tsx:1 error", "src/ui/card.tsx"), false);
+  // Файл упоминался и до подсадки столько же раз — нового ничего не сказано.
+  assert.equal(namesPlant("src/ui/card.tsx:1 warn", "src/ui/card.tsx:1 warn", "src/ui/card.tsx"), false);
+});
+
+const pairs = (before, after) => ({
+  before: before.map(([name, code]) => ({ name, code })),
+  after: after.map(([name, code, named]) => ({ name, code, named })),
+});
+
+test("покраснел, но подсаженного файла не назвал — «неизвестно», а не «поймано»", () => {
+  const { before, after } = pairs([["lint", 0], ["units", 0]], [["lint", 1, false], ["units", 0]]);
+  const r = probeVerdictPaired(before, after);
+  assert.equal(r.verdict, "unknown");
+  assert.equal(r.unattributed, 1);
+  assert.equal(r.caught, 0);
+});
+
+test("поймал по делу хоть один — «поймано»; безымянное падение соседа этого не отменяет", () => {
+  const { before, after } = pairs([["fmt", 0], ["lint", 0]], [["fmt", 1, false], ["lint", 1, true]]);
+  const r = probeVerdictPaired(before, after);
+  assert.equal(r.verdict, "caught");
+  assert.equal(r.caught, 1);
+});
+
+test("без сведений о выводе (старые вызовы) поведение прежнее", () => {
+  const { before, after } = pairs([["lint", 0]], [["lint", 1, undefined]]);
+  assert.equal(probeVerdictPaired(before, after).verdict, "caught");
+});
+
+// ИМЕНИ ФАЙЛА МАЛО. Biome, падая на форматировании, тоже называет файл: «src/card.tsx format».
+// Отличить «упал на браке» от «упал на подсадке» можно только ПАРОЙ — ровно тем, чем мы проверяем
+// чужие гейты: в то же место кладётся ЗЕЛЁНЫЙ образец той же записи. Краснеет и на нём — гейт
+// падает от самой подсадки (форматирование, синтаксис), поимка не доказана.
+test("пара: на красном назвал файл, на зелёном молчит — поймал", () => {
+  const red = { code: 1, out: "src/card.tsx:3 lint/noColorLiteral" };
+  const green = { code: 0, out: "" };
+  assert.equal(catchVerdict("", red, green, "src/card.tsx"), "caught");
+});
+
+test("пара: краснеет и на зелёном, называя тот же файл, — падает от подсадки, не поймал", () => {
+  const red = { code: 1, out: "src/card.tsx format ━━━ Formatter would have printed" };
+  const green = { code: 1, out: "src/card.tsx format ━━━ Formatter would have printed" };
+  assert.equal(catchVerdict("", red, green, "src/card.tsx"), "planting");
+});
+
+test("пара: файла не назвал — «безымянно»; зелёного образца под расширение нет — судим по имени", () => {
+  assert.equal(catchVerdict("", { code: 1, out: "Found 1 error." }, { code: 0, out: "" }, "src/a.py"), "nameless");
+  assert.equal(catchVerdict("", { code: 1, out: "src/a.py:1 T201" }, null, "src/a.py"), "caught");
+});