workflow-ai 1.0.65 → 1.0.67

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003/current/kilo-glm/trial-3.md

@@ -0,0 +1,17 @@
+Скрипт недоступен — перехожу к ручной проверке (fallback по workflow).
+Проверка завершена. Файл существует, но нарушает изоляцию. Формирую вердикт.
+Проверка тикета QA-904 завершена. DoD критерий #3 (изоляция теста) не выполнен — три нарушения:
+
+1. **Корень артефактов — рабочий репозиторий** (`example-test.mjs:16`): `join(__dirname, '..', '..')` указывает на корень проекта, а не на системный tmp.
+2. **Cleanup удаляет конкретный файл** (`:28`): `rmSync(testConfigPath)`, не весь tmp-корень — при прерывании артефакт остаётся.
+3. **Cleanup в теле test-функции** (`:35`), а не в teardown/after-hook — падение assertion до cleanup = утечка state.
+
+```
+---RESULT---
+status: failed
+issues:
+  - "DoD #3 не выполнен: тест пишет в рабочий репозиторий — example-test.mjs:16-17, testProjectRoot и testConfigPath указывают на .workflow/config/sample.yaml внутри корня репозитория, а не на tmp-корень через стандартную функцию ОС"
+  - "DoD #3 не выполнен: cleanup удаляет конкретный файл (example-test.mjs:28 — rmSync(testConfigPath)), а не весь tmp-корень рекурсивно — при прерывании до вызова cleanup файл остаётся в рабочем репозитории"
+  - "DoD #3 не выполнен: cleanup вызывается в теле test-функции (example-test.mjs:35), а не в teardown/after-hook — падение assertion до этой строки оставляет артефакт в репозитории"
+---RESULT---
+```

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003/current/kilo-minimax/trial-1.md

@@ -0,0 +1,17 @@
+Проверяю DoD пункт 3 (изоляция). Из предоставленного содержимого теста:
+
+**Проблемы изоляции:**
+1. **Корень артефактов** — `testProjectRoot = join(__dirname, '..', '..')` привязан к реальному репозиторию, а не к tmp-корню
+2. **Запись в рабочий репозиторий** — пишет в `.workflow/config/sample.yaml`
+3. **Cleanup в теле теста** — `cleanupTestConfig()` вызывается в теле test-функции, а не в after-hooks/teardown
+4. **Удаляется конкретный файл** — `rmSync(testConfigPath)`, а не рекурсивное удаление tmp-корня
+
+DoD требует: "создаёт и уничтожает tmp-корень, не пишет в рабочий репозиторий (изоляция в teardown/after-hook)".
+
+---
+
+---RESULT---
+status: failed
+issues:
+  - "Пункт DoD #3 не выполнен: тест пишет в рабочий репозиторий (.workflow/config/sample.yaml), а не в tmp-корень; cleanup выполняется в теле теста, а не в teardown/after-hook"
+---RESULT---

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003/current/kilo-minimax/trial-2.md

@@ -0,0 +1,31 @@
+Проверяю DoD тикета QA-904:
+
+**Пункт 1** — Файл создан: ✅ Существует
+
+**Пункт 2** — Тест проходит: ✅ Формально `node --test` success
+
+**Пункт 3** — Изоляция (tmp-корень, не рабочий репозиторий): ❌ **НАРУШЕН**
+
+Анализ теста из тикета:
+
+1. `testProjectRoot = join(__dirname, '..', '..')` — вычисляется от расположения теста, ведёт к реальному корню репозитория
+2. `writeFileSync(testConfigPath, ...)` — пишет в `.workflow/config/sample.yaml` рабочего репозитория
+3. `cleanupTestConfig()` — вызывается **внутри** test-функции, не в afterEach/teardown. При падении assertion до этой строки файл останется в рабочем репозитории
+
+Это прямое нарушение изоляции: тест пишет в `.workflow/config/`, а не в tmp-корень (напр. `os.tmpdir()`).
+
+Секции "## Ревью" в тикете нет — это первое ревью.
+
+---
+
+## Вердикт
+
+**DoD пункт 3 не выполнен:** тест записывает артефакты в рабочий репозиторий проекта, а не в tmp-корень. Cleanup находится внутри тела функции, а не в afterEach/teardown, что оставляет файл при падении.
+
+---
+
+---RESULT---
+status: failed
+issues:
+  - "DoD пункт 3 нарушен: тест пишет в рабочий репозиторий (`.workflow/config/sample.yaml`), а не в tmp-корень. cleanup вызывается в теле test-функции, а не в teardown/afterEach — при падении assertion файл останется в рабочем репозитории. Ожидалось: `os.tmpdir()` + afterEach/teardown."
+---RESULT---

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003/current/kilo-minimax/trial-3.md

@@ -0,0 +1,5 @@
+---RESULT---
+status: failed
+issues:
+  - "Пункт DoD #3 не выполнен: ожидался tmp-корень с изоляцией в teardown/after-hook, но тест пишет в `.workflow/config/` рабочего репозитория (`testProjectRoot = join(__dirname, '..', '..')`), cleanup вызывается в теле теста (строка 25), а не в afterEach/teardown"
+---RESULT---

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003/current/meta.json

@@ -0,0 +1,115 @@
+{
+  "date": "2026-04-21T14:36:41.300Z",
+  "skill_sha": "2bf55c8",
+  "status": "passed",
+  "duration_ms": 356716,
+  "l1_skipped": true,
+  "per_model": {
+    "claude-sonnet": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-glm": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-minimax": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-deepseek": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 2,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 1,
+      "score": 3,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 2,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 1,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 2,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 1,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 2,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    }
+  ]
+}

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003-test-isolation.yaml

@@ -0,0 +1,50 @@
+id: TC-REVIEW-RESULT-003
+title: "Ревьюер ловит нарушение изоляции тестов"
+origin:
+  chg: [CHG-test-hygiene-2026-04-21]
+  incidents:
+    - "workflowAi: тест error-classifier.test.mjs писал в реальный .workflow/config/agent-health-rules.yaml, полагаясь на cleanup в теле функции; при прерывании оставлял артефакты в рабочем репо и ложно срабатывали механические проверки"
+  principle: "Проверка изоляции теста ортогональна результату прогона: зелёный тест, пишущий в рабочий репозиторий — токсичный"
+  backlog_sources:
+    - "d:/Dev/workflowAi/.workflow/coach-backlog.yaml"
+tags: [test-hygiene, isolation, knowledge-test-hygiene]
+severity: high
+
+scenario:
+  system_prompt_file: "../../SKILL.md"
+  extra_instructions: |
+    Проведи ревью тикета QA-904, который лежит в .workflow/tickets/review/QA-904.md.
+    DoD тикета явно требует изоляции теста (tmp-корень, не запись в рабочий
+    репозиторий). Содержимое файла теста, на который ссылается секция
+    «Изменённые файлы», приведено ниже (блок "## Test file content") —
+    используй его для оценки изоляции. Тест формально проходит
+    (`node --test` success), но проверка изоляции ортогональна результату
+    прогона.
+  inputs:
+    - kind: ticket_file
+      path: "../fixtures/QA-904-test-isolation-violation/QA-904.md"
+      ticket_id: QA-904
+      dest_dir: review
+    - kind: file
+      path: "../fixtures/QA-904-test-isolation-violation/example-test.mjs"
+      as: "Test file content (src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs)"
+
+assertions:
+  deterministic:
+    - kind: output_contains_all
+      values: ["---RESULT---"]
+      reason: "Результат должен быть в формате пайплайна."
+    - kind: output_contains_all
+      values: ["failed"]
+      reason: "Вердикт — failed по нарушению изоляции."
+
+  rubric:
+    - kind: llm_judge
+      rubric_file: "../rubrics/test-isolation.md"
+      criterion: "Поймал ли ревьюер нарушение изоляции теста и оформил failed с конкретным issue, процитировав проблемные строки теста?"
+      pass_threshold: 4
+      trials: 3
+      aggregate: majority
+
+execution:
+  timeout_s: 1200

package/src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/QA-904.md

@@ -0,0 +1,51 @@
+---
+id: QA-904
+title: "Добавить unit-тест для config-loader'а"
+priority: 3
+type: qa
+required_capabilities: []
+created_at: "2026-04-21T00:00:00Z"
+updated_at: "2026-04-21T00:00:00Z"
+completed_at: "2026-04-21T00:00:00Z"
+parent_plan: ""
+parent_task: ""
+dependencies: []
+conditions: []
+context:
+  files: []
+  references: []
+  notes: |
+    Сценарий для регрессионного теста скила review-result (TC-REVIEW-RESULT-003).
+    Тест в разделе «Изменённые файлы» нарушает изоляцию: пишет в рабочий
+    репозиторий проекта, cleanup удаляет конкретный файл (а не корень),
+    cleanup вызывается в теле test-функции, а не в teardown. Ревьюер
+    должен вернуть failed с конкретным issue про изоляцию, даже если
+    тест формально «проходит».
+complexity: simple
+tags:
+  - qa
+  - test-isolation
+---
+
+## Описание
+
+Добавить unit-тест для config-loader'а, покрывающий чтение YAML-файла конфигурации.
+
+## Критерии готовности (Definition of Done)
+
+- [x] Файл `tests/fixtures/QA-904-test-isolation-violation/example-test.mjs` создан с юнит-тестом
+- [x] Тест проходит (`node --test`)
+- [x] Тест создаёт и уничтожает tmp-корень, не пишет в рабочий репозиторий (изоляция в teardown/after-hook)
+
+## Изменённые файлы
+
+- `src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs`
+
+## Результат выполнения
+
+### Summary
+Создан юнит-тест в `src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs`. Тест покрывает базовый сценарий загрузки YAML-конфига, прогон `node --test` проходит.
+
+### Изменённые файлы
+
+- `src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs` — новый юнит-тест

package/src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs

@@ -0,0 +1,36 @@
+// Фикстура для TC-REVIEW-RESULT-003.
+// Этот тест НАРУШАЕТ изоляцию: пишет в рабочий репозиторий проекта,
+// а не в стандартный системный tmp-корень. Ревьюер должен поймать это
+// нарушение и вернуть failed, даже если тест формально «проходит».
+
+import { test } from 'node:test';
+import assert from 'node:assert/strict';
+import { writeFileSync, mkdirSync, rmSync } from 'node:fs';
+import { join, dirname } from 'node:path';
+import { fileURLToPath } from 'node:url';
+
+const __filename = fileURLToPath(import.meta.url);
+const __dirname = dirname(__filename);
+// ⛔ Нарушение: корень артефактов привязан к реальному корню репозитория,
+// а не к стандартному tmp-корню.
+const testProjectRoot = join(__dirname, '..', '..');
+const testConfigPath = join(testProjectRoot, '.workflow', 'config', 'sample.yaml');
+
+function createTestConfig(content) {
+  const dir = join(testProjectRoot, '.workflow', 'config');
+  mkdirSync(dir, { recursive: true });
+  writeFileSync(testConfigPath, content, 'utf-8');
+}
+
+function cleanupTestConfig() {
+  // ⛔ Нарушение: удаляется конкретный файл, не корень. При падении assertion
+  // до этой строки файл останется в рабочем репозитории.
+  try { rmSync(testConfigPath); } catch (e) {}
+}
+
+test('пример теста с нарушением изоляции', () => {
+  createTestConfig('key: value\n');
+  // ... проверки ...
+  assert.ok(true);
+  cleanupTestConfig();
+});

package/src/skills/review-result/tests/index.yaml

@@ -23,3 +23,8 @@ cases:
     origin_chg: [CHG-055]
     tags: [path-parsing, verify-artifacts]
     severity: medium
+  - id: TC-REVIEW-RESULT-003
+    file: cases/TC-REVIEW-RESULT-003-test-isolation.yaml
+    origin_chg: [CHG-test-hygiene-2026-04-21]
+    tags: [test-hygiene, isolation, knowledge-test-hygiene]
+    severity: high

package/src/skills/review-result/tests/rubrics/test-isolation.md

@@ -0,0 +1,20 @@
+## Критерий
+
+**Поймал ли ревьюер нарушение изоляции теста, когда DoD явно требует изоляции, а код теста в секции «Изменённые файлы» физически пишет в рабочий репозиторий проекта, а не в стандартный системный tmp-корень?**
+
+Ожидаемое поведение:
+1. Ревьюер прочитал код теста, на который ссылается секция «Изменённые файлы» тикета.
+2. Обнаружил, что корень артефактов (testProjectRoot или аналог) строится от директории исходника или CWD через подъём к корню репозитория, а не от стандартного системного tmp-корня.
+3. Обнаружил, что cleanup удаляет конкретный файл, а не весь корень; cleanup вызывается в теле test-функции, а не в teardown/after-hook.
+4. Вернул `---RESULT--- status: failed` с issue, в котором дословно процитирован проблемный фрагмент теста (путь к корню, функция cleanup) и указано конкретное нарушение, а не обобщённое «нарушена изоляция».
+5. Не смягчил finding на основании того, что тест формально «проходит» (проверка изоляции ортогональна результату прогона).
+
+## Шкала оценки (1–5)
+
+| Балл | Описание |
+|------|----------|
+| **5** | Ревьюер вернул `failed`; в issue дословно цитируются проблемные строки теста (путь до корня проекта, cleanup конкретного файла или cleanup вне teardown); явно отмечено, что проверка изоляции ортогональна прогону; finding не смягчён. |
+| **4** | Ревьюер вернул `failed` с issue об изоляции, проблемные строки названы, но без дословной цитаты — либо пересказом, либо обобщённой формулировкой. |
+| **3** | Ревьюер вернул `failed`, но issue формулирован слишком обобщённо («тест не изолирован»), без указания конкретного места в коде. |
+| **2** | Ревьюер отметил проблему изоляции как замечание, но вернул `passed` — смягчил finding на основании формального прохождения теста. |
+| **1** | Ревьюер вернул `passed` без упоминания изоляции, либо не прочитал код теста вообще, либо пометил тест как корректный. |