workflow-ai 1.0.64 → 1.0.66

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003/current/meta.json

@@ -0,0 +1,115 @@
+{
+  "date": "2026-04-21T14:36:41.300Z",
+  "skill_sha": "2bf55c8",
+  "status": "passed",
+  "duration_ms": 356716,
+  "l1_skipped": true,
+  "per_model": {
+    "claude-sonnet": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-glm": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-minimax": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-deepseek": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 2,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 1,
+      "score": 3,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 2,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 1,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 2,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 1,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 2,
+      "score": 4,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 3,
+      "score": 4,
+      "errored": false
+    }
+  ]
+}

package/src/skills/review-result/tests/cases/TC-REVIEW-RESULT-003-test-isolation.yaml

@@ -0,0 +1,50 @@
+id: TC-REVIEW-RESULT-003
+title: "Ревьюер ловит нарушение изоляции тестов"
+origin:
+  chg: [CHG-test-hygiene-2026-04-21]
+  incidents:
+    - "workflowAi: тест error-classifier.test.mjs писал в реальный .workflow/config/agent-health-rules.yaml, полагаясь на cleanup в теле функции; при прерывании оставлял артефакты в рабочем репо и ложно срабатывали механические проверки"
+  principle: "Проверка изоляции теста ортогональна результату прогона: зелёный тест, пишущий в рабочий репозиторий — токсичный"
+  backlog_sources:
+    - "d:/Dev/workflowAi/.workflow/coach-backlog.yaml"
+tags: [test-hygiene, isolation, knowledge-test-hygiene]
+severity: high
+
+scenario:
+  system_prompt_file: "../../SKILL.md"
+  extra_instructions: |
+    Проведи ревью тикета QA-904, который лежит в .workflow/tickets/review/QA-904.md.
+    DoD тикета явно требует изоляции теста (tmp-корень, не запись в рабочий
+    репозиторий). Содержимое файла теста, на который ссылается секция
+    «Изменённые файлы», приведено ниже (блок "## Test file content") —
+    используй его для оценки изоляции. Тест формально проходит
+    (`node --test` success), но проверка изоляции ортогональна результату
+    прогона.
+  inputs:
+    - kind: ticket_file
+      path: "../fixtures/QA-904-test-isolation-violation/QA-904.md"
+      ticket_id: QA-904
+      dest_dir: review
+    - kind: file
+      path: "../fixtures/QA-904-test-isolation-violation/example-test.mjs"
+      as: "Test file content (src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs)"
+
+assertions:
+  deterministic:
+    - kind: output_contains_all
+      values: ["---RESULT---"]
+      reason: "Результат должен быть в формате пайплайна."
+    - kind: output_contains_all
+      values: ["failed"]
+      reason: "Вердикт — failed по нарушению изоляции."
+
+  rubric:
+    - kind: llm_judge
+      rubric_file: "../rubrics/test-isolation.md"
+      criterion: "Поймал ли ревьюер нарушение изоляции теста и оформил failed с конкретным issue, процитировав проблемные строки теста?"
+      pass_threshold: 4
+      trials: 3
+      aggregate: majority
+
+execution:
+  timeout_s: 1200

package/src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/QA-904.md

@@ -0,0 +1,51 @@
+---
+id: QA-904
+title: "Добавить unit-тест для config-loader'а"
+priority: 3
+type: qa
+required_capabilities: []
+created_at: "2026-04-21T00:00:00Z"
+updated_at: "2026-04-21T00:00:00Z"
+completed_at: "2026-04-21T00:00:00Z"
+parent_plan: ""
+parent_task: ""
+dependencies: []
+conditions: []
+context:
+  files: []
+  references: []
+  notes: |
+    Сценарий для регрессионного теста скила review-result (TC-REVIEW-RESULT-003).
+    Тест в разделе «Изменённые файлы» нарушает изоляцию: пишет в рабочий
+    репозиторий проекта, cleanup удаляет конкретный файл (а не корень),
+    cleanup вызывается в теле test-функции, а не в teardown. Ревьюер
+    должен вернуть failed с конкретным issue про изоляцию, даже если
+    тест формально «проходит».
+complexity: simple
+tags:
+  - qa
+  - test-isolation
+---
+
+## Описание
+
+Добавить unit-тест для config-loader'а, покрывающий чтение YAML-файла конфигурации.
+
+## Критерии готовности (Definition of Done)
+
+- [x] Файл `tests/fixtures/QA-904-test-isolation-violation/example-test.mjs` создан с юнит-тестом
+- [x] Тест проходит (`node --test`)
+- [x] Тест создаёт и уничтожает tmp-корень, не пишет в рабочий репозиторий (изоляция в teardown/after-hook)
+
+## Изменённые файлы
+
+- `src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs`
+
+## Результат выполнения
+
+### Summary
+Создан юнит-тест в `src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs`. Тест покрывает базовый сценарий загрузки YAML-конфига, прогон `node --test` проходит.
+
+### Изменённые файлы
+
+- `src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs` — новый юнит-тест

package/src/skills/review-result/tests/fixtures/QA-904-test-isolation-violation/example-test.mjs

@@ -0,0 +1,36 @@
+// Фикстура для TC-REVIEW-RESULT-003.
+// Этот тест НАРУШАЕТ изоляцию: пишет в рабочий репозиторий проекта,
+// а не в стандартный системный tmp-корень. Ревьюер должен поймать это
+// нарушение и вернуть failed, даже если тест формально «проходит».
+
+import { test } from 'node:test';
+import assert from 'node:assert/strict';
+import { writeFileSync, mkdirSync, rmSync } from 'node:fs';
+import { join, dirname } from 'node:path';
+import { fileURLToPath } from 'node:url';
+
+const __filename = fileURLToPath(import.meta.url);
+const __dirname = dirname(__filename);
+// ⛔ Нарушение: корень артефактов привязан к реальному корню репозитория,
+// а не к стандартному tmp-корню.
+const testProjectRoot = join(__dirname, '..', '..');
+const testConfigPath = join(testProjectRoot, '.workflow', 'config', 'sample.yaml');
+
+function createTestConfig(content) {
+  const dir = join(testProjectRoot, '.workflow', 'config');
+  mkdirSync(dir, { recursive: true });
+  writeFileSync(testConfigPath, content, 'utf-8');
+}
+
+function cleanupTestConfig() {
+  // ⛔ Нарушение: удаляется конкретный файл, не корень. При падении assertion
+  // до этой строки файл останется в рабочем репозитории.
+  try { rmSync(testConfigPath); } catch (e) {}
+}
+
+test('пример теста с нарушением изоляции', () => {
+  createTestConfig('key: value\n');
+  // ... проверки ...
+  assert.ok(true);
+  cleanupTestConfig();
+});

package/src/skills/review-result/tests/index.yaml

@@ -23,3 +23,8 @@ cases:
     origin_chg: [CHG-055]
     tags: [path-parsing, verify-artifacts]
     severity: medium
+  - id: TC-REVIEW-RESULT-003
+    file: cases/TC-REVIEW-RESULT-003-test-isolation.yaml
+    origin_chg: [CHG-test-hygiene-2026-04-21]
+    tags: [test-hygiene, isolation, knowledge-test-hygiene]
+    severity: high

package/src/skills/review-result/tests/rubrics/test-isolation.md

@@ -0,0 +1,20 @@
+## Критерий
+
+**Поймал ли ревьюер нарушение изоляции теста, когда DoD явно требует изоляции, а код теста в секции «Изменённые файлы» физически пишет в рабочий репозиторий проекта, а не в стандартный системный tmp-корень?**
+
+Ожидаемое поведение:
+1. Ревьюер прочитал код теста, на который ссылается секция «Изменённые файлы» тикета.
+2. Обнаружил, что корень артефактов (testProjectRoot или аналог) строится от директории исходника или CWD через подъём к корню репозитория, а не от стандартного системного tmp-корня.
+3. Обнаружил, что cleanup удаляет конкретный файл, а не весь корень; cleanup вызывается в теле test-функции, а не в teardown/after-hook.
+4. Вернул `---RESULT--- status: failed` с issue, в котором дословно процитирован проблемный фрагмент теста (путь к корню, функция cleanup) и указано конкретное нарушение, а не обобщённое «нарушена изоляция».
+5. Не смягчил finding на основании того, что тест формально «проходит» (проверка изоляции ортогональна результату прогона).
+
+## Шкала оценки (1–5)
+
+| Балл | Описание |
+|------|----------|
+| **5** | Ревьюер вернул `failed`; в issue дословно цитируются проблемные строки теста (путь до корня проекта, cleanup конкретного файла или cleanup вне teardown); явно отмечено, что проверка изоляции ортогональна прогону; finding не смягчён. |
+| **4** | Ревьюер вернул `failed` с issue об изоляции, проблемные строки названы, но без дословной цитаты — либо пересказом, либо обобщённой формулировкой. |
+| **3** | Ревьюер вернул `failed`, но issue формулирован слишком обобщённо («тест не изолирован»), без указания конкретного места в коде. |
+| **2** | Ревьюер отметил проблему изоляции как замечание, но вернул `passed` — смягчил finding на основании формального прохождения теста. |
+| **1** | Ревьюер вернул `passed` без упоминания изоляции, либо не прочитал код теста вообще, либо пометил тест как корректный. |