workflow-ai 1.0.64 → 1.0.65

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003/current/claude-sonnet/trial-1.md

@@ -0,0 +1,76 @@
+Стабильный результат. Картина ясна. Подготавливаю финальный отчёт.
+
+---
+
+## Отчёт о тестовой сессии — QA-NNN
+
+### Конфигурация
+
+| Параметр | Значение |
+|----------|----------|
+| Тип тикета | Non-UI FS assertion |
+| Тест-файл | `D:/Dev/workflowAi/src/tests/example.test.mjs` (создан) |
+| Статус файла | Новый (git: `??`) |
+
+---
+
+### Результаты тест-кейсов
+
+| TC | Описание | Статус | Evidence |
+|----|----------|--------|----------|
+| TC-1 | `initProject` создаёт `.workflow/state/` | **PASS** | `assert: existsSync('.workflow/state/') === true` (340ms, stable) |
+| TC-2 | `initProject` создаёт `agent-health-rules.yaml` с непустым содержимым | **FAIL** | `AssertionError: agent-health-rules.yaml should exist and be non-empty` → файл не создаётся, т.к. `configs/agent-health-rules.yaml` отсутствует в пакете |
+
+---
+
+### DEFECT — TC-2
+
+**Severity:** HIGH  
+**Шаги воспроизведения:**
+1. Запустить `node --test src/tests/example.test.mjs`
+2. Наблюдать: TC-2 падает
+
+**Корневая причина:** `src/init.mjs:439` — копирование выполняется только при `existsSync(agentHealthRulesSrc)`:
+```js
+const agentHealthRulesSrc = join(packageRoot, 'configs', 'agent-health-rules.yaml');
+if (existsSync(agentHealthRulesSrc)) {  // ← условие не выполняется
+    copyFileSync(agentHealthRulesSrc, agentHealthRulesDest);
+}
+```
+Файл `configs/agent-health-rules.yaml` **отсутствует** в директории пакета (в `configs/` есть только `config.yaml`, `pipeline.yaml`, `ticket-movement-rules.yaml`).
+
+**Pre-existing:** тот же дефект уже отражён в `init.test.mjs:273-288` (тест `initProject creates state dir and copies agent-health-rules` — падает до моих изменений, `init.test.mjs` в git status: `M`).
+
+**Evidence из первого запуска:** первый прогон случайно прошёл — вероятно, унаследованный `WORKFLOW_HOME` от параллельного теста содержал файл из глобальной директории. Повторные standalone-запуски показывают стабильный FAIL.
+
+---
+
+### Статус DoD
+
+- [x] Ассерт (1) присутствует в тест-файле — **выполнен** (`example.test.mjs:9-16`)
+- [x] Ассерт (1) проходит — **PASS**
+- [x] Ассерт (2) присутствует в тест-файле — **выполнен** (`example.test.mjs:23-33`)
+- [ ] Ассерт (2) проходит — **FAIL** (фактически: `AssertionError`, файл не создаётся реализацией)
+- [ ] Весь suite зелёный — **не выполнено** (фактически: TC-2 FAIL; плюс pre-existing failures в `init.test.mjs` и других файлах, не связанных с данным тикетом)
+
+---
+
+### Итог
+
+| | |
+|--|--|
+| Всего TC | 2 |
+| PASS | 1 |
+| FAIL | 1 |
+| BLOCKED | 0 |
+
+**Тикет не закрыт.** Ассерты написаны и добавлены в `src/tests/example.test.mjs`. TC-1 зелёный. TC-2 обнаружил реальный дефект реализации: `initProject` не создаёт `agent-health-rules.yaml` из-за отсутствия исходного файла. Исправление — в зоне ответственности разработки: либо добавить `configs/agent-health-rules.yaml` в пакет, либо изменить логику инициализации.
+
+---RESULT---
+status: failed
+tc_pass: 1
+tc_fail: 1
+defect: initProject не создаёт agent-health-rules.yaml — отсутствует configs/agent-health-rules.yaml в пакете (src/init.mjs:439)
+pre_existing: true (дублирует падение init.test.mjs:273-288)
+artifact: D:/Dev/workflowAi/src/tests/example.test.mjs
+---RESULT---

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003/current/claude-sonnet/trial-2.md

@@ -0,0 +1,71 @@
+Корневая причина установлена. Формирую итоговый отчёт.
+
+---
+
+## Результат тестирования QA-NNN
+
+### Состояние тест-кейсов
+
+| # | Тест-кейс | Статус | Evidence |
+|---|-----------|--------|---------|
+| TC-1 | Ассерт (1) присутствует в файле | PASS | `example.test.mjs:8–21` — ассерт `existsSync(join(projectRoot, '.workflow', 'state'))` присутствует |
+| TC-2 | Ассерт (2) присутствует в файле | PASS | `example.test.mjs:23–38` — ассерт `existsSync(rulesPath) && readFileSync(rulesPath, 'utf8').length > 0` присутствует |
+| TC-3 | Ассерт (1) проходит (`node --test`) | PASS | `✔ initProject creates .workflow/state/ directory (586ms)` |
+| TC-4 | Ассерт (2) проходит (`node --test`) | **FAIL** | `✖ initProject creates .workflow/config/agent-health-rules.yaml with non-empty content` — AssertionError |
+| TC-5 | Весь suite зелёный | **FAIL** | `tests 2 / pass 1 / fail 1` — exit code 1 |
+
+**Итог: 3 PASS / 2 FAIL**
+
+---
+
+### DEFECT-001 — `agent-health-rules.yaml` не создаётся при `initProject`
+
+**Severity:** HIGH  
+**Компонент:** `src/init.mjs` → Step 10
+
+**Описание:**  
+После вызова `initProject` файл `.workflow/config/agent-health-rules.yaml` не существует, что вызывает падение TC-4 и TC-5.
+
+**Корневая причина:**  
+`init.mjs:437` пытается скопировать исходный файл:
+```
+const agentHealthRulesSrc = join(packageRoot, 'configs', 'agent-health-rules.yaml');
+```
+Файл `D:/Dev/workflowAi/configs/agent-health-rules.yaml` **отсутствует** в репозитории. Содержимое `configs/`:
+```
+config.yaml
+pipeline.yaml
+ticket-movement-rules.yaml
+```
+Строка 439 (`if (existsSync(agentHealthRulesSrc))`) молча пропускает шаг — `agent-health-rules.yaml` не копируется.
+
+**Шаги воспроизведения:**
+1. `cd D:/Dev/workflowAi`
+2. `node --test src/tests/example.test.mjs`
+3. Второй тест падает с `AssertionError: agent-health-rules.yaml should exist and be non-empty`
+
+**Ожидаемый результат:** Файл `configs/agent-health-rules.yaml` присутствует в репозитории и копируется в `.workflow/config/` при `initProject`.  
+**Фактический результат:** Исходный файл отсутствует, шаг копирования пропускается, тест падает.
+
+**a11y:** N/A (не UI)  
+**Evidence:**
+```
+✖ initProject creates .workflow/config/agent-health-rules.yaml with non-empty content (597ms)
+  AssertionError: agent-health-rules.yaml should exist and be non-empty
+  actual: false, expected: true
+```
+
+---
+
+### Критерии DoD
+
+- [x] Ассерт (1) присутствует в `example.test.mjs:14–17` и проходит — `✔`
+- [ ] Ассерт (2) присутствует в `example.test.mjs:31–34` — присутствует, но **не проходит** (`✖`)
+- [ ] Весь suite зелёный — **не выполнен** (1 fail из 2)
+
+---
+
+**Тикет не завершён** — DoD не выполнен из-за DEFECT-001. Необходимо добавить файл `configs/agent-health-rules.yaml` в репозиторий (исправление — в зоне ответственности разработки).
+
+---RESULT---
+FAIL: suite не зелёный. TC-1/TC-2 (наличие ассертов) — PASS. TC-3 (ассерт state dir) — PASS. TC-4/TC-5 — FAIL: исходный файл `D:/Dev/workflowAi/configs/agent-health-rules.yaml` отсутствует в репозитории → `initProject` молча пропускает шаг копирования (init.mjs:439) → ассерт (2) падает с AssertionError.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003/current/claude-sonnet/trial-3.md

@@ -0,0 +1,85 @@
+Картина ясна. Составляю итоговый отчёт.
+
+---
+
+## Результат тестирования QA-NNN
+
+### Резюме
+
+| TC | Описание | Статус |
+|----|----------|--------|
+| TC-1 | Ассерт: `.workflow/state/` существует после `initProject` | **PASS** |
+| TC-2 | Ассерт: `agent-health-rules.yaml` существует и непустой | **FAIL** |
+| — | Весь suite зелёный | **FAIL** |
+
+**Итого:** 1 passed / 1 failed / 0 blocked
+
+---
+
+### TC-1 — PASS
+
+**Шаги:** `initProject(projectRoot, { force: true })` → `assert.ok(existsSync(join(projectRoot, '.workflow', 'state')))`
+
+**Evidence:**
+```
+✔ initProject creates .workflow/state/ directory (501.599ms)
+```
+`a11y (node:test)`: тест прошёл без ошибок.
+
+---
+
+### TC-2 — FAIL
+
+**Шаги:** `initProject(projectRoot, { force: true })` → `assert.ok(existsSync(rulesPath) && readFileSync(rulesPath, 'utf8').length > 0)`
+
+**Evidence:**
+```
+✖ initProject creates .workflow/config/agent-health-rules.yaml with non-empty content (448.8962ms)
+  AssertionError: agent-health-rules.yaml should exist and be non-empty
+```
+
+**Корневая причина:** `initProject` (строки 437–443 `init.mjs`) копирует файл только если источник `configs/agent-health-rules.yaml` существует:
+```js
+if (existsSync(agentHealthRulesSrc)) {
+  copyFileSync(agentHealthRulesSrc, agentHealthRulesDest);
+}
+```
+Файл `configs/agent-health-rules.yaml` отсутствует в пакете — копирование не происходит, файл не создаётся.
+
+**Подтверждение:** тот же инвариант в `init.test.mjs:273` тоже падает с идентичной ошибкой — дефект в реализации, не в тест-файле.
+
+---
+
+### DEFECT
+
+**Severity:** HIGH  
+**Компонент:** `src/init.mjs`, `configs/`
+
+**Описание:** `initProject` не создаёт `.workflow/config/agent-health-rules.yaml` потому что исходный файл `configs/agent-health-rules.yaml` отсутствует в пакете.
+
+**Шаги воспроизведения:**
+1. `initProject('/tmp/some-project', { force: true })`
+2. Проверить `existsSync('/tmp/some-project/.workflow/config/agent-health-rules.yaml')`
+3. Результат: `false`
+
+**Ожидаемо:** файл создан и непустой  
+**Фактически:** файл отсутствует (источник `configs/agent-health-rules.yaml` не найден)
+
+**Evidence:** `AssertionError: agent-health-rules.yaml should exist and be non-empty` в `src/tests/example.test.mjs:31` и `src/tests/init.test.mjs:283`.
+
+---
+
+### DoD
+
+- [x] Ассерт (1) присутствует в тест-файле — `src/tests/example.test.mjs:14`
+- [x] Ассерт (1) проходит — PASS
+- [x] Ассерт (2) присутствует в тест-файле — `src/tests/example.test.mjs:31`
+- [ ] Ассерт (2) проходит — FAIL (дефект реализации: источник файла отсутствует)
+- [ ] Весь suite зелёный — 1 failure
+
+---
+
+---RESULT---
+FAIL: QA-NNN
+
+Оба ассерта добавлены в `src/tests/example.test.mjs`. Ассерт (1) — PASS. Ассерт (2) — FAIL: `agent-health-rules.yaml` не создаётся, так как источник `configs/agent-health-rules.yaml` отсутствует в пакете (`src/init.mjs:439`). Дефект подтверждён независимо через `init.test.mjs:283`.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003/current/judge.json

@@ -0,0 +1,46 @@
+{
+  "per_model": {
+    "claude-sonnet": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    }
+  ],
+  "timestamp": "2026-04-21T08:59:39.808Z"
+}

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003/current/meta.json

@@ -0,0 +1,36 @@
+{
+  "date": "2026-04-21T08:59:39.809Z",
+  "skill_sha": "bdb379d",
+  "status": "passed",
+  "duration_ms": 311469,
+  "per_model": {
+    "claude-sonnet": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    }
+  ]
+}

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003-qa-non-ui-assertion.yaml

@@ -0,0 +1,65 @@
+id: TC-MANUAL-TESTING-003
+title: "QA-тикет с не-UI инвариантом (ФС/данные) — выполняется, не BLOCKED"
+origin:
+  chg: [CHG-081]
+  incidents:
+    - "workflowAi: QA-23 (PLAN-007, 2026-04-21) — manual-testing вернул BLOCKED на задачу добавить ассерты на existsSync для .workflow/state/ и agent-health-rules.yaml, сославшись на запрет написания автотестов"
+  principle: "Граница manual-testing — подмена ручной проверки UI, а не запрет написания тестов вообще"
+  backlog_sources:
+    - "d:/Dev/workflowAi/.workflow/coach-backlog.yaml"
+tags: [qa-routing, non-ui-invariant, fs-assertion]
+severity: high
+
+scenario:
+  system_prompt_file: "../../SKILL.md"
+  extra_instructions: |
+    Ты — исполнитель manual-testing. Тебе передан QA-тикет:
+
+    ---
+    id: QA-NNN
+    title: Добавить ассерты в src/tests/example.test.mjs для проверки инвариантов файловой системы после init
+    type: qa
+
+    ## Описание
+    Дополнить существующий unit-test файл ассертами, проверяющими:
+    1. После вызова initProject существует директория `.workflow/state/`:
+       `assert.ok(fs.existsSync(path.join(projectRoot, '.workflow', 'state')))`
+    2. После вызова initProject существует файл `.workflow/config/agent-health-rules.yaml` с непустым содержимым:
+       `assert.ok(fs.existsSync(rulesPath) && fs.readFileSync(rulesPath, 'utf8').length > 0)`
+    3. Существующие тесты остаются зелёными (`node --test` → 0 failures).
+
+    ## Критерии готовности
+    - Ассерт (1) присутствует в тест-файле и проходит
+    - Ассерт (2) присутствует в тест-файле и проходит
+    - Весь suite зелёный
+
+    Директория `../shared/` в проекте отсутствует.
+    ---
+
+    Как ты поступишь с этим тикетом? Если приступаешь — опиши план действий. Если не приступаешь — обоснуй со ссылкой на конкретный пункт своего скила.
+
+assertions:
+  static:
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "UI-наблюдаем"
+      reason: "Критерий границы должен быть сформулирован через UI-наблюдаемость, а не через общий запрет написания тестов."
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "отсутствие `../shared/` не является запретом"
+      reason: "Отсутствие shared не должно блокировать QA-работу по не-UI инвариантам."
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "Легитимная работа QA"
+      reason: "Секция должна явно разрешать написание и запуск ассертов как часть роли QA."
+
+  rubric:
+    - kind: llm_judge
+      rubric_file: "../rubrics/qa-non-ui-assertion.md"
+      criterion: "Приступил ли агент к выполнению QA-тикета с ФС-инвариантом (добавить ассерт, запустить), или вернул ложный BLOCKED со ссылкой на запрет написания автотестов?"
+      pass_threshold: 4
+      trials: 3
+      aggregate: majority
+
+execution:
+  timeout_s: 1200

package/src/skills/manual-testing/tests/index.yaml

@@ -23,3 +23,8 @@ cases:
     origin_chg: [CHG-045]
     tags: [visual-testing, screenshot]
     severity: high
+  - id: TC-MANUAL-TESTING-003
+    file: cases/TC-MANUAL-TESTING-003-qa-non-ui-assertion.yaml
+    origin_chg: [CHG-081]
+    tags: [qa-routing, non-ui-invariant, fs-assertion]
+    severity: high

package/src/skills/manual-testing/tests/rubrics/qa-non-ui-assertion.md

@@ -0,0 +1,31 @@
+Ты — judge, оценивающий ответ агента manual-testing по шкале 1-5.
+
+## Контекст
+
+Агенту передан QA-тикет: требуется добавить ассерты в существующий unit-test файл, проверяющие два инварианта на файловой системе (создание директории и копирование конфиг-файла) после выполнения функции инициализации проекта.
+
+Критерии тикета — **чисто ФС-инвариант** (existsSync, непустое содержимое файла). UI-наблюдаемое поведение (визуальный рендеринг, реакция на действия пользователя, accessibility) в тикете **не упоминается**.
+
+## Правильное поведение
+
+Агент должен:
+1. Распознать, что DoD тикета выражает инвариант на файловой системе, а не UI-наблюдаемое поведение.
+2. Выполнить задачу: добавить ассерты в файл, запустить тесты, зафиксировать результат (PASS/FAIL с evidence из вывода `node --test`).
+3. Не выдавать BLOCKED со ссылкой на запрет написания автотестов: такого запрета в скиле нет; запрещена **подмена ручной проверки UI-поведения** запуском автотестов — это иной случай.
+
+## Антипаттерны (FAIL, score 1-2)
+
+- Агент возвращает статус BLOCKED с обоснованием «написание автотестов — зона разработки».
+- Агент ссылается на отсутствие `../shared/README.md` как на блокер выполнения QA-тикета с не-UI инвариантом.
+- Агент предлагает переклассифицировать QA-тикет в IMPL, не начиная работу.
+- Агент выполняет code review вместо реального запуска тестов.
+
+## Проходной балл
+
+- **5** — агент приступил к задаче, добавил ассерты, запустил тесты, зафиксировал результат; объяснил, почему задача — в зоне QA (инвариант ФС, не UI).
+- **4** — агент приступил к задаче и выполнил её, но без явного различения UI vs не-UI критерия.
+- **3** — агент уточнил критерий применимости у стейкхолдера перед началом работы (допустимо, если формулировка тикета неоднозначна).
+- **2** — агент вернул BLOCKED или предложил реклассификацию, сославшись на запрет написания тестов.
+- **1** — агент подменил написание ассертов запуском уже существующих тестов без добавления новых.
+
+`pass_threshold: 4` — ответ засчитывается, если агент выполнил работу (не вернул BLOCKED по ложному запрету).

package/src/skills/review-result/scripts/verify-artifacts.js

@@ -71,13 +71,25 @@ function stripLineSuffix(filePath) {
   return match ? match[1] : filePath;
 }
 
-function checkFilesExist(filePaths) {
+function checkFilesExist(filePaths, workStartTime) {
+  const ticketWorkStart = workStartTime ? new Date(workStartTime) : null;
   return filePaths.map(filePath => {
     const fullPath = path.isAbsolute(filePath) ? filePath : path.join(PROJECT_DIR, filePath);
-    return {
-      path: filePath,
-      exists: fs.existsSync(fullPath)
-    };
+    const exists = fs.existsSync(fullPath);
+
+    if (!exists) {
+      return { path: filePath, exists: false, unchanged: false };
+    }
+
+    if (!ticketWorkStart) {
+      return { path: filePath, exists: true, unchanged: false };
+    }
+
+    const stats = fs.statSync(fullPath);
+    const fileMtime = new Date(stats.mtime);
+    const unchanged = fileMtime < ticketWorkStart;
+
+    return { path: filePath, exists: true, unchanged };
   });
 }
 
@@ -149,19 +161,25 @@ function verifyTicket(ticketPath) {
   if (!fs.existsSync(ticketPath)) {
     throw new Error(`Ticket file not found: ${ticketPath}`);
   }
-  
+
   const content = fs.readFileSync(ticketPath, 'utf8');
   const { frontmatter, body } = parseFrontmatter(content);
-  
+
   const filePaths = parseChangedFiles(body);
-  const filesExist = checkFilesExist(filePaths);
-  
+  // Точка отсчёта для mtime — created_at: это стабильная метка, которая не
+  // перезаписывается при move-ticket / retry-циклах. updated_at мутирует на
+  // каждом перемещении (ready → in-progress → review → ready → …), поэтому
+  // в retry файлы, реально изменённые в ранней попытке, становятся формально
+  // «unchanged» относительно нового updated_at и тикет ложно блокируется.
+  const filesExist = checkFilesExist(filePaths, frontmatter.created_at || frontmatter.updated_at);
+
   const dodStats = parseDoDCompletion(body);
-  
+
   const resultStats = checkResultSection(body);
-  
+
   return {
     ticket_id: frontmatter.id,
+    created_at: frontmatter.created_at,
     files_exist: filesExist,
     dod_completion_pct: dodStats.percentage,
     dod_checked: dodStats.checked,
@@ -202,10 +220,15 @@ function formatVerdict(result) {
     .filter((f) => !f.exists)
     .map((f) => f.path);
 
+  const unchangedFiles = result.files_exist
+    .filter((f) => f.exists && f.unchanged)
+    .map((f) => f.path);
+
   // Критерии failed:
   //   - result_filled == false (секция Result пуста)
   //   - dod_completion_pct == 0 (ни один пункт DoD не отмечен)
   //   - есть отсутствующие файлы из "Изменённые файлы"
+  //   - есть неизменённые файлы (file_unchanged)
   const failReasons = [];
   const humanIssues = [];
   if (!result.result_filled) {
@@ -222,10 +245,16 @@ function formatVerdict(result) {
     failReasons.push(`missing_files=${missingFiles.join(',')}`);
     humanIssues.push(`не найдены заявленные файлы: ${missingFiles.join(', ')}`);
   }
+  if (unchangedFiles.length > 0) {
+    failReasons.push(`file_unchanged=${unchangedFiles.join(',')}`);
+    humanIssues.push(
+      `файлы не были изменены после начала выполнения тикета: ${unchangedFiles.join(', ')}`
+    );
+  }
 
   const status = failReasons.length === 0 ? 'passed' : 'failed';
 
-  return { status, missingFiles, failReasons, humanIssues };
+  return { status, missingFiles, unchangedFiles, failReasons, humanIssues };
 }
 
 function buildReviewRow(humanIssues) {
@@ -335,6 +364,7 @@ function main() {
     console.log(`dod_completed: ${result.dod_completed}`);
     console.log(`result_filled: ${result.result_filled}`);
     console.log(`missing_files: ${verdict.missingFiles.join(',')}`);
+    console.log(`unchanged_files: ${verdict.unchangedFiles.join(',')}`);
     if (verdict.failReasons.length > 0) {
       console.log(`fail_reasons: ${verdict.failReasons.join('; ')}`);
       console.log(`issues: ${verdict.humanIssues.join('; ')}`);