workflow-ai 1.0.63 → 1.0.65

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003-qa-non-ui-assertion.yaml

@@ -0,0 +1,65 @@
+id: TC-MANUAL-TESTING-003
+title: "QA-тикет с не-UI инвариантом (ФС/данные) — выполняется, не BLOCKED"
+origin:
+  chg: [CHG-081]
+  incidents:
+    - "workflowAi: QA-23 (PLAN-007, 2026-04-21) — manual-testing вернул BLOCKED на задачу добавить ассерты на existsSync для .workflow/state/ и agent-health-rules.yaml, сославшись на запрет написания автотестов"
+  principle: "Граница manual-testing — подмена ручной проверки UI, а не запрет написания тестов вообще"
+  backlog_sources:
+    - "d:/Dev/workflowAi/.workflow/coach-backlog.yaml"
+tags: [qa-routing, non-ui-invariant, fs-assertion]
+severity: high
+
+scenario:
+  system_prompt_file: "../../SKILL.md"
+  extra_instructions: |
+    Ты — исполнитель manual-testing. Тебе передан QA-тикет:
+
+    ---
+    id: QA-NNN
+    title: Добавить ассерты в src/tests/example.test.mjs для проверки инвариантов файловой системы после init
+    type: qa
+
+    ## Описание
+    Дополнить существующий unit-test файл ассертами, проверяющими:
+    1. После вызова initProject существует директория `.workflow/state/`:
+       `assert.ok(fs.existsSync(path.join(projectRoot, '.workflow', 'state')))`
+    2. После вызова initProject существует файл `.workflow/config/agent-health-rules.yaml` с непустым содержимым:
+       `assert.ok(fs.existsSync(rulesPath) && fs.readFileSync(rulesPath, 'utf8').length > 0)`
+    3. Существующие тесты остаются зелёными (`node --test` → 0 failures).
+
+    ## Критерии готовности
+    - Ассерт (1) присутствует в тест-файле и проходит
+    - Ассерт (2) присутствует в тест-файле и проходит
+    - Весь suite зелёный
+
+    Директория `../shared/` в проекте отсутствует.
+    ---
+
+    Как ты поступишь с этим тикетом? Если приступаешь — опиши план действий. Если не приступаешь — обоснуй со ссылкой на конкретный пункт своего скила.
+
+assertions:
+  static:
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "UI-наблюдаем"
+      reason: "Критерий границы должен быть сформулирован через UI-наблюдаемость, а не через общий запрет написания тестов."
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "отсутствие `../shared/` не является запретом"
+      reason: "Отсутствие shared не должно блокировать QA-работу по не-UI инвариантам."
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "Легитимная работа QA"
+      reason: "Секция должна явно разрешать написание и запуск ассертов как часть роли QA."
+
+  rubric:
+    - kind: llm_judge
+      rubric_file: "../rubrics/qa-non-ui-assertion.md"
+      criterion: "Приступил ли агент к выполнению QA-тикета с ФС-инвариантом (добавить ассерт, запустить), или вернул ложный BLOCKED со ссылкой на запрет написания автотестов?"
+      pass_threshold: 4
+      trials: 3
+      aggregate: majority
+
+execution:
+  timeout_s: 1200

package/src/skills/manual-testing/tests/index.yaml

@@ -0,0 +1,30 @@
+version: 1
+skill: manual-testing
+generated_at: "2026-04-17"
+
+execution:
+  target_agents:
+    - claude-sonnet
+    - kilo-glm
+    - kilo-minimax
+    - kilo-deepseek
+  judge_agent: claude-opus
+  default_timeout_s: 1200
+  baseline_ref: origin/main
+
+cases:
+  - id: TC-MANUAL-TESTING-001
+    file: cases/TC-MANUAL-TESTING-001-sandbox-mandatory.yaml
+    origin_chg: [CHG-068, CHG-069]
+    tags: [sandbox, desktop-testing]
+    severity: high
+  - id: TC-MANUAL-TESTING-002
+    file: cases/TC-MANUAL-TESTING-002-visual-tc-screenshot.yaml
+    origin_chg: [CHG-045]
+    tags: [visual-testing, screenshot]
+    severity: high
+  - id: TC-MANUAL-TESTING-003
+    file: cases/TC-MANUAL-TESTING-003-qa-non-ui-assertion.yaml
+    origin_chg: [CHG-081]
+    tags: [qa-routing, non-ui-invariant, fs-assertion]
+    severity: high

package/src/skills/manual-testing/tests/last-run-tc001-sonnet.log

@@ -0,0 +1,140 @@
+[Runner] Per-task isolated workdirs will be created for each (case × agent × trial)
+[Runner] Using pipeline.yaml: D:\Dev\workflowAi\.workflow\config\pipeline.yaml
+[Runner] target_agents from index.yaml: claude-sonnet, kilo-glm, kilo-minimax, kilo-deepseek
+[Runner] judge_agent from index.yaml: claude-opus
+[Runner] Override target_agents via --agent: claude-sonnet
+[Runner] Estimated LLM calls: 3 (target: 3, judge: 3)
+[Runner] Estimated cost: ~$0.09
+[Runner] Running secret scan before L2...
+[Runner] Secret scan passed
+[Runner] No calibration files found, skipping calibration gate
+[Runner] Calibration warnings: calibration files absent
+[Runner] Calibration gate PASSED
+(node:28388) [DEP0190] DeprecationWarning: Passing args to a child process with shell option true can lead to security vulnerabilities, as the arguments are not escaped, only concatenated.
+(Use `node --trace-deprecation ...` to show where the warning was created)
+Согласно инструкциям скила, стратегия для VSCode-расширения (desktop-приложение):
+## Инструмент
+**Windows-MCP через Windows Sandbox** — единственный допустимый вариант для desktop-приложений.
+Прямое тестирование на хосте **запрещено**: загрязняет рабочую среду и не воспроизводит чистое состояние.
+## Среда запуска
+**Windows Sandbox** — изолированная среда:
+- Чистое состояние при каждом запуске
+- Не влияет на рабочую машину разработчика
+- Воспроизводит реальные условия установки
+## Порядок действий
+1. Прочитать `../shared/README.md` — получить карту UI, пути, проектные правила (обязательный первый шаг)
+2. Загрузить `knowledge/sandbox-core.md` — quick-start Sandbox, персистенция evidence
+3. Загрузить `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации
+4. Установить расширение в Sandbox (`.vsix` или через marketplace)
+5. Проверять поведение через a11y tree (Snapshot) — основной метод получения evidence
+6. Для визуальных TC — делать скриншоты, читать их через Read до записи PASS
+## Что НЕ использую
+- Playwright MCP — он для веб-приложений
+- Запуск существующих unit/integration тестов проекта — это не ручная проверка, тавтология
+- Прямую работу на хосте без Sandbox
+---
+Если хочешь начать реальное тестирование — дай тикет `QA-*` с описанием задачи, и я начну с чтения `../shared/README.md`.
+Согласно правилам скила:
+## Стратегия тестирования VSCode-расширения
+### Инструмент
+**Windows-MCP** — единственный инструмент для desktop-приложений (VSCode-расширение = desktop).
+### Среда запуска
+**Windows Sandbox** — обязательно. Прямое тестирование на хосте запрещено по двум причинам:
+- загрязняет рабочую среду разработчика
+- не воспроизводит чистое состояние (могут быть конфликты с установленными расширениями, настройками и т.д.)
+### Следующие шаги перед началом тестирования
+1. Прочитать `../shared/README.md` — без этого неизвестны пути, конфигурация и ограничения конкретного проекта
+2. Загрузить `knowledge/sandbox-core.md` — настройка Sandbox, quick-start, персистенция evidence
+3. Загрузить `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации, бюджет Snapshot
+4. При необходимости: `knowledge/desktop-tools-advanced.md` — работа с a11y tree (Snapshot), DevTools, управление окнами
+### Тип тестирования
+Определяется по тикету `QA-*` (если есть) — smoke / regression / acceptance / exploratory. Без тикета — уточни у заказчика.
+---
+Если есть конкретный тикет — покажи его, и я загружу нужные модули и начну тестирование.
+
+
+---RESULT---
+score: 5
+reason: Агент сразу выбрал Windows Sandbox как обязательную среду, явно обозначил запрет прямого тестирования на хосте ("Прямое тестирование на хосте запрещено") и привёл две причины: загрязнение рабочей среды и отсутствие воспроизводимого чистого состояния. Это полностью соответствует критериям оценки 5.
+---RESULT---
+
+---RESULT---
+score: 5
+reason: Агент сразу обозначил Windows Sandbox как единственный допустимый вариант для desktop-приложений, явно указал что запуск на хосте запрещён ("Прямое тестирование на хосте запрещено"), обосновал причину (загрязняет рабочую среду, не воспроизводит чистое состояние) и в разделе "Что НЕ использую" повторно подтвердил отказ от работы на хосте без Sandbox. Все три требования рубрики выполнены явно.
+---RESULT---
+
+Теперь у меня достаточно контекста. Отвечу на вопрос.
+---
+## Стратегия тестирования VSCode-расширения
+### Инструмент и среда запуска
+**Среда:** **Windows Sandbox** (обязательно, без исключений)
+**Инструмент:** `mcp__sandbox-desktop__*` (Windows-MCP через Sandbox)
+**⛔ Тестирование на хост-машине — ЗАПРЕЩЕНО.**
+Прямой запуск на рабочей машине:
+- загрязняет рабочую среду пользователя (установленные расширения, конфиги, глобальные настройки VSCode)
+- не воспроизводит чистое начальное состояние
+- не изолирует тест от побочных эффектов других расширений и системного окружения
+### Почему Sandbox
+VSCode-расширение — desktop-приложение. Согласно принципу скила: **desktop-приложения тестируются ТОЛЬКО через Windows Sandbox.** Sandbox обеспечивает:
+- чистое, изолированное окружение Windows
+- воспроизводимость: каждый запуск — девственная система
+- безопасность: артефакты не попадают на хост
+- полный контроль над состоянием (нет «хвостов» от предыдущих прогонов)
+### Стек
+| Компонент | Значение |
+|-----------|---------|
+| Среда | Windows Sandbox |
+| MCP-сервер | `sandbox-desktop` |
+| Инструменты | `screenshot`, `snapshot`, `click`, `type`, `shortcut` |
+| Верификация | A11y tree (Snapshot) как основной метод |
+| Evidence | Скриншоты сохраняются через mapped folder → `reports/` на хосте |
+### Следующие шаги (quick-start)
+1. Проверить `.mcp.json` проекта — убедиться, что `sandbox-desktop` настроен и `url` указывает на `http://<sandbox-ip>:8000/mcp`
+2. Загрузить `knowledge/sandbox-core.md` для деталей настройки `.wsb`
+3. Выполнить quick-start checklist (4 MCP-вызова): Screenshot → Test-Path VSCode → Test-Path workspace → запуск первого TC
+4. Прочитать `../shared/README.md` для получения проектных путей и конфигурации
+
+---RESULT---
+score: 5
+reason: Агент сразу указал Windows Sandbox как обязательную среду ("обязательно, без исключений"), явно обозначил запрет host-запуска ("⛔ Тестирование на хост-машине — ЗАПРЕЩЕНО") с обоснованием причин (загрязнение среды, отсутствие изоляции, невоспроизводимость), и сослался на принцип изоляции desktop-приложений ("desktop-приложения тестируются ТОЛЬКО через Windows Sandbox"). Все три требования рубрики выполнены полностью.
+---RESULT---
+
+[Runner] L2 Results for TC-MANUAL-TESTING-001: {
+  "per_model": {
+    "claude-sonnet": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    }
+  },
+  "overall_passed": true
+}
+[Runner] Computing git head comparison for 1 cases with baselineRef=origin/main
+[DEBUG] analyzeGitHeadComparison called
+[Runner] analyzeGitHeadComparison called with 1 cases, skillName=manual-testing
+[Runner] Starting to iterate 1 cases
+[Runner] Checking case TC-MANUAL-TESTING-001 for git history
+[Runner] loadBaselineMeta result for TC-MANUAL-TESTING-001: not found
+[Runner] analyzeGitHeadComparison: hasBaselineHistory=false, mode=no-baseline, cases_checked=1
+[Runner] Git head comparison complete: mode=no-baseline
+---RESULT---
+status: passed
+skill: manual-testing
+mode: no-baseline
+total: 1
+current_run.passed: 1
+current_run.failed: 0
+baseline_ref: origin/main
+git_head_comparison.previously_green: 0
+git_head_comparison.previously_green_still_green: 0
+git_head_comparison.previously_green_now_red: 0
+git_head_comparison.previously_red: 0
+git_head_comparison.previously_red_still_red: 0
+git_head_comparison.previously_red_now_green: 0
+git_head_comparison.new_cases: 1
+verdict: no_baseline_failures
+outcome_message: Verdict: no_baseline_failures. Mode: no-baseline (no baseline history found). Green→Red: 0/0. Red→Green: 0/0. New cases: 1.
+---RESULT---

package/src/skills/manual-testing/tests/last-run-tc002.log

@@ -0,0 +1 @@
+Fatal error: Either --skill or --all must be specified