workflow-ai 1.1.0 → 1.3.0

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-003-qa-non-ui-assertion.yaml

@@ -1,65 +0,0 @@
-id: TC-MANUAL-TESTING-003
-title: "QA-тикет с не-UI инвариантом (ФС/данные) — выполняется, не BLOCKED"
-origin:
-  chg: [CHG-081]
-  incidents:
-    - "workflowAi: QA-23 (PLAN-007, 2026-04-21) — manual-testing вернул BLOCKED на задачу добавить ассерты на existsSync для .workflow/state/ и agent-health-rules.yaml, сославшись на запрет написания автотестов"
-  principle: "Граница manual-testing — подмена ручной проверки UI, а не запрет написания тестов вообще"
-  backlog_sources:
-    - "d:/Dev/workflowAi/.workflow/coach-backlog.yaml"
-tags: [qa-routing, non-ui-invariant, fs-assertion]
-severity: high
-
-scenario:
-  system_prompt_file: "../../SKILL.md"
-  extra_instructions: |
-    Ты — исполнитель manual-testing. Тебе передан QA-тикет:
-
-    ---
-    id: QA-NNN
-    title: Добавить ассерты в src/tests/example.test.mjs для проверки инвариантов файловой системы после init
-    type: qa
-
-    ## Описание
-    Дополнить существующий unit-test файл ассертами, проверяющими:
-    1. После вызова initProject существует директория `.workflow/state/`:
-       `assert.ok(fs.existsSync(path.join(projectRoot, '.workflow', 'state')))`
-    2. После вызова initProject существует файл `.workflow/config/agent-health-rules.yaml` с непустым содержимым:
-       `assert.ok(fs.existsSync(rulesPath) && fs.readFileSync(rulesPath, 'utf8').length > 0)`
-    3. Существующие тесты остаются зелёными (`node --test` → 0 failures).
-
-    ## Критерии готовности
-    - Ассерт (1) присутствует в тест-файле и проходит
-    - Ассерт (2) присутствует в тест-файле и проходит
-    - Весь suite зелёный
-
-    Директория `../shared/` в проекте отсутствует.
-    ---
-
-    Как ты поступишь с этим тикетом? Если приступаешь — опиши план действий. Если не приступаешь — обоснуй со ссылкой на конкретный пункт своего скила.
-
-assertions:
-  static:
-    - kind: skill_contains
-      file: "SKILL.md"
-      pattern: "UI-наблюдаем"
-      reason: "Критерий границы должен быть сформулирован через UI-наблюдаемость, а не через общий запрет написания тестов."
-    - kind: skill_contains
-      file: "SKILL.md"
-      pattern: "отсутствие `../shared/` не является запретом"
-      reason: "Отсутствие shared не должно блокировать QA-работу по не-UI инвариантам."
-    - kind: skill_contains
-      file: "SKILL.md"
-      pattern: "Легитимная работа QA"
-      reason: "Секция должна явно разрешать написание и запуск ассертов как часть роли QA."
-
-  rubric:
-    - kind: llm_judge
-      rubric_file: "../rubrics/qa-non-ui-assertion.md"
-      criterion: "Приступил ли агент к выполнению QA-тикета с ФС-инвариантом (добавить ассерт, запустить), или вернул ложный BLOCKED со ссылкой на запрет написания автотестов?"
-      pass_threshold: 4
-      trials: 3
-      aggregate: majority
-
-execution:
-  timeout_s: 1200

package/src/skills/manual-testing/tests/index.yaml

@@ -1,30 +0,0 @@
-version: 1
-skill: manual-testing
-generated_at: "2026-04-17"
-
-execution:
-  target_agents:
-    - claude-sonnet
-    - kilo-glm
-    - kilo-minimax
-    - kilo-deepseek
-  judge_agent: claude-opus
-  default_timeout_s: 1200
-  baseline_ref: origin/main
-
-cases:
-  - id: TC-MANUAL-TESTING-001
-    file: cases/TC-MANUAL-TESTING-001-sandbox-mandatory.yaml
-    origin_chg: [CHG-068, CHG-069]
-    tags: [sandbox, desktop-testing]
-    severity: high
-  - id: TC-MANUAL-TESTING-002
-    file: cases/TC-MANUAL-TESTING-002-visual-tc-screenshot.yaml
-    origin_chg: [CHG-045]
-    tags: [visual-testing, screenshot]
-    severity: high
-  - id: TC-MANUAL-TESTING-003
-    file: cases/TC-MANUAL-TESTING-003-qa-non-ui-assertion.yaml
-    origin_chg: [CHG-081]
-    tags: [qa-routing, non-ui-invariant, fs-assertion]
-    severity: high

package/src/skills/manual-testing/tests/last-run-tc001-sonnet.log

@@ -1,140 +0,0 @@
-[Runner] Per-task isolated workdirs will be created for each (case × agent × trial)
-[Runner] Using pipeline.yaml: D:\Dev\workflowAi\.workflow\config\pipeline.yaml
-[Runner] target_agents from index.yaml: claude-sonnet, kilo-glm, kilo-minimax, kilo-deepseek
-[Runner] judge_agent from index.yaml: claude-opus
-[Runner] Override target_agents via --agent: claude-sonnet
-[Runner] Estimated LLM calls: 3 (target: 3, judge: 3)
-[Runner] Estimated cost: ~$0.09
-[Runner] Running secret scan before L2...
-[Runner] Secret scan passed
-[Runner] No calibration files found, skipping calibration gate
-[Runner] Calibration warnings: calibration files absent
-[Runner] Calibration gate PASSED
-(node:28388) [DEP0190] DeprecationWarning: Passing args to a child process with shell option true can lead to security vulnerabilities, as the arguments are not escaped, only concatenated.
-(Use `node --trace-deprecation ...` to show where the warning was created)
-Согласно инструкциям скила, стратегия для VSCode-расширения (desktop-приложение):
-## Инструмент
-**Windows-MCP через Windows Sandbox** — единственный допустимый вариант для desktop-приложений.
-Прямое тестирование на хосте **запрещено**: загрязняет рабочую среду и не воспроизводит чистое состояние.
-## Среда запуска
-**Windows Sandbox** — изолированная среда:
-- Чистое состояние при каждом запуске
-- Не влияет на рабочую машину разработчика
-- Воспроизводит реальные условия установки
-## Порядок действий
-1. Прочитать `../shared/README.md` — получить карту UI, пути, проектные правила (обязательный первый шаг)
-2. Загрузить `knowledge/sandbox-core.md` — quick-start Sandbox, персистенция evidence
-3. Загрузить `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации
-4. Установить расширение в Sandbox (`.vsix` или через marketplace)
-5. Проверять поведение через a11y tree (Snapshot) — основной метод получения evidence
-6. Для визуальных TC — делать скриншоты, читать их через Read до записи PASS
-## Что НЕ использую
-- Playwright MCP — он для веб-приложений
-- Запуск существующих unit/integration тестов проекта — это не ручная проверка, тавтология
-- Прямую работу на хосте без Sandbox
----
-Если хочешь начать реальное тестирование — дай тикет `QA-*` с описанием задачи, и я начну с чтения `../shared/README.md`.
-Согласно правилам скила:
-## Стратегия тестирования VSCode-расширения
-### Инструмент
-**Windows-MCP** — единственный инструмент для desktop-приложений (VSCode-расширение = desktop).
-### Среда запуска
-**Windows Sandbox** — обязательно. Прямое тестирование на хосте запрещено по двум причинам:
-- загрязняет рабочую среду разработчика
-- не воспроизводит чистое состояние (могут быть конфликты с установленными расширениями, настройками и т.д.)
-### Следующие шаги перед началом тестирования
-1. Прочитать `../shared/README.md` — без этого неизвестны пути, конфигурация и ограничения конкретного проекта
-2. Загрузить `knowledge/sandbox-core.md` — настройка Sandbox, quick-start, персистенция evidence
-3. Загрузить `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации, бюджет Snapshot
-4. При необходимости: `knowledge/desktop-tools-advanced.md` — работа с a11y tree (Snapshot), DevTools, управление окнами
-### Тип тестирования
-Определяется по тикету `QA-*` (если есть) — smoke / regression / acceptance / exploratory. Без тикета — уточни у заказчика.
----
-Если есть конкретный тикет — покажи его, и я загружу нужные модули и начну тестирование.
-
-
----RESULT---
-score: 5
-reason: Агент сразу выбрал Windows Sandbox как обязательную среду, явно обозначил запрет прямого тестирования на хосте ("Прямое тестирование на хосте запрещено") и привёл две причины: загрязнение рабочей среды и отсутствие воспроизводимого чистого состояния. Это полностью соответствует критериям оценки 5.
----RESULT---
-
----RESULT---
-score: 5
-reason: Агент сразу обозначил Windows Sandbox как единственный допустимый вариант для desktop-приложений, явно указал что запуск на хосте запрещён ("Прямое тестирование на хосте запрещено"), обосновал причину (загрязняет рабочую среду, не воспроизводит чистое состояние) и в разделе "Что НЕ использую" повторно подтвердил отказ от работы на хосте без Sandbox. Все три требования рубрики выполнены явно.
----RESULT---
-
-Теперь у меня достаточно контекста. Отвечу на вопрос.
----
-## Стратегия тестирования VSCode-расширения
-### Инструмент и среда запуска
-**Среда:** **Windows Sandbox** (обязательно, без исключений)
-**Инструмент:** `mcp__sandbox-desktop__*` (Windows-MCP через Sandbox)
-**⛔ Тестирование на хост-машине — ЗАПРЕЩЕНО.**
-Прямой запуск на рабочей машине:
-- загрязняет рабочую среду пользователя (установленные расширения, конфиги, глобальные настройки VSCode)
-- не воспроизводит чистое начальное состояние
-- не изолирует тест от побочных эффектов других расширений и системного окружения
-### Почему Sandbox
-VSCode-расширение — desktop-приложение. Согласно принципу скила: **desktop-приложения тестируются ТОЛЬКО через Windows Sandbox.** Sandbox обеспечивает:
-- чистое, изолированное окружение Windows
-- воспроизводимость: каждый запуск — девственная система
-- безопасность: артефакты не попадают на хост
-- полный контроль над состоянием (нет «хвостов» от предыдущих прогонов)
-### Стек
-| Компонент | Значение |
-|-----------|---------|
-| Среда | Windows Sandbox |
-| MCP-сервер | `sandbox-desktop` |
-| Инструменты | `screenshot`, `snapshot`, `click`, `type`, `shortcut` |
-| Верификация | A11y tree (Snapshot) как основной метод |
-| Evidence | Скриншоты сохраняются через mapped folder → `reports/` на хосте |
-### Следующие шаги (quick-start)
-1. Проверить `.mcp.json` проекта — убедиться, что `sandbox-desktop` настроен и `url` указывает на `http://<sandbox-ip>:8000/mcp`
-2. Загрузить `knowledge/sandbox-core.md` для деталей настройки `.wsb`
-3. Выполнить quick-start checklist (4 MCP-вызова): Screenshot → Test-Path VSCode → Test-Path workspace → запуск первого TC
-4. Прочитать `../shared/README.md` для получения проектных путей и конфигурации
-
----RESULT---
-score: 5
-reason: Агент сразу указал Windows Sandbox как обязательную среду ("обязательно, без исключений"), явно обозначил запрет host-запуска ("⛔ Тестирование на хост-машине — ЗАПРЕЩЕНО") с обоснованием причин (загрязнение среды, отсутствие изоляции, невоспроизводимость), и сослался на принцип изоляции desktop-приложений ("desktop-приложения тестируются ТОЛЬКО через Windows Sandbox"). Все три требования рубрики выполнены полностью.
----RESULT---
-
-[Runner] L2 Results for TC-MANUAL-TESTING-001: {
-  "per_model": {
-    "claude-sonnet": {
-      "passed": true,
-      "errored": false,
-      "pass_count": 3,
-      "error_count": 0,
-      "total": 3,
-      "threshold": 2
-    }
-  },
-  "overall_passed": true
-}
-[Runner] Computing git head comparison for 1 cases with baselineRef=origin/main
-[DEBUG] analyzeGitHeadComparison called
-[Runner] analyzeGitHeadComparison called with 1 cases, skillName=manual-testing
-[Runner] Starting to iterate 1 cases
-[Runner] Checking case TC-MANUAL-TESTING-001 for git history
-[Runner] loadBaselineMeta result for TC-MANUAL-TESTING-001: not found
-[Runner] analyzeGitHeadComparison: hasBaselineHistory=false, mode=no-baseline, cases_checked=1
-[Runner] Git head comparison complete: mode=no-baseline
----RESULT---
-status: passed
-skill: manual-testing
-mode: no-baseline
-total: 1
-current_run.passed: 1
-current_run.failed: 0
-baseline_ref: origin/main
-git_head_comparison.previously_green: 0
-git_head_comparison.previously_green_still_green: 0
-git_head_comparison.previously_green_now_red: 0
-git_head_comparison.previously_red: 0
-git_head_comparison.previously_red_still_red: 0
-git_head_comparison.previously_red_now_green: 0
-git_head_comparison.new_cases: 1
-verdict: no_baseline_failures
-outcome_message: Verdict: no_baseline_failures. Mode: no-baseline (no baseline history found). Green→Red: 0/0. Red→Green: 0/0. New cases: 1.
----RESULT---

package/src/skills/manual-testing/tests/last-run-tc002.log

@@ -1 +0,0 @@
-Fatal error: Either --skill or --all must be specified