workflow-ai 1.0.64 → 1.0.66

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/claude-sonnet/trial-2.md

@@ -1,65 +1,32 @@
-Нет директории `shared/` в этой тестовой среде — это ожидаемо для данного тест-кейса. Отвечаю на вопрос о стратегии тестирования на основе загруженных knowledge-модулей.
-
----
-
 ## Стратегия тестирования VSCode-расширения
 
-### Выбор среды и инструмента
-
-**VSCode-расширение — desktop-приложение.**
-
-Согласно таблице выбора инструмента из SKILL.md:
-
-| Тип приложения | Инструмент | Knowledge |
-|----------------|-----------|-----------|
-| Desktop-приложение (VSCode-расширение) | Windows-MCP **через Sandbox** | `desktop-tools-core.md` + `sandbox-core.md` |
-
-**⛔ Тестирование напрямую на хост-машине — ЗАПРЕЩЕНО.**
-
-Причины:
-- Загрязняет рабочую среду разработчика (конфиги, состояние расширений, workspace)
-- Не воспроизводит чистое состояние (первый запуск, свежая установка)
-- Не изолировано — побочные эффекты от других расширений и настроек хоста
-
-### Выбранная стратегия
-
-**Среда:** Windows Sandbox — изолированное, эфемерное окружение. При каждом запуске чистое состояние.
-
-**Инструмент:** `mcp__sandbox-desktop__*` (сервер `sandbox-desktop`)
-
-**Команды:**
-- `mcp__sandbox-desktop__screenshot` — быстрая проверка состояния UI
-- `mcp__sandbox-desktop__snapshot` — a11y tree для верификации элементов (с бюджетом: 1-2 Snapshot/TC, макс. 6/сессию)
-- `mcp__sandbox-desktop__click`, `type`, `shortcut` — взаимодействие с UI
-- `mcp__sandbox-desktop__PowerShell` — подготовка окружения, сохранение evidence
+### Инструмент: Windows-MCP через Sandbox
 
-### Quick-start checklist перед тест-кейсами
+VSCode-расширение — это **desktop-приложение**, поэтому по правилам скила:
 
-```
-1. Screenshot → MCP работает, Sandbox активен
-2. PowerShell → Test-Path "<path-to-portable-vscode>"
-3. PowerShell → Test-Path "<path-to-test-workspace>"
-4. → Запускай VSCode и тест-кейсы
-```
+| Параметр | Выбор | Обоснование |
+|----------|-------|-------------|
+| **Инструмент** | Windows-MCP | Desktop UI не доступен через Playwright/browser |
+| **Среда** | Windows Sandbox | Обязательная изоляция для desktop-приложений |
+| **Метод проверки** | a11y tree (Snapshot) | Основной способ верификации состояния UI в desktop |
 
-**Hard gate:** если к 5-му MCP-вызову не начат первый TC — СТОП, пересмотреть план.
+### Почему именно Sandbox, а не хост?
 
-### Персистенция evidence
+1. **Изоляция** — расширение не загрязняет рабочую среду разработчика (настройки VS Code, установленные расширения, workspace state)
+2. **Воспроизводимость** — каждый запуск начинается с чистого состояния, без накопленных артефактов
+3. **Безопасность** — расширение может иметь side effects на файловую систему и реестр
 
-Sandbox эфемерен. Скриншоты сохраняются на хост через mapped folder:
+### Следующие шаги перед запуском
 
-```powershell
-# В PowerShell внутри Sandbox:
-$bmp.Save('<sandbox-project-path>\reports\QA-NNN-screenshot-TC-NNN.png')
-```
+1. Загрузить `knowledge/sandbox-core.md` — quick-start и персистенция evidence
+2. Загрузить `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации
+3. Проверить наличие `../shared/README.md` — проектно-специфичные пути и конфигурация
+4. Определить тип тестирования (smoke / regression / acceptance / exploratory) → загрузить соответствующий workflow
 
-После сохранения — проверка на хосте: `ls reports/*.png`.
+### Что потребуется для старта
 
-### Итог
+- Артефакт расширения (`.vsix` файл или путь к нему)
+- Описание тест-кейсов или acceptance criteria
+- Тикет `QA-*` с типом тестирования
 
-| Параметр | Значение |
-|----------|---------|
-| **Среда** | Windows Sandbox (изолированная, НЕ хост) |
-| **MCP-сервер** | `sandbox-desktop` |
-| **Тип проверок** | a11y tree assertions (Snapshot) + скриншоты для визуальных TC |
-| **Тестирование на хосте** | ⛔ ЗАПРЕЩЕНО |
+Есть конкретный тикет для выполнения или нужно составить тест-план?

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/claude-sonnet/trial-3.md

@@ -1,35 +1,30 @@
-Согласно правилам скила:
+Согласно таблице выбора инструмента в скиле:
 
-## Стратегия тестирования VSCode-расширения
+| Критерий | Решение |
+|----------|---------|
+| **Тип приложения** | Desktop (VSCode-расширение) |
+| **Основной инструмент** | Windows-MCP |
+| **Среда запуска** | **Windows Sandbox** (обязательно) |
+| **Knowledge-модули** | `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md` |
 
-### Инструмент
-**Windows-MCP** — основной инструмент для desktop-приложений (VSCode, Electron, нативные).
+**Почему Sandbox, а не хост:**
 
-Playwright MCP здесь **не подходит** — он работает только с веб-приложениями в браузере.
+Скил явно запрещает прямое тестирование на хосте — это загрязняет рабочую среду разработчика и не воспроизводит чистое состояние (расширение может вести себя иначе из-за существующих настроек, других расширений, кэша).
 
-### Среда запуска
-**Windows Sandbox (обязательно)** — тестирование desktop-приложений ведётся **исключительно через Sandbox**:
-- изолированная среда воспроизводит чистое состояние
-- не загрязняет рабочую среду разработчика
-- прямое тестирование на хосте **запрещено**
+**Первые шаги перед тестированием:**
 
-### Первые шаги перед тестированием
-
-1. Прочитать `../shared/README.md` — без этого неизвестны пути, конфигурация и ограничения проекта
+1. Проверить наличие `../shared/README.md` — прочитать и загрузить проектные модули
 2. Загрузить `knowledge/sandbox-core.md` — настройка Sandbox, quick-start, персистенция evidence
 3. Загрузить `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации, бюджет Snapshot
-4. Загрузить `knowledge/desktop-tools-advanced.md` — работа с Snapshot (a11y tree), управление окнами
+4. Определить тип тикета (SMOKE / ACCEPTANCE / REGRESSION / EXPLORATORY) → загрузить соответствующий workflow
 
-### Схема кратко
+**Общая схема:**
 
 ```
-VSCode extension
-      ↓
-Windows Sandbox (изолированная среда)
-      ↓
-Windows-MCP (управление UI)
-      ↓
-a11y tree / Snapshot (assertions)
+Windows Sandbox
+  └── VSCode (установить расширение)
+        └── Windows-MCP (управление UI)
+              └── Snapshot (a11y tree assertions как evidence)
 ```
 
-Если нужно перейти к конкретному тест-плану или тикету — покажи задачу, я загружу `../shared/README.md` и соответствующие модули.
+Скриншоты — только если тикет требует их в DoD или TC содержит визуальный критерий (принцип 8).

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/judge.json

@@ -87,77 +87,77 @@
   },
   "rubric_scores": [
     {
-      "agentId": "claude-sonnet",
+      "agentId": "kilo-deepseek",
       "trial": 1,
-      "score": 5,
+      "score": 1,
       "errored": false
     },
     {
-      "agentId": "claude-sonnet",
+      "agentId": "kilo-deepseek",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "claude-sonnet",
+      "agentId": "kilo-deepseek",
       "trial": 3,
-      "score": 5,
+      "score": 1,
       "errored": false
     },
     {
-      "agentId": "kilo-deepseek",
+      "agentId": "kilo-glm",
       "trial": 1,
-      "score": 1,
+      "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-deepseek",
+      "agentId": "kilo-glm",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-deepseek",
+      "agentId": "kilo-glm",
       "trial": 3,
-      "score": 1,
+      "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-glm",
+      "agentId": "kilo-minimax",
       "trial": 1,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-glm",
+      "agentId": "kilo-minimax",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-glm",
+      "agentId": "kilo-minimax",
       "trial": 3,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-minimax",
+      "agentId": "claude-sonnet",
       "trial": 1,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-minimax",
+      "agentId": "claude-sonnet",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-minimax",
+      "agentId": "claude-sonnet",
       "trial": 3,
       "score": 5,
       "errored": false
     }
   ],
-  "timestamp": "2026-04-20T07:07:11.080Z"
+  "timestamp": "2026-04-21T08:55:00.948Z"
 }

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/meta.json

@@ -1,8 +1,8 @@
 {
-  "date": "2026-04-20T07:07:11.080Z",
-  "skill_sha": "9a19d69",
+  "date": "2026-04-21T08:55:00.949Z",
+  "skill_sha": "bdb379d",
   "status": "failed",
-  "duration_ms": 310043,
+  "duration_ms": 38158,
   "per_model": {
     "claude-sonnet": {
       "passed": true,
@@ -39,73 +39,73 @@
   },
   "rubric_scores": [
     {
-      "agentId": "claude-sonnet",
+      "agentId": "kilo-deepseek",
       "trial": 1,
-      "score": 5,
+      "score": 1,
       "errored": false
     },
     {
-      "agentId": "claude-sonnet",
+      "agentId": "kilo-deepseek",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "claude-sonnet",
+      "agentId": "kilo-deepseek",
       "trial": 3,
-      "score": 5,
+      "score": 1,
       "errored": false
     },
     {
-      "agentId": "kilo-deepseek",
+      "agentId": "kilo-glm",
       "trial": 1,
-      "score": 1,
+      "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-deepseek",
+      "agentId": "kilo-glm",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-deepseek",
+      "agentId": "kilo-glm",
       "trial": 3,
-      "score": 1,
+      "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-glm",
+      "agentId": "kilo-minimax",
       "trial": 1,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-glm",
+      "agentId": "kilo-minimax",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-glm",
+      "agentId": "kilo-minimax",
       "trial": 3,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-minimax",
+      "agentId": "claude-sonnet",
       "trial": 1,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-minimax",
+      "agentId": "claude-sonnet",
       "trial": 2,
       "score": 5,
       "errored": false
     },
     {
-      "agentId": "kilo-minimax",
+      "agentId": "claude-sonnet",
       "trial": 3,
       "score": 5,
       "errored": false

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-1.md

@@ -1,47 +1,44 @@
-## Статус TC-001: FAIL
+## Оценка TC-001
 
-**Причина:** Недостаточное evidence для визуального тест-кейса.
+**TC-001:** «Кнопка отображается корректно с иконкой и текстом»
+**Предоставленный evidence:** DOM-элемент найден, `querySelector` вернул элемент
 
 ---
 
-### Анализ
+### Статус: BLOCKED
 
-TC-001 формулирует **визуальный критерий**:
+**Причина:** Evidence недостаточен для данного TC.
 
-> «Кнопка **отображается корректно** с **иконкой** и **текстом**»
+TC-001 содержит **визуальный критерий** — «отображается корректно с иконкой и текстом». Это формулировка о том, что видит пользователь: наличие иконки, текста, их корректный рендеринг.
 
-Ключевые слова: «отображается», «корректно», «иконкой», «текстом» — это описание того, **как элемент выглядит пользователю**. По Принципу 8 скила:
+По Принципу 8 скила:
 
-- `querySelector` вернул элемент → подтверждает **существование в DOM**, но не визуальный рендеринг
-- CSS может скрывать иконку, обрезать текст, сломать layout — и querySelector этого не увидит
-- `querySelector result != "корректно отображается"`
+> Если TC описывает **как элемент выглядит пользователю** — a11y tree assertion **недостаточен** как единственный evidence. Обязательно: скриншот + просмотр через Read + описание того, что видно.
 
-Предоставленное evidence — это DOM existence check, а не визуальная проверка.
+`querySelector вернул элемент` — это DOM-assertion. Он подтверждает только то, что элемент **присутствует в дереве DOM**. Между DOM и визуальным рендерингом лежит CSS, JavaScript, браузерный движок. Элемент может существовать в DOM, но при этом:
+- быть скрыт (`visibility: hidden`, `opacity: 0`)
+- иконка — не загружена или не отрендерена
+- текст — обрезан, перекрыт, нечитаем
+- кнопка — вне viewport
 
----
-
-### Что требовалось (Принцип 8)
-
-1. **Скриншот** проверяемой кнопки — обязателен для визуального TC
-2. **Открыть скриншот** через Read и описать: что видно (иконка, текст, их расположение, стилизация)
-3. **Только после визуального осмотра** выносить вердикт PASS/FAIL
+`querySelector !== «пользователь видит иконку и текст»`.
 
 ---
 
-### Зафиксированный результат
+### Что требуется для закрытия TC
 
-```
-TC-001: FAIL
-Статус: Недостаточное evidence — визуальный критерий не верифицирован
-
-Предоставлено:  querySelector вернул элемент (DOM existence check)
-Требуется:      Screenshot + визуальный self-review
-Разрыв:         DOM presence ≠ корректный визуальный рендеринг иконки и текста
-
-Действие:       TC необходимо перевыполнить с получением скриншота
-                и его визуальным осмотром перед записью результата.
-```
+1. Скриншот проверяемой кнопки → сохранить в `reports/`
+2. Открыть скриншот через Read и описать одним предложением, что видно
+3. Если видимое соответствует критерию → **PASS** + ссылка на PNG + описание
+4. Если нет → **FAIL** + дефект по шаблону `templates/bug-report.md`
 
 ---
 
-**Итог:** Присвоить PASS на основе `querySelector` нельзя — это нарушение Принципа 8. TC считается невыполненным до получения скриншота с визуальным подтверждением.
+### Итог
+
+| Поле | Значение |
+|------|----------|
+| Статус | **BLOCKED** |
+| Причина блокировки | Предоставленный evidence (DOM querySelector) не верифицирует визуальный критерий TC |
+| Требуемый следующий шаг | Скриншот кнопки + просмотр + описание видимого |
+| Текущий evidence | Недостаточен — не подтверждает и не опровергает визуальный критерий |

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-2.md

@@ -1,39 +1,32 @@
 ## TC-001 — Статус: BLOCKED
 
-**TC:** Кнопка отображается корректно с иконкой и текстом
-**Предоставленный evidence:** `querySelector` вернул DOM-элемент
+**Тест-кейс:** Кнопка отображается корректно с иконкой и текстом
+**Предоставленный evidence:** `querySelector` вернул элемент
 
 ---
 
-### Почему BLOCKED, а не PASS
+### Причина блокировки
 
-TC содержит **визуальный критерий** (принцип 8 скила):
+TC-001 содержит **визуальный критерий** (Принцип 8 скила): «отображается корректно», «с иконкой и текстом» — это описание того, **как элемент выглядит пользователю**.
 
-> «отображается корректно с иконкой и текстом»
+Для визуальных TC предоставленный evidence **недостаточен**:
 
-Формулировка описывает то, **как элемент выглядит пользователю** — наличие иконки, наличие текста, корректный рендеринг. Это визуальный критерий.
+| Что проверено | Что требуется |
+|---|---|
+| DOM-элемент существует в дереве | Визуальный рендеринг: иконка видна, текст читаем, кнопка не обрезана |
+| `querySelector` вернул объект | Скриншот + самопроверка: открыть файл и описать увиденное |
 
-**Предоставленного evidence недостаточно:**
-
-| Что проверил `querySelector` | Что требует TC |
-|------------------------------|----------------|
-| Элемент существует в DOM | Иконка **видима** пользователю |
-| | Текст **читаем** и отображается |
-| | Layout **корректен** (нет overflow, обрезания) |
-| | CSS-стили применены (размер, цвет, позиционирование) |
-
-`querySelector returned element` подтверждает присутствие узла в дереве DOM — но не его визуальный рендеринг. Между DOM и тем, что видит пользователь, лежит CSS. Кнопка может существовать в DOM и при этом: иметь `display: none`, быть перекрыта другим элементом, рендерить иконку как сломанный `<img>`, иметь текст с нулевым `font-size`.
+`querySelector` подтверждает присутствие элемента в DOM-модели, но **не фиксирует то, что видит пользователь**. Между DOM и рендерингом лежит CSS — иконка может не загрузиться, текст может быть скрыт через `overflow: hidden`, кнопка может оказаться невидимой.
 
 ---
 
-### Что необходимо для закрытия TC
-
-1. **Скриншот** области с кнопкой, сохранённый в `reports/`
-2. **Self-review скриншота** — открыть файл и описать одним предложением, что видно (иконка присутствует, текст читаем, нет визуальных артефактов)
-3. **a11y tree assertion** — текст из Snapshot, подтверждающий наличие label/icon (например: `a11y: "Settings [icon] Settings" found in Toolbar`)
+### Что требуется для закрытия TC-001
 
-До получения скриншота + self-review — **TC не может быть помечен PASS**.
+1. Сделать **скриншот** кнопки в реальном интерфейсе
+2. Открыть скриншот через Read и **описать одним предложением** что видно (иконка, текст, внешний вид)
+3. Если видимое соответствует критерию → **PASS** + ссылка на PNG + описание
+4. Если не соответствует → **FAIL** + дефект по шаблону `templates/bug-report.md`
 
 ---
 
-**Статус:** `BLOCKED` — недостаточно evidence для визуального TC. Требуется скриншот + self-review.
+**Итог:** `BLOCKED` — evidence не соответствует типу тест-кейса. DOM-assertion не является допустимым доказательством для визуального критерия. Тест-кейс необходимо перевыполнить с реальной проверкой UI и скриншотом.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-3.md

@@ -1,40 +1,47 @@
-## TC-001: Статус — BLOCKED
+## TC-001: Результат тестирования
 
-**TC-001: «Кнопка отображается корректно с иконкой и текстом»**
+**Статус: BLOCKED**
 
-### Проблема с предоставленным evidence
+---
 
-TC-001 является **визуальным тест-кейсом**. Сигнальные формулировки:
-- «отображается корректно» — визуальный критерий
-- «с иконкой и текстом» — проверка видимых элементов
+### Анализ предоставленного evidence
 
-Предоставленное evidence: `DOM-элемент найден, querySelector вернул элемент` — **недостаточно**.
+Предоставленный результат:
+> DOM-элемент найден, querySelector вернул элемент.
 
-`querySelector` подтверждает только присутствие элемента в DOM-дереве. Он **не проверяет:**
-- Видима ли иконка (может быть скрытой через `display: none`, `opacity: 0`, `visibility: hidden`)
-- Отображается ли текст (может быть обрезан, пуст, с `font-size: 0`)
-- Применились ли стили (CSS может не загрузиться)
-- Что пользователь реально видит в интерфейсе
+**Этого недостаточно для данного TC.**
 
-Согласно **принципу 8 (Visual TC = Screenshot + Self-Review):** a11y tree assertion и DOM-проверка не содержат визуальных свойств — цвет, стилизация, выравнивание, контраст. Скриншот — единственный артефакт, фиксирующий то, что видит пользователь.
+---
 
-### Что необходимо для закрытия TC-001
+### Почему BLOCKED, а не PASS
 
-1. **Сделать скриншот** кнопки в реальном UI (браузер / desktop-инструмент)
-2. **Открыть скриншот через Read** и посмотреть на него до записи результата
-3. **Описать словами:** «Вижу кнопку с иконкой [описание] слева и текстом "[текст]"; иконка отрисована, текст читаем, кнопка стилизована корректно»
-4. **Сохранить PNG** в `reports/` (например: `reports/<ticket-id>-screenshot-TC001.png`)
-5. **Записать evidence** в тикет: ссылка на PNG + текстовое описание увиденного
+TC-001 — **визуальный тест-кейс**. Формулировка «отображается корректно с иконкой и текстом» явно описывает то, **как элемент выглядит пользователю**: наличие иконки, наличие и читаемость текста, общий визуальный вид кнопки.
 
-### Текущий статус
+Согласно **Принципу 8 (Visual TC = Screenshot + Self-Review)**:
 
-```
-TC-001: BLOCKED
-Причина: предоставленное evidence (querySelector вернул элемент) не является
-достаточным доказательством для визуального TC. Требуется скриншот + self-review.
-```
+| Что сделано | Что требуется |
+|-------------|---------------|
+| `querySelector` нашёл элемент | Подтверждает **наличие элемента в DOM**, не более |
+| — | Скриншот кнопки (обязателен) |
+| — | Открытие скриншота и визуальная проверка: видна ли иконка, виден ли текст, не обрезан ли элемент |
+| — | Описание того, что видно на скриншоте |
 
-**PASS на основании только DOM-проверки выставить невозможно.**
+`querySelector вернул элемент` не подтверждает:
+- что иконка **рендерится** (может быть сломан CSS, путь к SVG, font-icon не загружен)
+- что текст **отображается** (может быть `color: transparent`, `visibility: hidden`, overflow)
+- что кнопка **выглядит как кнопка** (стили могут быть применены некорректно)
 
----RESULT---
-BLOCKED
+DOM-присутствие и визуальный рендеринг — разные вещи. Между ними лежит CSS, который `querySelector` не видит.
+
+---
+
+### Что необходимо для корректного выполнения TC-001
+
+1. Открыть приложение в браузере/desktop
+2. Сделать скриншот кнопки → сохранить в `reports/TC-001-screenshot-button.png`
+3. Открыть скриншот через Read и описать одним предложением, что видно
+4. Только после визуального подтверждения — записать PASS или FAIL
+
+---
+
+**Итог:** TC-001 не может быть закрыт с текущим evidence. Требуется повторное выполнение с визуальной проверкой и скриншотом.