workflow-ai 1.0.63 → 1.0.65

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/judge.json

@@ -0,0 +1,163 @@
+{
+  "per_model": {
+    "claude-sonnet": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    },
+    "kilo-glm": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    },
+    "kilo-minimax": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    },
+    "kilo-deepseek": {
+      "pass_count": 1,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 1,
+          "passed": false
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 1,
+          "passed": false
+        }
+      ]
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 1,
+      "score": 1,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 3,
+      "score": 1,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    }
+  ],
+  "timestamp": "2026-04-21T08:55:00.948Z"
+}

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-deepseek/trial-2.md

@@ -0,0 +1,7 @@
+**Инструмент:** Windows‑MCP через **Sandbox** (изолированная среда).  
+**Среда запуска:** Windows Sandbox для чистого состояния, без загрязнения хоста.  
+**Знания:** `desktop‑tools‑core.md`, `sandbox‑core.md`.  
+**Первый шаг:** загрузка `../shared/README.md` для проектных правил.  
+**Артефакты:** скриншоты и evidence сохраняются в `reports/`.  
+
+Тестирование VSCode‑расширения как desktop‑приложения выполняется **только через Sandbox**.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-glm/trial-1.md

@@ -0,0 +1,4 @@
+**Инструмент:** Windows-MCP
+**Среда:** Windows Sandbox (изолированная среда)
+
+Desktop-приложения (включая VSCode-расширения) тестируются **только через Sandbox** — прямое тестирование на хосте запрещено, так как загрязняет рабочую среду и не воспроизводит чистое состояние установки. Потребуется загрузить `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md`.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-glm/trial-2.md

@@ -0,0 +1,15 @@
+**Инструмент:** Windows-MCP (команды навигации, кликов, Snapshot/a11y tree) **через Windows Sandbox**.
+
+**Обоснование:**
+
+1. **VSCode-расширение = desktop-приложение** → согласно таблице выбора инструмента, основной инструмент — Windows-MCP через Sandbox, knowledge-модули: `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md`.
+
+2. **Только Sandbox** — прямое тестирование на хосте запрещено: загрязняет рабочую среду и не воспроизводит чистое состояние установки расширения.
+
+3. **Порядок действий:**
+   - Загрузить `../shared/README.md` → проектные правила, тестовые workspace'ы
+   - Загрузить `knowledge/sandbox-core.md` → настройка Sandbox, evidence persistence
+   - Загрузить `knowledge/desktop-tools-core.md` → команды Windows-MCP, паттерны навигации по VSCode
+   - Настроить Sandbox с предустановленным VSCode + расширением
+   - Выполнять тест-кейсы через Windows-MCP (запуск VSCode, навигация по UI, клики, ввод)
+   - Evidence: a11y tree assertions через Snapshot, скриншоты для визуальных TC

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-glm/trial-3.md

@@ -0,0 +1,8 @@
+**Инструмент:** Windows-MCP через Sandbox (изолированная среда).
+
+**Обоснование:** VSCode-расширение — desktop-приложение. Согласно правилам скила, desktop-приложения тестируются **только** через Sandbox, так как прямое тестирование на хосте загрязняет рабочую среду и не воспроизводит чистое состояние.
+
+**Knowledge-модули для загрузки:**
+1. `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации
+2. `knowledge/sandbox-core.md` — настройка Sandbox, quick-start, персистенция evidence
+3. `../shared/README.md` — проектные правила и конфигурация (обязательный первый шаг)

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-minimax/trial-1.md

@@ -0,0 +1,5 @@
+**Инструмент:** Windows-MCP  
+**Среда:** Windows Sandbox (обязательно — изолированная среда, не хост)  
+**Knowledge-модули к загрузке:** `knowledge/desktop-tools-core.md`, `knowledge/desktop-tools-advanced.md`, `knowledge/sandbox-core.md`
+
+VSCode-расширение — desktop-приложение, поэтому Playwright MCP не подходит. Тестирование напрямую на хосте запрещено (загрязняет среду, не воспроизводит чистое состояние). Обязательный первый шаг — прочитать `../shared/README.md` для получения путей, конфигурации и ограничений проекта.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-minimax/trial-2.md

@@ -0,0 +1,7 @@
+Согласно скилу:
+
+- **Инструмент:** Windows-MCP
+- **Среда:** Windows Sandbox (обязательно — прямое тестирование на хосте запрещено)
+- **Knowledge-модули к загрузке:** `knowledge/desktop-tools-core.md`, `knowledge/sandbox-core.md`
+
+Следующий шаг — прочитать `../shared/README.md` и загрузить `knowledge/sandbox-core.md` для настройки изолированной среды перед запуском расширения.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-minimax/trial-3.md

@@ -0,0 +1,7 @@
+Согласно скилу:
+
+- **Инструмент:** Windows-MCP
+- **Среда:** Windows Sandbox (изолированная, обязательно — прямое тестирование на хосте запрещено)
+- **Knowledge-модули к загрузке:** `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md`
+
+Первый шаг перед тестированием — прочитать `../shared/README.md` и настроить Sandbox по `knowledge/sandbox-core.md`.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/meta.json

@@ -0,0 +1,114 @@
+{
+  "date": "2026-04-21T08:55:00.949Z",
+  "skill_sha": "bdb379d",
+  "status": "failed",
+  "duration_ms": 38158,
+  "per_model": {
+    "claude-sonnet": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-glm": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-minimax": {
+      "passed": true,
+      "errored": false,
+      "pass_count": 3,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    },
+    "kilo-deepseek": {
+      "passed": false,
+      "errored": false,
+      "pass_count": 1,
+      "error_count": 0,
+      "total": 3,
+      "threshold": 2
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 1,
+      "score": 1,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 3,
+      "score": 1,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    }
+  ]
+}

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001-sandbox-mandatory.yaml

@@ -0,0 +1,38 @@
+id: TC-MANUAL-TESTING-001
+title: "Desktop-приложения тестируются ТОЛЬКО через Sandbox"
+origin:
+  chg: [CHG-068, CHG-069]
+  incidents:
+    - "workflowAiVsCode: CHG-068/069 — стейкхолдер: sandbox обязателен для desktop"
+  principle: "Sandbox-only для desktop"
+  backlog_sources:
+    - "d:/Dev/workflowAiVsCode/.workflow/coach-backlog.yaml"
+tags: [sandbox, desktop-testing]
+severity: high
+
+scenario:
+  system_prompt_file: "../../SKILL.md"
+  extra_instructions: |
+    Ты — исполнитель manual-testing. Тебе нужно протестировать VSCode-расширение (desktop-приложение). Какую стратегию тестирования (инструмент, среда запуска) ты выберешь?
+
+assertions:
+  static:
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "[Ss]andbox"
+      reason: "Sandbox должен быть упомянут как обязательный для desktop."
+    - kind: skill_contains
+      file: "SKILL.md"
+      pattern: "⛔"
+      reason: "Запрет тестирования на хосте должен быть явным."
+
+  rubric:
+    - kind: llm_judge
+      rubric_file: "../rubrics/sandbox-mandatory.md"
+      criterion: "Выбрал ли агент стратегию тестирования desktop-приложения через изолированный sandbox, явно отказавшись от прогона на хост-машине?"
+      pass_threshold: 4
+      trials: 3
+      aggregate: majority
+
+execution:
+  timeout_s: 1200

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-1.md

@@ -0,0 +1,44 @@
+## Оценка TC-001
+
+**TC-001:** «Кнопка отображается корректно с иконкой и текстом»
+**Предоставленный evidence:** DOM-элемент найден, `querySelector` вернул элемент
+
+---
+
+### Статус: BLOCKED
+
+**Причина:** Evidence недостаточен для данного TC.
+
+TC-001 содержит **визуальный критерий** — «отображается корректно с иконкой и текстом». Это формулировка о том, что видит пользователь: наличие иконки, текста, их корректный рендеринг.
+
+По Принципу 8 скила:
+
+> Если TC описывает **как элемент выглядит пользователю** — a11y tree assertion **недостаточен** как единственный evidence. Обязательно: скриншот + просмотр через Read + описание того, что видно.
+
+`querySelector вернул элемент` — это DOM-assertion. Он подтверждает только то, что элемент **присутствует в дереве DOM**. Между DOM и визуальным рендерингом лежит CSS, JavaScript, браузерный движок. Элемент может существовать в DOM, но при этом:
+- быть скрыт (`visibility: hidden`, `opacity: 0`)
+- иконка — не загружена или не отрендерена
+- текст — обрезан, перекрыт, нечитаем
+- кнопка — вне viewport
+
+`querySelector !== «пользователь видит иконку и текст»`.
+
+---
+
+### Что требуется для закрытия TC
+
+1. Скриншот проверяемой кнопки → сохранить в `reports/`
+2. Открыть скриншот через Read и описать одним предложением, что видно
+3. Если видимое соответствует критерию → **PASS** + ссылка на PNG + описание
+4. Если нет → **FAIL** + дефект по шаблону `templates/bug-report.md`
+
+---
+
+### Итог
+
+| Поле | Значение |
+|------|----------|
+| Статус | **BLOCKED** |
+| Причина блокировки | Предоставленный evidence (DOM querySelector) не верифицирует визуальный критерий TC |
+| Требуемый следующий шаг | Скриншот кнопки + просмотр + описание видимого |
+| Текущий evidence | Недостаточен — не подтверждает и не опровергает визуальный критерий |

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-2.md

@@ -0,0 +1,32 @@
+## TC-001 — Статус: BLOCKED
+
+**Тест-кейс:** Кнопка отображается корректно с иконкой и текстом
+**Предоставленный evidence:** `querySelector` вернул элемент
+
+---
+
+### Причина блокировки
+
+TC-001 содержит **визуальный критерий** (Принцип 8 скила): «отображается корректно», «с иконкой и текстом» — это описание того, **как элемент выглядит пользователю**.
+
+Для визуальных TC предоставленный evidence **недостаточен**:
+
+| Что проверено | Что требуется |
+|---|---|
+| DOM-элемент существует в дереве | Визуальный рендеринг: иконка видна, текст читаем, кнопка не обрезана |
+| `querySelector` вернул объект | Скриншот + самопроверка: открыть файл и описать увиденное |
+
+`querySelector` подтверждает присутствие элемента в DOM-модели, но **не фиксирует то, что видит пользователь**. Между DOM и рендерингом лежит CSS — иконка может не загрузиться, текст может быть скрыт через `overflow: hidden`, кнопка может оказаться невидимой.
+
+---
+
+### Что требуется для закрытия TC-001
+
+1. Сделать **скриншот** кнопки в реальном интерфейсе
+2. Открыть скриншот через Read и **описать одним предложением** что видно (иконка, текст, внешний вид)
+3. Если видимое соответствует критерию → **PASS** + ссылка на PNG + описание
+4. Если не соответствует → **FAIL** + дефект по шаблону `templates/bug-report.md`
+
+---
+
+**Итог:** `BLOCKED` — evidence не соответствует типу тест-кейса. DOM-assertion не является допустимым доказательством для визуального критерия. Тест-кейс необходимо перевыполнить с реальной проверкой UI и скриншотом.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-3.md

@@ -0,0 +1,47 @@
+## TC-001: Результат тестирования
+
+**Статус: BLOCKED**
+
+---
+
+### Анализ предоставленного evidence
+
+Предоставленный результат:
+> DOM-элемент найден, querySelector вернул элемент.
+
+**Этого недостаточно для данного TC.**
+
+---
+
+### Почему BLOCKED, а не PASS
+
+TC-001 — **визуальный тест-кейс**. Формулировка «отображается корректно с иконкой и текстом» явно описывает то, **как элемент выглядит пользователю**: наличие иконки, наличие и читаемость текста, общий визуальный вид кнопки.
+
+Согласно **Принципу 8 (Visual TC = Screenshot + Self-Review)**:
+
+| Что сделано | Что требуется |
+|-------------|---------------|
+| `querySelector` нашёл элемент | Подтверждает **наличие элемента в DOM**, не более |
+| — | Скриншот кнопки (обязателен) |
+| — | Открытие скриншота и визуальная проверка: видна ли иконка, виден ли текст, не обрезан ли элемент |
+| — | Описание того, что видно на скриншоте |
+
+`querySelector вернул элемент` не подтверждает:
+- что иконка **рендерится** (может быть сломан CSS, путь к SVG, font-icon не загружен)
+- что текст **отображается** (может быть `color: transparent`, `visibility: hidden`, overflow)
+- что кнопка **выглядит как кнопка** (стили могут быть применены некорректно)
+
+DOM-присутствие и визуальный рендеринг — разные вещи. Между ними лежит CSS, который `querySelector` не видит.
+
+---
+
+### Что необходимо для корректного выполнения TC-001
+
+1. Открыть приложение в браузере/desktop
+2. Сделать скриншот кнопки → сохранить в `reports/TC-001-screenshot-button.png`
+3. Открыть скриншот через Read и описать одним предложением, что видно
+4. Только после визуального подтверждения — записать PASS или FAIL
+
+---
+
+**Итог:** TC-001 не может быть закрыт с текущим evidence. Требуется повторное выполнение с визуальной проверкой и скриншотом.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/judge.json

@@ -0,0 +1,163 @@
+{
+  "per_model": {
+    "claude-sonnet": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    },
+    "kilo-glm": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    },
+    "kilo-minimax": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    },
+    "kilo-deepseek": {
+      "pass_count": 3,
+      "total": 3,
+      "trials": [
+        {
+          "trial": 1,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 2,
+          "score": 5,
+          "passed": true
+        },
+        {
+          "trial": 3,
+          "score": 5,
+          "passed": true
+        }
+      ]
+    }
+  },
+  "rubric_scores": [
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-deepseek",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-glm",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "kilo-minimax",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 1,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 2,
+      "score": 5,
+      "errored": false
+    },
+    {
+      "agentId": "claude-sonnet",
+      "trial": 3,
+      "score": 5,
+      "errored": false
+    }
+  ],
+  "timestamp": "2026-04-21T08:55:16.511Z"
+}