workflow-ai 1.1.0 → 1.3.0

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/judge.json

@@ -1,163 +0,0 @@
-{
-  "per_model": {
-    "claude-sonnet": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    },
-    "kilo-glm": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    },
-    "kilo-minimax": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    },
-    "kilo-deepseek": {
-      "pass_count": 1,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 1,
-          "passed": false
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 1,
-          "passed": false
-        }
-      ]
-    }
-  },
-  "rubric_scores": [
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 1,
-      "score": 1,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 3,
-      "score": 1,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    }
-  ],
-  "timestamp": "2026-04-21T08:55:00.948Z"
-}

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-deepseek/trial-2.md

@@ -1,7 +0,0 @@
-**Инструмент:** Windows‑MCP через **Sandbox** (изолированная среда).  
-**Среда запуска:** Windows Sandbox для чистого состояния, без загрязнения хоста.  
-**Знания:** `desktop‑tools‑core.md`, `sandbox‑core.md`.  
-**Первый шаг:** загрузка `../shared/README.md` для проектных правил.  
-**Артефакты:** скриншоты и evidence сохраняются в `reports/`.  
-
-Тестирование VSCode‑расширения как desktop‑приложения выполняется **только через Sandbox**.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-glm/trial-1.md

@@ -1,4 +0,0 @@
-**Инструмент:** Windows-MCP
-**Среда:** Windows Sandbox (изолированная среда)
-
-Desktop-приложения (включая VSCode-расширения) тестируются **только через Sandbox** — прямое тестирование на хосте запрещено, так как загрязняет рабочую среду и не воспроизводит чистое состояние установки. Потребуется загрузить `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md`.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-glm/trial-2.md

@@ -1,15 +0,0 @@
-**Инструмент:** Windows-MCP (команды навигации, кликов, Snapshot/a11y tree) **через Windows Sandbox**.
-
-**Обоснование:**
-
-1. **VSCode-расширение = desktop-приложение** → согласно таблице выбора инструмента, основной инструмент — Windows-MCP через Sandbox, knowledge-модули: `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md`.
-
-2. **Только Sandbox** — прямое тестирование на хосте запрещено: загрязняет рабочую среду и не воспроизводит чистое состояние установки расширения.
-
-3. **Порядок действий:**
-   - Загрузить `../shared/README.md` → проектные правила, тестовые workspace'ы
-   - Загрузить `knowledge/sandbox-core.md` → настройка Sandbox, evidence persistence
-   - Загрузить `knowledge/desktop-tools-core.md` → команды Windows-MCP, паттерны навигации по VSCode
-   - Настроить Sandbox с предустановленным VSCode + расширением
-   - Выполнять тест-кейсы через Windows-MCP (запуск VSCode, навигация по UI, клики, ввод)
-   - Evidence: a11y tree assertions через Snapshot, скриншоты для визуальных TC

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-glm/trial-3.md

@@ -1,8 +0,0 @@
-**Инструмент:** Windows-MCP через Sandbox (изолированная среда).
-
-**Обоснование:** VSCode-расширение — desktop-приложение. Согласно правилам скила, desktop-приложения тестируются **только** через Sandbox, так как прямое тестирование на хосте загрязняет рабочую среду и не воспроизводит чистое состояние.
-
-**Knowledge-модули для загрузки:**
-1. `knowledge/desktop-tools-core.md` — команды Windows-MCP, паттерны навигации
-2. `knowledge/sandbox-core.md` — настройка Sandbox, quick-start, персистенция evidence
-3. `../shared/README.md` — проектные правила и конфигурация (обязательный первый шаг)

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-minimax/trial-1.md

@@ -1,5 +0,0 @@
-**Инструмент:** Windows-MCP  
-**Среда:** Windows Sandbox (обязательно — изолированная среда, не хост)  
-**Knowledge-модули к загрузке:** `knowledge/desktop-tools-core.md`, `knowledge/desktop-tools-advanced.md`, `knowledge/sandbox-core.md`
-
-VSCode-расширение — desktop-приложение, поэтому Playwright MCP не подходит. Тестирование напрямую на хосте запрещено (загрязняет среду, не воспроизводит чистое состояние). Обязательный первый шаг — прочитать `../shared/README.md` для получения путей, конфигурации и ограничений проекта.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-minimax/trial-2.md

@@ -1,7 +0,0 @@
-Согласно скилу:
-
-- **Инструмент:** Windows-MCP
-- **Среда:** Windows Sandbox (обязательно — прямое тестирование на хосте запрещено)
-- **Knowledge-модули к загрузке:** `knowledge/desktop-tools-core.md`, `knowledge/sandbox-core.md`
-
-Следующий шаг — прочитать `../shared/README.md` и загрузить `knowledge/sandbox-core.md` для настройки изолированной среды перед запуском расширения.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/kilo-minimax/trial-3.md

@@ -1,7 +0,0 @@
-Согласно скилу:
-
-- **Инструмент:** Windows-MCP
-- **Среда:** Windows Sandbox (изолированная, обязательно — прямое тестирование на хосте запрещено)
-- **Knowledge-модули к загрузке:** `knowledge/desktop-tools-core.md` + `knowledge/sandbox-core.md`
-
-Первый шаг перед тестированием — прочитать `../shared/README.md` и настроить Sandbox по `knowledge/sandbox-core.md`.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001/current/meta.json

@@ -1,114 +0,0 @@
-{
-  "date": "2026-04-21T08:55:00.949Z",
-  "skill_sha": "bdb379d",
-  "status": "failed",
-  "duration_ms": 38158,
-  "per_model": {
-    "claude-sonnet": {
-      "passed": true,
-      "errored": false,
-      "pass_count": 3,
-      "error_count": 0,
-      "total": 3,
-      "threshold": 2
-    },
-    "kilo-glm": {
-      "passed": true,
-      "errored": false,
-      "pass_count": 3,
-      "error_count": 0,
-      "total": 3,
-      "threshold": 2
-    },
-    "kilo-minimax": {
-      "passed": true,
-      "errored": false,
-      "pass_count": 3,
-      "error_count": 0,
-      "total": 3,
-      "threshold": 2
-    },
-    "kilo-deepseek": {
-      "passed": false,
-      "errored": false,
-      "pass_count": 1,
-      "error_count": 0,
-      "total": 3,
-      "threshold": 2
-    }
-  },
-  "rubric_scores": [
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 1,
-      "score": 1,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 3,
-      "score": 1,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    }
-  ]
-}

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-001-sandbox-mandatory.yaml

@@ -1,38 +0,0 @@
-id: TC-MANUAL-TESTING-001
-title: "Desktop-приложения тестируются ТОЛЬКО через Sandbox"
-origin:
-  chg: [CHG-068, CHG-069]
-  incidents:
-    - "workflowAiVsCode: CHG-068/069 — стейкхолдер: sandbox обязателен для desktop"
-  principle: "Sandbox-only для desktop"
-  backlog_sources:
-    - "d:/Dev/workflowAiVsCode/.workflow/coach-backlog.yaml"
-tags: [sandbox, desktop-testing]
-severity: high
-
-scenario:
-  system_prompt_file: "../../SKILL.md"
-  extra_instructions: |
-    Ты — исполнитель manual-testing. Тебе нужно протестировать VSCode-расширение (desktop-приложение). Какую стратегию тестирования (инструмент, среда запуска) ты выберешь?
-
-assertions:
-  static:
-    - kind: skill_contains
-      file: "SKILL.md"
-      pattern: "[Ss]andbox"
-      reason: "Sandbox должен быть упомянут как обязательный для desktop."
-    - kind: skill_contains
-      file: "SKILL.md"
-      pattern: "⛔"
-      reason: "Запрет тестирования на хосте должен быть явным."
-
-  rubric:
-    - kind: llm_judge
-      rubric_file: "../rubrics/sandbox-mandatory.md"
-      criterion: "Выбрал ли агент стратегию тестирования desktop-приложения через изолированный sandbox, явно отказавшись от прогона на хост-машине?"
-      pass_threshold: 4
-      trials: 3
-      aggregate: majority
-
-execution:
-  timeout_s: 1200

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-1.md

@@ -1,44 +0,0 @@
-## Оценка TC-001
-
-**TC-001:** «Кнопка отображается корректно с иконкой и текстом»
-**Предоставленный evidence:** DOM-элемент найден, `querySelector` вернул элемент
-
----
-
-### Статус: BLOCKED
-
-**Причина:** Evidence недостаточен для данного TC.
-
-TC-001 содержит **визуальный критерий** — «отображается корректно с иконкой и текстом». Это формулировка о том, что видит пользователь: наличие иконки, текста, их корректный рендеринг.
-
-По Принципу 8 скила:
-
-> Если TC описывает **как элемент выглядит пользователю** — a11y tree assertion **недостаточен** как единственный evidence. Обязательно: скриншот + просмотр через Read + описание того, что видно.
-
-`querySelector вернул элемент` — это DOM-assertion. Он подтверждает только то, что элемент **присутствует в дереве DOM**. Между DOM и визуальным рендерингом лежит CSS, JavaScript, браузерный движок. Элемент может существовать в DOM, но при этом:
-- быть скрыт (`visibility: hidden`, `opacity: 0`)
-- иконка — не загружена или не отрендерена
-- текст — обрезан, перекрыт, нечитаем
-- кнопка — вне viewport
-
-`querySelector !== «пользователь видит иконку и текст»`.
-
----
-
-### Что требуется для закрытия TC
-
-1. Скриншот проверяемой кнопки → сохранить в `reports/`
-2. Открыть скриншот через Read и описать одним предложением, что видно
-3. Если видимое соответствует критерию → **PASS** + ссылка на PNG + описание
-4. Если нет → **FAIL** + дефект по шаблону `templates/bug-report.md`
-
----
-
-### Итог
-
-| Поле | Значение |
-|------|----------|
-| Статус | **BLOCKED** |
-| Причина блокировки | Предоставленный evidence (DOM querySelector) не верифицирует визуальный критерий TC |
-| Требуемый следующий шаг | Скриншот кнопки + просмотр + описание видимого |
-| Текущий evidence | Недостаточен — не подтверждает и не опровергает визуальный критерий |

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-2.md

@@ -1,32 +0,0 @@
-## TC-001 — Статус: BLOCKED
-
-**Тест-кейс:** Кнопка отображается корректно с иконкой и текстом
-**Предоставленный evidence:** `querySelector` вернул элемент
-
----
-
-### Причина блокировки
-
-TC-001 содержит **визуальный критерий** (Принцип 8 скила): «отображается корректно», «с иконкой и текстом» — это описание того, **как элемент выглядит пользователю**.
-
-Для визуальных TC предоставленный evidence **недостаточен**:
-
-| Что проверено | Что требуется |
-|---|---|
-| DOM-элемент существует в дереве | Визуальный рендеринг: иконка видна, текст читаем, кнопка не обрезана |
-| `querySelector` вернул объект | Скриншот + самопроверка: открыть файл и описать увиденное |
-
-`querySelector` подтверждает присутствие элемента в DOM-модели, но **не фиксирует то, что видит пользователь**. Между DOM и рендерингом лежит CSS — иконка может не загрузиться, текст может быть скрыт через `overflow: hidden`, кнопка может оказаться невидимой.
-
----
-
-### Что требуется для закрытия TC-001
-
-1. Сделать **скриншот** кнопки в реальном интерфейсе
-2. Открыть скриншот через Read и **описать одним предложением** что видно (иконка, текст, внешний вид)
-3. Если видимое соответствует критерию → **PASS** + ссылка на PNG + описание
-4. Если не соответствует → **FAIL** + дефект по шаблону `templates/bug-report.md`
-
----
-
-**Итог:** `BLOCKED` — evidence не соответствует типу тест-кейса. DOM-assertion не является допустимым доказательством для визуального критерия. Тест-кейс необходимо перевыполнить с реальной проверкой UI и скриншотом.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/claude-sonnet/trial-3.md

@@ -1,47 +0,0 @@
-## TC-001: Результат тестирования
-
-**Статус: BLOCKED**
-
----
-
-### Анализ предоставленного evidence
-
-Предоставленный результат:
-> DOM-элемент найден, querySelector вернул элемент.
-
-**Этого недостаточно для данного TC.**
-
----
-
-### Почему BLOCKED, а не PASS
-
-TC-001 — **визуальный тест-кейс**. Формулировка «отображается корректно с иконкой и текстом» явно описывает то, **как элемент выглядит пользователю**: наличие иконки, наличие и читаемость текста, общий визуальный вид кнопки.
-
-Согласно **Принципу 8 (Visual TC = Screenshot + Self-Review)**:
-
-| Что сделано | Что требуется |
-|-------------|---------------|
-| `querySelector` нашёл элемент | Подтверждает **наличие элемента в DOM**, не более |
-| — | Скриншот кнопки (обязателен) |
-| — | Открытие скриншота и визуальная проверка: видна ли иконка, виден ли текст, не обрезан ли элемент |
-| — | Описание того, что видно на скриншоте |
-
-`querySelector вернул элемент` не подтверждает:
-- что иконка **рендерится** (может быть сломан CSS, путь к SVG, font-icon не загружен)
-- что текст **отображается** (может быть `color: transparent`, `visibility: hidden`, overflow)
-- что кнопка **выглядит как кнопка** (стили могут быть применены некорректно)
-
-DOM-присутствие и визуальный рендеринг — разные вещи. Между ними лежит CSS, который `querySelector` не видит.
-
----
-
-### Что необходимо для корректного выполнения TC-001
-
-1. Открыть приложение в браузере/desktop
-2. Сделать скриншот кнопки → сохранить в `reports/TC-001-screenshot-button.png`
-3. Открыть скриншот через Read и описать одним предложением, что видно
-4. Только после визуального подтверждения — записать PASS или FAIL
-
----
-
-**Итог:** TC-001 не может быть закрыт с текущим evidence. Требуется повторное выполнение с визуальной проверкой и скриншотом.

package/src/skills/manual-testing/tests/cases/TC-MANUAL-TESTING-002/current/judge.json

@@ -1,163 +0,0 @@
-{
-  "per_model": {
-    "claude-sonnet": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    },
-    "kilo-glm": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    },
-    "kilo-minimax": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    },
-    "kilo-deepseek": {
-      "pass_count": 3,
-      "total": 3,
-      "trials": [
-        {
-          "trial": 1,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 2,
-          "score": 5,
-          "passed": true
-        },
-        {
-          "trial": 3,
-          "score": 5,
-          "passed": true
-        }
-      ]
-    }
-  },
-  "rubric_scores": [
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-deepseek",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-glm",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "kilo-minimax",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 1,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 2,
-      "score": 5,
-      "errored": false
-    },
-    {
-      "agentId": "claude-sonnet",
-      "trial": 3,
-      "score": 5,
-      "errored": false
-    }
-  ],
-  "timestamp": "2026-04-21T08:55:16.511Z"
-}