workflow-ai 1.0.61 → 1.0.63

package/README.md

@@ -121,6 +121,67 @@ Skills are stored globally in `~/.workflow/skills/` and linked into projects via
 
 Use `workflow eject <skill>` to copy a skill into the project for customization.
 
+## Skill regression tests
+
+Трёхуровневая система тестирования скилов для проверки качества AI-агентов.
+
+### Три слоя тестирования
+
+| Level | Name | Description |
+|-------|------|-------------|
+| L0 | Static | Базовая проверка синтаксиса и структуры: YAML-валидация, проверка обязательных полей, линтер |
+| L1 | Deterministic | Детерминированные тесты: эталонные входные данные → ожидаемый результат (strict match) |
+| L2 | Rubric | Гибкая оценка по критериям: scorer выставляет баллы на основе качества результата |
+
+### Структура директорий
+
+```
+src/skills/<name>/tests/
+├── index.yaml      # Метаданные тестов, список test cases
+├── cases/          # Входные данные для тестов
+│   └── <case-id>/
+│       └── input.yaml
+├── fixtures/       # Ожидаемые выходные данные (для L1)
+│   └── <case-id>/
+│       └── expected.yaml
+└── rubrics/        # Критерии оценки (для L2)
+    └── <case-id>/
+        └── rubric.yaml
+```
+
+### Запуск тестов
+
+```bash
+npm run test:skills
+```
+
+### CLI-флаги
+
+| Flag | Description |
+|------|-------------|
+| `--skill <name>` | Запустить тесты только для указанного скила |
+| `--relevant` | Запустить только тесты, соответствующие изменённым файлам |
+| `--establish-baseline` | Запустить тесты и сохранить результаты как baseline |
+| `--baseline-ref <ref>` | Использовать конкретный baseline (коммит, тег) |
+| `--yes` | Автоматически подтверждать все действия |
+
+### Verdict-режимы
+
+| Mode | Description |
+|------|-------------|
+| `no-baseline` | Первый запуск — результаты сохраняются как baseline без сравнения |
+| `no-regression` | Сравнение с baseline — тест считается пройденным, если результат не хуже baseline |
+
+### Принцип git write
+
+Runner и коуч **не выполняют git write-операций**. Все изменения в кодовой базе делает исключительно пользователь. Runner только анализирует и рекомендует, но не коммитит.
+
+### First run on a new project
+
+1. Запустить тесты с флагом `--establish-baseline`
+2. Проверить результаты: красные тесты — ожидаемы для нового проекта
+3. Зафиксировать baseline: `git commit current/` как baseline-коммит
+
 ## Scripts
 
 Scripts are stored globally in `~/.workflow/scripts/` and linked as a single junction into `.workflow/src/scripts/`.

package/agent-templates/CLAUDE.md.tpl

@@ -1,59 +1,61 @@
-# Инструкции для Claude Code
-
-Этот проект использует систему координации AI-агентов через файловую канбан-доску.
-
-## Структура проекта
-
-- `.workflow/` — канбан-доска с тикетами
-- `.workflow/src/skills/` — инструкции для выполнения задач
-
-## Доступные Skills
-
-При выполнении задач используй соответствующие инструкции:
-
-{{SKILLS_TABLE}}
-
-### Скрипты (перемещение и выбор тикетов)
-
-| Действие | Скрипт |
-|----------|--------|
-| Перемещение тикета | `node .workflow/src/scripts/move-ticket.js <id> <target>` |
-| Выбор следующей задачи | `node .workflow/src/scripts/pick-next-task.js` |
-| Перемещение готовых в ready | `node .workflow/src/scripts/move-to-ready.js` |
-
-### Кастомизация (eject)
-
-| Действие | Команда |
-|----------|---------|
-| Eject скила | `workflow eject <skill-name>` |
-| Eject скриптов | `workflow eject-scripts` |
-| Eject конфигов | `workflow eject-configs` |
-
-## Workflow
-
-1. **Планирование**: Создай план в `.workflow/plans/current/`
-2. **Декомпозиция**: Разбей план на тикеты в `.workflow/tickets/backlog/`
-3. **Выполнение**: Бери задачи из `ready/`, выполняй, перемещай в `done/`
-4. **Отчётность**: Создавай отчёты в `.workflow/reports/`
-
-> **ВАЖНО:** В этой сессии только составляй планы. НЕ выполняй и НЕ декомпозируй их — выполнение и декомпозиция будут происходить позже через workflow автоматически.
-
-## Шаблоны
-
-- `.workflow/templates/ticket-template.md` — шаблон тикета
-- `.workflow/templates/plan-template.md` — шаблон плана
-- `.workflow/templates/report-template.md` — шаблон отчёта
-
-## Конфигурация
-
-Настройки в `.workflow/config/config.yaml`
-
-## Правила работы со скилами
-
-> **⛔ ВАЖНО:** Любые изменения в скилах (создание, правка, аудит, улучшение) выполняются ТОЛЬКО через скил коуча (`.workflow/src/skills/coach/SKILL.md`). Не правь скилы напрямую — загрузи коуча и действуй по его воркфлоу.
-
-## Правила написания кода
-При написании кода использовать методологии TDD, SOLID, DRY
-
-## Общие инструкции
+# Инструкции для Claude Code
+
+Этот проект использует систему координации AI-агентов через файловую канбан-доску.
+
+## Структура проекта
+
+- `.workflow/` — канбан-доска с тикетами
+- `.workflow/src/skills/` — инструкции для выполнения задач
+
+## Доступные Skills
+
+При выполнении задач используй соответствующие инструкции:
+
+{{SKILLS_TABLE}}
+
+### Скрипты (перемещение и выбор тикетов)
+
+| Действие | Скрипт |
+|----------|--------|
+| Перемещение тикета | `node .workflow/src/scripts/move-ticket.js <id> <target>` |
+| Выбор следующей задачи | `node .workflow/src/scripts/pick-next-task.js` |
+| Перемещение готовых в ready | `node .workflow/src/scripts/move-to-ready.js` |
+
+**Регрессионное тестирование скилов:** `node .workflow/src/scripts/run-skill-tests.js --skill <name>`. Подробности — в `.workflow/src/skills/<name>/tests/index.yaml`.
+
+### Кастомизация (eject)
+
+| Действие | Команда |
+|----------|---------|
+| Eject скила | `workflow eject <skill-name>` |
+| Eject скриптов | `workflow eject-scripts` |
+| Eject конфигов | `workflow eject-configs` |
+
+## Workflow
+
+1. **Планирование**: Создай план в `.workflow/plans/current/`
+2. **Декомпозиция**: Разбей план на тикеты в `.workflow/tickets/backlog/`
+3. **Выполнение**: Бери задачи из `ready/`, выполняй, перемещай в `done/`
+4. **Отчётность**: Создавай отчёты в `.workflow/reports/`
+
+> **ВАЖНО:** В этой сессии только составляй планы. НЕ выполняй и НЕ декомпозируй их — выполнение и декомпозиция будут происходить позже через workflow автоматически.
+
+## Шаблоны
+
+- `.workflow/templates/ticket-template.md` — шаблон тикета
+- `.workflow/templates/plan-template.md` — шаблон плана
+- `.workflow/templates/report-template.md` — шаблон отчёта
+
+## Конфигурация
+
+Настройки в `.workflow/config/config.yaml`
+
+## Правила работы со скилами
+
+> **⛔ ВАЖНО:** Любые изменения в скилах (создание, правка, аудит, улучшение) выполняются ТОЛЬКО через скил коуча (`.workflow/src/skills/coach/SKILL.md`). Не правь скилы напрямую — загрузи коуча и действуй по его воркфлоу.
+
+## Правила написания кода
+При написании кода использовать методологии TDD, SOLID, DRY
+
+## Общие инструкции
 Отвечай всегда на Русском языке

package/agent-templates/QWEN.md.tpl

@@ -1,59 +1,61 @@
-# Инструкции для qwen Code
-
-Этот проект использует систему координации AI-агентов через файловую канбан-доску.
-
-## Структура проекта
-
-- `.workflow/` — канбан-доска с тикетами
-- `.workflow/src/skills/` — инструкции для выполнения задач
-
-## Доступные Skills
-
-При выполнении задач используй соответствующие инструкции:
-
-{{SKILLS_TABLE}}
-
-### Скрипты (перемещение и выбор тикетов)
-
-| Действие | Скрипт |
-|----------|--------|
-| Перемещение тикета | `node .workflow/src/scripts/move-ticket.js <id> <target>` |
-| Выбор следующей задачи | `node .workflow/src/scripts/pick-next-task.js` |
-| Перемещение готовых в ready | `node .workflow/src/scripts/move-to-ready.js` |
-
-### Кастомизация (eject)
-
-| Действие | Команда |
-|----------|---------|
-| Eject скила | `workflow eject <skill-name>` |
-| Eject скриптов | `workflow eject-scripts` |
-| Eject конфигов | `workflow eject-configs` |
-
-## Workflow
-
-1. **Планирование**: Создай план в `.workflow/plans/current/`
-2. **Декомпозиция**: Разбей план на тикеты в `.workflow/tickets/backlog/`
-3. **Выполнение**: Бери задачи из `ready/`, выполняй, перемещай в `done/`
-4. **Отчётность**: Создавай отчёты в `.workflow/reports/`
-
-> **ВАЖНО:** В этой сессии только составляй планы. НЕ выполняй и НЕ декомпозируй их — выполнение и декомпозиция будут происходить позже через workflow автоматически.
-
-## Шаблоны
-
-- `.workflow/templates/ticket-template.md` — шаблон тикета
-- `.workflow/templates/plan-template.md` — шаблон плана
-- `.workflow/templates/report-template.md` — шаблон отчёта
-
-## Конфигурация
-
-Настройки в `.workflow/config/config.yaml`
-
-## Правила работы со скилами
-
-> **⛔ ВАЖНО:** Любые изменения в скилах (создание, правка, аудит, улучшение) выполняются ТОЛЬКО через скил коуча (`.workflow/src/skills/coach/SKILL.md`). Не правь скилы напрямую — загрузи коуча и действуй по его воркфлоу.
-
-## Правила написания кода
-При написании кода использовать методологии TDD, SOLID, DRY
-
-## Общие инструкции
+# Инструкции для qwen Code
+
+Этот проект использует систему координации AI-агентов через файловую канбан-доску.
+
+## Структура проекта
+
+- `.workflow/` — канбан-доска с тикетами
+- `.workflow/src/skills/` — инструкции для выполнения задач
+
+## Доступные Skills
+
+При выполнении задач используй соответствующие инструкции:
+
+{{SKILLS_TABLE}}
+
+### Скрипты (перемещение и выбор тикетов)
+
+| Действие | Скрипт |
+|----------|--------|
+| Перемещение тикета | `node .workflow/src/scripts/move-ticket.js <id> <target>` |
+| Выбор следующей задачи | `node .workflow/src/scripts/pick-next-task.js` |
+| Перемещение готовых в ready | `node .workflow/src/scripts/move-to-ready.js` |
+
+**Регрессионное тестирование скилов:** `node .workflow/src/scripts/run-skill-tests.js --skill <name>`. Подробности — в `.workflow/src/skills/<name>/tests/index.yaml`.
+
+### Кастомизация (eject)
+
+| Действие | Команда |
+|----------|---------|
+| Eject скила | `workflow eject <skill-name>` |
+| Eject скриптов | `workflow eject-scripts` |
+| Eject конфигов | `workflow eject-configs` |
+
+## Workflow
+
+1. **Планирование**: Создай план в `.workflow/plans/current/`
+2. **Декомпозиция**: Разбей план на тикеты в `.workflow/tickets/backlog/`
+3. **Выполнение**: Бери задачи из `ready/`, выполняй, перемещай в `done/`
+4. **Отчётность**: Создавай отчёты в `.workflow/reports/`
+
+> **ВАЖНО:** В этой сессии только составляй планы. НЕ выполняй и НЕ декомпозируй их — выполнение и декомпозиция будут происходить позже через workflow автоматически.
+
+## Шаблоны
+
+- `.workflow/templates/ticket-template.md` — шаблон тикета
+- `.workflow/templates/plan-template.md` — шаблон плана
+- `.workflow/templates/report-template.md` — шаблон отчёта
+
+## Конфигурация
+
+Настройки в `.workflow/config/config.yaml`
+
+## Правила работы со скилами
+
+> **⛔ ВАЖНО:** Любые изменения в скилах (создание, правка, аудит, улучшение) выполняются ТОЛЬКО через скил коуча (`.workflow/src/skills/coach/SKILL.md`). Не правь скилы напрямую — загрузи коуча и действуй по его воркфлоу.
+
+## Правила написания кода
+При написании кода использовать методологии TDD, SOLID, DRY
+
+## Общие инструкции
 Отвечай всегда на Русском языке

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "workflow-ai",
-  "version": "1.0.61",
+  "version": "1.0.63",
   "description": "AI Agent Workflow Coordinator — kanban-based pipeline for AI coding agents",
   "type": "module",
   "bin": {
@@ -32,6 +32,7 @@
   },
   "scripts": {
     "test": "node --test src/tests/*.test.mjs",
+    "test:skills": "node src/scripts/run-skill-tests.js --all",
     "release": "npm version patch && npm publish"
   },
   "dependencies": {