workflow-ai 1.0.62 → 1.0.64

package/README.md

@@ -121,6 +121,67 @@ Skills are stored globally in `~/.workflow/skills/` and linked into projects via
 
 Use `workflow eject <skill>` to copy a skill into the project for customization.
 
+## Skill regression tests
+
+Трёхуровневая система тестирования скилов для проверки качества AI-агентов.
+
+### Три слоя тестирования
+
+| Level | Name | Description |
+|-------|------|-------------|
+| L0 | Static | Базовая проверка синтаксиса и структуры: YAML-валидация, проверка обязательных полей, линтер |
+| L1 | Deterministic | Детерминированные тесты: эталонные входные данные → ожидаемый результат (strict match) |
+| L2 | Rubric | Гибкая оценка по критериям: scorer выставляет баллы на основе качества результата |
+
+### Структура директорий
+
+```
+src/skills/<name>/tests/
+├── index.yaml      # Метаданные тестов, список test cases
+├── cases/          # Входные данные для тестов
+│   └── <case-id>/
+│       └── input.yaml
+├── fixtures/       # Ожидаемые выходные данные (для L1)
+│   └── <case-id>/
+│       └── expected.yaml
+└── rubrics/        # Критерии оценки (для L2)
+    └── <case-id>/
+        └── rubric.yaml
+```
+
+### Запуск тестов
+
+```bash
+npm run test:skills
+```
+
+### CLI-флаги
+
+| Flag | Description |
+|------|-------------|
+| `--skill <name>` | Запустить тесты только для указанного скила |
+| `--relevant` | Запустить только тесты, соответствующие изменённым файлам |
+| `--establish-baseline` | Запустить тесты и сохранить результаты как baseline |
+| `--baseline-ref <ref>` | Использовать конкретный baseline (коммит, тег) |
+| `--yes` | Автоматически подтверждать все действия |
+
+### Verdict-режимы
+
+| Mode | Description |
+|------|-------------|
+| `no-baseline` | Первый запуск — результаты сохраняются как baseline без сравнения |
+| `no-regression` | Сравнение с baseline — тест считается пройденным, если результат не хуже baseline |
+
+### Принцип git write
+
+Runner и коуч **не выполняют git write-операций**. Все изменения в кодовой базе делает исключительно пользователь. Runner только анализирует и рекомендует, но не коммитит.
+
+### First run on a new project
+
+1. Запустить тесты с флагом `--establish-baseline`
+2. Проверить результаты: красные тесты — ожидаемы для нового проекта
+3. Зафиксировать baseline: `git commit current/` как baseline-коммит
+
 ## Scripts
 
 Scripts are stored globally in `~/.workflow/scripts/` and linked as a single junction into `.workflow/src/scripts/`.

package/agent-templates/CLAUDE.md.tpl

@@ -21,6 +21,8 @@
 | Выбор следующей задачи | `node .workflow/src/scripts/pick-next-task.js` |
 | Перемещение готовых в ready | `node .workflow/src/scripts/move-to-ready.js` |
 
+**Регрессионное тестирование скилов:** `node .workflow/src/scripts/run-skill-tests.js --skill <name>`. Подробности — в `.workflow/src/skills/<name>/tests/index.yaml`.
+
 ### Кастомизация (eject)
 
 | Действие | Команда |

package/agent-templates/QWEN.md.tpl

@@ -21,6 +21,8 @@
 | Выбор следующей задачи | `node .workflow/src/scripts/pick-next-task.js` |
 | Перемещение готовых в ready | `node .workflow/src/scripts/move-to-ready.js` |
 
+**Регрессионное тестирование скилов:** `node .workflow/src/scripts/run-skill-tests.js --skill <name>`. Подробности — в `.workflow/src/skills/<name>/tests/index.yaml`.
+
 ### Кастомизация (eject)
 
 | Действие | Команда |

package/configs/config.yaml

@@ -0,0 +1,134 @@
+# Конфигурация системы координации агентов
+# Версия: 1.0
+
+version: "1.0"
+
+# Информация о проекте
+project:
+  name: ""
+  description: ""
+  created_at: ""
+
+# Типы задач и их настройки
+task_types:
+  arch:
+    prefix: ARCH
+    description: "Задачи планирования и архитектуры"
+
+  impl:
+    prefix: IMPL
+    description: "Написание и изменение кода"
+
+  fix:
+    prefix: FIX
+    description: "Исправление ошибок и багов"
+
+  review:
+    prefix: REVIEW
+    description: "Ревью кода и документации"
+
+  docs:
+    prefix: DOCS
+    description: "Создание и обновление документации"
+
+  admin:
+    prefix: ADMIN
+    description: "Административные задачи"
+
+  qa:
+    prefix: QA
+    description: "Написание тестов, проверка coverage, E2E-сценарии, тест-планы, валидация качества"
+
+  coach:
+    prefix: COACH
+    description: "Улучшение и аудит скилов (обрабатывается коуч-скилом)"
+
+  human:
+    prefix: HUMAN
+    description: "Задачи, требующие действия человека"
+
+  rsh:
+    prefix: RSH
+    description: "Deep Research — глубокие исследования, анализ рынка/конкурентов/трендов, сбор бенчмарков, текстовые отчёты"
+
+# Приоритеты задач
+priorities:
+  1:
+    name: critical
+    description: "Блокирует всю работу"
+    color: "#FF0000"
+  2:
+    name: high
+    description: "Важно для прогресса"
+    color: "#FF6600"
+  3:
+    name: medium
+    description: "Стандартный приоритет"
+    color: "#FFCC00"
+  4:
+    name: low
+    description: "Когда будет время"
+    color: "#00CC00"
+  5:
+    name: someday
+    description: "Может быть когда-нибудь"
+    color: "#CCCCCC"
+
+# Статусы задач
+statuses:
+  backlog:
+    folder: backlog
+    description: "Ожидает выполнения условий"
+  ready:
+    folder: ready
+    description: "Готов к выполнению"
+  in-progress:
+    folder: in-progress
+    description: "В работе"
+  blocked:
+    folder: blocked
+    description: "Заблокирована"
+  review:
+    folder: review
+    description: "На проверке"
+  done:
+    folder: done
+    description: "Завершена"
+
+# Типы условий для задач
+condition_types:
+  tasks_completed:
+    description: "Указанные задачи должны быть выполнены"
+    
+  date_after:
+    description: "Дата должна быть после указанной"
+    
+  date_before:
+    description: "Дата должна быть до указанной"
+    
+  file_exists:
+    description: "Указанный файл должен существовать"
+    
+  file_not_exists:
+    description: "Указанный файл не должен существовать"
+    
+  file_contains:
+    description: "Файл должен содержать указанный текст"
+    
+  manual_approval:
+    description: "Требуется ручное подтверждение"
+
+# Настройки путей
+paths:
+  plans: plans
+  tickets: tickets
+  reports: reports
+  templates: templates
+  plan_templates: plans/templates
+  archive: archive
+
+# Настройки отчётности
+reporting:
+  daily_report_time: "18:00"
+  sprint_length_days: 7
+  archive_completed_after_days: 30