code-ai-installer 3.0.0 → 4.0.1-a

package/domains/development/.agents/skills/qa-e2e-playwright/agents/kimi.yaml

@@ -1,15 +1,15 @@
-name: "qa-e2e-playwright"
-display_name: "QA: E2E на Playwright"
-description: "E2E-тестирование через Playwright для CI/CD — автоматизированные spec-файлы, page objects, visual regression, pipeline интеграция. Для ручного тестирования в Antigravity → $qa-browser-testing."
-default_prompt: "Используй $qa-e2e-playwright, когда задача относится к навыку \"QA: E2E на Playwright\"."
-triggers:
-  - "qa-e2e-playwright"
-  - "qa e2e playwright"
-  - "QA: E2E на Playwright"
-  - "E2E-тестирование через Playwright для CI/CD — автоматизированные spec-файлы, page objects, visual regression, pipeline интеграция"
-capabilities:
-  - "qa"
-  - "e2e"
-  - "playwright"
-tools: []
-implicit_invocation: true
+name: "qa-e2e-playwright"
+display_name: "QA: E2E на Playwright"
+description: "E2E-тестирование через Playwright для CI/CD — автоматизированные spec-файлы, page objects, visual regression, pipeline интеграция. Для ручного тестирования в Antigravity → $qa-browser-testing."
+default_prompt: "Используй $qa-e2e-playwright, когда задача относится к навыку \"QA: E2E на Playwright\"."
+triggers:
+  - "qa-e2e-playwright"
+  - "qa e2e playwright"
+  - "QA: E2E на Playwright"
+  - "E2E-тестирование через Playwright для CI/CD — автоматизированные spec-файлы, page objects, visual regression, pipeline интеграция"
+capabilities:
+  - "qa"
+  - "e2e"
+  - "playwright"
+tools: []
+implicit_invocation: true

package/domains/development/.agents/skills/qa-flaky-test-protocol/SKILL.md

@@ -0,0 +1,230 @@
+---
+name: qa-flaky-test-protocol
+description: Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives.
+type: discretionary
+domain: development
+owners:
+  - tester
+gates:
+  - TEST
+tech:
+  - vitest
+  - playwright
+  - pytest
+topic:
+  - qa
+triggers:
+  - flaky тесты
+  - flaky test protocol
+  - quarantine
+  - retry budget
+  - flake rate
+  - test stabilization
+  - тест иногда падает
+  - нестабильный тест
+related:
+  - qa-mutation-testing
+  - qa-regression-baseline
+  - qa-test-integrity-audit
+  - qa-test-plan
+  - qa-test-data-management
+budget_lines: 250
+schema_version: 1
+---
+
+
+# Skill: QA Flaky Test Protocol
+
+Протокол работы с тестами которые **иногда** падают — критическая инфраструктура для всего Test Integrity Defense.
+
+> **Prerequisite для mutation testing**: flaky rate должен быть < 1% перед запуском `$qa-mutation-testing`. Иначе survived мутанты = false positives, тестер потеряет доверие к инструменту.
+
+**Разделы:**
+1. [Когда применять](#1-когда)
+2. [5 причин flaky + detection](#2-причины)
+3. [Quarantine + retry budget](#3-quarantine)
+4. [Root-cause SLA (tier-based)](#4-sla)
+5. [Artifact retention](#5-artifacts)
+6. [Mutation prerequisite](#6-mutation)
+7. [Anti-patterns](#7-anti)
+8. [Output template](#8-output)
+9. [DoD](#9-dod)
+
+---
+
+## <a id="1-когда"></a>1. Когда применять
+
+**Триггеры:**
+- Тест упал в CI и прошёл при retry — отмечается как flaky candidate
+- Подготовка к mutation testing rollout на модуле
+- Stabilization sprint (раз в квартал)
+- Перед TEST signoff на tier 1 модулях с CI flake rate > 1%
+
+**Outputs:**
+- Flake rate отчёт (per-test + suite total)
+- Quarantine list с deadlines (по tier-SLA)
+- Root-cause findings для каждого quarantined теста
+- Action items: fix / delete / promote-out-of-quarantine
+
+---
+
+## <a id="2-причины"></a>2. 5 причин flaky + detection
+
+### 1. Order dependence
+Тест зависит от состояния от предыдущего теста (shared module state, DB rows, file system).
+**Признак:** падает при изменении порядка execution, проходит при isolated run.
+**Detect:** запусти suite с `--shuffle` (vitest) или `pytest-randomly`. Diff vs baseline ordering.
+
+### 2. Timing / race condition
+Async без proper await, `sleep` вместо polling, неявные race в Promise chains.
+**Признак:** падает на медленном CI runner, проходит локально.
+**Detect:** запусти с CPU throttling (`--maxConcurrency=1`) — если падает чаще, есть race.
+
+### 3. Environment dependence
+DST переходы, timezone, locale, system clock skew, GPU presence.
+**Признак:** падает в определённое время суток / на специфичных runners.
+**Detect:** scan тестов на use of `Date.now()`, `new Date()` без mock; `process.env.TZ`; locale-sensitive строки.
+
+### 4. External resource
+External API rate limit, eventual consistency DB, S3 propagation, Wix API quotas.
+**Признак:** падает batch'ем когда CI прогоняет много раз подряд.
+**Detect:** logs показывают 429/503 от external, или timeout на DB read after write.
+
+### 5. Non-determinism
+`Math.random()` без seed, UUID v4 в test fixtures, `setImmediate` ordering.
+**Признак:** воспроизводимо только на конкретных seed-зависимых runs.
+**Detect:** grep на `random|uuid|setImmediate` в test files; ESLint rule `no-restricted-globals`.
+
+**Flake rate calculation:**
+```
+flake_rate = (failed_then_passed_runs) / (total_runs)
+```
+Threshold: per-test ≥ 5% flaky → quarantine. Suite total ≥ 5% flaky → block new feature merges до cleanup.
+
+---
+
+## <a id="3-quarantine"></a>3. Quarantine + retry budget
+
+**Quarantine procedure:**
+1. Маркируй тест: `it.flaky("...", ...)` (vitest plugin) или `@pytest.mark.flaky` (pytest-rerunfailures), или вынеси в `tests/quarantine/` директорию.
+2. CI запускает quarantine suite separately — не блокирует main pipeline.
+3. Запиши в `.flaky-tests.json` с метаданными: путь, дата quarantine, owner, tier, SLA deadline, suspected cause. V1 — коммитим в git.
+4. Создай ticket: "Stabilize $TEST_PATH by $DEADLINE".
+
+**Retry budget** (CI policy):
+- **Per-test**: max 2 retries (всего 3 attempts). Прошёл хоть один — log как flaky, не failure.
+- **Per-suite**: max 5% тестов могут быть flaky. Сверх — block merge до cleanup.
+- **Per-PR**: no new quarantined tests добавляется без explicit `NEW-FLAKY-WHY:` в commit.
+
+**Pre-PR check:** gh check на diff — если PR добавляет `.flaky` маркер на новый тест, требовать обоснование.
+
+---
+
+## <a id="4-sla"></a>4. Root-cause SLA (tier-based)
+
+Quarantined тест **не может** жить в quarantine вечно. SLA на root-cause analysis + fix:
+
+| Tier | SLA | Действие после SLA |
+|------|-----|-------------------|
+| 1 (auth/billing/security/payments/crypto) | 3 дня | Block merges into module до fix |
+| 2 (business logic) | 1 неделя | Escalate Reviewer + Architect |
+| 3 (UI/utils) | 2 недели | Delete test с обоснованием |
+
+**SLA enforcement:** weekly cron job сканит `.flaky-tests.json`, поднимает alert когда tier 1 SLA нарушен.
+
+**Что значит fix:**
+- Identified root cause (одна из 5 категорий)
+- Applied targeted fix (не "added retry")
+- Test passes 50 consecutive runs (`--repeat-each=50` vitest, `pytest --count=50`)
+- Removed from quarantine
+
+**Что значит delete:**
+- 2+ attempts at fix failed
+- Test value < cost of maintenance
+- Documented decision (DELETED-WHY in commit) + replacement coverage в другом тесте
+
+---
+
+## <a id="5-artifacts"></a>5. Artifact retention
+
+Failed runs flaky тестов требуют artifacts для root-cause analysis.
+
+**Что хранить:**
+- Stdout/stderr (full, не truncated)
+- Test runner output (vitest verbose, pytest -vv)
+- Screenshots на момент failure (Playwright auto-capture)
+- Video recording (Playwright trace mode)
+- Network logs (Playwright trace, HAR файлы)
+- DB snapshot (если integration test)
+
+**Retention:**
+- Last 30 runs per test stored
+- GitHub Actions artifacts (max 90 days) или S3 (1 год) для compliance
+- Compress logs (gzip) для cost optimization
+
+**Naming convention:**
+```
+artifacts/flaky/<test-path>/<run-id>/{stdout.log, screenshot.png, trace.zip}
+```
+
+Storage location config — в `$mutation-testing-setup` (shared CI infra).
+
+---
+
+## <a id="6-mutation"></a>6. Mutation prerequisite
+
+**Не запускай `$qa-mutation-testing` пока:**
+- Suite flake rate ≥ 1% (mutation = false positives)
+- Любой tier 1 модуль имеет quarantined тесты с просроченным SLA
+
+**Почему:** mutation testing мутирует код, ожидая что тесты поймают. Если тесты сами flaky, не понять — survived это real test gap или просто этот прогон не поймал.
+
+---
+
+## <a id="7-anti"></a>7. Anti-patterns
+
+- 🔴 **Retry forever** — 3+ retries скрывают real bug. Max 2 retries CI policy.
+- 🔴 **Permanent quarantine** — тесты годами в quarantine = технический долг. SLA enforcement обязательно.
+- 🔴 **Delete flaky без root-cause analysis** — потеря coverage; bug может попасть на prod. Document attempts before delete.
+- 🟠 **No SLA escalation** — quarantined без deadline в дашборде — никто не fix'ит. Weekly alert mandatory.
+- 🟠 **Sleep вместо polling** — `setTimeout(500)` для "wait until X" — race condition by design. Используй `waitFor` / `expect.poll` / `until` patterns.
+- 🟡 **Mock-as-flakiness-band-aid** — мокать external API только потому что real flaky — теряем integration coverage. Mock at boundary OK, но не как hack.
+
+---
+
+## <a id="8-output"></a>8. Output template
+
+Tester включает в TEST report:
+
+```
+### Flaky Test Protocol Status
+- Suite flake rate: X.X% (threshold 5%)
+- Tests in quarantine: N (tier 1: a / tier 2: b / tier 3: c)
+- SLA violations: N (block-merge triggered: yes/no)
+- This cycle: M tests promoted out of quarantine
+- Mutation testing prerequisite met (< 1% flake): yes/no
+- Action items: [fix list with SLA deadlines]
+```
+
+---
+
+## <a id="9-dod"></a>9. DoD
+
+- [ ] Flake rate detection в CI (per-test + suite)
+- [ ] Quarantine mechanism (marker + separate suite + .flaky-tests.json)
+- [ ] Retry budget policy (max 2/test, max 5%/suite) в CI config
+- [ ] Tier-based SLA enforcement (weekly cron job)
+- [ ] Artifact retention configured (30 runs, GitHub Actions или S3)
+- [ ] Mutation prerequisite check автоматизирован (`$qa-mutation-testing` skip если flake > 1%)
+- [ ] Output template включён в TEST report
+
+---
+
+## См. также
+
+- `$qa-mutation-testing` — flaky prerequisite (этот скилл — gate перед mutation)
+- `$qa-regression-baseline` — baseline includes flake rate metric
+- `$qa-test-integrity-audit` — static scan может находить race conditions
+- `$qa-test-plan` — план тестирования учитывает flaky risk per flow
+- `$tests-quality-review` — Reviewer-side reviews flaky tickets
+- `$mutation-testing-setup` — shared artifact retention infrastructure

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/claude.json

@@ -0,0 +1,20 @@
+{
+  "name": "qa-flaky-test-protocol",
+  "display_name": "QA: flaky test protocol",
+  "description": "Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives.",
+  "default_prompt": "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\".",
+  "triggers": [
+    "qa-flaky-test-protocol",
+    "qa flaky test protocol",
+    "QA: flaky test protocol",
+    "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, негативные кейсы, критерии приёмки"
+  ],
+  "capabilities": [
+    "qa",
+    "flaky",
+    "test",
+    "protocol"
+  ],
+  "tools": [],
+  "implicit_invocation": true
+}

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/copilot.json

@@ -0,0 +1,20 @@
+{
+  "name": "qa-flaky-test-protocol",
+  "display_name": "QA: flaky test protocol",
+  "description": "Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives.",
+  "default_prompt": "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\".",
+  "triggers": [
+    "qa-flaky-test-protocol",
+    "qa flaky test protocol",
+    "QA: flaky test protocol",
+    "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, негативные кейсы, критерии приёмки"
+  ],
+  "capabilities": [
+    "qa",
+    "flaky",
+    "test",
+    "protocol"
+  ],
+  "tools": [],
+  "implicit_invocation": true
+}

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/gemini.json

@@ -0,0 +1,20 @@
+{
+  "name": "qa-flaky-test-protocol",
+  "display_name": "QA: flaky test protocol",
+  "description": "Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives.",
+  "default_prompt": "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\".",
+  "triggers": [
+    "qa-flaky-test-protocol",
+    "qa flaky test protocol",
+    "QA: flaky test protocol",
+    "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, негативные кейсы, критерии приёмки"
+  ],
+  "capabilities": [
+    "qa",
+    "flaky",
+    "test",
+    "protocol"
+  ],
+  "tools": [],
+  "implicit_invocation": true
+}

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/kimi.yaml

@@ -0,0 +1,16 @@
+name: "qa-flaky-test-protocol"
+display_name: "QA: flaky test protocol"
+description: "Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives."
+default_prompt: "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\"."
+triggers:
+  - "qa-flaky-test-protocol"
+  - "qa flaky test protocol"
+  - "QA: flaky test protocol"
+  - "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, негативные кейсы, критерии приёмки"
+capabilities:
+  - "qa"
+  - "flaky"
+  - "test"
+  - "protocol"
+tools: []
+implicit_invocation: true

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/openai.yaml

@@ -0,0 +1,8 @@
+interface:
+  display_name: "QA: flaky test protocol"
+  short_description: "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, не…"
+  default_prompt: "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\"."
+dependencies:
+  tools: []
+policy:
+  allow_implicit_invocation: true

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/qwen.json

@@ -0,0 +1,20 @@
+{
+  "name": "qa-flaky-test-protocol",
+  "display_name": "QA: flaky test protocol",
+  "description": "Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives.",
+  "default_prompt": "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\".",
+  "triggers": [
+    "qa-flaky-test-protocol",
+    "qa flaky test protocol",
+    "QA: flaky test protocol",
+    "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, негативные кейсы, критерии приёмки"
+  ],
+  "capabilities": [
+    "qa",
+    "flaky",
+    "test",
+    "protocol"
+  ],
+  "tools": [],
+  "implicit_invocation": true
+}

package/domains/development/.agents/skills/qa-flaky-test-protocol/agents/skill.yaml

@@ -0,0 +1,24 @@
+version: 1
+name: "qa-flaky-test-protocol"
+display_name: "QA: flaky test protocol"
+description: "Протокол работы с flaky тестами — 5 причин (order, timing, env, external, non-determinism), detection через flake rate, quarantine процедура, retry budget (2/test, 5%/suite), tier-based root-cause SLA (3/7/14 дней), artifact retention. Prerequisite для mutation testing — без стабильного suite mutation даёт false positives."
+default_prompt: "Используй $qa-test-plan, когда задача относится к навыку \"QA: flaky test protocol\"."
+triggers:
+  - "qa-flaky-test-protocol"
+  - "qa flaky test protocol"
+  - "QA: flaky test protocol"
+  - "Составить тест-план и матрицу покрытия по PRD/UX — роли, критичные user flows, состояния UI, негативные кейсы, критерии приёмки"
+capabilities:
+  - "qa"
+  - "flaky"
+  - "test"
+  - "protocol"
+tools: []
+invocation:
+  explicit: true
+  implicit: true
+localization:
+  default_locale: "ru"
+  available_locales:
+    - "ru"
+    - "en"