@7n/test 0.15.0 → 0.16.1

package/CHANGELOG.md

@@ -1,5 +1,17 @@
 # Changelog
 
+## [0.16.1] - 2026-07-18
+
+### Fixed
+
+- coverage: три реальні баги, знайдені живою перевіркою на справжньому Storybook 10 + Vue 3 проєкті (storybook init-скаффолд) — (1) --project=!storybook падав з 'No projects matched the filter' для проєктів без окремого JS unit-test vitest-проєкту (типовий default-скаффолд), тепер трактується як passWithNoTests; (2) .vue на Storybook-root виключено з JS-виміру Stryker-мутації — vitest-runner структурно не може прогнати dry-run, коли єдиний vitest-проєкт це browser-mode 'storybook', раніше це валило ВЕСЬ прогін; (3) Stryker CLI configFile — позиційний аргумент, не --configFile. Задокументовано нове невирішене обмеження full-режиму command runner на реальних проєктах (npm/docs/stryker-storybook-config.md) — --changed-executor лишається єдиним підтвердженим робочим шляхом
+
+## [0.16.0] - 2026-07-18
+
+### Added
+
+- coverage: full-режим mutation testing для Storybook через Stryker command runner — canonical stryker.storybook.config.mjs (testRunner:'command', jsonReporter → reports/stryker-storybook/mutation.json), спайк-валідований define-трюк для __STRYKER_ACTIVE_MUTANT__ у browser-mode vite-конфізі; без canonical конфіга — чесний skip, як і раніше. Задокументовано контракт у npm/docs/stryker-storybook-config.md
+
 ## [0.15.0] - 2026-07-18
 
 ### Added

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@7n/test",
-  "version": "0.15.0",
+  "version": "0.16.1",
   "description": "CLI-утиліта @7n/test",
   "keywords": [
     "7n",

package/src/coverage/js-collector.mjs

@@ -33,6 +33,7 @@ const JS_FILE = /\.(c|m)?[jt]sx?$|\.vue$/
 const TEST_FILE = /\.(test|spec)\.[^.]+$/
 /** `.vue`-компоненти + `*.stories.*` — сигнал для Storybook-змінного scope (line coverage). */
 const VUE_OR_STORIES_FILE = /\.vue$|\.stories\.[^.]+$/
+const VUE_FILE_RE = /\.vue$/
 
 /**
  * Звужує список змінених файлів (relative до cwd) до тих, що лежать під `jsRoot`,
@@ -77,6 +78,13 @@ export function scopeToStorybookRoot(changedFiles, cwd, jsRoot) {
 const VITEST_HINT =
   'js coverage: vitest відсутній у package.json — додай `vitest`, `@vitest/coverage-v8` та `@stryker-mutator/vitest-runner` у devDependencies (див. test.mdc)'
 
+/** Canonical config-файл для full-режиму Storybook-мутації через Stryker command runner. */
+const STORYBOOK_STRYKER_CONFIG = 'stryker.storybook.config.mjs'
+/** Шлях mutation.json того ж прогону (окремий від `reports/stryker/` JS-виміру). */
+const STORYBOOK_STRYKER_REPORT = join('reports', 'stryker-storybook', 'mutation.json')
+/** vitest hard-fail коли `--project=!storybook` не залишає жодного проєкту (не test-порожньо). */
+const NO_PROJECTS_MATCHED_RE = /No projects matched the filter/
+
 /**
  * Чи у пакеті встановлено vitest (через dependencies або devDependencies).
  * @param {{dependencies?: Record<string,string>, devDependencies?: Record<string,string>}} pkg package.json
@@ -306,20 +314,36 @@ const defaultRunner = {
     // зайве дублювання з collectStorybookForRoot і ризик втягнути Playwright-залежність
     // у звичайний coverage-прогін.
     const projectArgs = excludeStorybookProject ? ['--project=!storybook'] : []
-    const r = spawnSync(
-      'bunx',
-      [
-        'vitest',
-        'run',
-        '--passWithNoTests',
-        '--coverage',
-        '--coverage.reporter=lcov',
-        `--coverage.reportsDirectory=${lcovDir}`,
-        ...projectArgs,
-        ...changedArgs
-      ],
-      { cwd, stdio: 'inherit', env: process.env }
-    )
+    const args = [
+      'vitest',
+      'run',
+      '--passWithNoTests',
+      '--coverage',
+      '--coverage.reporter=lcov',
+      `--coverage.reportsDirectory=${lcovDir}`,
+      ...projectArgs,
+      ...changedArgs
+    ]
+
+    if (!excludeStorybookProject) {
+      const r = spawnSync('bunx', args, { cwd, stdio: 'inherit', env: process.env })
+      return r.status ?? 1
+    }
+
+    // excludeStorybookProject-гілка захоплює stdout/stderr (не stdio:'inherit'), бо треба
+    // програмно розрізнити "--project=!storybook не залишив ЖОДНОГО проєкту" (типовий
+    // canonical @storybook/addon-vitest setup БЕЗ окремого unit-test проєкту — Storybook-root
+    // з єдиним named-проєктом "storybook") від реальної помилки. vitest у цьому кейсі кидає
+    // hard "No projects matched the filter" і завершується exit≠0 ДО будь-якого запуску тестів
+    // (`--passWithNoTests` цей кейс не покриває — той стосується тестів усередині вже
+    // знайдених проєктів, не відсутності самих проєктів). Підтверджено емпірично на
+    // реальному `storybook init` (Storybook 10 + Vue3, 2026-07): весь `test.projects` — лише
+    // "storybook", без окремого JS unit-test проєкту.
+    const r = spawnSync('bunx', args, { cwd, encoding: 'utf8', env: process.env })
+    const out = (r.stdout ?? '') + (r.stderr ?? '')
+    process.stdout.write(r.stdout ?? '')
+    process.stderr.write(r.stderr ?? '')
+    if (r.status !== 0 && NO_PROJECTS_MATCHED_RE.test(out)) return 0
     return r.status ?? 1
   },
   runBunCoverage({ cwd, lcovDir }) {
@@ -406,6 +430,24 @@ const defaultRunner = {
       ? spawnSync(strykerBin, ['run', ...mutateArgs], { cwd, stdio: 'inherit', env: process.env })
       : spawnSync('npx', ['@stryker-mutator/core', 'run', ...mutateArgs], { cwd, stdio: 'inherit', env: process.env })
     return r.status ?? 1
+  },
+  runStorybookStrykerFull({ cwd }) {
+    // Full-режим Storybook-мутація через canonical `stryker.storybook.config.mjs`
+    // (окремий Stryker-прогін, testRunner:'command' — vitest-runner browser mode не
+    // підтримує, див. коментар над collectStorybookForRoot). Спайк 2026-07 підтвердив:
+    // command runner + vitest browser mode ПРАЦЮЄ з `define` для
+    // __STRYKER_ACTIVE_MUTANT__ у vite-конфізі browser-проєкту — канонічний контракт
+    // конфіга задокументовано в npm/docs/stryker-storybook-config.md. Той самий
+    // резолвінг local-bin, що й runStryker (plugin-discovery відносно install-каталогу).
+    const strykerBin = resolveLocalStrykerBin()
+    // `configFile` — позиційний аргумент Stryker CLI (`stryker run [options] [configFile]`),
+    // НЕ `--configFile` — емпірично підтверджено (реальний прогін, 2026-07): `--configFile`
+    // дає `error: unknown option '--configFile'`.
+    const args = ['run', STORYBOOK_STRYKER_CONFIG]
+    const r = strykerBin
+      ? spawnSync(strykerBin, args, { cwd, stdio: 'inherit', env: process.env })
+      : spawnSync('npx', ['@stryker-mutator/core', ...args], { cwd, stdio: 'inherit', env: process.env })
+    return r.status ?? 1
   }
 }
 
@@ -443,18 +485,28 @@ const defaultRunner = {
  */
 async function collectOneRoot(jsRoot, cwd, runner, scope = null) {
   const wsRel = relative(cwd, jsRoot)
-  // У changed-режимі production-файли для мутації = змінені JS/Vue цього root без
-  // тест-файлів і без *.stories.* (сторі — не production-код, окремий Storybook-вимір).
-  // `.vue` тут ЗАЛИШАЄТЬСЯ — Stryker core мутує <script>/<script setup> SFC (з v7+),
-  // допоки покриття дають НЕ-browser-mode тести (@vue/test-utils тощо, не Storybook-сторі).
-  const mutateSrc = scope ? scope.files.filter(f => !TEST_FILE.test(f) && !STORIES_FILE_RE.test(f)) : null
 
   // Bun-native workspace: coverage через `bun test`, mutation пропускається
   // (Stryker vitest-runner не виконає код з `import ... from 'bun'`).
   const bunNative = await isBunNativeRoot(jsRoot)
   // Storybook root: named vitest-проєкт "storybook" (browser mode) типово ділить один
   // vitest.config.mjs зі звичайним suite — виключаємо його з JS-прогону (див. runJsCoverage).
-  const excludeStorybookProject = !bunNative && (await isStorybookRoot(jsRoot))
+  const isStorybook = !bunNative && (await isStorybookRoot(jsRoot))
+  const excludeStorybookProject = isStorybook
+
+  // У changed-режимі production-файли для мутації = змінені JS/Vue цього root без
+  // тест-файлів і без *.stories.* (сторі — не production-код, окремий Storybook-вимір).
+  // `.vue` на Storybook-root ТЕЖ виключено: якщо root — Storybook-only (типовий
+  // `storybook init`-скаффолд, ЄДИНИЙ vitest-проєкт — "storybook"), Stryker vitest-runner
+  // структурно не може прогнати dry-run (немає non-browser проєкту для виконання) —
+  // емпірично підтверджено (2026-07, реальний Storybook 10 + Vue3 скаффолд): dry-run
+  // валиться, `collectOneRoot` кидає, і це ламає ВЕСЬ прогін (обидва виміри), не лише
+  // JS-рядок. `.vue`-мутація на Storybook-root — виключно відповідальність
+  // `collectStorybookForRoot` (own executor / command-runner), яка вже покриває SFC
+  // повністю; дублювання через JS-вимір там і зайве, і структурно ламке.
+  const mutateSrc = scope
+    ? scope.files.filter(f => !TEST_FILE.test(f) && !STORIES_FILE_RE.test(f) && !(isStorybook && VUE_FILE_RE.test(f)))
+    : null
   if (bunNative && !(await hasRunnableTests(jsRoot))) {
     // `bun test` без тестів завершується помилкою — graceful skip як vitest --passWithNoTests.
     return scope
@@ -558,8 +610,10 @@ async function collectOneRoot(jsRoot, cwd, runner, scope = null) {
  * Mutation testing: у **changed-режимі** виконується власним mutate→run→restore
  * executor-ом (`storybook-mutation.mjs`) — детерміновані AST-мутанти по змінених
  * production-файлах, вбиває/милує реальний browser-mode прогін. У **full-режимі**
- * пропускається з попередженням (повний suite × кожен мутант × Chromium — надто
- * дорого; той самий принцип чесного skip, що й bun-native).
+ * власний executor надто дорогий (усі production-файли, не лише змінені) — тут шлях
+ * лише через canonical Stryker command-runner (`STORYBOOK_STRYKER_CONFIG`, див. нижче
+ * і `npm/docs/stryker-storybook-config.md`), якщо target-проєкт його налаштував;
+ * інакше чесний skip з попередженням (той самий принцип, що й bun-native).
  *
  * **Чому не Stryker (перевіряй перед покладанням на це в майбутньому — площина
  * активно змінюється з обох боків):** issue stryker-js#4557 ("[vitest] support browser
@@ -576,24 +630,29 @@ async function collectOneRoot(jsRoot, cwd, runner, scope = null) {
  * Meta ACH): детермінована генерація мутантів + реальний прогін як суддя — без LLM
  * у контурі виконання.
  *
- * **Валідована альтернатива (спайк 2026-07):** Stryker **command runner** (не
- * vitest-runner) + browser mode ПРАЦЮЄ — але лише з обов'язковим
+ * **Full-режим — Stryker command runner (`runStorybookStrykerFull`, опційний у
+ * runner-і), АЛЕ з відомим невирішеним обмеженням (перевіряй перед покладанням —
+ * секція «Обмеження» в `npm/docs/stryker-storybook-config.md`):**
+ * Spike на синтетичному JS-репо (2026-07-17) підтвердив саму МЕХАНІКУ — command
+ * runner + browser mode ПРАЦЮЄ з обов'язковим
  * `define: { 'process.env.__STRYKER_ACTIVE_MUTANT__': JSON.stringify(process.env.__STRYKER_ACTIVE_MUTANT__ ?? '') }`
- * у vite-конфізі browser-проєкту (vitest browser mode ставить define як runtime-глобал
- * у Chromium — саме той шлях, що читає інструментація Stryker). Без define — тихий
- * провал: 0% killed, усі мутанти "виживають" (контрольний експеримент підтвердив).
- * ~1.2s/мутант, sandbox без проблем (symlinked node_modules). Не прийнято зараз:
- * потребує змін конфігів target-проєкту (define + stryker command-config) і має
- * silent-0% failure mode, якщо Storybook-ів config merge загубить define; власний
- * executor мутує файл на диску — активація не залежить від env-пропагації взагалі.
- * Кандидат на майбутнє для full-режиму (richer operator set + incremental mode).
+ * у vite-конфізі (без define — тихий провал, 0% killed). Але живий прогін на
+ * РЕАЛЬНОМУ `storybook init`-скаффолді (2026-07-18) показав: dry-run падає з
+ * `Failed to fetch dynamically imported module` для `*.stories.js`, і ЖОДНА з
+ * перевірених гіпотез (symlink sandbox, `inPlace: true`, vue-docgen-plugin,
+ * concurrency) не root-cause. Той самий `vitest run --project=storybook`
+ * бездоганно працює через ЗВИЧАЙНИЙ `spawnSync` (наш `--changed`-executor) —
+ * проблема специфічна саме до того, як Stryker spawn-ить/оточує процес.
+ * Висновок: full-режим лишається задокументованим напрямком, не підтвердженим
+ * робочим рішенням; `--changed`-executor (нижче) — єдиний перевірений на
+ * реальному проєкті шлях отримати справжній mutation score для Storybook-коду.
  *
  * Changed-режим: запускається тільки якщо серед змінених файлів root-а є хоча б
  * один `.vue`/`*.stories.*` (`scope.files` — вже звужений через `scopeToStorybookRoot`
  * на боці виклику); інакше `null` (root пропускається повністю для цього виміру).
  * @param {string} jsRoot абсолютний шлях workspace-кореня
  * @param {string} cwd корінь проєкту (для рібейзингу `survived[].file`)
- * @param {{runStorybookCoverage:Function, runStorybookMutantTest?:Function, proposeStorybookLlmMutants?:Function}} runner spawn-ін'єкція
+ * @param {{runStorybookCoverage:Function, runStorybookMutantTest?:Function, proposeStorybookLlmMutants?:Function, runStorybookStrykerFull?:Function}} runner spawn-ін'єкція
  * @param {{files:string[], base:string|null}|null} [scope] changed-scope (null = full-режим)
  * @returns {Promise<{coverage:object, mutation:{caught:number,total:number}, survived:Array<object>} | null>} результат або null коли root не Storybook/без сторі/без relevant-змін
  */
@@ -630,12 +689,51 @@ async function collectStorybookForRoot(jsRoot, cwd, runner, scope = null) {
     await rm(lcovDir, { recursive: true, force: true })
   }
 
-  // Full-режим: mutation чесно пропускається (див. JSDoc). Guard на runStorybookMutantTest
-  // тримає сумісність із інжектованими runner-ами без mutation-підтримки.
-  if (!scope || typeof runner.runStorybookMutantTest !== 'function') {
+  // Full-режим: власний executor надто дорогий (повний suite × кожен мутант ×
+  // Chromium на ВСІХ production-файлах, не лише змінених) — тут шлях лише через
+  // canonical Stryker command-runner (STORYBOOK_STRYKER_CONFIG), якщо target-проєкт
+  // його налаштував (див. npm/docs/stryker-storybook-config.md). Без canonical
+  // конфіга або без runStorybookStrykerFull у runner-і — чесний skip, як і раніше.
+  if (!scope) {
+    const hasCanonicalConfig = existsSync(join(jsRoot, STORYBOOK_STRYKER_CONFIG))
+    if (hasCanonicalConfig && typeof runner.runStorybookStrykerFull === 'function') {
+      const code = await runner.runStorybookStrykerFull({ cwd: jsRoot })
+      const reportPath = join(jsRoot, STORYBOOK_STRYKER_REPORT)
+      if (code !== 0 && !existsSync(reportPath)) {
+        throw new Error(
+          `Storybook Stryker (command runner) exit ${code} — перевір ${STORYBOOK_STRYKER_CONFIG} ` +
+            '(testRunner: "command", commandRunner.command, jsonReporter.fileName) ' +
+            'і define __STRYKER_ACTIVE_MUTANT__ у vite-конфізі browser-проєкту'
+        )
+      }
+      if (existsSync(reportPath)) {
+        const report = JSON.parse(await readFile(reportPath, 'utf8'))
+        const parsed = parseStrykerReport(report, jsRoot)
+        console.log(
+          `✓ ${wsRel || '.'}: Storybook mutation (Stryker command runner) — ${parsed.caught}/${parsed.total} вбито`
+        )
+        return {
+          coverage,
+          mutation: { caught: parsed.caught, total: parsed.total },
+          survived: parsed.survived.map(group => ({
+            ...group,
+            file: wsRel === '' ? group.file : join(wsRel, group.file)
+          }))
+        }
+      }
+    }
     console.error(
       `⚠ ${wsRel || '.'}: Storybook (Vue) — mutation testing пропущено ` +
-        '(у full-режимі надто дорого: повний browser-mode suite на кожен мутант), лише line coverage'
+        `(${hasCanonicalConfig ? 'runner без runStorybookStrykerFull' : `нема ${STORYBOOK_STRYKER_CONFIG}`}), лише line coverage`
+    )
+    return { coverage, mutation: { caught: 0, total: 0 }, survived: [] }
+  }
+
+  // Changed-режим: guard на runStorybookMutantTest тримає сумісність із
+  // інжектованими runner-ами без mutation-підтримки (лише line coverage).
+  if (typeof runner.runStorybookMutantTest !== 'function') {
+    console.error(
+      `⚠ ${wsRel || '.'}: Storybook (Vue) — mutation testing пропущено (runner без runStorybookMutantTest), лише line coverage`
     )
     return { coverage, mutation: { caught: 0, total: 0 }, survived: [] }
   }