@dzhechkov/keysarium 1.3.0 → 1.5.0

package/templates/docs/improvement-directions.md

@@ -282,7 +282,7 @@ AQE использует semantic promises:
 
 ## 4. Trust Tiers для скиллов
 
-**Текущее состояние:** Все 6 скиллов равноправны, нет градации по валидированности.
+**Текущее состояние:** 9 скиллов с градацией по валидированности (Tier 0–2). knowledge-extractor прошёл BTO Layer 2 и продвинут до Tier 2.
 
 ### Система тиров (из AQE)
 
@@ -299,13 +299,15 @@ AQE классифицирует 78 скиллов по 4 уровням дов
 
 | Скилл | Текущий тир | Путь к повышению |
 |-------|------------|------------------|
+| knowledge-extractor | **Tier 2 — Validated** | BTO Layer 2 score 7.5, optimized 2026-03-03. → score ≥ 8.5 + eval tests для Tier 3 |
 | explore | Tier 1 — Structured | SKILL.md + references → прогнать `/bto-test` |
 | goap-research-ed25519 | Tier 1 — Structured | SKILL.md + references + scripts → прогнать `/bto-test` |
 | problem-solver-enhanced | Tier 1 — Structured | SKILL.md → прогнать `/bto-test` |
 | reverse-engineering-unicorn | Tier 1 — Structured | SKILL.md + modules + examples → прогнать `/bto-test` |
+| presentation-storyteller | Tier 1 — Structured | SKILL.md + references → прогнать `/bto-test` |
 | bto | Tier 1 — Structured | SKILL.md + 3 modules → self-evaluate через `/bto-test` |
+| feature-adr | Tier 1 — Structured | SKILL.md + modules + references → прогнать `/bto-test` |
 | frontend-design | Tier 0 — Advisory | Только SKILL.md → нужны references |
-| presentation-storyteller | Tier 0 — Advisory | SKILL.md + references → нужны eval tests |
 
 **Реализация:**
 ```bash
@@ -316,13 +318,15 @@ npx @dzhechkov/skills-bto test .claude/skills/explore/   # Повысить tier
 Вывод `doctor`:
 ```
 Skills Health Check:
+  ★  knowledge-extractor           Tier 2 — Validated (BTO 7.5/10, 2026-03-03)
   ✅ explore                        Tier 1 — Structured
   ✅ goap-research-ed25519          Tier 1 — Structured
   ✅ problem-solver-enhanced        Tier 1 — Structured
   ✅ reverse-engineering-unicorn    Tier 1 — Structured
-  ⚠️  frontend-design              Tier 0 — Advisory (missing: references/)
-  ⚠️  presentation-storyteller     Tier 0 — Advisory (missing: eval tests)
+  ✅ presentation-storyteller       Tier 1 — Structured
   ✅ bto                            Tier 1 — Structured
+  ✅ feature-adr                    Tier 1 — Structured
+  ⚠️  frontend-design              Tier 0 — Advisory (missing: references/)
 
 Tip: Run /bto-test on each skill to promote to Tier 2+
 ```

package/templates/docs/keysarium-core/02-functionality.md

@@ -192,7 +192,7 @@ Options:
 2. **Resolve path** — `{memory-root}/{domain}/` (сканируем все slug, не только текущий)
 3. **Scan records** — читаем все `{stage}_*.json` файлы по matching stage
 4. **Filter expired** — исключаем records где `expires_at < current_date`
-5. **Sort** — по `reward` DESC, затем `timestamp` DESC
+5. **Sort** — по `reward` DESC, затем `usage_count` DESC, затем `timestamp` DESC
 6. **Limit** — top `max_results_per_query` записей (default 10)
 7. **Enrich** — загружаем `_patterns/domain-patterns.json` для matching domain
 
@@ -230,6 +230,7 @@ Options:
 2. Если `records` не пустые — review top 3 для relevant approaches
 3. Если `patterns` не пустые — apply actionable advice
 4. Если всё пустое (первый запуск) — продолжить нормально
+5. **Increment usage_count** — для каждого применённого record (top 3) инкрементировать `usage_count` в файле и индексе
 
 ---
 
@@ -293,6 +294,7 @@ Options:
   "context": { "..." },
   "outcome": { "..." },
   "promise_tag": "RESEARCH_PARANOID_PASSED",
+  "usage_count": 0,
   "expires_at": "2026-05-15T14:30:00Z"
 }
 ```

package/templates/docs/skills-bto/01-deployment-guide.md

@@ -98,7 +98,7 @@ echo 'export ANTHROPIC_API_KEY="sk-ant-..."' >> ~/.bashrc
 source ~/.bashrc
 ```
 
-> **Токены и стоимость:** Полный BTO-цикл (BUILD + TEST + OPTIMIZE) потребляет примерно 100–200K токенов. Детальная разбивка по операциям: Baseline Layer 2 ~15K (sonnet×3), генерация 5 вариантов ~25K (opus), оценка Round 1 ~10K (haiku×5), финальный Round 3 ~45K (sonnet×9). Итого около 131K токенов за полный прогон. Отдельный `/bto-test` с Layer 2 потребляет около 15–20K токенов.
+> **Токены и стоимость:** Полный BTO-цикл (BUILD + BENCHMARK + TEST + OPTIMIZE) потребляет примерно 100–200K токенов. BENCHMARK (B0-B3) добавляет ~3.5K токенов (B0/B1/B3 детерминистические, B2 consistency probe — 3× haiku). Детальная разбивка: BUILD ~22K, BENCHMARK ~3.5K, TEST Layer 2 ~19K (sonnet×3), OPTIMIZE 3 rounds ~131K. Итого ~175K токенов за полный прогон. Отдельный `/bto-benchmark` потребляет ~3.5K токенов, `/bto-test` с Layer 2 — около 15–20K токенов.
 
 ### 1.4. Git (опционально, но рекомендуется)
 

package/templates/docs/skills-bto/02-admin-guide.md

@@ -27,16 +27,19 @@
 | Компонент | Путь | Назначение |
 |-----------|------|------------|
 | BTO Skill | `.claude/skills/bto/` | Основной оркестратор: загружается командами |
-| SKILL.md | `.claude/skills/bto/SKILL.md` | Точка входа, документирует все три модуля |
+| SKILL.md | `.claude/skills/bto/SKILL.md` | Точка входа, документирует все четыре модуля |
 | Модуль BUILD | `.claude/skills/bto/modules/build.md` | Протокол генерации артефактов |
+| Модуль BENCHMARK | `.claude/skills/bto/modules/benchmark.md` | Детерминистический бенчмаркинг (B0-B3) |
 | Модуль TEST | `.claude/skills/bto/modules/test.md` | Протокол мульти-агентной оценки |
 | Модуль OPTIMIZE | `.claude/skills/bto/modules/optimize.md` | Протокол эволюционной оптимизации |
 | Рубрики судей | `.claude/skills/bto/references/judge-rubrics.md` | Якорные точки для scoring |
 | Паттерны оценки | `.claude/skills/bto/references/eval-patterns.md` | Паттерны мульти-агентной оценки |
 | Методы оптимизации | `.claude/skills/bto/references/optimization-methods.md` | Методология оптимизации |
 | Чеклист качества | `.claude/skills/bto/references/quality-checklist.md` | Детерминистические проверки Layer 0 |
+| Golden samples | `.claude/skills/bto/references/golden-samples.md` | Эталонные структуры для бенчмаркинга |
 | Команда /bto | `.claude/commands/bto.md` | Полный пайплайн |
 | Команда /bto-build | `.claude/commands/bto-build.md` | BUILD-фаза отдельно |
+| Команда /bto-benchmark | `.claude/commands/bto-benchmark.md` | BENCHMARK-фаза отдельно |
 | Команда /bto-test | `.claude/commands/bto-test.md` | TEST-фаза отдельно |
 | Команда /bto-optimize | `.claude/commands/bto-optimize.md` | OPTIMIZE-фаза отдельно |
 | Правила quality gates | `.claude/rules/bto-quality-gates.md` | Автоматически применяемые правила |

package/templates/docs/skills-bto/03-user-guide.md

@@ -20,13 +20,14 @@ This guide covers everything you need to use the BTO (Build-Test-Optimize) skill
 
 ## 1. Quick Start (5 minutes)
 
-BTO gives you four commands. Each can be used independently or together as a pipeline.
+BTO gives you five commands. Each can be used independently or together as a pipeline.
 
 ```
 /bto-build [description]       — Generate a new skill, command, rule, or agent template
+/bto-benchmark [path]          — Deterministic benchmarking against golden samples
 /bto-test [path]               — Evaluate an existing artifact through layered quality gates
 /bto-optimize [path]           — Improve an artifact through evolutionary optimization
-/bto [path or description]     — Full pipeline: BUILD → TEST → OPTIMIZE
+/bto [path or description]     — Full pipeline: BUILD → BENCHMARK → TEST → OPTIMIZE
 ```
 
 ### Your first BTO run
@@ -577,7 +578,7 @@ BTO does not automatically overwrite your artifact. It presents the optimized ve
 
 ## 5. Full BTO Pipeline with /bto
 
-The `/bto` command runs BUILD, TEST, and OPTIMIZE in sequence for a complete quality lifecycle. Use it when starting a new artifact from scratch and wanting production-quality output with minimal manual intervention.
+The `/bto` command runs BUILD, BENCHMARK, TEST, and OPTIMIZE in sequence for a complete quality lifecycle. Use it when starting a new artifact from scratch and wanting production-quality output with minimal manual intervention.
 
 ### Usage
 

package/templates/docs/skills-bto/04-infrastructure-requirements.md

@@ -251,9 +251,10 @@ Note: if convergence is detected after Round 2, Round 3 evaluation is skipped. T
 | Stage | Est. tokens |
 |-------|------------:|
 | BUILD (QUICK mode, typical skill) | ~22,000 |
+| BENCHMARK (B0-B3, incl. 3× haiku consistency probe) | ~3,500 |
 | TEST (full, no meta-judge) | ~18,800 |
 | OPTIMIZE (3 rounds) | ~131,000 |
-| **Full /bto pipeline** | **~172,000** |
+| **Full /bto pipeline** | **~175,500** |
 
 For a description-triggered build where DEEP mode is invoked: add approximately 10,000 tokens to the BUILD phase.
 

package/templates/docs/skills-bto/05-architecture.md

@@ -19,23 +19,23 @@
 
 ## Обзор системы и философия проектирования
 
-`@dzhechkov/skills-bto` — это **Build-Test-Optimize (BTO)** скилл-пак для Claude Code, реализующий полный цикл создания, оценки и итеративного улучшения Claude Code артефактов. Система работает как standalone-инструмент и как интегрированный компонент пайплайна `@dzhechkov/keysarium`.
+`@dzhechkov/skills-bto` — это **Build-Benchmark-Test-Optimize (BTO)** скилл-пак для Claude Code, реализующий полный цикл создания, бенчмаркинга, оценки и итеративного улучшения Claude Code артефактов. Система работает как standalone-инструмент и как интегрированный компонент пайплайна `@dzhechkov/keysarium`.
 
 ### Фундаментальная идея
 
-Большинство промпт-инжиниринговых задач имеют три отдельных фазы с принципиально разными требованиями:
+Промпт-инжиниринговые задачи имеют четыре отдельных фазы с принципиально разными требованиями:
 
 ```
-BUILD               TEST                OPTIMIZE
-──────              ────                ────────
-Генерация           Оценка              Улучшение
-Требует:            Требует:            Требует:
-• Творчество        • Объективность     • Управляемые мутации
-• Структуру         • Разные точки зр.  • Быструю итерацию
-• Domain знание     • Детерминизм       • Отбор лучших вариантов
+BUILD               BENCHMARK           TEST                OPTIMIZE
+──────              ─────────           ────                ────────
+Генерация           Бенчмаркинг         Оценка              Улучшение
+Требует:            Требует:            Требует:            Требует:
+• Творчество        • Golden samples    • Объективность     • Управляемые мутации
+• Структуру         • Детерм. тесты     • Разные точки зр.  • Быструю итерацию
+• Domain знание     • Consistency probe  • Экспертные судьи  • Отбор лучших вариантов
 ```
 
-BTO изолирует эти три режима в отдельные модули с чёткими контрактами на входе и выходе. Модули можно запускать независимо или последовательно как пайплайн.
+BTO изолирует эти четыре режима в отдельные модули с чёткими контрактами на входе и выходе. Модули можно запускать независимо или последовательно как пайплайн.
 
 ### Ключевые принципы проектирования
 
@@ -717,7 +717,7 @@ Variant 3-B ──→ haiku eval ──→ score-3-B.txt  ┘
 
 ## Диаграммы потоков данных
 
-### Полный BTO пайплайн (BUILD → TEST → OPTIMIZE)
+### Полный BTO пайплайн (BUILD → BENCHMARK → TEST → OPTIMIZE)
 
 ```mermaid
 flowchart TD

package/templates/docs/skills-bto/06-user-flows.md

@@ -947,8 +947,9 @@ flowchart LR
 
 | Команда | Назначение | Минимальный вход | Стоимость |
 |---------|-----------|-----------------|-----------|
-| `/bto [path]` | Полный пайплайн BUILD→TEST→OPTIMIZE | Путь или описание | ~$0.15 |
+| `/bto [path]` | Полный пайплайн BUILD→BENCHMARK→TEST→OPTIMIZE | Путь или описание | ~$0.16 |
 | `/bto-build [description]` | Только генерация | Текстовое описание | ~$0.01 |
+| `/bto-benchmark [path]` | Детерминистический бенчмаркинг | Путь к артефакту | ~$0.001 |
 | `/bto-test [path]` | Только оценка (full) | Путь к артефакту | ~$0.01 |
 | `/bto-test [path] level=layer0` | Только Layer 0 | Путь к артефакту | $0 |
 | `/bto-test [path] level=layer1` | Layer 0 + haiku | Путь к артефакту | ~$0.001 |