humanizer-ru 3.19.1 → 3.20.0

package/README.en.md

@@ -5,7 +5,7 @@
 Claude Code / Cowork plugin. Kills AI smell in Russian text. The English [humanizer](https://github.com/blader/humanizer) won't help here. Russian AI markers are their own beast: bureaucratic noun-chains (канцелярит), English-syntax calques, missing particles like "же" and "ведь" that make Russian sound alive.
 
 [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
-[![Version](https://img.shields.io/badge/version-3.19.1-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
+[![Version](https://img.shields.io/badge/version-3.20.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
 [![Stars](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
 [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
 [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)
@@ -22,6 +22,10 @@ Claude Code / Cowork plugin. Kills AI smell in Russian text. The English [humani
 
 64 patterns across 14 categories: канцелярит, English calques, emotional sterility, persuasion tricks, information rhythm, hedging specifics, plus the 2025-2026 stylistic fingerprints (jagged-meditation single-word sentences, pseudo-Socratic Q-A chains, decorative emoji per list item, pseudo-therapeutic register) and the 2026 formulas (inanimate subject, Title Case headings, mid-sentence truncation, negation triad), plus a discourse layer (explicit final moral, portrait-style character introduction, emotion conveyed only through the body, seamless causal chains, strictly linear chronology, no direct reader address: narrative signals that survive stylistic rewriting, per StoryScope / COLM 2026). 21 hard-banned constructions that scream "GPT wrote this", including em-dashes (detectors count their frequency). A research-backed section on how detectors actually work (perplexity, burstiness, morphology) with verified numbers from DivEye, PIFE, AINL-Eval 2025 (every citation checked, see SOURCES.md). Five article formulas. Voice calibration. Quad-pass audit with a "Skeleton" pass that reads only the first lines of list items to catch templated openings.
 
+## Try it without installing
+
+The [site's front page](https://humanizer-ru.aifrontier.tech/#audit) runs the same scanner in JavaScript: paste a text, get a 0-100 cleanliness score, highlighted markers and the install command for your agent. Everything runs in the browser, nothing is uploaded. Rules are exported from `markers.py` by `scripts/export_web_rules.py`; `scripts/test_web_parity.py` keeps the web and Python engines in step in CI.
+
 ## Install
 
 Three deployment channels: upload to Claude.ai web UI, roll out across an organization, or install into local agents (Claude Code, Cowork, API).

package/README.md

@@ -1,11 +1,11 @@
 # humanizer-ru: очеловечить русский AI-текст для Claude Code, Cursor, Codex и других AI-агентов
 
-> Скилл для Claude. Убирает 64 признака нейросети в русском тексте: канцелярит, кальки, фингерпринты ChatGPT и Claude. Метит в то, что меряют GPTZero, DivEye, RuBERT: поднимает perplexity и burstiness. 21 жёстких банов, quad-pass аудит, калибровка под голос автора, eval-харнес с метриками до/после.
+> Скилл для Claude. Убирает 64 признака нейросети в русском тексте: канцелярит, кальки, фингерпринты ChatGPT и Claude. Метит в то, что измеряют GPTZero, DivEye, RuBERT: поднимает perplexity и burstiness. 21 жёстких банов, quad-pass аудит, калибровка под голос автора, eval-харнес с метриками до/после.
 
 > [English version](README.en.md)
 
 [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
-[![Версия](https://img.shields.io/badge/версия-3.19.1-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
+[![Версия](https://img.shields.io/badge/версия-3.20.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
 [![Звёзды](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
 [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
 [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)
@@ -61,6 +61,10 @@
 
 **Что ловят детекторы:** секция с числами из исследований 2025-2026. DivEye: вторые производные surprisal дают 39.4% вклада в детекцию. Perplexity gap 29.5 vs 15.2 (человек vs LLM). AINL-Eval 2025: лучший результат на тесте около 86% (52K русских текстов, 12 доменов). Все ссылки и цифры верифицированы по первоисточникам, см. [SOURCES.md](SOURCES.md).
 
+## Проверить текст без установки
+
+На [главной странице сайта](https://humanizer-ru.aifrontier.tech/#audit) работает тот же сканер на JavaScript: вставьте текст, получите оценку чистоты от 0 до 100, подсветку найденных оборотов и команду установки для своей среды. Считается в браузере, текст никуда не отправляется. Правила экспортируются из `markers.py` скриптом `scripts/export_web_rules.py`, а паритет с Python проверяет `scripts/test_web_parity.py` в CI.
+
 ## Установка
 
 Скилл разворачивается тремя путями: загрузкой в веб-интерфейс Claude.ai, централизованной раскаткой на команду или установкой в локальные агенты (Claude Code, Cowork, API).
@@ -133,12 +137,6 @@ cp -r humanizer-ru/skills/humanizer-ru ~/.codex/skills/
 вызов: `$humanizer-ru` или автоматически по триггер-фразам («очеловечь»,
 «убери канцелярит»). Проектная установка: та же папка в `.codex/skills/` внутри репозитория.
 
-Или клонированием:
-
-```bash
-git clone https://github.com/ilyautov/humanizer-ru.git ~/.claude/skills/humanizer-ru
-```
-
 ### Проверка установочного пакета
 
 Перед релизом соберите ZIP тем же скриптом, который использует CI, затем
@@ -272,7 +270,7 @@ GPTZero, Originality.ai, ZeroGPT и другие популярные детек
 
 Даже лучший специализированный русский детектор (RuRoBERTa на бенчмарке AINL-Eval 2025) даёт около 86% точности: каждый седьмой вердикт мимо. И детекторы не обобщаются между доменами: обученный на научных текстах ошибается на блогах (verified, см. [SOURCES.md](SOURCES.md)).
 
-**Что это значит для очеловечивания текста.** Гнаться за «обходом детектора» на русском значит подгонять текст под ненадёжный и постоянно меняющийся индикатор. Поэтому humanizer-ru оптимизирует не обман детектора, а **реальное качество текста**: убирает канцелярит, кальки и штампы, возвращает авторский голос и живой ритм. Это измеримые свойства языка (метрики в [`eval/`](eval/)), которые не зависят от того, насколько плох конкретный детектор. Заодно растут perplexity и burstiness: то, что детекторы (как умеют) и пытаются мерить.
+**Что это значит для очеловечивания текста.** Гнаться за «обходом детектора» на русском значит подгонять текст под ненадёжный и постоянно меняющийся индикатор. Поэтому humanizer-ru оптимизирует не обман детектора, а **реальное качество текста**: убирает канцелярит, кальки и штампы, возвращает авторский голос и живой ритм. Это измеримые свойства языка (метрики в [`eval/`](eval/)), которые не зависят от того, насколько плох конкретный детектор. Заодно растут perplexity и burstiness: то, что детекторы (как умеют) и пытаются измерять.
 
 Мы прогоняем детекторы прямо в eval-харнесе по контролю «заведомо человек» (дословные отрывки статей Википедии, написанные людьми задолго до ChatGPT). В последнем прогоне локальный LLM-детектор пометил как ИИ **3 из 3** человеческих текстов (false positive rate 100%), поставив им ту же вероятность «это AI», что и настоящим AI-текстам. Различающая способность близка к нулю. Методика, корпус и сырые прогоны: [eval/RESULTS.md](eval/RESULTS.md), секция «FP-аудит детекторов».
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "humanizer-ru",
-  "version": "3.19.1",
+  "version": "3.20.0",
   "description": "Agent skill for DeepSeek Harness: rewrites Russian text to remove 64 markers of AI generation (bureaucratese, calques, ChatGPT fingerprints), with a corpus-calibrated scanner, audit mode and author-voice calibration.",
   "license": "MIT",
   "author": "Ilya Utov",

package/skills/humanizer-ru/SKILL.md

@@ -4,7 +4,7 @@ description: "Скилл для очеловечивания русскоязы
 license: MIT
 ---
 
-# Humanizer-RU v3.19.1
+# Humanizer-RU v3.20.0
 
 Ты редактор. Превращаешь стерильный AI-текст в живую русскую речь. Убираешь маркеры нейросети и возвращаешь в текст автора: мнение, ритм, характер.
 
@@ -77,7 +77,7 @@ license: MIT
 
 > **Машинная половина аудита.** Со скиллом едет детерминированный сканер: `scripts/scan.py` рядом с этим SKILL.md (в полном клоне репозитория: `skills/humanizer-ru/scripts/scan.py`). Он точно считает то, что LLM мерит на глаз: HARD BANS, 21 категорию маркеров, ритм предложений, морфологию. Если в среде можно запускать команды и есть python3 с пакетами `razdel` и `pymorphy3`, сначала прогони текст через него: `python3 <папка скилла>/scripts/scan.py файл.txt`, либо `echo "текст" | python3 <папка скилла>/scripts/scan.py -` (флаг `--json` для машинного вывода). Текст не маркетинговый? Добавь `--genre academic`, `--genre legal` или `--genre fiction`: флаг снимает маркеры, законные для регистра, иначе научный и юридический текст тонет в ложных срабатываниях (цифры в секции «Ложные срабатывания»). Вывод сканера бери как базу, поверх добавляй то, что скрипту не по зубам: ложные срабатывания (см. одноимённую секцию), нелексические паттерны, приоритеты A-D. Пакетов нет? Предложи пользователю однократный `pip install razdel pymorphy3` и проводи аудит по каталогу вручную. Сканер недоступен или упал: молча работай по каталогу, как обычно. Аудит обязан состояться при любом раскладе.
 
-> **Score чистоты (0-100).** Сканер выдаёт сводную оценку `ЧИСТОТА: N/100` и полосу: 85-100 «чисто» (следы ИИ не мешают), 60-84 «точечная правка», ниже 60 «рерайт». Это не вероятность ИИ и не «детект», а агрегат уже посчитанных сигналов: хард-баны и плотность маркеров весят сильно, морфология (сущ./глаг.) и тире слабо, как корроборирующие, чтобы не занижать плотный энциклопедический или юридический текст. Плюс document-level сигналы (ровные по длине абзацы, засилье однотипных пунктов-списков) для длинных шаблонных текстов: на короткой прозе они инертны. Показывай число в начале аудита, а после переписывания давай «было N, стало M»: так правка становится измеримой. Сканер не запускался (нет python, claude.ai web)? Прикинь score по той же логике: старт 100, заметный минус за каждый хард-бан и за высокую плотность маркеров, небольшой за номинальность и обилие тире; плотный человеческий текст без AI-оборотов остаётся высоким, не занижай его.
+> **Score чистоты (0-100).** Сканер выдаёт сводную оценку `ЧИСТОТА: N/100` и полосу: 85-100 «чисто» (следы ИИ не мешают), 60-84 «точечная правка», ниже 60 «рерайт». Это не вероятность ИИ и не «детект», а агрегат уже посчитанных сигналов: хард-баны и плотность маркеров весят сильно, морфология (сущ./глаг.) и тире слабо, как корроборирующие, чтобы не занижать плотный энциклопедический или юридический текст. Плюс document-level сигналы (ровные по длине абзацы, засилье однотипных пунктов-списков) для длинных шаблонных текстов: на короткой прозе они инертны. Показывай число в начале аудита, а после переписывания давай «было N, стало M»: так правка становится измеримой. Сканер не запускался (нет python, claude.ai web)? Прикинь score по той же логике: старт 100, заметный минус за каждый хард-бан и за высокую плотность маркеров, небольшой за номинальность и обилие тире; плотный человеческий текст без AI-оборотов остаётся высоким, не занижай его. Такую прикидку подписывай явно: «≈70, оценка без сканера». Число от сканера и число на глаз в одном формате путают читателя, а измеримость правки наше главное отличие.
 
 **Точечная правка** (по запросу: «исправь только X», «убери канцелярит»). Работаешь только с указанной категорией паттернов. Остальное не трогаешь.
 

package/skills/humanizer-ru/references/catalog.md

@@ -265,7 +265,7 @@ davinci-003). Метод и полные таблицы: `eval/AINL-CALIBRATION.
 
 ### N. Дискурсный слой (59-64)
 
-Слой выше слов: ЧТО рассказано и как устроено, а не какими словами. Категории A-M правят стиль, и стиль сам по себе сигнал сильный: в StoryScope (arXiv:2604.03136v6, COLM 2026: 10 272 промпта, человек и пять LLM, 61 608 историй по ~5000 слов, 304 фичи на текст) классификатор на одних только 39 стилевых фичах даёт 85.8 macro-F1, а сырые стилометрические бейзлайны на ручных признаках и вовсе 99.8. Слабое место стиля не в силе, а в хрупкости: раздел 4.2 статьи прямо исходит из того, что стилевые детекторы ломаются от перефраза и лёгкой правки, то есть ровно от того, что делает каталог выше. Ценность дискурсного слоя в другом: он не зависит от стиля и переживает стилевую перезапись. Нарративный классификатор статьи держит 93.9% macro-F1 после полной span-level перезаписи 278 историй (клише, избыточная экспозиция, «фиолетовая проза») против 95.5% на тех же историях до правки: минус 1.6 пункта, потому что правка прозы не трогает структурных решений - каузальной линейности, явной проговорённости темы, избытка сенсорики. Отсюда практический вывод, ради которого категория и добавлена: одна стилевая правка текст не очищает, слой формы остаётся нетронутым. Раскладка фич: из 304 фич 39 относятся к стилевому измерению и ещё 8 помечены как связанные со стилем, всего исключено 47; нарративная модель работает на оставшихся 257 и даёт 93.2% macro-F1 в задаче человек/ИИ, в 2.8 пункта от полной модели на 304 фичах (96.0). Категория дополняет A-M, не заменяет: сначала стилевой слой, потом дискурсный. Граница применимости: статья мерила беллетристику ~5000 слов; перенос на посты, кейсы и письма - экстраполяция механизма, статьёй не проверенная. Шесть паттернов ниже - выборка дискурсных признаков, пригодных для правки руками; ранжирования «самых сильных» статья не даёт, и весь дискурс (257 фич) они не покрывают. Паттерны 61 и 64 - предложения автору, не автоправки.
+Слой выше слов: ЧТО рассказано и как устроено, а не какими словами. Категории A-M правят стиль, и стиль сам по себе сигнал сильный: в StoryScope (arXiv:2604.03136v6, COLM 2026: 10 272 промпта, человек и пять LLM, 61 608 историй по ~5000 слов, 304 фичи на текст) классификатор на одних только 39 стилевых фичах даёт 85.8 macro-F1, а сырые стилометрические бейзлайны на ручных признаках и вовсе 99.8. Слабое место стиля не в силе, а в хрупкости: раздел 4.2 статьи прямо исходит из того, что стилевые детекторы ломаются от перефраза и лёгкой правки, то есть ровно от того, что делает каталог выше. Ценность дискурсного слоя в другом: он не зависит от стиля и переживает стилевую перезапись. Нарративный классификатор статьи держит 93.9% macro-F1 после полной span-level перезаписи 278 историй (клише, избыточная экспозиция, «фиолетовая проза») против 95.5% на тех же историях до правки: минус 1.6 пункта, потому что правка прозы не трогает структурных решений - каузальной линейности, явной проговорённости темы, избытка сенсорики. Отсюда практический вывод, ради которого категория и добавлена: одна стилевая правка текст не очищает, слой формы остаётся нетронутым. Раскладка фич: из 304 фич 39 относятся к стилевому измерению и ещё 8 помечены как связанные со стилем, всего исключено 47; нарративная модель работает на оставшихся 257 и даёт 93.2% macro-F1 в задаче человек/ИИ, в 2.8 пункта от полной модели на 304 фичах (96.0). Категория дополняет A-M, не заменяет: сначала стилевой слой, потом дискурсный. Граница применимости: статья измеряла беллетристику ~5000 слов; перенос на посты, кейсы и письма - экстраполяция механизма, статьёй не проверенная. Шесть паттернов ниже - выборка дискурсных признаков, пригодных для правки руками; ранжирования «самых сильных» статья не даёт, и весь дискурс (257 фич) они не покрывают. Паттерны 61 и 64 - предложения автору, не автоправки.
 
 **59. Явная мораль в финале.** ИИ-нарратор проговаривает тему истории прямым текстом в 77% случаев, человек в 52%. Финал с уроком отдельным предложением: «эта история учит нас...», «мораль проста...», «и тогда она поняла, что главное...». Смысл уже виден из событий, а финал его всё равно озвучивает. Вырежи озвучку: закончи действием, деталью или репликой, читатель соберёт вывод сам. Не то же, что #4 (формульные выводы): там клише-фразы, здесь смысловой уровень, мораль палит и без клише. Шаблонные формулы морали ловит сканер (категория «Финальная мораль»); мораль без шаблонных слов оценивай по прочтении.
 
@@ -283,7 +283,7 @@ davinci-003). Метод и полные таблицы: `eval/AINL-CALIBRATION.
 До: «Игорь — опытный, методичный разработчик, привыкший всё держать под контролем.»
 После: «Игорь откатил релиз, никого не спросив.»
 
-**61. Эмоция только через тело.** Контринтуитивный маркер: телесной метафорой злоупотребляет ИИ, не человек. Меряется это одной фичей с четырьмя взаимоисключающими вариантами («доминирующий способ подачи эмоции»), то есть речь о том, какой способ в истории ГЛАВНЫЙ, а не о доле эмоций. Телесная подача доминирует в 81% историй ИИ и в 38% человеческих: «сердце сжалось», «ком в горле», «холодок по спине». Прямое называние чувства доминирует, наоборот, чаще у людей: 29% против 8% у ИИ. Писать «почти каждая эмоция подана через тело» из этих цифр нельзя, они про другое. Люди спокойно пишут «мне было страшно» и «до сих пор стыдно»; модель прячет эмоцию в тело; похоже на переусердствование с правилом «show, don't tell», но причин статья не разбирает. Сигнал: по всему тексту чувства поданы исключительно телом и ни разу не названы. Это предложение автору, не автоправка: что именно чувствовал герой, знает автор. Предложи назвать одну-две эмоции прямо, решение за ним.
+**61. Эмоция только через тело.** Контринтуитивный маркер: телесной метафорой злоупотребляет ИИ, не человек. Измеряется это одной фичей с четырьмя взаимоисключающими вариантами («доминирующий способ подачи эмоции»), то есть речь о том, какой способ в истории ГЛАВНЫЙ, а не о доле эмоций. Телесная подача доминирует в 81% историй ИИ и в 38% человеческих: «сердце сжалось», «ком в горле», «холодок по спине». Прямое называние чувства доминирует, наоборот, чаще у людей: 29% против 8% у ИИ. Писать «почти каждая эмоция подана через тело» из этих цифр нельзя, они про другое. Люди спокойно пишут «мне было страшно» и «до сих пор стыдно»; модель прячет эмоцию в тело; похоже на переусердствование с правилом «show, don't tell», но причин статья не разбирает. Сигнал: по всему тексту чувства поданы исключительно телом и ни разу не названы. Это предложение автору, не автоправка: что именно чувствовал герой, знает автор. Предложи назвать одну-две эмоции прямо, решение за ним.
 
 **62. Бесшовная причинная цепь.** У ИИ события чаще плотно вытекают одно из другого: непрерывность каузальной цепи 4.20 против 3.92 у человека. Это средние по шкале 1-5, сдвиг на 0.28 пункта, а не два разных мира: признак вспомогательный, «ИИ всегда пишет без швов» отсюда не следует. Живая история содержит швы: совпадение, случайность, ветку, которая никуда не привела. Проследи цепь событий целиком; если на весь текст ни одного провисания и ни одной случайности, это сигнал. Лечится одним швом: событие без подготовки, деталь, которая не выстрелила. Родня #44, но зеркально: там гладкость фраз-связок, здесь гладкость самих событий. С #34 не конфликтует: там абзацы рассуждения связаны слабо, здесь события истории связаны слишком хорошо. Автосканером не ловится, оценка только по прочтении.
 

package/skills/humanizer-ru/scripts/humanizer_metrics/__init__.py

@@ -11,8 +11,7 @@
 
 from __future__ import annotations
 
-import re
-from dataclasses import dataclass
+from dataclasses import dataclass, replace
 
 from .burstiness import RhythmStats, rhythm, rhythm_verdict
 from .markers import (
@@ -39,6 +38,10 @@ __all__ = [
     "structure_stats",
     "scan_hard_bans",
     "scan_markers",
+    "mask_foreign",
+    "strip_foreign",
+    "GAP",
+    "QUOTE_MAX_WORDS",
 ]
 
 
@@ -71,57 +74,26 @@ class Report:
 
 
 # --- Код и цитаты не текст автора ------------------------------------------
-# Сканер считал баны внутри блоков кода и внутри коротких цитат в ёлочках:
-# статья про сам скилл с фразой «в современном мире» в кавычках получала
-# «рерайт», а технический пост с примером кода терял баллы за чужой листинг.
-# Код вырезается целиком (тройные и одиночные обратные кавычки). Цитата
-# вырезается, только если она короткая: так цитируют слово или оборот. Длинная
-# цитата в ёлочках это прямая речь или пересказ, её маркеры на совести автора,
-# и в художественном тексте диалоги остаются под сканером.
-#
-# Замена сохраняет длину и переводы строк, чтобы номера строк в отчёте
-# совпадали с файлом; заглушка не буква, поэтому фразовые регексы через неё
-# не склеиваются («От «В современном мире…» до клише» не станет «От до»).
-GAP = "·"
-QUOTE_MAX_WORDS = 12
-_FENCED = re.compile(r"(?s)```.*?```")
-_INLINE_CODE = re.compile(r"`[^`\n]*`")
-_QUOTE = re.compile(r"«[^«»]*»")
+# Разбор границ Markdown живёт в markdown.py (один построчный проход по
+# CommonMark и таблица тестов), здесь только две проекции текста.
+from .markdown import GAP, QUOTE_MAX_WORDS, mask_foreign, strip_foreign  # noqa: E402
 
-
-def _blank(match: re.Match[str]) -> str:
-    return re.sub(r"[^\n]", GAP, match.group(0))
-
-
-def _blank_short_quote(match: re.Match[str]) -> str:
-    inner = match.group(0)[1:-1]
-    if len(inner.split()) <= QUOTE_MAX_WORDS:
-        return _blank(match)
-    return match.group(0)
-
-
-def mask_code_and_quotes(text: str) -> str:
-    """Текст для лексического сканера: код и короткие цитаты заглушены,
-    смещения и номера строк сохранены."""
-    text = _FENCED.sub(_blank, text)
-    text = _INLINE_CODE.sub(_blank, text)
-    return _QUOTE.sub(_blank_short_quote, text)
-
-
-def strip_code(text: str) -> str:
-    """Текст для ритма и морфологии: код удалён, проза оставлена как есть."""
-    text = _FENCED.sub("", text)
-    return _INLINE_CODE.sub("", text)
+mask_code_and_quotes = mask_foreign
+strip_code = strip_foreign
 
 
 def analyze(text: str) -> Report:
     """Полный детерминированный прогон текста."""
     lexical = mask_code_and_quotes(text)
     prose = strip_code(text)
+    stats = rhythm(prose)
+    # Тире внутри короткой цитаты («Война — и мир») не типографика автора:
+    # считаем его по заглушенному тексту, ритм по прозе с цитатами.
+    stats = replace(stats, em_dash=lexical.count("—"))
     return Report(
         hard_bans=scan_hard_bans(lexical),
         markers=scan_markers(lexical),
-        rhythm=rhythm(prose),
+        rhythm=stats,
         morph=morph_stats(prose),
         structure=structure_stats(prose),
     )

package/skills/humanizer-ru/scripts/humanizer_metrics/burstiness.py

@@ -1,4 +1,4 @@
-"""Ритм и типографика: то, что скилл велит мерить дисперсией, а не на глаз.
+"""Ритм и типографика: то, что скилл велит измерять дисперсией, а не на глаз.
 
 Закрывает пункты чеклиста «вариативность длины предложений — не средняя, а
 ДИСПЕРСИЯ» и «ноль длинных тире». Burstiness тут — статистический прокси, не сам

package/skills/humanizer-ru/scripts/humanizer_metrics/markdown.py

@@ -0,0 +1,127 @@
+"""Границы чужого текста в Markdown: код, цитаты, короткие «ёлочки».
+
+Сканер измеряет слова автора. Листинг кода, markdown-цитата через «>» и короткая
+цитата в ёлочках это чужие слова, их баны и маркеры не в счёт. Два релиза
+подряд границы чинились регулярками по одному примеру, и каждый раз соседний
+вариант той же ошибки оставался (ограда внутри строки кода, закрытие оградой
+длиннее открывающей, продолжение цитаты без «>»). Здесь один построчный разбор
+состояния по правилам CommonMark и таблица тестов на варианты в
+scripts/test_markers.py.
+
+Две проекции одного текста:
+- lexical: чужое заменено заглушкой GAP посимвольно, переводы строк на месте.
+  Смещения и номера строк совпадают с исходником, фразовые регексы не
+  склеивают слова через заглушку (она не буква).
+- prose: чужое вырезано целиком. Для ритма, морфологии и структуры: заглушки
+  ломали бы длину предложений и подсчёт абзацев.
+
+Правила:
+- Ограда кода: 3+ обратных кавычек или тильд с отступом до 3 пробелов в начале
+  строки. Закрывает ограда того же символа НЕ КОРОЧЕ открывающей. Кавычки внутри
+  строки кода оградой не являются. Незакрытая ограда не маскируется вовсе:
+  для сканера ложное срабатывание дешевле спрятанного абзаца.
+- Цитата: строка с «>» в начале (отступ до 3 пробелов). Ленивое продолжение:
+  следующие непустые строки без «>» остаются цитатой, пока не встретится
+  пустая строка, заголовок, пункт списка или ограда.
+- Инлайн-код: серия обратных кавычек закрывается серией той же длины в
+  пределах строки (`x`, ``a`b``).
+- Короткая цитата в ёлочках (до QUOTE_MAX_WORDS слов) заглушается только в
+  lexical: так цитируют слово или оборот. Длинная остаётся под сканером, это
+  прямая речь или пересказ, её маркеры на совести автора. В prose ёлочки не
+  трогаем, они внутри предложений автора.
+"""
+
+from __future__ import annotations
+
+import re
+
+GAP = "·"
+QUOTE_MAX_WORDS = 12
+
+_FENCE_OPEN = re.compile(r"^ {0,3}(`{3,}|~{3,})(.*)$")
+_FENCE_CLOSE = re.compile(r"^ {0,3}(`{3,}|~{3,})\s*$")
+_QUOTE_LINE = re.compile(r"^ {0,3}>")
+# Строки, которые прерывают ленивое продолжение цитаты (CommonMark 5.1):
+# заголовок, пункт списка, горизонтальная линия, ограда.
+_BLOCK_START = re.compile(r"^ {0,3}(?:#{1,6}\s|[-*+]\s|\d{1,9}[.)]\s|(?:-{3,}|\*{3,}|_{3,})\s*$|`{3,}|~{3,})")
+_INLINE_CODE = re.compile(r"(`+)(?!`)([^`\n]+?)\1(?!`)")
+_QUOTE_MARKS = re.compile(r"«[^«»]*»")
+
+
+def _blank(s: str) -> str:
+    return re.sub(r"[^\n]", GAP, s)
+
+
+def _fence_ranges(lines: list[str]) -> list[tuple[int, int]]:
+    """Пары (первая, последняя) строк закрытых блоков кода, включая ограды."""
+    ranges: list[tuple[int, int]] = []
+    i = 0
+    while i < len(lines):
+        m = _FENCE_OPEN.match(lines[i])
+        # Инфо-строка ограды из кавычек не может содержать кавычки (CommonMark).
+        if not m or (m.group(1)[0] == "`" and "`" in m.group(2)):
+            i += 1
+            continue
+        ch, need = m.group(1)[0], len(m.group(1))
+        j = i + 1
+        while j < len(lines):
+            c = _FENCE_CLOSE.match(lines[j])
+            if c and c.group(1)[0] == ch and len(c.group(1)) >= need:
+                break
+            j += 1
+        if j >= len(lines):
+            i += 1  # незакрытая ограда: обычная строка
+            continue
+        ranges.append((i, j))
+        i = j + 1
+    return ranges
+
+
+def _quote_lines(lines: list[str], in_code: set[int]) -> set[int]:
+    quoted: set[int] = set()
+    inside = False
+    for i, line in enumerate(lines):
+        if i in in_code:
+            inside = False
+            continue
+        if _QUOTE_LINE.match(line):
+            inside = True
+            quoted.add(i)
+        elif inside and line.strip() and not _BLOCK_START.match(line):
+            quoted.add(i)  # ленивое продолжение абзаца цитаты
+        else:
+            inside = False
+    return quoted
+
+
+def _classify(text: str) -> tuple[list[str], set[int], set[int]]:
+    lines = text.split("\n")
+    in_code: set[int] = set()
+    for a, b in _fence_ranges(lines):
+        in_code.update(range(a, b + 1))
+    return lines, in_code, _quote_lines(lines, in_code)
+
+
+def _blank_short_quote(m: re.Match[str]) -> str:
+    inner = m.group(0)[1:-1]
+    return _blank(m.group(0)) if len(inner.split()) <= QUOTE_MAX_WORDS else m.group(0)
+
+
+def mask_foreign(text: str) -> str:
+    """lexical: код, цитаты и короткие ёлочки заглушены, смещения сохранены."""
+    lines, in_code, quoted = _classify(text)
+    out: list[str] = []
+    for i, line in enumerate(lines):
+        if i in in_code or i in quoted:
+            out.append(_blank(line))
+        else:
+            out.append(_INLINE_CODE.sub(lambda m: _blank(m.group(0)), line))
+    return _QUOTE_MARKS.sub(_blank_short_quote, "\n".join(out))
+
+
+def strip_foreign(text: str) -> str:
+    """prose: код и цитаты вырезаны, инлайн-код удалён, ёлочки на месте."""
+    lines, in_code, quoted = _classify(text)
+    kept = [_INLINE_CODE.sub("", line) for i, line in enumerate(lines)
+            if i not in in_code and i not in quoted]
+    return "\n".join(kept)

package/skills/humanizer-ru/scripts/scan.py

@@ -8,7 +8,7 @@
 
 Это машинная половина режима «Аудит». Для полного очеловечивания (семантика,
 голос, рерайт) нужен сам скилл — этот сканер только подсвечивает грепабельные
-маркеры и считает метрики, которые LLM не умеет мерить на глаз.
+маркеры и считает метрики, которые LLM не умеет измерять на глаз.
 """
 
 from __future__ import annotations