humanizer-ru 3.28.0 → 3.29.0

package/README.en.md

@@ -5,7 +5,7 @@
 Claude Code / Cowork plugin. Kills AI smell in Russian text. The English [humanizer](https://github.com/blader/humanizer) won't help here. Russian AI markers are their own beast: bureaucratic noun-chains (канцелярит), English-syntax calques, missing particles like "же" and "ведь" that make Russian sound alive.
 
 [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
-[![Version](https://img.shields.io/badge/version-3.28.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
+[![Version](https://img.shields.io/badge/version-3.29.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
 [![Stars](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
 [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
 [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)

package/README.md

@@ -5,7 +5,7 @@
 > [English version](README.en.md) · [中文](README.zh.md)
 
 [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
-[![Версия](https://img.shields.io/badge/версия-3.28.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
+[![Версия](https://img.shields.io/badge/версия-3.29.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
 [![Звёзды](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
 [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
 [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "humanizer-ru",
-  "version": "3.28.0",
+  "version": "3.29.0",
   "description": "Agent skill for DeepSeek Harness: rewrites Russian text to remove 64 markers of AI generation (bureaucratese, calques, ChatGPT fingerprints), with a corpus-calibrated scanner, audit mode and author-voice calibration.",
   "license": "MIT",
   "author": "Ilya Utov",

package/skills/humanizer-ru/SKILL.md

@@ -4,7 +4,7 @@ description: "Качество русского текста для агента
 license: MIT
 ---
 
-# Humanizer-RU v3.28.0
+# Humanizer-RU v3.29.0
 
 Ты редактор. Убираешь из русского текста следы нейросети и не ломаешь при этом
 смысл, факты и голос автора. Оба обещания равноправны: текст, который стал «чище»
@@ -46,13 +46,16 @@ license: MIT
 
 ## Шаг 1. Диагностика
 
-**Сканер.** Если доступны команды и python3 с `razdel` и `pymorphy3`, сначала
-прогони текст: `python3 <папка скилла>/scripts/scan.py файл.txt` или
+**Сканер.** Если доступны команды, первый вызов инструмента в редактуре это
+сканер, до каталога и до правки: `python3 <папка скилла>/scripts/scan.py файл.txt` или
 `echo "текст" | python3 <папка скилла>/scripts/scan.py -`. Для научного,
 юридического, художественного текста и новостей добавь `--genre academic|legal|fiction|news`:
-без жанра сканер ловит учёных чаще, чем нейросети. Запомни балл «было». Пакетов нет или сканер
-упал: скажи пользователю одной строкой, что сканер не запустился и балла не
-будет (как поставить, написано в его ошибке и в README), и работай вручную.
+без жанра сканер ловит учёных чаще, чем нейросети. Запомни балл «было». Если
+`scan.py` упал с «не хватает зависимостей», а `uvx` есть в PATH, запусти то же
+через `uvx ru-humanizer` с теми же аргументами (`-` для stdin, `--genre`, `--before`):
+зависимости он поставит сам. Упал и он или команд нет вовсе: скажи пользователю
+одной строкой, что сканер не запустился и балла не будет (как поставить, написано
+в его ошибке и в README), и работай вручную.
 Молча пропускать сканер нельзя: без балла правка не измерима, а пользователь
 месяцами не узнает, что половина скилла не работает. Балл на глаз не придумывай.
 
@@ -76,9 +79,9 @@ JOIN (убрать дублирование соседних фраз), SPLIT (
 
 | Группа | Что это | Когда править |
 |---|---|---|
-| A | Жёсткие запреты (таблица ниже), пустые открытия, канцелярит (отглагольные существительные «осуществление», «внедрение», «реализация», «обеспечение», «взаимодействие», «оптимизация», «функционирование» и «в рамках», «в целях» → глагол или предлог), артефакты чатбота («Давайте разберёмся», «Надеюсь, помог»), негативные параллелизмы, модальная неопределённость («может показаться», «в некотором смысле»), псевдо-терапия («ты имеешь право так чувствовать») | Всегда, в любом регистре кроме цитат |
-| B | Размытые авторитеты («эксперты считают»), кальки и пунктуационные кальки, «является» через предложение, водянистость, «определённый»/«соответствующий», ровные абзацы одной длины и гладкие переходы, мораль в финале, портретный ввод героя, эмодзи-декор, translationese | Везде, кроме юридических текстов |
-| C | Раздувание значимости, формульные выводы, правило трёх (искусственные триады синонимов), карусель синонимов, частые тире, оговорки, отсутствие идиом, контр-вопросы («Зачем? Потому что.»), рваная медитативность («Точно. Отдельно.») | Маркетинг и экспертный текст |
+| A | Жёсткие запреты (таблица ниже), пустые открытия, канцелярит (отглагольные существительные «осуществление», «внедрение», «реализация», «обеспечение», «взаимодействие», «оптимизация», «функционирование» и «в рамках», «в целях» → глагол или предлог), артефакты чатбота («Давайте разберёмся», «Надеюсь, помог»), обвязка чата (вступление «Вот вариант:», предложение доработки, советы после самого текста снимаются; у «Вариант 1/2» снимается метка, а все варианты остаются, если пользователь не просил выбрать; плейсхолдер «[Имя]» не заполняй, перечисли пользователю), негативные параллелизмы, оговорки мнения («может показаться», «в некотором смысле»), псевдо-терапия («ты имеешь право так чувствовать») | Всегда, в любом регистре кроме цитат |
+| B | Размытые авторитеты («эксперты считают»), кальки и пунктуационные кальки, «является» через предложение, водянистость, «определённый»/«соответствующий», ровные абзацы одной длины и гладкие переходы, мораль в финале, портретный ввод героя, эмодзи-декор, translationese; в постах и письмах подзаголовки «##» и строки целиком жирным становятся обычными строками | Везде, кроме юридических текстов |
+| C | Раздувание значимости, формульные выводы, правило трёх (искусственные триады синонимов), карусель синонимов, частые тире, отсутствие идиом, контр-вопросы («Зачем? Потому что.»), рваная медитативность («Точно. Отдельно.»), почерк модели (определение через тире, «стал настоящим открытием», «вдохновляет», «гармония», «напоминает о», «подчёркивает») | Маркетинг и экспертный текст |
 | D | Болд, кавычки, списки, типографика | По контексту |
 
 Полные описания и примеры «было и стало» по номерам паттернов в каталоге.
@@ -112,7 +115,7 @@ JOIN (убрать дублирование соседних фраз), SPLIT (
 | «Играет важную/ключевую роль» | Оставь только то, ПОЧЕМУ важно, если это есть в тексте |
 | «Можно с уверенностью сказать» | Скажи без преамбулы |
 | «Подводя итог», «Таким образом,» в начале вывода | Убери или начни вывод с действия. «Устроен таким образом, что» не маркер |
-| Длинное тире «—» и короткое «–» вне числовых диапазонов | Запятая, двоеточие, точка, дефис или перестройка. Убирается всегда; оставить тире можно только по явной просьбе пользователя |
+| Длинное тире «—», короткое «–» вне числовых диапазонов и дефис с пробелами в роли тире | Запятая, двоеточие, точка или перестройка. Тире между подлежащим и сказуемым («Антитела [тире] это белки») перестраивай глаголом: «Антитела относятся к белкам», «называются», «служат». Голое «Антитела это белки» читается как пунктуационная ошибка, запятая делает сказуемое приложением. Убирается всегда; оставить тире можно только по явной просьбе пользователя |
 | «От X до Y» для несвязанных понятий | Перечисли конкретно или убери |
 | «Погрузимся в...», «Давайте посмотрим поближе», «И вот здесь начинается самое интересное» | Удали анонс, сразу пиши суть |
 | «Раскрыть потенциал», «Вывести на новый уровень», «Открывает новые горизонты/перспективы/возможности» | Конкретный результат, если он назван в тексте; иначе удали |
@@ -143,6 +146,10 @@ JOIN (убрать дублирование соседних фраз), SPLIT (
 
 > **Факт-замок (приоритет над любым паттерном).** Числа, даты, имена, названия,
 > проценты, единицы, условия и оговорки исходника переносятся без искажений.
+> Оговорка при факте («может быть», «часто», «обычно», «примерно», «от 5000»,
+> «не обязательно», «ожидаем») задаёт его точность и не снимается; снимаются
+> только оговорки мнения из группы A. Сканер с `--before исходник.txt` печатает
+> снятую оговорку строкой «потеряно: оговорка:…»; стояла она при факте, верни её.
 > Добавлять факты, которых в исходнике нет (цифры, исследования, кейсы, «у себя
 > в команде вижу»), запрещено. В исходнике нет конкретики, а оборот пустой?
 > Удали оборот или спроси пользователя, чем наполнить. Выдуманная цифра хуже
@@ -182,17 +189,22 @@ SKILL.md, без твоих рассуждений и без списка изм
 случайный читатель в ленте, и по тому же брифу: не осталось ли конструкций из
 таблицы запретов, не повторяются ли в твоих вставках одинаковые концовки и
 подводки, не выровнялись ли абзацы под одну длину. Отдельно найди в чистовике
-символы «—» и «–»: их не должно остаться нигде, кроме числовых диапазонов, и это
-самая частая недоделка. Если сканер был доступен, прогони результат ещё раз.
+«—», «–» и « - »: их не должно остаться нигде, кроме числовых диапазонов, и это
+самая частая недоделка. Без сканера ищи там же «не просто», «не только», «это не»
+и английские слова внутри русских фраз. Если сканер был доступен, прогони
+результат ещё раз.
 Правка закончена, когда отмеченные недостатки сняты, а новые изменения не дают
 читателю понятной пользы. Замечания остались после второго круга? Верни текст с
 их списком, третий круг сглаживает содержание ради балла.
 
 ## Отчёт
 
-По умолчанию верни итоговый текст. Если сканер запускался, добавь строку
-«Чистота: было N, стало M» и одну-две фразы, что именно снято. Объяснение всех
-изменений давай по запросу. Балл это правила сканера, а не вероятность ИИ и не
+По умолчанию верни итоговый текст. Если сканер запускался, добавь после текста
+строку «Чистота: было N, стало M» и одну-две фразы, что именно снято; просили
+только текст, строки нет. Финальное сообщение начинается с первой строки текста:
+перед ним нет балла, вердикта сканера, «вот итоговый текст» и заметок о файлах
+и правах, а отчёт после текста пишется на языке пользователя. Объяснение всех изменений
+давай по запросу. Балл это правила сканера, а не вероятность ИИ и не
 вердикт об авторстве; скилл не обходит детекторы и антиплагиат, не вставляет
 опечатки и не подменяет буквы. Если текст уже хорош, скажи об этом и не правь
 ради правки.

package/skills/humanizer-ru/references/catalog.md

@@ -91,7 +91,7 @@ davinci-003). Метод и полные таблицы: `eval/AINL-CALIBRATION.
 
 **12. Правило трёх.** AI обожает перечисления из трёх: «важный, значительный и ключевой». Если три синонима, оставь один. Если перечисление искусственное, перестрой фразу. Иногда хватит двух элементов. Иногда нужно четыре.
 
-**13. Синонимическая карусель.** AI чередует «компания», «организация», «предприятие», «фирма» для одной сущности. Выбери одно слово. Повтор в русском нормален. Неестественное чередование хуже повтора.
+**13. Синонимическая карусель.** AI чередует «компания», «организация», «предприятие», «фирма» для одной сущности. Выбери одно слово. Повтор в русском нормален. Неестественное чередование хуже повтора. Сканер видит обратную сторону статистически: если на тексте от 100 слов слова почти не повторяются (MATTR выше 0.955 при норме людей 0.90), он даёт штраф «лексическое разнообразие». Лечится тем же: верни повтор или местоимение вместо подобранного синонима, не выискивай новых слов.
 
 **14. Перекос в существительные.** В AI-тексте соотношение существительных к глаголам примерно 3:1, у людей ближе к 2:1. LLM предпочитает noun phrases, люди заякоривают язык в глаголах с временем и наклонением. Instruction tuning усиливает перекос: ChatGPT известен «номинальным» стилем, в AI-тексте больше номинализаций. Если в абзаце мало глаголов, ищи номинализации и разворачивай. Детекторы ловят это даже на чистом синтаксисе без лексики: паттерны синтаксических связей различают human/AI.
 
@@ -343,6 +343,10 @@ davinci-003). Метод и полные таблицы: `eval/AINL-CALIBRATION.
 
 **Финальная мораль:** «мораль этой истории», «эта история учит нас», «эта история о том, что», а также «мораль проста»/«мораль такова» последней фразой текста: нарратор проговаривает вывод за читателя (паттерн #59). Указательное слово обязательно, иначе под маркер уходит живая проза: разбор басни («мораль истории про лису»), публицистическое «история учит нас осторожности», «наш историк учит нас». Сканер ловит только шаблонные формулы; мораль, изложенную без них, оценивай по прочтении
 
+**Почерк модели:** «подчёркивает», «свидетельствует о», «демонстрирует», «это не просто», «что делает его», «важность», «заставляет задуматься», «стал символом», «стал настоящим открытием», «важный шаг», «представьте», «заслуживает», «для тех, кто», «Это позволяет», «вдохновляет», «незабываемый», «гармония», «X — это Y» (только длинное тире: дефис с пробелами печатают и люди), «оставляет впечатление», «напоминает о», «может привести к», «невероятно»: обороты свежих моделей (GPT-4o, o3, GigaChat, YandexGPT, Qwen, DeepSeek, Claude), у каждой минимум четырёх семейств и не больше чем у 1% людей («X — это Y» у 3%). По одному бывают у человека, поэтому считаются не плотностью, а числом разных оборотов: первый почти бесплатен, второй и дальше дорого. В жанрах news, academic, legal и fiction не считаются. Замер: eval/MODERN-SLOP.md
+
+**Обвязка чата:** предложение доработки («Хотите, чтобы я…», «Если нужно, могу сделать вариант покороче»), плейсхолдеры «[Ваше имя]», «Вот вариант:» и «Вариант 1», эмодзи вместо маркеров списка (❌ 1️⃣ 👉), подзаголовки Markdown «##» и строки целиком жирным: ответ чат-бота, вставленный вместе с упаковкой. У людей не встречается, но разметку человек тоже пишет, поэтому штраф за каждый след, а не приговор, как у артефактов копипасты. Ложное срабатывание: плейсхолдеры в шаблоне, который пользователь заполнит сам, не правятся (заполнить «[Имя клиента]» значит выдумать факт); балл такого текста не дойдёт до «чисто», и это нормально
+
 **Title Case в заголовках:** «Ранняя Жизнь и Образование»: два и больше нарицательных слова заголовка с заглавной буквы
 
 **Обрыв на полуслове:** последнее предложение не закончено, текст упёрся в лимит токенов

package/skills/humanizer-ru/scripts/humanizer_metrics/__init__.py

@@ -14,6 +14,7 @@ from __future__ import annotations
 from dataclasses import dataclass, replace
 
 from .burstiness import RhythmStats, rhythm, rhythm_verdict
+from .lexical import LexicalStats, lexical_stats
 from .markers import (
     MarkerHit,
     marker_verdict,
@@ -30,12 +31,14 @@ __all__ = [
     "RhythmStats",
     "MorphStats",
     "StructureStats",
+    "LexicalStats",
     "MarkerHit",
     "ScoreResult",
     "cleanliness_score",
     "rhythm",
     "morph_stats",
     "structure_stats",
+    "lexical_stats",
     "scan_hard_bans",
     "scan_markers",
     "mask_foreign",
@@ -52,6 +55,7 @@ class Report:
     rhythm: RhythmStats
     morph: MorphStats
     structure: StructureStats
+    lexical: LexicalStats
 
     @property
     def hard_ban_count(self) -> int:
@@ -70,6 +74,7 @@ class Report:
             "rhythm": self.rhythm.as_dict(),
             "morph": self.morph.as_dict(),
             "structure": self.structure.as_dict(),
+            "lexical": self.lexical.as_dict(),
         }
 
 
@@ -97,4 +102,5 @@ def analyze(text: str) -> Report:
         rhythm=stats,
         morph=morph_stats(prose),
         structure=structure_stats(prose),
+        lexical=lexical_stats(prose),
     )

package/skills/humanizer-ru/scripts/humanizer_metrics/facts.py

@@ -19,6 +19,9 @@
 идиоматичны («с одной стороны») и обычно пересказывают число исходника. Они
 считаются, но не валят проверку.
 
+Оговорки: «обычно», «примерно», «может», «от 5000». Снятая оговорка делает
+из «обычно помогает» обещание «помогает»; она попадает в потери.
+
 Утверждения: слова-кванторы, которые звучат как пафос, а несут факт:
 «первый в России», «единственный», «впервые», «рекордный», «до сих пор».
 Срезать «первый в России сервис» до «сервис» значит исказить исходник, а
@@ -70,6 +73,16 @@ CLAIM_WORDS = {
     "старейший", "никогда", "никто", "навсегда", "беспрецедентный",
 }
 CLAIM_PHRASE_RE = re.compile(r"\bдо сих пор\b|\bв мире\b|\bв россии\b", re.IGNORECASE)
+# Оговорки при факте: задают его точность («обычно», «примерно», «от 5000»).
+# Скилл снимал их в 5 ответах из 25 (eval/MODERN-SKILL-CHECK.md), и строка в
+# промпте не помогла, поэтому пропавшая оговорка попадает в список потерь.
+# «Может показаться» это оговорка мнения, её снимать можно.
+HEDGE_RE = re.compile(
+    r"\b(?:может\s+быть|мо(?:жет|гут)(?!\s+показаться)|обычно|как\s+правило|часто|иногда|"
+    r"примерно|приблизительно|около|почти|в\s+среднем|не\s+обязательно|не\s+всегда|"
+    r"вероятно|скорее\s+всего|по\s+оценкам|предположительно|ожида\w*|"
+    r"(?:от|до|свыше|более|менее|больше|меньше)(?=\s+\d))\b",
+    re.IGNORECASE)
 # Одна сущность под разными именами не считается новым фактом.
 ALIASES = {
     "ai": ("искусственный", "интеллект", "ии", "нейросеть", "модель"),
@@ -84,6 +97,7 @@ class Facts:
     soft: set[str] = field(default_factory=set)   # "два", "половина"
     words: set[str] = field(default_factory=set)  # все слова в нормальной форме, для алиасов
     claims: set[str] = field(default_factory=set)  # "утверждение:первый", "утверждение:до сих пор"
+    hedges: set[str] = field(default_factory=set)  # "оговорка:обычно", "оговорка:от"
 
 
 @dataclass
@@ -111,9 +125,20 @@ def _norm(word: str) -> str:
     return _MORPH.parse(low)[0].normal_form.replace("ё", "е")
 
 
+# Начало строки и всё, что Markdown ставит перед первым словом: маркер списка
+# («-», «*», «•», «1.», «2)»), цитата «>», решётки заголовка, «**» жирного,
+# эмодзи-буллет. Без этого «- Говорить» или «**Тема**» давали «имя:говорить».
+LINE_LEAD_RE = re.compile(r"^[ \t]*(?:(?:\d{1,3}[.)]|[^\w\s«\"'(\[])[ \t]*)*", re.MULTILINE)
+
+
 def _sentence_starts(text: str) -> set[int]:
     starts = {0}
-    for m in re.finditer(r"[.!?…]\s+|^[>\-*]\s+|«|\n", text):
+    # После двоеточия, тире, открывающей кавычки и скобки заглавная тоже бывает
+    # у обычного слова («Совет: Не паникуйте», «(Например: …)»). Имя из словаря
+    # (теги Name, Geox, Orgn) и незнакомое словарю слово ловятся и там.
+    for m in re.finditer(r"[.!?…:;—–][*_]*\s+[*_«\"„“(]*|[«\"„“(]|\n", text):
+        starts.add(m.end())
+    for m in LINE_LEAD_RE.finditer(text):
         starts.add(m.end())
     return starts
 
@@ -143,6 +168,9 @@ def extract_facts(text: str) -> Facts:
     body = CODE_RE.sub(" ", URL_RE.sub(" ", text))
     for m in MONTH_RE.finditer(body):
         f.hard.add("месяц:" + m.group(1).lower())
+    for m in HEDGE_RE.finditer(body):
+        h = re.sub(r"\s+", " ", m.group(0).lower())
+        f.hedges.add("оговорка:" + ("может" if h in ("могут", "может") else "ожидается" if h.startswith("ожида") else h))
     for m in CLAIM_PHRASE_RE.finditer(body):
         f.claims.add("утверждение:" + m.group(0).lower().replace("ё", "е"))
     starts = _sentence_starts(body)
@@ -175,7 +203,7 @@ def _alias_covered(fact: str, before_words: set[str]) -> bool:
 
 def diff_facts(before: str, after: str) -> FactsDiff:
     b, a = extract_facts(before), extract_facts(after)
-    lost = sorted(b.hard - a.hard) + sorted(b.claims - a.claims)
+    lost = sorted(b.hard - a.hard) + sorted(b.claims - a.claims) + sorted(b.hedges - a.hedges)
     added = sorted(x for x in a.hard - b.hard if not _alias_covered(x, b.words))
     return FactsDiff(lost=lost, added=added, kept=len(b.hard & a.hard),
                      soft_added=sorted(a.soft - b.soft),

package/skills/humanizer-ru/scripts/humanizer_metrics/lexical.py

@@ -0,0 +1,86 @@
+"""Лексическое разнообразие: MATTR по словоформам на начале текста.
+
+Свежие модели пишут лексически чище людей: слов из словаря сканера у них нет,
+зато слова почти не повторяются. Человек в посте возвращается к «я», «он»,
+«это», «было», к одному и тому же существительному, модель подбирает синоним.
+Замер на LLMTrace и Пикабу (eval/MODERN-SLOP.md, раздел про разнообразие):
+MATTR у людей 0.900 ± 0.042, у GPT-5.6 на 0.7 σ выше, у o3 и GigaChat-Max
+больше чем на 1 σ.
+
+Почему словоформы, а не леммы. По леммам сигнал чуть сильнее, но в браузере
+морфологии нет, а сайт и расширение обязаны считать то же число, что scan.py.
+Поэтому токенизация здесь нарочно примитивная и повторена в docs/scan.js байт
+в байт: нижний регистр, ё → е, слово это кириллица с внутренними дефисами
+(«кто-то», «северо-запад»). Латиница и цифры не считаются: в русском тексте
+это имена, бренды и числа, их разнообразие о стиле не говорит.
+
+Почему только начало и почему не на коротком. MATTR почти не зависит от
+длины, но длинный текст модель разбавляет повторами заголовков и списков:
+первые LEX_MAX_TOKENS слов сравнивают тексты разной длины честно и одинаково
+дёшево в браузере. На коротком тексте окон мало и число шумит: у людей на
+60-80 словах разброс 0.058 против 0.037 на 150+, и ниже LEX_MIN_TOKENS больше
+половины срабатываний на людях приходилось именно на такие тексты. Поэтому
+короче LEX_MIN_TOKENS словоформ признак не считается вовсе.
+"""
+
+from __future__ import annotations
+
+import re
+from dataclasses import dataclass
+
+# Окно скользящего TTR, число первых слов, на которых он считается, и
+# минимальная длина, с которой признак вообще считается. Подобраны на половине
+# корпуса (eval/MODERN-SLOP.md): окно 40 и 200 слов разделяют людей и машины
+# лучше, чем 150 (AUC для GPT-5.6 0.78 против 0.75), 300 почти не добавляет.
+LEX_WINDOW = 40
+LEX_MAX_TOKENS = 200
+LEX_MIN_TOKENS = 100
+
+_TOKEN_RE = re.compile(r"[а-яё]+(?:-[а-яё]+)*")
+
+
+@dataclass
+class LexicalStats:
+    tokens: int      # кириллических словоформ в тексте всего
+    mattr: float     # MATTR по первым LEX_MAX_TOKENS словоформам; 0.0, если слов меньше окна.
+                     # Не округляется: штраф считается от точного числа, как в браузере
+
+    def as_dict(self) -> dict:
+        return self.__dict__.copy()
+
+
+def lexical_tokens(text: str) -> list[str]:
+    """Словоформы для MATTR. Порт в docs/scan.js обязан дать тот же список."""
+    return [t.replace("ё", "е") for t in _TOKEN_RE.findall(text.lower())]
+
+
+def mattr(tokens: list[str], window: int = LEX_WINDOW) -> float:
+    """Moving-average type-token ratio (Covington & McFall, 2010).
+
+    Среднее по всем окнам длины window доли разных словоформ. Сумма копится в
+    целых числах и делится один раз: так JS и Python получают одно и то же
+    число с плавающей точкой, без накопленной разницы округлений.
+    """
+    n = len(tokens)
+    if n < window:
+        return 0.0
+    counts: dict[str, int] = {}
+    for t in tokens[:window]:
+        counts[t] = counts.get(t, 0) + 1
+    distinct = len(counts)
+    total = distinct
+    for i in range(window, n):
+        new, old = tokens[i], tokens[i - window]
+        counts[new] = counts.get(new, 0) + 1
+        if counts[new] == 1:
+            distinct += 1
+        counts[old] -= 1
+        if counts[old] == 0:
+            distinct -= 1
+        total += distinct
+    return total / ((n - window + 1) * window)
+
+
+def lexical_stats(text: str) -> LexicalStats:
+    toks = lexical_tokens(text)
+    return LexicalStats(tokens=len(toks), mattr=mattr(toks[:LEX_MAX_TOKENS]))

package/skills/humanizer-ru/scripts/humanizer_metrics/markers.py

@@ -248,6 +248,68 @@ SCANNER: dict[str, list[str | tuple[str, str]]] = {
         ("мораль проста (последней фразой)",
          r"[.!?…]\s+мораль\s+(?:проста|такова)\b[^.!?]{0,60}[.!?]\s*$"),
     ],
+    # Почерк модели 2024-2026. Каталог выше собран на старом слопе («в
+    # современном мире», «играет ключевую роль»), и текст свежей модели
+    # получал 85-98 «чисто». Эти обороты добыты сравнением 2 110 машинных
+    # текстов (GPT-4o, o3, GigaChat-Max, YandexGPT-5, Qwen2.5, DeepSeek-R1,
+    # Llama-3.3, Gemma, Claude) с 1 900 человеческими (LLMTrace, Пикабу), см.
+    # eval/MODERN-SLOP.md. Каждый встречается у моделей минимум четырёх семейств
+    # и не чаще чем у 1% людей (кроме «X — это Y»: 3%, зато у Claude 53%).
+    # Поодиночке любой из них бывает у человека, поэтому в score они идут не
+    # плотностью, а числом РАЗНЫХ оборотов: первый почти бесплатен, дальше дорого.
+    "Почерк модели": [
+        ("подчёркивает/акцентирует", r"\bподч[её]ркива(?:ет|ют|я)\b|\bакцентир\w+"),
+        ("свидетельствует о", r"\bсвидетельству\w+\s+о\b"),
+        ("демонстрирует", r"\bдемонстрир\w+"),
+        ("это не просто/не только", r"\bэто\s+не\s+(?:просто|только)\b"),
+        ("что делает его", r"\bчто\s+дела(?:ет|ют)\s+(?:его|её|ее|их|это|эту|этот)\b"),
+        ("важность", r"\bважност\w+"),
+        ("заставляет задуматься", r"\b(?:заставля\w+|стоит|стоило|повод)\s+задуматься\b"),
+        ("стал символом", r"\bсимволом\b"),
+        ("стал настоящим открытием", r"\bнастоящ(?:им|ей|ими)\s+[а-яё]{4,}"),
+        ("важный шаг", r"\b(?:важн|значим|ключев|решающ|смел|уверенн)\w*\s+шаг\w*"),
+        ("представьте себе", r"\bпредставьте\b"),
+        ("заслуживает", r"\bзаслужива\w+"),
+        ("для тех, кто", r"\bдля\s+тех,?\s+кто\b"),
+        ("Это позволяет",
+         r"(?:^|[.!?]\s+)(?:это|такой\s+подход|всё\s+это|все\s+это)\s+"
+         r"(?:позволя|помога|дела|да[её]т|способству|созда|обеспечива|станов)\w*"),
+        ("вдохновляет", r"\bвдохнов\w+"),
+        ("незабываемый", r"\bнезабываем\w+"),
+        ("гармония", r"\bгармони\w+"),
+        ("X — это Y", r"[а-яё»)]\s+—\s+это\s"),
+        ("оставляет впечатление", r"\bоставля\w+\s+(?:\w+\s+)?(?:впечатлени|след|равнодушн)\w*"),
+        ("напоминает о", r"\bнапомина\w+\s+(?:нам\s+)?(?:о|об|что)\b"),
+        ("может привести к", r"\bможет\s+привести\s+к\b"),
+        ("невероятно", r"\bневероятн\w+"),
+    ],
+    # Обвязка ответа чат-бота, которая уезжает в текст при копировании: оферта
+    # доработки, плейсхолдеры, «Вариант 1», Markdown-разметка. У людей в
+    # LLMTrace и на Пикабу 0% (подзаголовок «##» 0,7%: вёрстка статей), у Claude
+    # 14-71% по признаку. Слабее «Артефактов копипасты»: разметку Markdown
+    # человек тоже пишет, поэтому штраф за признак, а не приговор.
+    # Строки ловятся через \n, а не ^/$: веб-движок работает без флага m.
+    "Обвязка чата": [
+        ("предложение доработки",
+         r"\b(?:хотите,?\s+чтобы\s+я|могу\s+также|могу\s+(?:подготовить|предложить|адаптировать|"
+         r"переписать|сделать\s+(?:вариант|версию))|могу\s+помочь\s+с)\b"
+         r"|\b(?:если\s+(?:нужно|хотите|надо)|при\s+желании)[^.\n]{0,25}(?:—|,|-)\s*(?:я\s+)?"
+         r"(?:могу|сделаю|подготовлю|напишу|адаптирую|доработаю)\b"
+         r"|\b(?:пришлите|скажите|уточните|дайте\s+знать)[^\n]{0,80}(?:—|,|и)\s*(?:я\s+)?(?:сразу\s+)?"
+         r"(?:подготовлю|доработаю|напишу|адаптирую|подстрою|переделаю)\b"),
+        ("плейсхолдер [Ваше имя]",
+         r"\[(?:ваш|ваше|ваша|имя|название|дата|компани|должност|указать|число|телефон|ссылк|"
+         r"город|продукт|причин|конкретн)[^\]\n]{0,60}\]"),
+        ("«Вот вариант:» / «Вариант 1»",
+         r"(?:^|\n)[ \t]*(?:\*\*)?(?:вот|ниже)\s+(?:несколько\s+)?(?:вариант|пример|шаблон|текст|"
+         r"черновик|готов|проверенн)\w*[^\n]{0,80}:"
+         r"|(?:^|\n)[ \t]*(?:\*\*|#+[ \t]*)?вариант\s+\d"),
+        ("эмодзи вместо маркеров списка", r"(?:^|\n)[ \t]*(?:[0-9]️?⃣|[❌✅✔➡→▶👉🔹🔸])"),
+        # Только подзаголовки разделов: одиночный «# Название» у человека норма
+        # (заголовок рассказа в фикстуре eval/corpus/literary).
+        ("markdown-подзаголовок ##", r"(?:^|\n)#{2,4}[ \t]+\S"),
+        ("жирный подзаголовок **…**", r"(?:^|\n)[ \t]*\*\*[^*\n]{2,80}\*\*:?[ \t]*(?=\n)"),
+    ],
     # Технические следы копирования из интерфейса чат-бота. Однозначные улики:
     # в человеческом тексте не встречаются.
     # Префикс "re:" = регулярное выражение, остальное — подстрока.
@@ -369,10 +431,14 @@ GENRE_MUTED_BANS: dict[str, set[str]] = {
 }
 
 GENRE_MUTED_CATEGORIES: dict[str, set[str]] = {
-    "academic": {"Канцелярит", "Кальки", "Контекстуализаторы", "Формула-выводы"},
-    "legal": {"Канцелярит", "Кальки", "Контекстуализаторы"},
-    "fiction": {"Параллелизмы"},
-    "news": {"Канцелярит", "Кальки", "Контекстуализаторы"},
+    # «Почерк модели» снят везде, кроме умолчания: «свидетельствует о»,
+    # «демонстрирует», «X — это Y» в новостях, науке и праве законная норма, а в
+    # художественной речи это реплики героев. Умолчание (блоги, посты,
+    # маркетинг) остаётся строгим: под него и собирался корпус.
+    "academic": {"Канцелярит", "Кальки", "Контекстуализаторы", "Формула-выводы", "Почерк модели"},
+    "legal": {"Канцелярит", "Кальки", "Контекстуализаторы", "Почерк модели"},
+    "fiction": {"Параллелизмы", "Почерк модели"},
+    "news": {"Канцелярит", "Кальки", "Контекстуализаторы", "Почерк модели"},
 }
 
 GENRES = ("marketing", "academic", "legal", "fiction", "news")

package/skills/humanizer-ru/scripts/humanizer_metrics/mcp_server.py

@@ -107,6 +107,7 @@ def scan(text: str, genre: str | None = None) -> dict:
         "rhythm": rep.rhythm.as_dict(),
         "morph": rep.morph.as_dict(),
         "structure": rep.structure.as_dict(),
+        "lexical": rep.lexical.as_dict(),
     }
 
 

package/skills/humanizer-ru/scripts/humanizer_metrics/score.py

@@ -11,9 +11,11 @@
 
 from __future__ import annotations
 
+import math
 from dataclasses import dataclass, field
 
 from .burstiness import CV_HUMAN_TARGET, STACCATO_MIN_RUN
+from .lexical import LEX_MIN_TOKENS
 from .markers import (GENRE_MUTED_BANS, GENRE_MUTED_CATEGORIES,
                       effective_hard_bans, mute_by_genre)
 from .morphology import NV_TARGET
@@ -30,6 +32,21 @@ from .structure import (
 EM_DASH_NAME = "Длинное тире"
 COPY_PASTE_CATEGORY = "Артефакты копипасты"
 
+# Почерк свежих моделей и обвязка чата (markers.py, eval/MODERN-SLOP.md).
+# Считаются числом РАЗНЫХ оборотов, а не плотностью: плотность размывается на
+# длинном тексте, а у современной модели два-три таких оборота на пост. Один
+# оборот бывает и у человека (до 3%), поэтому первый стоит 3 балла, каждый
+# следующий 10. Веса подобраны на половине корпуса и проверены на второй:
+# пойманного слопа 53% → 67%, ложных тревог на людях +1 п.п.
+SIGNATURE_CATEGORY = "Почерк модели"
+SIGNATURE_FIRST = 3
+SIGNATURE_NEXT = 10
+SIGNATURE_MAX = 24
+CHAT_WRAP_CATEGORY = "Обвязка чата"
+CHAT_WRAP_EACH = 10
+CHAT_WRAP_MAX = 20
+DISTINCT_CATEGORIES = (SIGNATURE_CATEGORY, CHAT_WRAP_CATEGORY)
+
 # Полосы. Совпадают с порогами вмешательства из SKILL.md.
 BAND_CLEAN = 85   # ≥ — следы ИИ не мешают, не править
 BAND_EDIT = 60    # ≥ — точечная правка; < — полный рерайт
@@ -57,6 +74,24 @@ STERILE_MIN_WORDS = 100
 # них настоящие авторские обрывки.
 STACCATO_PENALTY = 8
 STACCATO_PENALTY_MAX = 14
+# Лексическое разнообразие (lexical.py): слова почти не повторяются, модель
+# подбирает синоним там, где человек сказал бы то же слово или «он». MATTR у
+# людей 0.902 ± 0.037, порог 0.955 это +1.4 σ. Балл за каждую тысячную выше
+# порога, потолок 15: ниже, чем у почерка модели, потому что признак
+# статистический и на одном тексте шумит. Подобрано на половине корпуса и
+# проверено на второй (eval/MODERN-SLOP.md): ловит GigaChat-Max и o3, а GPT-5.6
+# не сдвигает, его тексты лежат внутри человеческого разброса.
+#
+# В новостях, научном и юридическом регистре штраф снят: плотный фактический
+# текст разнообразен законно. На людях LLMTrace он срабатывал чаще всего на
+# новостях (2,8% текстов против 0,6-0,9% у статей и отзывов), а на справочных
+# текстах задевал людей почти так же часто, как машины, и ни одну машину не
+# перевёл из «чисто». В художественном жанре оставлен: на рассказах LLMTrace
+# машины срабатывают впятеро чаще людей.
+LEX_THRESHOLD = 0.955
+LEX_SLOPE = 1000
+LEX_PENALTY_MAX = 15
+LEX_MUTED_GENRES = frozenset({"news", "academic", "legal"})
 # Потолок штрафа за номинальность. Именованный, потому что браузерный сканер
 # морфологии не имеет и объявляет ровно эту величину как неизмеренную.
 NV_PENALTY_MAX = 8
@@ -130,13 +165,26 @@ def cleanliness_score(report, genre: str | None = None) -> ScoreResult:
         penalties.append((f"артефакты копипасты: {copy_paste}", -pen))
 
     # 3. Мягкие маркеры (кроме копипасты) по плотности на 100 слов.
-    soft = sum(h.count for h in markers if h.category != COPY_PASTE_CATEGORY)
+    soft = sum(h.count for h in markers
+               if h.category != COPY_PASTE_CATEGORY and h.category not in DISTINCT_CATEGORIES)
     if soft:
         pen = min(30, round(2 * _per100(soft, words)))
         if pen:
             score -= pen
             penalties.append((f"маркеры: {soft} ({_per100(soft, words):.1f}/100 слов)", -pen))
 
+    # 3б. Почерк модели и обвязка чата: по числу разных оборотов (см. константы).
+    sig = len({h.marker for h in markers if h.category == SIGNATURE_CATEGORY})
+    if sig:
+        pen = min(SIGNATURE_MAX, SIGNATURE_FIRST + SIGNATURE_NEXT * (sig - 1))
+        score -= pen
+        penalties.append((f"почерк модели: {sig} {_plural(sig, 'оборот', 'оборота', 'оборотов')}", -pen))
+    wrap = len({h.marker for h in markers if h.category == CHAT_WRAP_CATEGORY})
+    if wrap:
+        pen = min(CHAT_WRAP_MAX, CHAT_WRAP_EACH * wrap)
+        score -= pen
+        penalties.append((f"обвязка чата: {wrap} {_plural(wrap, 'след', 'следа', 'следов')}", -pen))
+
     # 4. Длинное тире по плотности с допуском ~2 на 100 слов: «—» штатно
     #    используется в русском (Википедия, «это —», диапазоны). Штраф мягкий,
     #    потому что на изданной прозе оно частая норма; сам бан держится на
@@ -166,6 +214,18 @@ def cleanliness_score(report, genre: str | None = None) -> ScoreResult:
             f"рваная медитативность: {runs} {_plural(runs, 'цепочка', 'цепочки', 'цепочек')} "
             f"обрывков по {STACCATO_MIN_RUN}+ подряд (самая длинная {report.rhythm.staccato_max})", -pen))
 
+    # 5в. Лексическое разнообразие: считается только на тексте от LEX_MIN_TOKENS
+    #     словоформ, на коротком MATTR шумит. floor, а не round: браузер обязан
+    #     получить то же целое, а округление половин в JS и Python разное.
+    lex = report.lexical
+    if (genre not in LEX_MUTED_GENRES and lex.tokens >= LEX_MIN_TOKENS
+            and lex.mattr > LEX_THRESHOLD):
+        pen = min(LEX_PENALTY_MAX, math.floor((lex.mattr - LEX_THRESHOLD) * LEX_SLOPE))
+        if pen:
+            score -= pen
+            penalties.append((f"лексическое разнообразие (MATTR={lex.mattr:.3f}, "
+                              f"порог {LEX_THRESHOLD})", -pen))
+
     # 6. Номинальность: сущ./глаг. выше цели 2.5 = канцелярит. Слабый сигнал и
     #    главный источник ложных срабатываний (энциклопедический/юр. регистр
     #    легитимно номинален), поэтому штраф мягкий и низко ограничен.
@@ -199,7 +259,7 @@ def cleanliness_score(report, genre: str | None = None) -> ScoreResult:
     # Условие ровно то, что измерялось: ноль банов и ноль маркеров. Ритм,
     # номинальность и структура сюда не входят, иначе текст с минусом за ровный
     # ритм терял бы заметку, хотя по лексике он как раз стерилен.
-    if not (hard_phrase or copy_paste or soft) and words >= STERILE_MIN_WORDS:
+    if not (hard_phrase or copy_paste or soft or sig or wrap) and words >= STERILE_MIN_WORDS:
         share = next((s for limit, s in HUMAN_ZERO_SHARE if words < limit),
                      HUMAN_ZERO_SHARE[-1][1])
         notes.append(

package/skills/humanizer-ru/scripts/scan.py

@@ -24,6 +24,8 @@ sys.path.insert(0, str(Path(__file__).resolve().parent))
 try:
     from humanizer_metrics import analyze, cleanliness_score, diff_facts, facts_verdict
     from humanizer_metrics.burstiness import rhythm_verdict
+    from humanizer_metrics.lexical import LEX_MIN_TOKENS
+    from humanizer_metrics.score import LEX_MUTED_GENRES, LEX_THRESHOLD
     from humanizer_metrics.markers import (GENRE_MUTED_BANS, GENRE_MUTED_CATEGORIES,
                                             GENRES, effective_hard_bans, marker_verdict,
                                             mute_by_genre)
@@ -185,6 +187,14 @@ def main() -> int:
           f"(min {rep.rhythm.min_len} / max {rep.rhythm.max_len}), CV: {rep.rhythm.cv_len}")
     print(f"  многоточий: {rep.rhythm.ellipsis}, скобок: {rep.rhythm.parentheses}, "
           f"вопросов: {rep.rhythm.questions}")
+    if rep.lexical.tokens >= LEX_MIN_TOKENS:
+        rule = (f"в жанре {genre} не штрафуется" if genre in LEX_MUTED_GENRES
+                else f"штраф выше {LEX_THRESHOLD}")
+        print(f"  лексическое разнообразие: MATTR {rep.lexical.mattr:.3f} "
+              f"(у людей обычно 0.90 ± 0.04, {rule})")
+    else:
+        print(f"  лексическое разнообразие: не считается, словоформ {rep.lexical.tokens} "
+              f"(нужно от {LEX_MIN_TOKENS})")
     print()
 
     print("Морфология:")