humanizer-ru 3.20.0 → 3.21.0

package/README.en.md

@@ -5,7 +5,7 @@
 Claude Code / Cowork plugin. Kills AI smell in Russian text. The English [humanizer](https://github.com/blader/humanizer) won't help here. Russian AI markers are their own beast: bureaucratic noun-chains (канцелярит), English-syntax calques, missing particles like "же" and "ведь" that make Russian sound alive.
 
 [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
-[![Version](https://img.shields.io/badge/version-3.20.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
+[![Version](https://img.shields.io/badge/version-3.21.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
 [![Stars](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
 [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
 [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)
@@ -16,6 +16,17 @@ Claude Code / Cowork plugin. Kills AI smell in Russian text. The English [humani
   </a>
 </p>
 
+🧪 **Live demo:** [humanizer-ru.aifrontier.tech](https://humanizer-ru.aifrontier.tech/#audit). Paste a Russian text, get a 0-100 cleanliness score and highlighted markers. Same scanner as in the skill, runs in the browser.
+
+**Quick start** in Claude Code, two commands:
+
+```
+/plugin marketplace add ilyautov/humanizer-ru
+/plugin install humanizer-ru@ilyautov-plugins
+```
+
+Cursor, Copilot, Cline and other agents: `npx skills add https://github.com/ilyautov/humanizer-ru/tree/main/skills/humanizer-ru`. Claude.ai, Codex, DeepSeek Harness and team rollout are covered in [Install](#install).
+
 📖 **Docs & write-ups (RU):** [humanizer-ru.aifrontier.tech](https://humanizer-ru.aifrontier.tech/): do AI detectors work on Russian, the 64 markers, plagiarism vs AI detection.
 
 ## What you get

package/README.md

@@ -1,11 +1,11 @@
 # humanizer-ru: очеловечить русский AI-текст для Claude Code, Cursor, Codex и других AI-агентов
 
-> Скилл для Claude. Убирает 64 признака нейросети в русском тексте: канцелярит, кальки, фингерпринты ChatGPT и Claude. Метит в то, что измеряют GPTZero, DivEye, RuBERT: поднимает perplexity и burstiness. 21 жёстких банов, quad-pass аудит, калибровка под голос автора, eval-харнес с метриками до/после.
+> Скилл для Claude. Убирает 64 признака нейросети в русском тексте: канцелярит, кальки, фингерпринты ChatGPT и Claude. Метит в то, что измеряют GPTZero, DivEye, RuBERT: поднимает perplexity и burstiness. 21 жёстких банов, quad-pass аудит, калибровка под голос автора, eval-харнес с метриками до/после. Живое демо сканера на сайте.
 
 > [English version](README.en.md)
 
 [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
-[![Версия](https://img.shields.io/badge/версия-3.20.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
+[![Версия](https://img.shields.io/badge/версия-3.21.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
 [![Звёзды](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
 [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
 [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)
@@ -21,6 +21,17 @@
 >
 > Три жёстких бана в одном предложении. [Полный разбор с режимом аудита ниже](#до-и-после).
 
+🧪 **Живое демо:** [humanizer-ru.aifrontier.tech](https://humanizer-ru.aifrontier.tech/#audit). Вставьте свой текст, получите оценку чистоты 0-100 и подсветку найденных оборотов. Тот же сканер, что в скилле, считается в браузере.
+
+**Быстрый старт** в Claude Code, две команды:
+
+```
+/plugin marketplace add ilyautov/humanizer-ru
+/plugin install humanizer-ru@ilyautov-plugins
+```
+
+Cursor, Copilot, Cline и другие агенты: `npx skills add https://github.com/ilyautov/humanizer-ru/tree/main/skills/humanizer-ru`. Claude.ai, Codex, DeepSeek Harness и раскатка на команду в [разделе «Установка»](#установка).
+
 📖 **Документация и разборы:** [humanizer-ru.aifrontier.tech](https://humanizer-ru.aifrontier.tech/): [работают ли AI-детекторы на русском](https://humanizer-ru.aifrontier.tech/ai-detektory-na-russkom.html), [64 признака AI-текста](https://humanizer-ru.aifrontier.tech/52-priznaka-ai-teksta.html), [антиплагиат и нейросеть](https://humanizer-ru.aifrontier.tech/antiplagiat-i-neyroset.html).
 
 ## Зачем это нужно
@@ -228,6 +239,7 @@ dsh сканирует `~/.agents/skills` и `~/.dsh/skills` сам, перез
 
 ```bash
 python skills/humanizer-ru/scripts/scan.py статья.txt --genre academic  # ещё legal, fiction
+python skills/humanizer-ru/scripts/scan.py стало.txt --before было.txt  # чистота до/после + факт-замок
 ```
 
 Зачем это нужно, показал прогон по внешнему размеченному корпусу AINL-Eval 2025
@@ -235,6 +247,11 @@ python skills/humanizer-ru/scripts/scan.py статья.txt --genre academic  #
 человеческих текстов против 26,1-35,8% машинных, то есть на научном тексте
 каталог не различал автора вовсе. С жанровой поправкой ложные срабатывания на
 людях падают до 4,2%. Цифры и метод: [eval/AINL-CALIBRATION.md](eval/AINL-CALIBRATION.md).
+Третий корпус, [LLMTrace](https://huggingface.co/datasets/iitolstykh/LLMTrace_classification)
+(14 763 русских текста, 30 генераторов, впервые GigaChat и YandexGPT), подтвердил
+границы: на отзывах и историях длинное тире ставят 2-8% людей против 28-33%
+машин, а в энциклопедических статьях наоборот. Разбор:
+[eval/LLMTRACE-CALIBRATION.md](eval/LLMTRACE-CALIBRATION.md).
 
 ## До и после
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "humanizer-ru",
-  "version": "3.20.0",
+  "version": "3.21.0",
   "description": "Agent skill for DeepSeek Harness: rewrites Russian text to remove 64 markers of AI generation (bureaucratese, calques, ChatGPT fingerprints), with a corpus-calibrated scanner, audit mode and author-voice calibration.",
   "license": "MIT",
   "author": "Ilya Utov",

package/skills/humanizer-ru/SKILL.md

@@ -4,7 +4,7 @@ description: "Скилл для очеловечивания русскоязы
 license: MIT
 ---
 
-# Humanizer-RU v3.20.0
+# Humanizer-RU v3.21.0
 
 Ты редактор. Превращаешь стерильный AI-текст в живую русскую речь. Убираешь маркеры нейросети и возвращаешь в текст автора: мнение, ритм, характер.
 
@@ -150,7 +150,7 @@ license: MIT
 
 **Шаг 3. Переписывание по разметке.** Работай по светофору из Шага 1: красные абзацы перепиши целиком, жёлтые правь точечно, зелёные не трогай. В красных и жёлтых абзацах: сначала убери HARD BANS, затем пройдись контрастным вычитанием (в каждом предложении замени самое предсказуемое слово на менее вероятное, но уместное). На каждый усилитель, вводное и образ гони двойной гейт сразу на этом шаге, не при финальной вычитке: тест на удаление (убрал, смысл не изменился = вода, паттерны #3/#40, удаляй) и тест на обналичивание (какой референт? паттерн #53). Одновременно добавляй голос и варьируй структуру. Сверяйся с паспортом голоса.
 
-> **Факт-замок (приоритет над любым паттерном).** Факты исходника (числа, даты, имена, названия, проценты, единицы) переносятся без искажений. Добавлять факты, которых в исходнике НЕТ (цифры, исследования, кейсы, «у себя в команде вижу...»), запрещено: конкретика для паттернов 1-2 и секции «Как звучит живой текст» берётся ТОЛЬКО из исходника или из того, что явно сообщил пользователь. В исходнике нет конкретики? Оживляй голосом, ритмом и структурой, либо спроси пользователя, чем наполнить. Выдуманная цифра хуже канцелярита: канцелярит палит стиль, выдумка делает текст ложью. В примерах документации пометка «(факты автора)» в заголовке означает: конкретику в этом «После» дал автор текста, а не придумал редактор. Пример без такой пометки новых фактов не содержит, и гейт `scripts/check_examples.py` это проверяет.
+> **Факт-замок (приоритет над любым паттерном).** Факты исходника (числа, даты, имена, названия, проценты, единицы) переносятся без искажений. Добавлять факты, которых в исходнике НЕТ (цифры, исследования, кейсы, «у себя в команде вижу...»), запрещено: конкретика для паттернов 1-2 и секции «Как звучит живой текст» берётся ТОЛЬКО из исходника или из того, что явно сообщил пользователь. В исходнике нет конкретики? Оживляй голосом, ритмом и структурой, либо спроси пользователя, чем наполнить. Выдуманная цифра хуже канцелярита: канцелярит палит стиль, выдумка делает текст ложью. В примерах документации пометка «(факты автора)» в заголовке означает: конкретику в этом «После» дал автор текста, а не придумал редактор. Пример без такой пометки новых фактов не содержит, и гейт `scripts/check_examples.py` это проверяет. Есть исходник и результат в файлах и можно запускать команды? Проверь замок механически: `python3 <папка скилла>/scripts/scan.py стало.txt --before было.txt`. Сканер печатает «было N, стало M» по чистоте и перечисляет числа, даты, имена, ссылки и код, которые пропали или появились. Новый факт без источника это ошибка правки, а не находка.
 
 > **ВНИМАНИЕ: гомогенизация.** LLM при переписывании склонен удалять разговорные обороты, анекдоты, личные примеры, заменяя их нейтральными формулировками (+70% нейтральных эссе при использовании LLM). Даже промпт «только грамматика» меняет семантику. Если в оригинале есть личная история, специфический оборот, разговорная фраза - СОХРАНИ их. Не заменяй живое на нейтральное. Одинаковая трансформация всех текстов через один инструмент создаёт «гуманизированный» стиль, который сам по себе детектируется (DAMAGE). Варьируй подход: разные тексты переписывай по-разному.
 

package/skills/humanizer-ru/scripts/humanizer_metrics/__init__.py

@@ -77,6 +77,7 @@ class Report:
 # Разбор границ Markdown живёт в markdown.py (один построчный проход по
 # CommonMark и таблица тестов), здесь только две проекции текста.
 from .markdown import GAP, QUOTE_MAX_WORDS, mask_foreign, strip_foreign  # noqa: E402
+from .facts import Facts, FactsDiff, diff_facts, extract_facts, facts_verdict  # noqa: E402
 
 mask_code_and_quotes = mask_foreign
 strip_code = strip_foreign

package/skills/humanizer-ru/scripts/humanizer_metrics/facts.py

@@ -0,0 +1,168 @@
+"""Факт-замок как скрипт: что из фактов исходника дожило до результата.
+
+Скилл обещает переносить числа, даты, имена, названия и ссылки без искажений и
+не добавлять новых. Инструкция модели это одно, проверка другое: этот модуль
+вынимает из двух текстов «факты» и сравнивает множества. Не семантика и не
+фактчек: только сохранность того, что уже было, и появление того, чего не было.
+
+Классы фактов:
+- число: любой токен с цифрой (проценты, годы, суммы), нормализован до цифр;
+- число словами: крупные числительные («сорок», «тысяча»), их не пересказывают;
+- месяц: названия месяцев как замена дате;
+- ссылка: URL и адреса вида domain.tld/path;
+- код: содержимое инлайн-кода в бэктиках;
+- имя: слово с заглавной не в начале предложения (с pymorphy3 точнее: теги
+  Name/Surn/Geox/Orgn/Patr и незнакомые словарю слова), плюс любая латиница с
+  заглавной («Excel», «GPT-4»).
+
+Мелкие количества («два», «половина», «вдвое») факты мягкие: в русском они
+идиоматичны («с одной стороны») и обычно пересказывают число исходника. Они
+считаются, но не валят проверку.
+"""
+
+from __future__ import annotations
+
+import re
+from dataclasses import dataclass, field
+
+try:
+    import pymorphy3
+
+    _MORPH = pymorphy3.MorphAnalyzer()
+except ImportError:  # без словаря сравниваем по основе, грубее, но работает
+    _MORPH = None
+
+PROPER_TAGS = {"Name", "Surn", "Geox", "Orgn", "Patr"}
+
+MONTH_RE = re.compile(
+    r"\b(январ|феврал|март|апрел|июн|июл|август|сентябр|октябр|ноябр|декабр)[а-я]*\b",
+    re.IGNORECASE,
+)
+URL_RE = re.compile(r"https?://[^\s)>\]»]+|\b[a-z0-9-]+\.(?:ru|com|org|net|io|tech|dev|ai|su|рф)(?:/[^\s)>\]»]*)?",
+                    re.IGNORECASE)
+CODE_RE = re.compile(r"`([^`\n]+)`")
+TOKEN_RE = re.compile(r"[A-Za-z][A-Za-z\d\-]*|[А-Яа-яЁё][А-Яа-яЁё\-]*|\d[\d.,:/-]*")
+
+SOFT_QUANTITIES = {
+    "один", "два", "две", "три", "оба", "обе", "пара",
+    "первый", "второй", "третий",
+    "вдвое", "втрое", "дважды", "трижды",
+    "половина", "треть", "четверть", "полтора",
+}
+HARD_NUMERALS = {
+    "четыре", "пять", "шесть", "семь", "восемь", "девять", "десять",
+    "одиннадцать", "двенадцать", "пятнадцать", "двадцать", "тридцать",
+    "сорок", "пятьдесят", "шестьдесят", "семьдесят", "восемьдесят",
+    "девяносто", "сто", "двести", "триста", "тысяча", "миллион", "миллиард",
+    "десяток", "сотня", "дюжина",
+}
+# Одна сущность под разными именами не считается новым фактом.
+ALIASES = {
+    "ai": ("искусственный", "интеллект", "ии", "нейросеть", "модель"),
+    "ии": ("искусственный", "интеллект", "ai", "нейросеть", "модель"),
+    "llm": ("модель", "нейросеть", "ai", "ии"),
+}
+
+
+@dataclass
+class Facts:
+    hard: set[str] = field(default_factory=set)   # "число:13", "имя:стэнфорд", "ссылка:…"
+    soft: set[str] = field(default_factory=set)   # "два", "половина"
+    words: set[str] = field(default_factory=set)  # все слова в нормальной форме, для алиасов
+
+
+@dataclass
+class FactsDiff:
+    lost: list[str]      # были в исходнике, пропали
+    added: list[str]     # появились в результате, в исходнике не было
+    kept: int            # жёстких фактов исходника дожило
+    soft_added: list[str]
+
+    @property
+    def ok(self) -> bool:
+        return not self.added
+
+    def as_dict(self) -> dict:
+        return {"ok": self.ok, "lost": self.lost, "added": self.added,
+                "kept": self.kept, "soft_added": self.soft_added}
+
+
+def _norm(word: str) -> str:
+    low = word.lower().replace("ё", "е").strip("-")
+    if _MORPH is None:
+        return low[:5]
+    return _MORPH.parse(low)[0].normal_form.replace("ё", "е")
+
+
+def _sentence_starts(text: str) -> set[int]:
+    starts = {0}
+    for m in re.finditer(r"[.!?…]\s+|^[>\-*]\s+|«|\n", text):
+        starts.add(m.end())
+    return starts
+
+
+def _is_proper(word: str, at_start: bool) -> bool:
+    if not word[:1].isupper():
+        return False
+    if word.isascii():
+        return True
+    if _MORPH is None:
+        return not at_start
+    p = _MORPH.parse(word.lower())[0]
+    if PROPER_TAGS & set(p.tag.grammemes):
+        return True
+    if not p.is_known:
+        return True
+    return not at_start
+
+
+def extract_facts(text: str) -> Facts:
+    f = Facts()
+    for m in URL_RE.finditer(text):
+        url = re.sub(r"^https?://(?:www\.)?", "", m.group(0).rstrip(".,;:").lower()).rstrip("/")
+        f.hard.add("ссылка:" + url)
+    for m in CODE_RE.finditer(text):
+        f.hard.add("код:" + m.group(1).strip())
+    body = CODE_RE.sub(" ", URL_RE.sub(" ", text))
+    for m in MONTH_RE.finditer(body):
+        f.hard.add("месяц:" + m.group(1).lower())
+    starts = _sentence_starts(body)
+    for m in TOKEN_RE.finditer(body):
+        tok = m.group(0)
+        if tok[0].isdigit():
+            digits = re.sub(r"\D", "", tok)
+            if digits:
+                f.hard.add("число:" + (digits.lstrip("0") or "0"))
+            continue
+        norm = _norm(tok)
+        f.words.add(norm)
+        if norm in SOFT_QUANTITIES:
+            f.soft.add(norm)
+        elif norm in HARD_NUMERALS:
+            f.hard.add("число словами:" + norm)
+        elif _is_proper(tok, any(abs(m.start() - s) <= 1 for s in starts)):
+            f.hard.add("имя:" + norm)
+    return f
+
+
+def _alias_covered(fact: str, before_words: set[str]) -> bool:
+    if not fact.startswith("имя:"):
+        return False
+    name = fact[4:]
+    return any(alias in before_words for alias in ALIASES.get(name, ()))
+
+
+def diff_facts(before: str, after: str) -> FactsDiff:
+    b, a = extract_facts(before), extract_facts(after)
+    lost = sorted(b.hard - a.hard)
+    added = sorted(x for x in a.hard - b.hard if not _alias_covered(x, b.words))
+    return FactsDiff(lost=lost, added=added, kept=len(b.hard & a.hard),
+                     soft_added=sorted(a.soft - b.soft))
+
+
+def facts_verdict(d: FactsDiff) -> str:
+    if d.added:
+        return f"✗ новых фактов без источника: {len(d.added)} (выдумка хуже канцелярита)"
+    if d.lost:
+        return f"⚠ факты исходника на месте, но {len(d.lost)} потеряно: проверьте, намеренно ли"
+    return f"✓ факт-замок цел: {d.kept} фактов исходника перенесено, новых нет"

package/skills/humanizer-ru/scripts/scan.py

@@ -22,7 +22,7 @@ from pathlib import Path
 sys.path.insert(0, str(Path(__file__).resolve().parent))
 
 try:
-    from humanizer_metrics import analyze, cleanliness_score
+    from humanizer_metrics import analyze, cleanliness_score, diff_facts, facts_verdict
     from humanizer_metrics.burstiness import rhythm_verdict
     from humanizer_metrics.markers import (GENRE_MUTED_BANS, GENRE_MUTED_CATEGORIES,
                                             GENRES, effective_hard_bans, marker_verdict,
@@ -69,6 +69,10 @@ def main() -> int:
     ap = argparse.ArgumentParser(description="Детерминированный сканер AI-маркеров (humanizer-ru)")
     ap.add_argument("source", help="файл с текстом или '-' для stdin")
     ap.add_argument("--json", action="store_true", help="вывод в JSON")
+    ap.add_argument("--before", metavar="ФАЙЛ",
+                    help="исходник до правки: сканер добавит «было/стало» по чистоте и "
+                         "проверит факт-замок (числа, даты, имена, ссылки, код). "
+                         "Новый факт, которого не было в исходнике, даёт exit 2")
     ap.add_argument("--genre", choices=GENRES, default="marketing",
                     help="жанр текста: снимает маркеры, законные для регистра "
                          "(academic, legal, fiction). По умолчанию marketing: "
@@ -87,6 +91,9 @@ def main() -> int:
     rep = analyze(text)
     genre = args.genre
     sc = cleanliness_score(rep, genre)
+    before_text = _read(args.before) if args.before else None
+    before_sc = cleanliness_score(analyze(before_text), genre) if before_text else None
+    fdiff = diff_facts(before_text, text) if before_text is not None else None
     # Частотные баны («Является» до порога 1/500 слов) не валят exit и не
     # показываются как ⛔ — они остаются в мягких маркерах.
     bans = effective_hard_bans(rep.hard_bans, rep.rhythm.words)
@@ -111,7 +118,12 @@ def main() -> int:
         out["muted_by_genre"] = {"hard_bans": muted_bans, "markers": muted_soft}
         if _cyrillic_share(text) < 0.3:
             out["warning"] = "текст не похож на русский, метрики не применимы"
+        if fdiff is not None:
+            out["before"] = {"source": args.before, "score": before_sc.as_dict()}
+            out["facts"] = fdiff.as_dict()
         print(json.dumps(out, ensure_ascii=False, indent=2))
+        if fdiff is not None and not fdiff.ok:
+            return 2
         return 1 if bans else 0
 
     print(f"=== humanizer-ru scan: {args.source} ===")
@@ -124,7 +136,10 @@ def main() -> int:
         print("⚠ Текст не похож на русский: скилл и метрики рассчитаны на русский "
               "язык, отчёт ниже не показателен.\n")
 
-    print(f"ЧИСТОТА: {sc.score}/100  [{sc.band}]")
+    if before_sc is not None:
+        print(f"ЧИСТОТА: было {before_sc.score}, стало {sc.score}/100  [{sc.band}]")
+    else:
+        print(f"ЧИСТОТА: {sc.score}/100  [{sc.band}]")
     print("  (≥85 чисто · 60-84 точечная правка · <60 рерайт)")
     if sc.penalties:
         for reason, pts in sc.penalties:
@@ -169,6 +184,20 @@ def main() -> int:
     print("Структура (уровень документа):")
     print(f"  {structure_verdict(rep.structure)}")
 
+    if fdiff is not None:
+        print()
+        print(f"Факт-замок (против {args.before}):")
+        print(f"  {facts_verdict(fdiff)}")
+        for x in fdiff.added:
+            print(f"  ✗ новое: {x}")
+        for x in fdiff.lost:
+            print(f"  ⚠ потеряно: {x}")
+        if fdiff.soft_added:
+            print(f"  ℹ мелкие количества появились: {', '.join(fdiff.soft_added)} "
+                  "(идиомы и пересказ чисел не считаются, проверьте глазами)")
+        if not fdiff.ok:
+            return 2
+
     # Exit code: ненулевой, если есть HARD BANS — удобно для CI/pre-commit.
     return 1 if bans else 0