humanizer-ru 3.19.0

package/skills/humanizer-ru/scripts/humanizer_metrics/burstiness.py

@@ -0,0 +1,92 @@
+"""Ритм и типографика: то, что скилл велит мерить дисперсией, а не на глаз.
+
+Закрывает пункты чеклиста «вариативность длины предложений — не средняя, а
+ДИСПЕРСИЯ» и «ноль длинных тире». Burstiness тут — статистический прокси, не сам
+детектор: высокий разброс длины предложений коррелирует с человеческим письмом
+(SKILL.md, раздел «Что ловят детекторы»).
+"""
+
+from __future__ import annotations
+
+import re
+import statistics
+from dataclasses import dataclass
+
+from razdel import sentenize, tokenize
+
+
+@dataclass
+class RhythmStats:
+    sentences: int
+    words: int
+    mean_len: float          # средняя длина предложения в словах
+    stdev_len: float         # стандартное отклонение длины
+    cv_len: float            # коэффициент вариации = stdev/mean (главный показатель)
+    min_len: int
+    max_len: int
+    short_share: float       # доля предложений < 5 слов
+    long_share: float        # доля предложений > 25 слов
+    em_dash: int             # длинных тире «—»
+    ellipsis: int            # многоточий
+    parentheses: int         # скобочных ремарок
+    questions: int           # вопросительных предложений
+
+    def as_dict(self) -> dict:
+        return self.__dict__.copy()
+
+
+_WORD_RE = re.compile(r"[А-Яа-яЁёA-Za-z0-9]")
+
+
+def _word_count(sentence: str) -> int:
+    return sum(1 for t in tokenize(sentence) if _WORD_RE.search(t.text))
+
+
+def rhythm(text: str) -> RhythmStats:
+    sents = [s.text for s in sentenize(text)]
+    lengths = [_word_count(s) for s in sents]
+    lengths = [n for n in lengths if n > 0]
+    n = len(lengths)
+    total_words = sum(lengths)
+
+    mean = statistics.mean(lengths) if lengths else 0.0
+    stdev = statistics.pstdev(lengths) if n > 1 else 0.0
+    cv = (stdev / mean) if mean else 0.0
+
+    return RhythmStats(
+        sentences=n,
+        words=total_words,
+        mean_len=round(mean, 1),
+        stdev_len=round(stdev, 1),
+        cv_len=round(cv, 3),
+        min_len=min(lengths) if lengths else 0,
+        max_len=max(lengths) if lengths else 0,
+        short_share=round(sum(1 for x in lengths if x < 5) / n, 3) if n else 0.0,
+        long_share=round(sum(1 for x in lengths if x > 25) / n, 3) if n else 0.0,
+        em_dash=text.count("—"),
+        ellipsis=text.count("…") + len(re.findall(r"\.\.\.", text)),
+        parentheses=text.count("("),
+        questions=sum(1 for s in sents if s.rstrip().endswith("?")),
+    )
+
+
+# Эвристические пороги (откалиброваны под русский грубо, см. eval/RESULTS.md).
+# cv_len < 0.35 — слишком ровный ритм, признак AI. Человеческий текст обычно > 0.45.
+CV_AI_THRESHOLD = 0.35
+CV_HUMAN_TARGET = 0.45
+
+
+def rhythm_verdict(s: RhythmStats, dash_ok: bool = False) -> str:
+    """dash_ok=True для жанров, где длинное тире законно (научный,
+    юридический, художественный): тогда оно показывается фактом, не ⚠."""
+    if s.em_dash > 0 and dash_ok:
+        dash = f"тире: {s.em_dash} (законно для жанра)"
+    elif s.em_dash > 0:
+        dash = f"⚠ {s.em_dash} длинных тире (норма 0)"
+    else:
+        dash = "✓ тире чисто"
+    if s.cv_len < CV_AI_THRESHOLD:
+        rhythm_v = f"⚠ ровный ритм (CV={s.cv_len}, цель ≥{CV_HUMAN_TARGET})"
+    else:
+        rhythm_v = f"✓ ритм рваный (CV={s.cv_len})"
+    return f"{rhythm_v}; {dash}"

package/skills/humanizer-ru/scripts/humanizer_metrics/markers.py

@@ -0,0 +1,439 @@
+"""Лексические маркеры AI-текста: HARD BANS и быстрый сканер.
+
+Вордлисты вынесены один-в-один из прозы скилла: HARD BANS — из SKILL.md
+(раздел «Жёсткие запреты»), категории сканера — из references/catalog.md
+(раздел «Быстрый сканер: слова-маркеры AI», списки вынесены туда в v3.15.0).
+Это детерминированная, грепабельная половина
+режима «Аудит» — то, что не требует LLM. Семантика (кальки, ирония, translationese)
+тут не ловится принципиально, для неё нужен сам скилл.
+
+Источник правды — SKILL.md и references/catalog.md. При обновлении
+банов/маркеров правь оба файла;
+scripts/lint_skill.py проверяет, что списки не разошлись по числу пунктов.
+"""
+
+from __future__ import annotations
+
+import re
+from dataclasses import dataclass, field
+
+# --- HARD BANS -----------------------------------------------------------
+# 20 конструкций с абсолютным запретом. Каждая — (имя, regex). Regex
+# регистронезависимый, по словоформам где это безопасно.
+HARD_BANS: list[tuple[str, str]] = [
+    ("Не просто X, а Y", r"\bне\s+просто\b[^.!?]{1,40}?\bа\b"),
+    ("Не только X, но и Y", r"\bне\s+только\b[^.!?]{1,40}?\bно\s+и\b"),
+    ("В современном мире", r"\bв\s+современном\s+мире\b"),
+    ("Стоит отметить, что", r"\bстоит\s+отметить\b"),
+    ("Важно понимать, что", r"\bважно\s+понимать\b"),
+    # Только единственное число (как в SKILL.md HARD BAN). Множественные формы
+    # «данные/данных/данным/данными» совпадают с существительным «данные» (data)
+    # и давали ложные срабатывания на ML/статистических текстах.
+    ("Данный/Данная/Данное", r"\bданн(ый|ая|ое|ого|ой|ом|ую)\b"),
+    ("Является", r"\bявля(ется|ются)\b"),
+    ("Играет важную/ключевую роль", r"\bигра(ет|ют)\s+(важн\w+|ключев\w+)\s+роль\b"),
+    ("Можно с уверенностью сказать", r"\bможно\s+с\s+уверенностью\s+сказать\b"),
+    # «Таким образом» банится только как ВВОДНЫЙ коннектор-вывод (начало
+    # предложения либо обособлен запятыми с запятой следом): «...рынки. Таким
+    # образом, ...». Омонимичное обстоятельство образа действия «...таким
+    # образом, что...» (= «такой манерой») — живая речь, не AI-клише, под бан не
+    # идёт: перед ним стоит слово, а не граница предложения/запятая. На корпусе
+    # сужение не теряет ни одного AI-вхождения (все 7/7 raw — вводные «. Таким
+    # образом,»), но снимает ложные срабатывания на художественной прозе.
+    # «Подводя итог» однозначно итожащее — остаётся широким.
+    ("Подводя итог / Таким образом",
+     r"\bподводя\s+итог\b|(?:^|[.!?…:;]\s+|\n\s*(?:[-*•]\s*)?|,\s*)таким\s+образом\s*,"),
+    ("Длинное тире", r"—"),
+    # Короткое тире «–» (U+2013). Отдельным баном, потому что промахивается мимо
+    # регулярки на «—», а семейство gemma подменяет им длинное: парный замер на
+    # одних и тех же постах дал человека 6% против 80% у gemma3:4b и gemma3:27b,
+    # 64% у gemma3:1b. У остальных семейств сигнала нет (qwen 6-10%, Opus 0%),
+    # то есть это признак семейства, а не машинности вообще, но по силе лифта
+    # он обходит почти весь каталог. В русской типографике «–» законно только в
+    # числовых диапазонах, их и исключаем.
+    ("Короткое тире", r"(?<!\d)\s*–|–\s*(?!\d)"),
+    # Ложный диапазон — только несвязанные понятия. Семантику «несвязанности»
+    # регекс не проверит, поэтому исключаем заведомо легитимные классы:
+    # числа («от 10 до 15»), имена собственные («от Москвы до Твери» — операнды
+    # проверяются регистрозависимо через (?-i:...)), повтор слова («от зари до зари»).
+    ("от X до Y (ложный диапазон)",
+     r"\bот\s+(?-i:([а-яё]+))\s+до\s+(?-i:(?!\1\b)[а-яё]+)\b"),
+    ("В условиях [прил.] [сущ.]", r"\bв\s+условиях\s+\w+"),
+    ("Погрузимся / посмотрим поближе", r"\b(погрузимся|посмотрим\s+\w+\s+поближе|давайте\s+посмотрим)\b"),
+    ("И вот здесь начинается самое интересное", r"\bвот\s+(здесь|тут)\s+начинается\s+самое\s+интересное\b"),
+    ("Раскрыть потенциал", r"\bраскры(ть|ва\w+)\s+потенциал\b"),
+    ("Вывести на новый уровень", r"\bвыв(ести|одит)\s+на\s+новый\s+уровень\b"),
+    ("Комплексный подход/решение", r"\bкомплексн(ый|ое|ого|ым)\s+(подход\w*|решени\w+)\b"),
+    ("В связи с этим", r"\bв\s+связи\s+с\s+этим\b"),
+    # «Возможности» добавлены после прогона eval/mine_patterns.py: это самый
+    # частый вариант формулы, и он проходил мимо бана. На AINL-Eval 0.07% у
+    # людей против 2.43% у моделей (llama 5.3%), то есть разделение сильнее,
+    # чем у «горизонтов».
+    ("Открывает новые горизонты/перспективы/возможности",
+     r"\bоткрыва(ет|ют)\s+новые\s+(горизонт\w+|перспектив\w+|возможност\w+)\b"),
+]
+
+# --- Быстрый сканер: категории слов-маркеров -----------------------------
+# Лексический подсет категорий «Быстрого сканера» каталога (нелексические —
+# ритм, структура — живут в других модулях: burstiness.py, structure.py).
+# Семантические категории сканера («Фигуративный ноль», «Пустая образность»)
+# кодом не покрываются нигде: это чисто смысловые проверки, их оценивает
+# только LLM-слой аудита по каталогу. Элемент — либо
+# фраза для подстрочного поиска (регистронезависимо; часть фраз — основы, чтобы
+# ловить словоформы), либо строка с префиксом "re:" (регекс), либо пара
+# (человекочитаемая метка, регекс) — метка идёт в отчёт вместо регекса.
+SCANNER: dict[str, list[str | tuple[str, str]]] = {
+    "Канцелярит": [
+        "осуществлени", "реализаци", "внедрени", "оптимизаци", "функционировани",
+        "взаимодействи", "в рамках", "в целях", "в контексте", "на основе",
+        "посредством", "в соответствии с",
+        # Найдено шахтой (eval/mine_patterns.py), доли документов на AINL-Eval
+        # человек/AI: «внимание уделяется» 1.3/7-18%, «внимание уделено»
+        # 0.8/5-30%, «посвящена анализу» 2.7/10-29%. Все три держатся и на
+        # невиданной модели (unknown 8-16%). Категория глушится в академическом
+        # жанре, поэтому научной прозе они не мешают.
+        "внимание уделяется", "внимание уделено",
+        ("посвящена анализу/изучению/разработке",
+         r"посвящен[ао]\s+(анализ\w+|изучени\w+|разработк\w+|рассмотрени\w+)"),
+    ],
+    "Кальки": [
+        ("является", r"\bявля(ется|ются)\b"),
+        "стоит отметить", "важно понимать", "можно сказать",
+        "что касается", "в то время как", "с другой стороны", "тем не менее",
+        "несмотря на то что",
+        "стоит помнить", "следует учитывать", "необходимо отметить",
+        # Калька с «this study focuses on». Самые чистые ложные срабатывания из
+        # всей находки: 0.01% на людях против 2.2-2.9% у моделей. На невиданной
+        # модели не держится (0.18%), то есть это привычка семейств, а не след
+        # машины вообще, поэтому мягкий маркер, а не бан.
+        ("исследование фокусируется на",
+         r"(исследовани\w+|работ\w+|стать\w+)\s+фокусиру\w+\s+на"),
+    ],
+    "Раздувание": [
+        "ключев", "важнейш", "значительн", "огромн", "колоссальн", "переломн",
+        "фундаментальн", "невозможно переоценить", "играет роль",
+    ],
+    "Формула-выводы": [
+        # Вводный коннектор-вывод, суженный так же, как одноимённый хард-бан:
+        # обстоятельство «устроен таким образом, что...» — не маркер.
+        ("таким образом, (вводное)",
+         r"(?:^|[.!?…:;]\s+|\n\s*(?:[-*•]\s*)?|,\s*)таким\s+образом\s*,"),
+        "подводя итог", "в заключение", "можно сделать вывод",
+        "суммируя вышесказанное", "на основании вышеизложенного",
+    ],
+    "Чатбот": [
+        "конечно!", "отличный вопрос", "давайте разберёмся", "давайте разберемся",
+        "рад помочь", "надеюсь это было полезно", "с удовольствием",
+    ],
+    # «это не X, это Y» — конструкция, а не любое отрицание: «это не может не
+    # радовать» — живая речь, маркером не считается.
+    "Параллелизмы": ["не просто", "не только",
+                     ("это не X, это Y", r"это\s+не\s+[^.!?\n]{1,40}[,—:-]\s*это\b")],
+    "Вводные-открытия": [
+        "в современном мире", "в эпоху", "не секрет что", "не секрет, что",
+        "всё чаще", "все чаще", "по мнению экспертов", "специалисты отмечают",
+    ],
+    "Модальные хеджи": [
+        "может стать", "может повлиять", "может быть полезн", "способен обеспечить",
+        "призван решить", "позволяет достичь",
+    ],
+    "Мотивационные клише": [
+        "раскрыть потенциал", "погрузимся", "вывести на новый уровень",
+        "открывает новые горизонты", "открывает новые возможности",
+        "расширить границы", "комплексный подход",
+    ],
+    "Контекстуализаторы": [
+        "в условиях", "в свете", "на фоне", "с учётом", "с учетом",
+        "принимая во внимание", "в связи с этим",
+    ],
+    "Маркетинговые штампы": [
+        "связь с аудиторией", "доверительные отношения", "ключевой момент",
+        "ключевая роль", "индивидуальный подход", "инновационное решение",
+    ],
+    "Псевдо-сократические": [
+        "зачем? потому что", "и что? а то", "почему? сейчас расскажу",
+    ],
+    "Авторитетные трюизмы": [
+        "вот ключевой вывод", "самое важное — это", "самое важное - это",
+        "первый шаг — это", "первый шаг - это", "по своей сути", "в конечном счёте",
+        "в конечном счете",
+    ],
+    "Псевдо-терапевтические": [
+        "ты не ошибаешься", "ты имеешь право", "тихое подтверждение",
+        "это не слабость", "ты настоящий", "сам факт этого",
+    ],
+    # Паттерн #54 (приоритет A): текст присваивает себе добродетель честности
+    # вместо предъявления фактов. Гасим класс ложных срабатываний из каталога:
+    # одиночное разговорное «честно» / «честно говоря» (частица живой речи,
+    # паттерн #32) и жанровый заголовок «честный обзор» (человеческая конвенция
+    # кликбейта) НЕ ловятся — голого «честно» и «честного обзора» в списке нет,
+    # только фразы самомаркировки. Остаточный риск: буквальное «без воды»
+    # (кулинария, химия) и «объективный разбор» о чужом тексте — редки, гасятся
+    # шкалой вердикта (одиночный маркер не валит текст). Каталожный порог
+    # «2+ на текст или маркировка в заголовке секции» зафиксирован здесь
+    # комментарием: архитектура SCANNER считает поштучно, плотностных порогов
+    # на категорию у неё нет.
+    "Самомаркировка честности": [
+        ("честный список", r"\bчестн(?:ый|ого|ому|ым|ом)\s+спис\w*\b"),
+        ("буду (с вами) откровенен", r"\bбуду\s+(?:с\s+(?:вами|тобой)\s+)?откровен\w*\b"),
+        "без прикрас",
+        ("без воды", r"\bбез\s+воды\b"),
+        ("объективный разбор", r"\bобъективн\w+\s+разбор\w*\b"),
+        ("это не очередной", r"\bэто\s+не\s+очередн\w*\b"),
+    ],
+    "Эмодзи-декор": ["⚡", "✨", "🎯", "🔥", "💡"],
+    # Однозначные улики подмены символов (SKILL.md, «Технические маркеры»):
+    # латинские гомоглифы внутри кириллического слова и невидимые символы.
+    # Легитимная латиница (IT, web, URL) кириллицей с двух сторон не окружена.
+    "Технические маркеры": [
+        ("латиница внутри кириллического слова", r"(?<=[а-яё])[a-z](?=[а-яё])"),
+        # zero-width (ZWSP/ZWNJ/ZWJ/BOM) + word joiner, Mongolian vowel
+        # separator, bidi-метки и изоляторы: клавиатурой не набираются,
+        # в живом русском тексте не встречаются.
+        ("невидимые символы (zero-width, bidi)",
+         "[​‌‍⁠᠎‎‏"
+         "‪-‮⁦-⁩؜]"),
+    ],
+    # Паттерн #55: подлежащее-предмет при глаголе намерения. Английские
+    # источники описывают то же самое как смену AI-словаря на emphasizing /
+    # highlighting / showcasing (Wikipedia AI Cleanup, обновление 2026).
+    "Неодушевлённый субъект": [
+        ("предмет или абстракция подчёркивает/демонстрирует",
+         r"\b(исследовани\w+|работ[аы]|стать\w+|проект\w*|платформ\w+|систем\w+|"
+         r"решени\w+|компани\w+|здани\w+|документ\w*|отчёт\w*|инициатив\w+|"
+         r"технологи\w+|подход\w*)\s+"
+         r"(подчёркива\w+|демонстрир\w+|отража\w+|обеспечива\w+|иллюстрир\w+|"
+         r"символизир\w+|подтвержда\w+)\b"),
+    ],
+    # Паттерн #58: формула 2026 года «No X. No Y. Just Z.» в русском изводе.
+    "Триада-отрицание": [
+        ("Без X. Без Y. Только Z.",
+         r"(?:^|[.!?…\n]\s*)(?:без|ни)\s+[^.!?\n]{1,40}[.!?]\s+(?:без|ни)\s+"
+         r"[^.!?\n]{1,40}[.!?]\s+(?:только|просто|лишь)\b"),
+    ],
+    # Паттерн #59 (категория N, дискурсный слой): нарратор проговаривает мораль
+    # прямым текстом. StoryScope (arXiv:2604.03136v6, COLM 2026), параллельный
+    # корпус 61 608 историй: явная мораль у ИИ в 77% текстов против 52% у
+    # людей. Разрыв в полтора раза, то есть половина людей делает то же самое:
+    # маркер мягкий, не бан, и один его хит текст не валит.
+    # Кодом ловится только узкий лексический подкласс - шаблонные формулы
+    # морали; остальная категория N нелексическая и оценивается LLM-слоем
+    # аудита по каталогу, как «Фигуративный ноль».
+    # Три сужения против ложных срабатываний на живой прозе:
+    # 1) указательное «этой/сей/эта» обязательно - иначе под маркер уходят
+    #    разбор басни («мораль истории про лису») и публицистический оборот
+    #    «история учит нас осторожности», который человек пишет свободно;
+    # 2) окончания после «истори» перечислены явно - \w цеплял «историк»
+    #    («наш историк учит нас работать с источниками»);
+    # 3) голые «мораль проста/такова» считаются только последней фразой
+    #    текста: в середине это разговорная связка («в басне мораль проста,
+    #    а исполнение так себе»), в финале - тот самый дискурсный признак.
+    "Финальная мораль": [
+        ("мораль этой истории",
+         r"\bмораль\s+(?:этой|всей\s+этой|сей)\s+истори(?:и|ю|ей)\b"),
+        ("эта история учит нас",
+         r"\b(?:эта|вся\s+эта)\s+истори(?:я|и)\s+(?:учит|научила|учила)\s+(?:нас|нам)\b"),
+        ("эта история о том, что",
+         r"\bэта\s+истори(?:я|и)\s+о\s+том,\s+что\b"),
+        ("мораль проста (последней фразой)",
+         r"[.!?…]\s+мораль\s+(?:проста|такова)\b[^.!?]{0,60}[.!?]\s*$"),
+    ],
+    # Технические следы копирования из интерфейса чат-бота. Однозначные улики:
+    # в человеческом тексте не встречаются.
+    # Префикс "re:" = регулярное выражение, остальное — подстрока.
+    "Артефакты копипасты": [
+        ":contentReference", "oai_citation", "utm_source=chatgpt.com",
+        "utm_source=openai", "grok_card://", "attached_file://",
+        "vertexaisearch.cloud.google.com/grounding-api-redirect",
+        "](sandbox:/mnt/data/", "attributableIndex",
+        r"re:oaicite:\d+",
+        r"re:turn\d+(?:search|fetch|file)\d+",          # turnNsearchN и родня
+        r"re:citeturn\d+[a-z]+\d+",                     # слитная метка цитаты
+        r"re:【\d+(?::\d+)?†source】",                    # OpenAI Assistants
+        r"re:\[citation:\d+\]",                         # Perplexity-стиль
+        "re:[\ue200-\ue204]",                        # невидимые разделители цитат ChatGPT
+        r"re:</?think>",                                # остатки рассуждения DeepSeek и др.
+        # Замечены в 2026 (Wikipedia AI Cleanup, разделы про артефакты разметки):
+        r"re::::writing\{variant=",                     # обёртка документа, с июня 2026
+        r"re:\[cite:\s*\d+\]",                          # метка цитаты Gemini
+        r"re:\[span_\d+\]\(start_span\)",               # обёртка фрагмента Gemini
+        "grok_render_citation_card_json",               # карточка цитаты Grok
+    ],
+}
+
+@dataclass
+class MarkerHit:
+    category: str
+    marker: str
+    count: int
+    positions: list[int] = field(default_factory=list)
+
+
+def _find_all(text: str, needle_regex: str) -> list[int]:
+    return [m.start() for m in re.finditer(needle_regex, text, re.IGNORECASE)]
+
+
+def scan_hard_bans(text: str) -> list[MarkerHit]:
+    """Находит конструкции из HARD BANS. Любое попадание = провал."""
+    hits: list[MarkerHit] = []
+    for name, pat in HARD_BANS:
+        pos = _find_all(text, pat)
+        if pos:
+            hits.append(MarkerHit("HARD BAN", name, len(pos), pos))
+    return hits
+
+
+# Частотные пороги из SKILL.md: маркер банится не с первого вхождения, а по
+# плотности. «Является» — легитимная связка в меру (термины, определения):
+# таблица HARD BANS задаёт «>1 раз на 500 слов». Одиночное вхождение остаётся
+# мягким маркером («Кальки»), scan_hard_bans его по-прежнему находит.
+FREQ_BANS: dict[str, int] = {"Является": 500}
+
+
+# --- Почему тире остаётся баном, хотя частоты говорят обратное -------------
+# Класс ошибки, который тут однажды был допущен и откачен в тот же день.
+#
+# Если считать ДОЛЮ ДОКУМЕНТОВ в несопряжённых корпусах, тире выглядит признаком
+# человека: AINL человек 4.8% против 0.0-0.9% у моделей, M4 человек 42.3% против
+# 3.3%, Пикабу человек 14.0%. Вывод напрашивается сам, и он неверный по двум
+# причинам сразу: человеческие половины там это изданная вычитанная проза, где
+# тире ставит редактор, а машинные половины сделаны генераторами 2023-2024 годов.
+#
+# Продуктовый вопрос звучит не так. Пользователь отдаёт модели СВОЙ текст, и
+# важно, что она с ним делает. Это парный замер на одних и тех же постах, и он
+# даёт противоположный ответ (доля пар, где тире не было у человека, но
+# появилось у машины):
+#
+#   Qwen3-4B-heretic   45 из 45      человек 10% -> машина 100%
+#   qwen2.5:7b         19 из 31      человек 11% -> машина  66%
+#   qwen3-vl:4b         5 из 9       человек 10% -> машина  60%
+#   Opus 5              4 из 15      человек  0% -> машина  27%
+#   gemma3:27b          4 из 45      человек 10% -> машина  14%
+#
+# Семейство gemma тире почти не добавляет, но подменяет его коротким (см. ниже).
+#
+# Ложные срабатывания на изданной прозе при этом реальны, и лечатся они не
+# отменой бана, а жанровым фильтром: в academic и legal тире уже снимается.
+FREQ_BANS_NOTE = "см. комментарий выше про парный замер"
+
+
+# --- Жанровый фильтр ------------------------------------------------------
+# Часть банов в отдельных жанрах не признак машины, а норма регистра. Для
+# академического текста это измерено: прогон по AINL-Eval 2025 (35 158 русских
+# научных аннотаций с разметкой human / gpt-4-turbo / gemma-2-27b /
+# llama-3.3-70b) дал 35.9% документов с баном у ЛЮДЕЙ против 26.1-35.8% у
+# моделей: маркеры не разделяли классы вовсе. «Является» сработало на 8.0%
+# человеческих текстов и 0.1-3.0% машинных, длинное тире на 4.8% у людей и
+# 0.0-0.9% у моделей. С фильтром ниже человеческие срабатывания падают до 4.2%.
+# Цифры и метод: eval/ainl_calibration.py, SOURCES.md.
+#
+# Жанры legal и fiction фильтруются по тем же правилам, что записаны в разделе
+# «Ложные срабатывания» SKILL.md; корпусной проверки под них у нас пока нет.
+GENRE_MUTED_BANS: dict[str, set[str]] = {
+    "academic": {
+        "Является", "Длинное тире", "Короткое тире", "Данный/Данная/Данное",
+        "В условиях [прил.] [сущ.]", "Подводя итог / Таким образом",
+        "В связи с этим",
+    },
+    "legal": {
+        "Является", "Данный/Данная/Данное", "В условиях [прил.] [сущ.]",
+        "В связи с этим", "Длинное тире", "Короткое тире",
+    },
+    "fiction": {
+        "Длинное тире", "Короткое тире", "от X до Y (ложный диапазон)",
+        "Не только X, но и Y",
+        "Не просто X, а Y",
+    },
+}
+
+GENRE_MUTED_CATEGORIES: dict[str, set[str]] = {
+    "academic": {"Канцелярит", "Кальки", "Контекстуализаторы", "Формула-выводы"},
+    "legal": {"Канцелярит", "Кальки", "Контекстуализаторы"},
+    "fiction": {"Параллелизмы"},
+}
+
+GENRES = ("marketing", "academic", "legal", "fiction")
+
+
+# --- Что проверено корпусом, а что нет ------------------------------------
+# Каталог собирался вручную, и до 2026 года ни один его пункт не был проверен
+# на том, отличает ли он вообще человека от машины. Теперь часть проверена, и
+# честнее показывать разницу, чем выдавать всё за одинаково обоснованное.
+#
+# Ниже категории, которые разделяют классы В ДВУХ РАЗНЫХ ДОМЕНАХ сразу: на
+# научных аннотациях (AINL-Eval 2025, 35 158 текстов, генераторы gpt-4-turbo,
+# gemma-2-27b, llama-3.3-70b) и на смешанном регистре (M4-ru, 11 518 текстов,
+# генераторы gpt-3.5-turbo и davinci-003). Число это лифт, отношение частоты у
+# машины к частоте у человека; всё, что ниже 1, работает против нас.
+#
+# Остальные пункты каталога либо не проверялись, либо переворачиваются при
+# смене домена: «Является» даёт 0.1 на научном тексте и 4.5 на смешанном,
+# «Данный» 0.9 и 3.1, кальки 0.3 и 2.0. Канцелярит не разделяет ни там, ни там,
+# хотя в каталоге назван главным маркером. Это не повод их выбрасывать: маркер
+# без указания домена просто бессмыслен, о чём написано в SOURCES.md.
+CROSS_DOMAIN_VERIFIED: dict[str, tuple[float, float]] = {
+    # категория или бан: (лифт на AINL, лифт на M4)
+    "Играет важную/ключевую роль": (5.7, 9.4),
+    "Мотивационные клише": (2.8, 4.0),
+    "Неодушевлённый субъект": (4.4, 2.7),
+    "Комплексный подход/решение": (3.0, 2.8),
+    "Модальные хеджи": (2.6, 2.9),
+    "Раздувание значимости": (1.8, 1.4),
+}
+
+
+def mute_by_genre(hits: list[MarkerHit], genre: str | None,
+                  muted: dict[str, set[str]]) -> list[MarkerHit]:
+    """Снимает маркеры, законные для жанра. Без жанра ничего не снимает:
+    умолчание остаётся строгим (маркетинг и блоги, под них калибровка)."""
+    names = muted.get(genre or "", set())
+    return [h for h in hits if h.marker not in names and h.category not in names]
+
+
+def effective_hard_bans(hits: list[MarkerHit], words: int) -> list[MarkerHit]:
+    """Хард-баны после частотных порогов: то, что реально штрафуется/валит exit.
+
+    Для маркеров из FREQ_BANS попадание остаётся баном только при двух и более
+    вхождениях с плотностью выше 1 на N слов. Остальные баны проходят как есть.
+    """
+    out: list[MarkerHit] = []
+    for h in hits:
+        per = FREQ_BANS.get(h.marker)
+        if per and (h.count < 2 or h.count <= words / per):
+            continue
+        out.append(h)
+    return out
+
+
+def scan_markers(text: str) -> list[MarkerHit]:
+    """Прогоняет лексические категории быстрого сканера (SCANNER). Возвращает только попадания.
+
+    Элемент с префиксом "re:" трактуется как регулярное выражение,
+    остальные — как литеральная подстрока (регистронезависимо).
+    """
+    hits: list[MarkerHit] = []
+    for cat, phrases in SCANNER.items():
+        for phrase in phrases:
+            if isinstance(phrase, tuple):
+                label, pat = phrase
+            elif phrase.startswith("re:"):
+                label, pat = phrase[3:], phrase[3:]
+            else:
+                label, pat = phrase, re.escape(phrase)
+            pos = _find_all(text, pat)
+            if pos:
+                hits.append(MarkerHit(cat, label, len(pos), pos))
+    return hits
+
+
+def marker_verdict(marker_hits: list[MarkerHit]) -> str:
+    """Шкала из SKILL.md: 0-2 чисто, 3-5 подозрительно, 6+ AI.
+    Артефакт копипасты — однозначная улика: вердикт сразу, без шкалы."""
+    if any(h.category == "Артефакты копипасты" for h in marker_hits):
+        return "артефакты копипасты из чат-бота — текст вставлен из ответа ИИ"
+    total = sum(h.count for h in marker_hits)
+    if total <= 2:
+        return f"{total} — скорее всего чистый текст"
+    if total <= 5:
+        return f"{total} — подозрительно"
+    return f"{total} — AI-генерация с высокой вероятностью"

package/skills/humanizer-ru/scripts/humanizer_metrics/morphology.py

@@ -0,0 +1,78 @@
+"""Морфология: соотношение существительных к глаголам через pymorphy3.
+
+Закрывает пункт чеклиста «соотношение существительных к глаголам ≤ 2.5:1» —
+тот, который LLM не умеет считать на глаз. У AI-русского ~3:1, у людей ~2:1
+(SKILL.md, паттерн #14, Biber framework). Чем выше отношение, тем «номинальнее»
+текст, тем сильнее канцелярит.
+"""
+
+from __future__ import annotations
+
+import functools
+from dataclasses import dataclass
+
+import pymorphy3
+from razdel import tokenize
+
+
+@functools.lru_cache(maxsize=1)
+def _morph() -> "pymorphy3.MorphAnalyzer":
+    return pymorphy3.MorphAnalyzer()
+
+
+@dataclass
+class MorphStats:
+    nouns: int
+    verbs: int           # глаголы + инфинитивы + деепричастия + причастия как глагольные формы
+    noun_verb_ratio: float
+    nominalizations: int  # отглагольные существительные (потенциальный канцелярит)
+    tokens: int
+
+    def as_dict(self) -> dict:
+        return self.__dict__.copy()
+
+
+# Что считаем «глагольным» — pymorphy3 теги (OpenCorpora):
+_VERBAL = {"VERB", "INFN", "GRND", "PRTF", "PRTS"}
+_NOUN = {"NOUN"}
+_NOMINAL_SUFFIXES = ("ение", "ание", "ания", "ения", "ация", "изация", "ировка", "ость", "остей")
+
+
+def _is_cyrillic_word(tok: str) -> bool:
+    return any("а" <= c.lower() <= "я" or c.lower() == "ё" for c in tok)
+
+
+def morph_stats(text: str) -> MorphStats:
+    m = _morph()
+    nouns = verbs = nominal = total = 0
+    for t in tokenize(text):
+        w = t.text
+        if not _is_cyrillic_word(w):
+            continue
+        total += 1
+        p = m.parse(w)[0]
+        pos = p.tag.POS
+        if pos in _NOUN:
+            nouns += 1
+            lemma = p.normal_form
+            if lemma.endswith(_NOMINAL_SUFFIXES):
+                nominal += 1
+        elif pos in _VERBAL:
+            verbs += 1
+    ratio = (nouns / verbs) if verbs else float(nouns)
+    return MorphStats(
+        nouns=nouns,
+        verbs=verbs,
+        noun_verb_ratio=round(ratio, 2),
+        nominalizations=nominal,
+        tokens=total,
+    )
+
+
+NV_TARGET = 2.5  # из чеклиста SKILL.md
+
+
+def morph_verdict(s: MorphStats) -> str:
+    if s.noun_verb_ratio <= NV_TARGET:
+        return f"✓ сущ./глаг. = {s.noun_verb_ratio} (цель ≤{NV_TARGET})"
+    return f"⚠ сущ./глаг. = {s.noun_verb_ratio} (цель ≤{NV_TARGET}, канцелярит); номинализаций: {s.nominalizations}"