suveren 1.1.0__tar.gz

suveren-1.1.0/.gitignore

@@ -0,0 +1,28 @@
+__pycache__/
+*.py[cod]
+.venv/
+venv/
+build/
+dist/
+*.egg-info/
+.pytest_cache/
+.ruff_cache/
+.coverage
+htmlcov/
+
+# Scan output: may contain data about third-party infrastructure
+reports/
+*.json
+
+.idea/
+.vscode/
+.DS_Store
+Thumbs.db
+
+# Golden corpus of real sites: local only (tests/golden.py)
+corpus/
+# ...but the data files shipped with the package are code
+!src/suveren/data/*.json
+
+# graphify knowledge graph (local, rebuilt with `graphify update .`)
+graphify-out/

suveren-1.1.0/CHANGELOG.md

@@ -0,0 +1,550 @@
+# Changelog
+
+## Не выпущено
+
+- **Нужен Python 3.11 или новее.** Поддержка Python 3.10 закончилась в октябре 2026 года, и
+  исправления свежих уязвимостей dnspython (CVE-2026-114605) и filelock для него уже не
+  выходят. dnspython теперь не ниже 2.9. Exe и Docker это не затрагивает: Python у них свой.
+- **Пакет на PyPI: `pip install "suveren[browser]"`.** Релиз по тегу теперь не только собирает
+  exe, но и публикует пакет на PyPI через Trusted Publishing: токенов нигде не хранится, PyPI
+  доверяет только релизному процессу этого репозитория. Перед сборкой ссылки и картинки README
+  становятся абсолютными (`tools/pypi_readme.py`) и ведут на файлы того же тега. Релиз
+  останавливается, если тег не совпадает с версией в `pyproject.toml`: версию на PyPI нельзя
+  загрузить дважды. В исходный пакет попадают только код, тесты и инструменты.
+- **Новое описание и картинки.** README стал коротким: что проверяется, как запустить (exe,
+  `Suveren.bat`, pip, Docker), отчёт, команды и главные параметры. Подробности по каждой проверке
+  переехали в [docs/guide.md](docs/guide.md). Картинки пересняты на версии 1.1: терминал, меню,
+  отчёт, раздел 152-ФЗ, проверка компании и сводка, у каждой — светлый и тёмный вариант. Сайты на
+  картинках выдуманные (`lab.test` и соседи в зоне `.test`): данные настоящих проверок с
+  заменёнными именами, адресами и IP, чтобы не показывать чужие компании.
+- **Сводка `batch`: имя сайта и счётчики 152-ФЗ не переносятся посередине** («habr.c om»), а
+  в терминале — «4 сайта», а не «4 сайтов».
+
+- **Молчащий DNS сайта делает оценку неполной.** Если DNS не ответил на запрос NS, MX или
+  A-записей сайта, сервисы за ними (DNS-хостинг, почта, хостинг) не видны, а не отсутствуют.
+  Теперь оценка помечается «неполная, не проверены: …», обе оценки не выше B (как при
+  недоступной странице: не увиденное — не чистое), а проверка «IP-адреса сайта» (SUV-BLK-002)
+  показывает «не проверено» вместо того, чтобы пропасть из отчёта. «Хранение данных в России»
+  (SUV-PD-007) называет причину: IP-адреса сайта не получены, а не «например, сайт за CDN». В ночном
+  прогоне 25.10 у sravni.ru из-за этого «пропали» четыре сервиса, и отчёт выглядел полным.
+  Схема JSON 1.7 (`facts.dns_unanswered`); самоаудит (`suveren audit`) ловит такие старые
+  отчёты правилом `dns-gap-complete`.
+- **Таймаут на `_mta-sts` больше не гасит весь раздел почты.** Раньше одна неответившая запись
+  MTA-STS делала «не проверено» все пять проверок почты (kamaz.ru, 25.10). Теперь «не
+  проверено» только у «Шифрования входящей почты» (SUV-MAIL-005); SPF, DMARC и DKIM
+  проверяются как обычно. Неответившая запись TLS-RPT просто не упоминается.
+
+- **Изменилось поведение: неполная оценка не проходит пороги CI (код выхода 6).** Если задан
+  `--fail-under` или `--fail-on`, а оценка неполная (стена от ботов, не ответил реестр или журнал
+  сертификатов), код выхода теперь 6: то, чего не увидели, порог проверить не может.
+  `--allow-incomplete` принимает неполную оценку. Без порогов всё как раньше.
+- **`batch` для CI:** `--fail-under` и `--fail-on` по худшему сайту (код 1 за непроверенный сайт
+  важнее), `-q` с пропусками и сбоями в stderr, `--max-time` на сайт.
+- **`--max-time` — предел на всю проверку** (у `scan` 600 с, у `batch` 300 с на сайт); `--timeout`
+  теперь честно назван таймаутом одного запроса. В CI (переменная `CI`) и при выводе не в
+  терминал отчёт больше не открывается в браузере. Коды выхода перечислены в `--help`.
+- **`diff` и `--since` предупреждают о неравноценном сравнении.** Если одна из проверок была
+  неполной, «убранные» сервисы могли быть просто не видны: об этом теперь сказано и в терминале,
+  и в HTML. Показаны проверки, которые появились или пропали, а `diff` начинается с общей оценки.
+  Схема JSON 1.6 (`history.incomplete`, `appeared`, `vanished`).
+
+- **Возможный штраф за согласие — только там, где согласия нет совсем (SUV-PD-003).** Если
+  согласие есть, но на следующем шаге формы, рядом с формой или с заранее поставленной
+  галочкой, строка «возможен штраф по ст. 13.11 ч. 1 КоАП» больше не показывается.
+  `batch` печатает «пропущена строка N» под заголовком, а не над ним.
+
+- **«Хранение данных в России» называет исключения закона (SUV-PD-007).** Запрет хранить
+  данные граждан РФ в зарубежных базах (152-ФЗ, ст. 18 ч. 5) действует «за исключением
+  случаев, указанных в пунктах 2, 3, 4, 8 части 1 статьи 6»: международный договор или закон
+  (бронирование международных авиабилетов), правосудие, госуслуги, журналисты и СМИ. Совет
+  цитировал норму без них.
+
+- **Новая проверка SUV-LAW-002 «Рекомендательные технологии».** С 01.10.2023 владелец
+  сайта, который подбирает показ по интересам посетителя, обязан разместить «документ,
+  устанавливающий правила применения рекомендательных технологий», адрес почты для
+  юридически значимых сообщений и своё наименование (149-ФЗ, ст. 10.2-2 ч. 1 п. 3). С
+  07.07.2026 за неразмещение — штраф организации от 500 до 700 тыс. ₽ (КоАП, ст. 13.56 ч. 3,
+  введена 199-ФЗ от 26.06.2026). Проверка ищет блоки с заголовками «Персональные
+  рекомендации», «Вам может понравиться», «Вы недавно смотрели» и ссылку на правила. Нет
+  правил — только «внимание»: снаружи не видно, строится ли подборка по интересам. Есть
+  правила — «в порядке» (в корпусе: habr.com, hh.ru, citilink.ru, litres.ru, kassir.ru,
+  kontur.ru, profi.ru, tutu.ru). Нет ни того, ни другого — проверки в отчёте нет. Штраф
+  при «внимании» показан как возможный и в сумму не входит.
+
+- **Меньше случайных «не открылся».** Главная страница и WHOIS теперь запрашиваются ещё раз
+  после таймаута, как внутренние страницы. В ночных прогонах регистратор perekrestok.ru и
+  reg.ru то был, то пропадал, и оценка прыгала на ступень между ночами.
+
+- **Российские регистраторы не из базы засчитываются как российские.** MASTERHOST-RU,
+  RD-RU, NETHOUSE-RU, FLEXBE-RU и другие аккредитованные регистраторы зон .ru и .рф шли
+  в отчёт со страной «не определена». Теперь регистратор с окончанием «-RU» — российский.
+
+- **Отчёт говорит о переадресации на другой домен.** pochtabank.ru открывает vtb.ru,
+  ecwid.ru — ecwid.com: хостинг, DNS и почта измерялись у первого домена, а скрипты и
+  страницы — у второго, и отчёт смешивал две компании молча. Теперь в замечаниях сказано,
+  куда ведёт сайт и что этот домен стоит проверить отдельно.
+
+- **База сервисов: NGENIX и региональные адреса.** Сеть NGENIX (AS34879) записана на
+  ООО «Современные сетевые технологии» без слова «ngenix», поэтому aeroflot.ru, kfc.ru,
+  nalog.gov.ru и другие получали «Хостинг: OOO Sovremennye setevye tekhnologii» без
+  замечания, что настоящий хостинг скрыт за CDN. Теперь NGENIX узнаётся как CDN. Узнаются и
+  адреса, которые раньше проходили мимо: HubSpot в регионах (`js-eu1.hs-scripts.com`),
+  `script.hotjar.com`, `static.criteo.com`, виджет Jivo, классическая встроенная карта
+  `maps.google.com/maps?…&output=embed`.
+
+- **Ссылка — не подключённый сервис.** Обычная ссылка в подвале («Мы на YouTube», новость на
+  news.rambler.ru) считалась тем, что сайт этот сервис использует, и могла снизить оценку
+  независимости. Теперь ссылки `<a href>` в расчёт не идут. Исключение — ссылки на формы
+  (Google Forms, Яндекс Формы, Typeform и др.): ответы посетителей уходят туда.
+
+- **Страницы в windows-1251 читаются.** Если сервер не называл кодировку в заголовке
+  `Content-Type`, страница читалась как UTF-8 и превращалась в «��», так что проверки
+  152-ФЗ по тексту и поиск ИНН ничего не находили. Теперь кодировка берётся из
+  `<meta charset>`, а без него текст, который не читается как UTF-8, читается как
+  windows-1251.
+
+- **Капча в форме — не «защита от ботов».** Признаки стены искались во всём коде страницы,
+  и маленький лендинг с reCAPTCHA в форме заявки получал «сайт показал страницу защиты от
+  ботов»: внутренние страницы не читались, заголовки — «не проверено». Теперь слова
+  «captcha», «не робот», «enable javascript» ищутся в том, что видит посетитель (текст и
+  заголовок), а в коде — только метки сервисов защиты (Cloudflare challenge, DDoS-Guard,
+  Qrator, Servicepipe). Ответ 404 или 500 больше не называется защитой от ботов: это ответ
+  самого сайта. На banki.ru и skillbox.ru страница входа, собранная скриптами, раньше
+  считалась стеной (SUV-LAW-001 «не проверено»).
+
+- **Санкции: Васильев находится как Vasilyev.** Мягкий знак и «ё» терялись по-разному:
+  «Васильев» давал vasilev, а Vasilyev и Vasiliev — vasiliev; так же Соловьёв/Solovyov,
+  Воробьев/Vorobyov, Фёдор/Fyodor. Список OFAC только латиницей, и такие руководители
+  получали «совпадений нет». Чистый ответ о санкциях теперь говорит, что учредители и
+  владельцы не сверялись (правило 50% OFAC касается и их).
+
+- **`company` не подменяет компанию и не путает сбой реестра с «не найдена».** Если ЕГРЮЛ
+  возвращал строки без этого ИНН, бралась первая — чужая организация, и по ней шли санкции и
+  возраст. Теперь это «не проверено». Из нескольких строк с одним ИНН (ИП закрылся и
+  зарегистрировался заново) берётся действующая, а не первая — раньше выходило «прекратила
+  деятельность». Ответ ЕГРЮЛ в другом формате и страница реестра операторов ПДн без таблицы
+  результатов (капча, новая вёрстка) — тоже «не проверено», а не «не найдена» (SUV-CO-001,
+  SUV-CO-006).
+
+- **Изменилось поведение: старая копия списков — «не проверено».** Если санкционный список
+  или реестр блокировок не удалось обновить, использовалась копия любой давности, а проверка
+  оставалась «в порядке». Теперь копия старше 14 дней делает чистый ответ «не проверено» с
+  возрастом копии и советом повторить с `--refresh` (SUV-CO-003, SUV-BLK-001…003). Найденное
+  по старой копии по-прежнему показывается. Так же «не проверено», если ЕГРЮЛ не ответил и
+  санкции сверены только по ИНН и ОГРН: у большинства записей в списках реквизитов нет.
+
+- **Причина сбоя написана словами.** Вместо «(HTTPStatusError)», «(ConnectError)» и «DNS lookup
+  … failed: NoNameservers» отчёт и замечания теперь говорят «сервер ответил кодом 503», «нет
+  связи с сервером», «сервер не ответил вовремя», «не удалось установить защищённое
+  соединение», «имя сервера не найдено в DNS». Это касается скачивания списков, WHOIS,
+  главной страницы и политики, ЕГРЮЛ, реестра Роскомнадзора, журналов сертификатов, DNS и
+  `doctor`.
+
+- **Изменилось поведение: «Хранение данных в России» не судит по адресу CDN (SUV-PD-007).**
+  CloudFront отвечает из той же сети Amazon, что и обычный хостинг AWS, поэтому aviasales.ru
+  получал «база за рубежом» и до 6 млн ₽ штрафа по адресу пограничного сервера. Теперь
+  CloudFront узнаётся по заголовкам ответа (`x-amz-cf-id`, `via`), сеть DDoS-Guard в ОАЭ
+  (AS59692) — как его CDN, и такой сайт получает «не проверено: сервер за CDN». Если сервер
+  действительно за рубежом, «проблема» ставится, только когда форма с данными отправляется на
+  сам сайт. Если заявки уходят в другое место, например в российскую CRM, — «внимание».
+
+- **Изменилось поведение: форма без согласия — «внимание», а не «проблема» (SUV-PD-003).**
+  Нужно ли согласие, зависит от цели формы, а её снаружи не видно: для заявки на заключение
+  договора (152-ФЗ, ст. 6 ч. 1 п. 5) или обращения в госорган (п. 2, 59-ФЗ) оно не требуется.
+  Штраф по ст. 13.11 ч. 1 КоАП теперь показан как возможный и в сумму не входит. В ночном
+  прогоне 23.10 «проблема» стояла у 21 сайта, среди них kremlin.ru и pochta.ru.
+
+- **Индивидуальные предприниматели проверяются на санкции.** ИНН ИП искался только среди
+  организаций, хотя в списках ИП — это запись о человеке, а ФИО сверялось вместе с
+  «ИНДИВИДУАЛЬНЫЙ ПРЕДПРИНИМАТЕЛЬ», которое принималось за фамилию и имя. Подсанкционный ИП
+  получал «не найдена». Теперь ИНН ищется и среди людей, а ФИО — без приставки. Если ИП
+  найден по ИНН, проверка лица тоже «проблема», без совета «может быть полный тёзка».
+
+- **Изменилось поведение: санкции по названию больше не дают ложную «проблему».** Названия в
+  России не уникальны: ООО «Арсенал» со своим ИНН получало «Организация в санкционных
+  списках», потому что в них есть LLC ARSENAL с другим ИНН; «Гранит» совпадал с GARANTIYA по
+  согласным. Теперь три уровня. Совпали ИНН или ОГРН — «проблема». Совпало название, а
+  сверить реквизиты нечем — «внимание»: под санкциями бывают и новые юрлица со старым
+  названием. Название совпало, но ИНН или ОГРН у записи другой — это другая организация: она
+  показана в таблице справочно, проверка в порядке. Совпадение названия теперь сверяется по
+  словам целиком, с гласными и цифрами.
+
+- **Изменилось поведение: санкционная проверка не выдаёт неполную сверку за чистую.** Если
+  какой-то список (США, ЕС, Великобритания) не загрузился или разобрался в ноль записей,
+  «не найдена» и «совпадений нет» теперь «не проверено» с перечнем того, что не загрузилось.
+  Ответ с HTML-заглушкой или пустым телом больше не затирает хорошую копию списка в кэше
+  (это касается и реестра блокировок): старая копия остаётся, об этом есть замечание.
+
+- **Реестр блокировок находит сайты в зоне .рф.** Около 7 000 записей реестра записаны
+  кириллицей («01инвест.рф»), а адрес сайта сверялся в punycode, поэтому заблокированный
+  .рф-сайт получал «Домен не заблокирован». Теперь записи переводятся в punycode при чтении.
+
+- **`--json -` и `--sarif -` выводят результат в stdout**, а заголовок и вердикты в это время
+  уходят в stderr: `suveren scan сайт.ru --json - --no-report | jq .overall_grade`. Раньше
+  создавался файл с именем «-». Ошибки теперь всегда идут в stderr, в том числе при `-q` с
+  неверным `--checks`. Если сработали оба порога, `--fail-under` и `--fail-on`, печатаются оба
+  сообщения (код выхода по-прежнему 3). Файл, который не удалось записать, — сообщение с кодом
+  1, а не трассировка.
+
+- **Изменилось поведение: `audit`, `diff` и `--since` проверяют, что им дали отчёт.** Раньше
+  `audit` на отсутствующем файле, на `{}` или на пустой папке писал «✓ Противоречий нет» с
+  кодом 0, `diff` падал с трассировкой на JSON-списке и сравнивал отчёты двух разных сайтов как
+  изменения одного. Теперь это ошибка с причиной и кодом 2; `--since` проверяет файл и сайт
+  до начала проверки. Чужие JSON-файлы в папке `batch` по-прежнему пропускаются молча.
+
+- **Изменилось поведение: `batch` честно говорит о пропусках.** Если хотя бы один сайт не
+  проверен, код выхода теперь 1 (отчёты по остальным записаны). Раньше был 0, даже когда не
+  проверился ни один. Строка, которая не похожа на домен, больше не обрывает весь список: она
+  пропускается с номером («пропущена строка 7: …»). Непроверенные сайты теперь есть и в
+  `summary.csv`, с причиной в новой последней колонке `error`.
+
+- **Изменилось поведение: `company` не выдаёт сбой реестра за «не найдена».** Если ЕГРЮЛ или
+  реестр операторов ПДн Роскомнадзора не ответил, проверка теперь «не проверено» с советом
+  повторить позже. Раньше без сети Сбербанк получал «✗ Организация с такими реквизитами не
+  найдена» под плашкой «ЕСТЬ ПРОБЛЕМЫ» и «в реестре не найдена», а причина была только в
+  замечаниях.
+
+- **Изменилось поведение: недоступный сайт больше не получает A.** Если страницу сайта увидеть
+  не удалось (ничего не пришло, стена от ботов или страница ошибки вместо неё), скрипты и
+  виджеты не проверены. Теперь обе оценки, общая и независимость, не выше B, отчёт помечен
+  «неполная» (в JSON — `overall_incomplete` и новое `facts.page_unseen`, схема 1.5), а в
+  замечаниях сказано почему. Раньше сайт, до которого не дошли запросы, получал в `--quick`
+  A 100/100, и `--fail-under A` его пропускал. Тонкая страница, собранная скриптами, по-прежнему
+  считается увиденной: её скрипты есть в коде. В ночном прогоне 23.10 из 289 сайтов таких было
+  94 (из-за стен от ботов и зарубежного IP), у 67 из них независимость была A.
+
+- **Политика и реальность (SUV-PD-011) сравнивает больше.** Раньше проверка ловила только
+  категоричные фразы («не передаём третьим лицам»). Теперь ещё:
+  - **Чужая политика.** Политика говорит о другом сайте и ни разу не называет этот, или
+    оператор в ней с другим ИНН, чем в реквизитах сайта. Так бывает и в группе компаний: на
+    drom.ru политика ООО «Фарпост» ссылается на правила farpost.ru, на litres.ru оператор —
+    другое юрлицо группы. Поэтому вердикт «проверьте», а не «нарушение».
+  - **Данные из форм не в перечне.** Форма просит телефон, почту или имя, а в перечне данных
+    политики их нет. Перечень для каждой цели обязателен по ст. 18.1 ч. 1 п. 2 152-ФЗ
+    (текст сверен на consultant.ru). Если перечня нет совсем, об этом говорит «Содержание
+    политики».
+  - **Cookies.** На сайте счётчики, а политика о cookies и веб-аналитике молчит, и отдельной
+    политики cookies нет (ссылка из баннера на ту же политику не считается).
+
+  Полигон вырос до 79 случаев, все совпадают. В корпусе три новых «внимания» (drom.ru,
+  litres.ru, netology.ru), каждое сверено с текстом политики.
+- **Доказательство к каждой находке.** Под проблемой в HTML-отчёте раскрывается то, на чём
+  основан вывод, как его увидел Suveren:
+  - почта: записи SPF, DMARC, DKIM, MX, MTA-STS и TLS-RPT;
+  - веб: заголовки ответа (пустые, если их нет), cookies с флагами, сертификат, адреса
+    сторонних скриптов и скриптов без integrity, адрес скрипта с уязвимой версией,
+    замаскированный ключ из кода;
+  - 152-ФЗ: формы с полями и согласием рядом, цитаты из соглашений, адрес политики, сервисы и
+    их адреса;
+  - вход через иностранные сервисы, CNAME поддоменов, записи реестра блокировок, запросы с
+    данными из форм, отключённые в эксперименте `--cutoff` хосты.
+
+  В JSON у каждой проверки поле `evidence` (схема 1.4), в SARIF — `properties.evidence`. На
+  полигоне и в корпусе доказательство есть у каждой «проблемы» и «внимания» (36 из 36 в
+  корпусе); тест следит, чтобы так и осталось.
+- **Эксперимент `--form-leaks`: утекают ли данные из форм до отправки (SUV-PD-012).** В
+  браузере в поля имени, телефона, почты и пароля печатаются тестовые значения, форма не
+  отправляется, а во всём, что страница шлёт (запросы, маяки, WebSocket, а также то, что
+  уходит при закрытии вкладки), ищутся эти значения: открытым текстом, в base64, в gzip и как
+  хеши MD5, SHA-1, SHA-256. Так работают запись сессий, «ловцы брошенных заявок» и рекламные
+  пиксели с автоматическим сопоставлением. Методика — Leaky Forms (USENIX Security 2022).
+  Пароль у стороннего сервиса или данные у иностранного — «проблема», у российского —
+  «внимание»: до отправки согласия нет, а без него раскрывать данные третьим лицам и поручать
+  им обработку нельзя (152-ФЗ, ст. 7 и ст. 6 ч. 3, текст сверен на consultant.ru). Запускается
+  только своим флагом. Почта на `example.com`, у телефона несуществующий код 100, а номер,
+  который маска поля превратила в другой, стирается до выхода из поля, чтобы «ловец заявок» не
+  передал менеджеру чужой настоящий номер. Если маска принимает только номера на 9, отчёт так
+  и говорит, а на своём сайте можно указать свой номер: `--form-phone`. Проверка на локальных
+  страницах и прототип на 22 сайтах — в `docs/accuracy.md`. Там же сказано, чего эксперимент не
+  видит (Вебвизор Метрики, iframe, зашифрованное).
+- База сервисов: Carrot quest распознаётся и по домену API `api.carrottrack.app`.
+- **Проверка «как безопасник» (блок 1b).** Каждая проверка сверена со стандартом (RFC 7208,
+  7489, 8461, 6797, 8996, OWASP Secure Headers, текст 152-ФЗ и КоАП), с Mozilla Observatory и
+  SSL Labs и с ревью двух независимых агентов. Полигон из 65 синтетических сайтов
+  (`tests/lab.py`) держит ответы. До блока Suveren верно отвечал на 40 из 65 случаев, теперь на
+  все. Методика и таблицы — в `docs/accuracy.md` и `docs/standards-review.md`. Главное:
+  - TLS: сертификат проверяется так же, как в браузере (корни Mozilla). Недоверенный,
+    самоподписанный или выписанный на другое имя — FAIL; НУЦ Минцифры — WARN; недостающий
+    промежуточный сертификат отличается от неизвестного корня через AIA.
+  - Почта: MTA-STS читается так же, как это делают отправители, и MX сверяются с политикой;
+    SPF считается по RFC: include в каждом вычислении, цепочки redirect, пустые ответы, ptr;
+    DMARC `pct=0` понижает политику.
+  - Веб: повторяющиеся заголовки, несколько CSP, `frame-ancestors *`, повтор HSTS
+    (bi.zone), `ALLOW-FROM`. Строка заголовка PEM без ключа и идентификатор AWS без секрета
+    больше не считаются утечкой секрета.
+  - 152-ФЗ: битая ссылка на политику, галочка рассылки вместо согласия, ссылка «Политика
+    cookie» вместо уведомления, ИНН рекламодателя из маркировки, согласие вместе с
+    рекламной рассылкой, трансграничная передача по получателю (ст. 3 п. 11), а не по стране
+    сервера.
+- **Сверка почты с internet.nl** (8 доменов, `docs/accuracy.md`): DKIM при неизвестном
+  селекторе определяется по узлу `_domainkey` (с защитой от зон, где существует любое имя), а
+  DMARC предупреждает, если отчёты уходят на чужой домен без его записи `_report._dmarc`
+  (RFC 7489, 7.1). Совпадение с internet.nl выросло с 14 до 18 из 21; три оставшихся
+  расхождения — Suveren строже нарочно.
+- **`--cutoff`: режим зависания.** Четвёртый прогон в браузере: запросы к иностранным сервисам
+  остаются без ответа, как при блокировке с потерей пакетов. Отчёт говорит по факту, а не по
+  разметке: нарисовал ли браузер хоть что-то за 10 секунд (first-contentful-paint) и загрузилась
+  ли страница. habr.com и vc.ru из-за Google Fonts в `<head>` остаются пустыми; lenta.ru и
+  rbc.ru открываются.
+- **Отзыв сертификата (SUV-WEB-008):** OCSP-сервер удостоверяющего центра, а если его нет (Let's
+  Encrypt с 2025 года) — список отзыва (CRL) с проверкой подписи. Отозванный сертификат — FAIL;
+  revoked.badssl.com теперь найден. Запросы идут к удостоверяющему центру, не к сайту.
+- **Неполная оценка.** Если раздел не проверился целиком (страница не открылась, DNS не
+  ответил, журналы сертификатов недоступны), его проблемы пропадали, и общая оценка росла:
+  economy.gov.ru из B 77 стал B 89. Теперь отчёт пишет «оценка неполная, не проверены: …» под
+  оценкой, в сводке batch, в CSV и в JSON (`overall_incomplete`, схема 1.3), а ночной прогон
+  не выдаёт такой рост за улучшение.
+- **Ночной прогон** ждёт сеть после пробуждения ноутбука, ходит только в российский DNS
+  (`batch --dns ru`) и работает на снимке последнего коммита, а не на рабочей копии. Неудачная
+  проверка DNS повторяется через две минуты, а не запоминается до конца прогона: из-за этого
+  в ночь на 23.10 имена всех сайтов ушли в Google DoH.
+- Фраза «вы предоставляете согласие на обработку» в форме снова считается согласием
+  (ложный FAIL на cloudpayments.ru).
+- **ИНН владельца сайта** находится точнее: если других реквизитов нет, засчитывается
+  маркировка рекламы самой компании (metro-cc.ru, megafon.ru: имя рекламодателя совпадает с
+  доменом, отчёт так и пишет); ИНН «партнёра» из документа не берётся (rbc.ru); в политике
+  оператор — тот, кто назван первым, а не тот, кто упомянут чаще (kp.ru, hh.ru).
+- DMARC: `v=dmarc1` строчными — предупреждение: по RFC 7489 (6.3) значение должно точно
+  совпадать с `DMARC1`, иначе строгие получатели игнорируют запись.
+- **Стабильность от прогона к прогону.** Проверка TLS больше не пропадает из отчёта, если
+  одно соединение не удалось (повтор, затем «не проверено»; самоаудит ловит такую пропажу).
+  Внутренние страницы выбираются по одной каждого вида, поэтому меняющиеся карточки и
+  свежие новости не съедают весь бюджет (fl.ru). Страница, которая не ответила вовремя,
+  запрашивается ещё раз, а политика, которая так и не открылась, — «не проверено», а не
+  предупреждение. Ответ 404 на странице политики запрашивается дважды.
+- Несуществующий адрес (поддомен с NXDOMAIN) — ошибка «адреса нет», а не оценка по данным
+  родительского домена (solar.rt.ru получал B 89).
+- **Безопасность самого инструмента:** ссылка `javascript:` со сканируемой страницы больше не
+  попадает в отчёт (фильтр `web_url`, тест с вредоносными данными). Добавлен `SECURITY.md` с
+  моделью угроз.
+- JSON-отчёт описан схемой `src/suveren/data/report.schema.json` (`schema_version` 1.0).
+- `tools/update_vulns.py` сверяет `vulns.json` с NVD; добавлена CVE-2025-13465 (lodash).
+- mypy без ошибок и шаг mypy в CI; покрытие тестами 90% (CI падает ниже), сквозные офлайн-тесты
+  команд `scan`, `batch`, `company`, `doctor`, `update`. Пакетный режим больше не падает, если
+  реестр блокировок не скачался.
+- **Плагины:** `--plugin файл.py` подключает свои проверки (как NSE в Nmap), пример — проверка
+  `security.txt` по RFC 9116, руководство — `docs/plugins.md`. JSON-схема 1.1.
+- Релиз: SBOM (CycloneDX), `SHA256SUMS.txt` и подписанное через Sigstore происхождение сборки.
+- Скриншот-тесты отчёта (светлая и тёмная тема, телефон); на телефоне широкие таблицы
+  прокручиваются, а не сжимаются в столбик.
+- `scan --since прошлый.json` — раздел «С прошлой проверки» в терминале, HTML и JSON (схема 1.2);
+  `diff` сравнивает проверки по ID. `scan -q` — тихий режим для CI, автодополнение в оболочке
+  (`--install-completion`), `summary.jsonl` в пакетном режиме.
+- Внутренние страницы с формами (контакты, заказ, корзина) находятся и через sitemap.
+- `tools/check_services.py` сверяет базу сервисов с DNS; обновлены названия владельцев сетей
+  Vultr и VK.
+- Ночной прогон: повтор запроса владельца IP; если журналы сертификатов недоступны, берётся
+  сохранённый список поддоменов не старше 14 дней.
+- `suveren audit` проверяет отчёты на противоречия: «в порядке» с тревожным текстом, проблема
+  без совета, пропавший раздел, проверки, которые спорят друг с другом. Тесты прогоняют его
+  по всему золотому корпусу.
+- **Лицензия:** с версии 1.1 — GNU AGPL-3.0-or-later, автор — marsilid (файл COPYRIGHT).
+  Любая изменённая версия, в том числе работающая как сервис, должна быть открыта; для
+  закрытых продуктов есть коммерческая лицензия. Версии до 1.0.x остаются под MIT.
+- HTML-отчёт: под оценкой — пять плиток (проблемы, внимание, штрафы, сценарии атак, что будет без
+  иностранных сервисов), каждая ведёт к своему разделу; липкое оглавление со счётчиками проблем и
+  предупреждений; палитра как в терминале (бирюзовый акцент, зелёный, жёлтый, красный) в светлой
+  и тёмной теме.
+- DNS- и почтовый сервер с неизвестным именем на известной сети подписывается честно:
+  «dyna-ns.net (на сети Cloudflare)», а не «Cloudflare»; DNS Dynadot добавлен в базу.
+- Домену, который не отправляет почту, советуют сразу DMARC p=reject и SPF -all, без
+  «режима наблюдения» и без пугалки про спам.
+- «Что сделать в первую очередь» без повторов: вердикт о почте, SPF, DMARC и сценарий фишинга
+  дают один пункт; сценарий атаки уступает конкретной проверке.
+- HTML-отчёт: сценарии атак сразу после «Что сделать», замечания в конце, блок штрафов без
+  красной рамки, если штрафов нет, скриншоты «до/после» только когда что-то отключали.
+- Новый вид терминала. Вместо ASCII-баннера шапка в одну строку (версия, сайт, профиль), одна
+  спокойная палитра без случайной подсветки чисел, этапы с итоговым временем, итоговая панель
+  (оценка, страны, счётчики статусов, штрафы, сценарии атак), разделы с тонкой линией и
+  счётчиками, ID проверок справа, в конце — файлы и «Что сделать первым». Меню сгруппировано
+  (проверка / данные / сервис) с подсказками к каждому пункту. Версия — 1.1.0.
+- В режиме `--browser` заголовки безопасности и флаги cookies берутся из ответа, который получил
+  браузер, если обычный запрос упёрся в защиту от ботов: CSP, HSTS и заголовки больше не
+  «не проверено» на таких сайтах.
+- Санкционная проверка руководителя учитывает отчество: запись списка с тем же именем, но другим
+  отчеством (в списках оно обычно есть) больше не считается совпадением; совпадение по полному
+  ФИО отмечено отдельно.
+- База сервисов пополнена по данным живых проверок (`suveren unknown`): Hybrid, Aidata,
+  UXFeedback, счётчик Mediascope, СберМаркетинг; Adfox распознаётся на всех своих доменах,
+  Яндекс Метрика — и по Вебвизору. Всего 200 сервисов.
+- Сигнатуры захвата поддоменов вынесены в `src/suveren/data/takeover.json` с источником,
+  лицензией и датой сверки; загруженные совпадают с прежними до символа (42 сервиса).
+- «Цепочки сторонних скриптов» (`SUV-WEB-011`, режим `--browser`): браузер сообщает, какой скрипт
+  подключил какой, и отчёт показывает код, который выбрал не владелец сайта, а чужие скрипты,
+  со схемой цепочек (inline SVG). На skillbox.ru 18 из 22 сторонних компаний подключены так.
+- Документация по каждой проверке: `docs/checks.md` (ID, что проверяет, модуль, теги) создаётся
+  командой `suveren checks --markdown`; тест следит, чтобы она не отставала от кода.
+- Меню (exe): при проверке сайта можно выбрать глубокую проверку с экспериментом отключения и
+  сохранить PDF.
+- `--pdf` в `scan` и `company`: отчёт в PDF (A4) через браузер Playwright, блоки «Как
+  переехать» раскрыты, карточки не разрываются между страницами.
+- Отчёты под брендом студии: `--brand-name`, `--brand-logo`, `--brand-url` в `scan`, `batch` и
+  `company` (или переменные `SUVEREN_BRAND_*`) — название и логотип в шапке, ссылка в подвале;
+  строка «Сделано с помощью Suveren» остаётся.
+- План миграции: у каждой иностранной зависимости в HTML-отчёте — блок «Как переехать» (шаги,
+  российские альтернативы, сложность и ориентир по стоимости без цен), в конце отчёта —
+  «План переезда», отсортированный по принципу «опаснее и проще — раньше». В JSON — поле
+  `migration`. Данные для всех 19 категорий — в `src/suveren/data/migration.json`.
+- Новая проверка «Уязвимые версии библиотек» (`SUV-WEB-010`): jQuery, jQuery UI, Bootstrap,
+  lodash, Moment.js и AngularJS с явно указанной версией (имя файла, путь CDN, заголовок
+  библиотеки) сверяются с 12 CVE из NVD (диапазоны версий из API NVD, 20.10.2026) и с концом
+  поддержки AngularJS 1.x. Версии не угадываются; статус — «внимание». База — в
+  `src/suveren/data/vulns.json`. Живой прогон нашёл старые jQuery на drom.ru (1.12.4),
+  kontur.ru (1.11.3) и skillbox.ru (3.4.1 внутри бандла).
+- Раздел «Сценарии атак» в начале отчёта (`SUV-ATK-001`…`006`): находки разных модулей
+  складываются в цепочки — фишинг от имени компании, чужой код у всех посетителей, захват
+  поддомена, перехват при первом заходе, утёкший ключ, отключение сайта и почты. Сценарий
+  появляется, только если найдены все звенья; шаги ссылаются на ID проверок, совет называет
+  одно действие, которое рвёт цепочку.
+- Новая проверка «Ключи и секреты в коде сайта» (`SUV-WEB-009`): собственные скрипты сайта
+  (до 15) и скрипты внутри страниц ищутся по форматам ключей провайдеров. Секрет, который не
+  должен попадать в браузер (приватный ключ, токен Telegram-бота, ключи AWS, Stripe, GitHub,
+  Slack, SendGrid, OpenAI, Anthropic, Яндекса), — «проблема» с советом отозвать ключ; ключ
+  Google API — «внимание». Значения маскируются, заглушки вида `your-key` не срабатывают.
+  Библиотеки с чужих CDN не читаются. На 14 крупных сайтах ложных срабатываний нет.
+- **Эксперимент «Что сломается при отключении» (`scan --cutoff`, входит в `--profile deep`).**
+  Сайт открывается в браузере как обычно, без иностранных сервисов и снова как обычно;
+  отчёт показывает два скриншота и что перестало работать: новые ошибки JavaScript, пропавшие
+  кнопки и встроенные блоки, формы с иностранной капчей, картинки, шрифты, пропавший текст,
+  изменение первого экрана сверх обычного шума. Ресурсы в `<head>`, из-за которых при зависшем
+  сервисе страница останется белой, перечислены отдельно. Проверка уровня инфраструктуры
+  показывает, отключат ли иностранные DNS, хостинг, CDN или почта сайт целиком. Новые ID:
+  `SUV-CUT-001`, `SUV-CUT-002`.
+- Ядро проверок. У каждой проверки постоянный ID (`SUV-MAIL-003`, `SUV-LAW-001`…), раздел,
+  теги и описание в каталоге `catalog.py`; ID есть в HTML-отчёте, JSON (поле `id`) и SARIF.
+  Иностранные зависимости получили ID по категории (`SUV-DEP-HOSTING`). Штрафы привязаны к ID
+  проверок, а не к их названиям.
+- База сервисов вынесена из кода в файл данных `src/suveren/data/services.json`: чтобы
+  добавить сервис, не нужно знать Python, каждую запись проверяет тест. Загруженная база
+  совпадает с прежней до символа (195 сервисов).
+- `suveren checks [ID или тег]` — список всех проверок, как `nmap --script-help`.
+- `scan` и `batch`: `--checks` (только выбранные проверки по ID, префиксу или тегу; запускаются
+  только нужные модули) и `--profile quick|standard|deep` (deep — браузер и до 12 страниц).
+- `scan --sarif файл` — результат в SARIF 2.1.0 для GitHub/GitLab code scanning и DefectDojo.
+- `scan --fail-on fail|warn` — код выхода 4, если есть проверки с таким статусом (для CI).
+- В `summary.csv` у `batch` новая колонка штрафов добавлена в конец, порядок старых не изменился.
+- Вход через иностранные сервисы: статьи справки (`/help/login/google`), страницы авторов
+  (`/authors/?provider=google`) и кнопки «Apple Pay» / «Google Pay» больше не считаются входом;
+  если «Войти» ведёт на чужой домен (Яндекс ID, корпоративный SSO), его кнопки и ссылка на
+  политику не приписываются сайту.
+- Согласие считается «не отдельным», только если оба документа в одной фразе: список
+  документов в подвале и два отдельных чекбокса — не нарушение.
+- Штрафы для ИП по ст. 13.11 ч. 8 и ч. 10 считаются как для юрлица (примечание 1 к ст. 13.11).
+- Эталонный корпус (`tests/golden.py`): реальные сайты записываются байт в байт и
+  прогоняются офлайн при каждом изменении; тест показывает, где поменялись выводы. Хранится
+  только локально. Первый прогон на 20 сайтах нашёл три ложные «проблемы», исправлены ниже.
+- Политика ищется и на странице со списком документов («Правила и лицензии», «Документы»,
+  «Договоры»), если прямой ссылки нет: у beget.com из-за этого была ложная «проблема» со
+  штрафом. Ссылки оглавления на саму страницу пропускаются, берётся сам документ (PDF).
+- Номер подарочной карты, промокод и код из СМС в поле `tel` больше не считаются
+  персональными данными (vkusvill.ru); решает имя поля, а не CSS-классы.
+- Первый шаг многошаговой формы без согласия («Отправим СМС… Продолжить») — «внимание», а не
+  «проблема»: согласие может быть на следующем шаге, которого нет в HTML (profi.ru, sravni.ru).
+
+- Калькулятор штрафов: над разделом 152-ФЗ — «Потенциальные штрафы: до N ₽» со статьёй КоАП
+  и вилкой для юрлица, ИП, должностного лица и при повторном нарушении. В сумму входят
+  найденные проблемы (ст. 13.11 ч. 1, 3 и 8, ст. 13.55) с условием, если оно есть;
+  предупреждение о реестре операторов (ч. 10) показано, но не суммируется.
+  В терминале одна строка с итогом, в JSON поле `fines`. Суммы сверены с КоАП в ред. от
+  04.08.2026. Это оценка максимального риска, а не юридическое заключение.
+- Ссылка на политику и согласие ищутся и на странице входа: у drom.ru политика есть только там.
+- Страница входа, которая оказалась заглушкой защиты от ботов (drom.ru перенаправляет на
+  /verify), не считается проверенной: вход через иностранные сервисы — «не проверено».
+- «Содержание политики» сверяется с рекомендациями Роскомнадзора от 31.07.2017 (10 разделов
+  вместо 4 ключевых слов) и показывает, каких не хватает. Если по ссылке на политику пришла
+  оболочка сайта без её текста, проверка пишет «не проверено», а не «нет 11 разделов».
+- Новая проверка «Отдельное согласие на обработку» (152-ФЗ, ст. 9 ч. 1 в ред. 156-ФЗ, с
+  1 сентября 2025 года): согласие, объединённое в одной фразе с офертой, пользовательским
+  соглашением или правилами сайта, и «использование сайта означает согласие на обработку» в
+  политике или соглашении. Текст формы теперь делится на отдельные подписи, чтобы два
+  соседних чекбокса не читались как одна фраза.
+- Новый раздел «Другие требования законов» и в нём проверка «Вход через иностранные сервисы»
+  (149-ФЗ, ст. 8 ч. 10 в редакции 406-ФЗ; штраф по ст. 13.55 КоАП с 7 июля 2026 года). Ищутся
+  OAuth-ссылки, собственные адреса входа сайта (`/auth/google`), виджеты (Google One Tap, «Вход
+  с Apple», Telegram Login, uLogin) и надписи на кнопках, в том числе на странице «Войти» /
+  «Личный кабинет», которая теперь тоже открывается. VK ID, Яндекс ID, Госуслуги, Сбер ID и
+  Т-ID отмечаются как разрешённые способы. Обычные ссылки на Google, App Store, каналы в
+  соцсетях и тексты статей не срабатывают.
+- Новый раздел «Безопасность сайта»: сторонние скрипты, скрипты с брошенных (подтверждается
+  через RDAP/WHOIS) и скомпрометированных доменов (polyfill.io и связанные с ним), SRI для
+  библиотек с публичных CDN, CSP, HSTS, защитные заголовки, флаги сессионных cookies, срок
+  сертификата и устаревшие TLS 1.0/1.1. Заголовки заглушек защиты от ботов и чужих доменов
+  после перенаправления не оцениваются. Отключается `--no-security`.
+- Пример SPF-записи в совете подбирается по почтовому провайдеру домена (Google Workspace,
+  Яндекс 360, VK WorkSpace, Microsoft 365, хостинги и др.), а не всегда для Яндекс 360.
+- Новый раздел «Поддомены»: список поддоменов из журналов сертификатов (crt.sh, запасной
+  источник — Cert Spotter, кэш на сутки) и поиск возможного захвата: CNAME на свободный домен
+  (подтверждается через RDAP/WHOIS), на удалённый облачный ресурс или на сервис, который
+  отвечает «такого проекта нет» (сигнатуры can-i-take-over-xyz). Отключается
+  `--no-subdomains`, в `doctor` добавлена проверка crt.sh.
+- Новый раздел «Защита почты от подделки»: можно ли подделать письмо от имени домена
+  (да / частично / нет) по DMARC, плюс проверки SPF (одна запись, `+all`/`?all`, лимит в 10
+  DNS-запросов по всей цепочке `include`), DMARC (`p`, `sp`, `pct`, `rua`), DKIM по
+  распространённым селекторам, MTA-STS и TLS-RPT. Работает в `scan` и `batch`, отключается
+  `--no-mail`.
+- Одинаковые советы от разных проверок показываются в списке «что сделать» один раз.
+- DNS: если системный DNS отвечает неполно, используется Яндекс DNS по защищённому каналу
+  (DNS-over-TLS), а не Google и Cloudflare. Зарубежный DoH — только последний вариант, и отчёт
+  об этом прямо пишет. `--dns ru` вообще не отправляет запросы за рубеж.
+- Оценка больше не «прыгает» между запусками: у DNS- и почтовых серверов с несколькими
+  адресами учитываются все их сети, а не случайный первый адрес.
+- Сервисы ищутся в тегах и скриптах страницы, а не в её тексте: статья, где упомянут
+  googletagmanager.com, или закомментированный тег больше не считаются зависимостью.
+- Собственная сеть компании (например, почта Хабра на Habr Europe OU) показывается как
+  «Собственная сеть» с низким риском, а не как иностранный провайдер.
+- GitHub Actions закреплены по SHA коммитов, обновления предлагает Dependabot.
+- `suveren doctor --abroad`: при запуске не из России недоступные ЕГРЮЛ и реестр операторов
+  ПДн помечаются «не проверен», а не ошибкой. Ежедневная проверка источников на GitHub больше
+  не падает из-за того, что госсайты не отвечают зарубежным серверам.
+
+## 1.0.0 — 2026-10-06
+
+Первый публичный выпуск.
+
+### Проверка сайта (`scan`)
+
+- Зависимости от иностранных DNS, почты, хостинга, CDN, конструкторов сайтов и CMS,
+  регистратора, доменной зоны, SSL-сертификата и скриптов на странице по базе из 180+ сервисов.
+- Оценка независимости от A до F, список «что сделать в первую очередь», российские альтернативы,
+  учёт резервирования.
+- Пометки о сервисах, заблокированных или не работающих в России, и о скомпрометированном
+  polyfill.io.
+- 152-ФЗ: политика обработки ПДн и её содержание (с запасным поиском в пользовательском
+  соглашении), согласие в формах, cookies, трансграничная передача, локализация, HTTPS,
+  реестр операторов ПДн по ИНН с сайта.
+- Реестр блокировок Роскомнадзора: домен и IP-адреса.
+- Режим `--browser`: сайт открывается в установленном Edge или Chrome, учитываются все
+  сетевые запросы страницы.
+- Распознавание страниц-заглушек защиты от ботов и пустых JS-оболочек: вместо ложных ошибок
+  проверки помечаются как «не проверено».
+- Обход внутренних страниц (`--pages`, по умолчанию 6): «Контакты», заявки, корзина, доставка
+  проверяются в первую очередь; сервисы и формы с них попадают в отчёт с указанием страницы.
+- Поддержка сертификатов НУЦ Минцифры.
+- `--quick`, `--details`, `--fail-under`, `--json`, сравнение двух проверок командой `diff`.
+
+### Массовая проверка (`batch`)
+
+- Список сайтов из файла, параллельная проверка, сводный `index.html`, `summary.csv` и отчёт по
+  каждому сайту.
+
+### Проверка компании (`company`)
+
+- Данные ЕГРЮЛ/ЕГРИП по ИНН, ОГРН или домену: статус, возраст, руководитель.
+- Скрининг компании и руководителя по санкционным спискам США, ЕС и Великобритании с учётом
+  транслитерации.
+- Сверка ИНН на сайте с владельцем домена в WHOIS.
+- Команда `update` для обновления списков; кэш на сутки.
+
+### Прочее
+
+- `Suveren.exe` для Windows: работает без Python, двойной клик открывает меню; собирается
+  автоматически при выпуске версии.
+- `suveren menu`, `suveren doctor` (проверка источников, ежедневно в CI), `suveren unknown`
+  (домены, которых нет в базе).
+- У каждой проверки 152-ФЗ указана статья закона со ссылкой на текст; формулировки смягчены
+  там, где вывод основан на признаках.
+- Шаблоны issue «Добавить сервис» и «Ошибка».
+
+- Новый вывод в терминале: сводная панель, этапы проверки с временем, компактные разделы.
+- HTML- и JSON-отчёты, тёмная и светлая тема.
+- `Suveren.bat` — меню для Windows без командной строки, `Dockerfile`.