@operstack/audit 0.18.1 → 0.19.1

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.18.1",
+  "version": "0.19.1",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",
@@ -28,7 +28,7 @@
     "LICENSE"
   ],
   "scripts": {
-    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-rendered.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html",
+    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html",
     "sample": "node bin/audit.mjs render examples/sample-audit.json --pdf",
     "verify:live": "node src/verify-live.mjs"
   },

package/src/collect.mjs

@@ -659,10 +659,15 @@ export function verifyScores(audit) {
    * давать в сумме ровно заголовок. Ровно это и защищает от числа, взятого с потолка.
    */
   if (audit.overall && audit.overall.score !== undefined && audit.overall.score !== null && Array.isArray(audit.overall.areas) && audit.overall.areas.length) {
-    const sum = audit.overall.areas.reduce((acc, x) => acc + (Number(x.score) || 0), 0);
-    if (sum !== audit.overall.score) problems.push(`overall: the report says ${show100(audit.overall.score)}, its own five areas add up to ${sum}`);
-    const max = audit.overall.areas.reduce((acc, x) => acc + (Number(x.max) || 0), 0);
-    if (max !== 100) problems.push(`overall: the five areas are out of ${max}, not 100`);
+    // Неизмеренная область (robots.txt не прочитался) из суммы выпадает, а балл переносится на
+    // сто по измеренному. Сходимость проверяется той же арифметикой, что его посчитала.
+    const measured = audit.overall.areas.filter((x) => x.measured !== false && x.score !== null);
+    const sum = measured.reduce((acc, x) => acc + (Number(x.score) || 0), 0);
+    const max = measured.reduce((acc, x) => acc + (Number(x.max) || 0), 0);
+    const expected = max === 100 ? sum : (max > 0 ? Math.round((sum / max) * 100) : null);
+    if (expected !== audit.overall.score) problems.push(`overall: the report says ${show100(audit.overall.score)}, its own measured areas give ${expected === null ? 'nothing' : show100(expected)} (${sum} of ${max})`);
+    const all = audit.overall.areas.reduce((acc, x) => acc + (Number(x.max) || 0), 0);
+    if (all !== 100) problems.push(`overall: the five areas are out of ${all}, not 100`);
   }
 
   // Балл по проверкам самого отчёта это отдельное измерение, и он пересчитывается из checks.

package/src/render.mjs

@@ -37,7 +37,12 @@ const LABELS = {
       const where = o.source === 'visibility:reused'
         ? `This is the same figure you already saw on the free check${o.measuredAt ? ` on ${String(o.measuredAt).slice(0, 10)}` : ''}. It is not measured again here, so the page, the email and this report always carry one number. `
         : 'Measured here by the same code and the same settings as the free check at oper-stack.com/ai-visibility. ';
-      return `${where}${read}The five areas below add up to it exactly, so you can recompute it by hand. Running the check again can move it by a point or two: a check that answers in time on one run may not on the next, and this score never counts against a site what it could not read.`;
+      const areas = Array.isArray(o.areas) ? o.areas : [];
+      const measured = areas.filter((a) => a.measured !== false && a.score !== null);
+      const sumUp = areas.length && measured.length < areas.length
+        ? `Of the five areas below, ${measured.length} could be measured; they add up to ${measured.reduce((t, a) => t + a.score, 0)} out of ${measured.reduce((t, a) => t + a.max, 0)}, and the score is that same share carried to 100. An area marked not measured is not counted for or against the site. `
+        : 'The five areas below add up to it exactly, so you can recompute it by hand. ';
+      return `${where}${read}${sumUp}Running the check again can move it by a point or two: a check that answers in time on one run may not on the next, and this score never counts against a site what it could not read.`;
     },
     secondMeasure: 'A second, separate measurement: how this report scores its own checks',
     secOverview: 'Site overview', overviewEyebrow: '02 · Overview', whatSiteIs: 'What the site is', parameter: 'Parameter', value: 'Value', pagesSampled: 'Pages sampled', colUrl: 'URL', colTitle: 'Title', colWords: 'Words',
@@ -72,7 +77,12 @@ const LABELS = {
       const where = o.source === 'visibility:reused'
         ? `Это ровно то число, которое вы уже видели в бесплатной проверке${o.measuredAt ? ` ${String(o.measuredAt).slice(0, 10)}` : ''}. Здесь оно не меряется заново, поэтому страница, письмо и этот отчёт всегда несут одно число. `
         : 'Измерено здесь тем же кодом и с теми же настройками, что у бесплатной проверки на oper-stack.com/ai-visibility. ';
-      return `${where}${read}Пять областей ниже дают в сумме ровно этот балл, его можно сложить руками. Повторная проверка может дать на пункт-другой иначе: проверка, которая успела ответить в один прогон, может не успеть в следующий, а балл никогда не засчитывает сайту в минус то, что не удалось прочитать.`;
+      const areas = Array.isArray(o.areas) ? o.areas : [];
+      const measured = areas.filter((a) => a.measured !== false && a.score !== null);
+      const sumUp = areas.length && measured.length < areas.length
+        ? `Из пяти областей ниже измерены ${measured.length}, они дают ${measured.reduce((t, a) => t + a.score, 0)} из ${measured.reduce((t, a) => t + a.max, 0)}, и балл это та же доля, перенесённая на сто. Область с пометкой «не измерялось» не зачтена ни в плюс, ни в минус. `
+        : 'Пять областей ниже дают в сумме ровно этот балл, его можно сложить руками. ';
+      return `${where}${read}${sumUp}Повторная проверка может дать на пункт-другой иначе: проверка, которая успела ответить в один прогон, может не успеть в следующий, а балл никогда не засчитывает сайту в минус то, что не удалось прочитать.`;
     },
     secondMeasure: 'Второе, отдельное измерение: как этот отчёт оценивает собственные проверки',
     secOverview: 'О сайте', overviewEyebrow: '02 · Обзор', whatSiteIs: 'Что это за сайт', parameter: 'Параметр', value: 'Значение', pagesSampled: 'Проверенные страницы', colUrl: 'Адрес', colTitle: 'Заголовок', colWords: 'Слов',
@@ -128,8 +138,11 @@ export function overallSummary(overall, { lang = 'en' } = {}) {
     grade: (L.grades && L.grades[overall.grade]) || overall.grade,
     note: L.overallNote(overall),
     areas: (Array.isArray(overall.areas) ? overall.areas : []).map((x) => ({
-      id: x.id, label: (x.id && names[x.id]) || x.label, score: x.score, max: x.max,
+      id: x.id, label: (x.id && names[x.id]) || x.label,
+      // Неизмеренная область несёт null, а не ноль: ноль это утверждение, что там плохо.
+      score: x.measured === false ? null : x.score, max: x.max, measured: x.measured !== false,
     })),
+    notMeasured: L.notMeasured,
     secondMeasure: L.secondMeasure,
     secondMeasureFoot: L.scorecardFoot.replace(/<\/?strong>/g, ''),
   };
@@ -250,7 +263,7 @@ export function toHtml(audit, brand = null) {
     <div class="overall-side"><div class="overall-label">${esc(head.label)}</div>
       <div class="overall-grade">${esc(head.grade)}</div>
       <div class="overall-note">${esc(head.note)}</div></div></div>`
-    + (head.areas.length ? `<table class="areas"><tr>${head.areas.map((x) => `<th>${esc(x.label)}</th>`).join('')}</tr><tr>${head.areas.map((x) => `<td>${x.score}<span>/${x.max}</span></td>`).join('')}</tr></table>` : '');
+    + (head.areas.length ? `<table class="areas"><tr>${head.areas.map((x) => `<th>${esc(x.label)}</th>`).join('')}</tr><tr>${head.areas.map((x) => `<td>${x.score === null ? `<span>${esc(head.notMeasured)}</span>` : `${x.score}<span>/${x.max}</span>`}</td>`).join('')}</tr></table>` : '');
   const scoreCards = Object.entries(measured).map(([label, n]) => {
     const basis = scoreBasis[label] || {};
     const shown = (L.areas && L.areas[label]) || label;

package/src/test-blocked.mjs

@@ -0,0 +1,84 @@
+#!/usr/bin/env node
+/**
+ * Сайт нас не пустил. Что мы имеем право сказать про него владельцу.
+ *
+ * До 15.09.2026 проверка писала: «Роботы ИИ её не проходят, поэтому ChatGPT, Perplexity и
+ * остальных разворачивают ровно так же». Это вывод о ЧУЖОМ сайте, сделанный из того, что
+ * развернули НАС. Замерено руками на alternativeto.net: тот же адрес отдаёт GPTBot, ClaudeBot
+ * и PerplexityBot полную страницу (200, около 900 КБ), а нашей проверке 403. Защита держит
+ * белый список проверенных роботов.
+ *
+ * Здесь держится граница: говорим, что не пустили нас, и что написано в правилах сайта.
+ * Про поведение защиты не гадаем.
+ */
+import { blockedNote } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+
+const OPEN = 'User-agent: *\nDisallow: /admin/\n';
+const CLOSED = 'User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow: /\n';
+
+// ---- главное: ни при каких вводных не утверждать, что роботов ИИ развернули
+{
+  for (const lang of ['ru', 'en']) {
+    for (const [what, robots] of [['правила открыты', OPEN], ['правила закрыты', CLOSED], ['robots не прочитан', null]]) {
+      for (const challenged of [true, false]) {
+        const t = blockedNote({ status: 403, challenged, robotsText: robots, lang }).text;
+        ok(`${lang}/${what}/${challenged ? 'защита' : 'отказ'}: не утверждаем, что роботов ИИ развернули`, lang === 'ru'
+          ? !/(разворачивают|не проходят|получают тот же ответ|процитировать (здесь|с сайта) нельзя|нечего)/.test(t.replace('сказать нечего', ''))
+          : !/(turned away|do not run one|get the same answer|nothing here can be read)/.test(t));
+        ok(`${lang}/${what}/${challenged ? 'защита' : 'отказ'}: сказано, как проверить точно`, lang === 'ru' ? /журнале сервера/.test(t) : /server log/.test(t));
+      }
+    }
+  }
+}
+
+// ---- что именно говорим в каждом из трёх случаев
+{
+  const ru = (robots) => blockedNote({ status: 403, challenged: true, robotsText: robots, lang: 'ru' });
+  const en = (robots) => blockedNote({ status: 403, challenged: true, robotsText: robots, lang: 'en' });
+
+  const open = ru(OPEN);
+  ok('правила открыты: сказано, что пускают', /правила самого сайта роботов ИИ при этом пускают/i.test(open.text));
+  ok('правила открыты: сказано, что не зачтено в минус', /не зачтено/.test(open.text));
+  ok('правила открыты: названы конкретные роботы', /OAI-SearchBot|GPTBot/.test(open.text));
+  ok('правила открыты: поле говорит «не закрыты»', open.botsBlocked === false);
+
+  const closed = ru(CLOSED);
+  ok('правила закрыты: названо письменным отказом', /письменный отказ/.test(closed.text));
+  ok('правила закрыты: названы именно закрытые', /GPTBot/.test(closed.text) && /Claude/.test(closed.text));
+  ok('правила закрыты: поле говорит «закрыты»', closed.botsBlocked === true);
+
+  const none = ru(null);
+  ok('robots не прочитан: молчим про роботов', /про роботов ИИ сказать нечего/.test(none.text));
+  ok('robots не прочитан: и это не в минус', /не зачтено/.test(none.text));
+  ok('robots не прочитан: поле пустое, а не false', none.botsBlocked === null);
+
+  ok('английский: правила открыты', /rules do allow the AI crawlers/.test(en(OPEN).text));
+  ok('английский: правила закрыты', /rules also close it to AI crawlers/.test(en(CLOSED).text));
+  ok('английский: robots не прочитан', /robots\.txt could not be read/.test(en(null).text));
+}
+
+// ---- защита и простой отказ описываются по-разному: лечатся они тоже по-разному
+{
+  const ch = blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'ru' }).text;
+  const wall = blockedNote({ status: 403, challenged: false, robotsText: OPEN, lang: 'ru' }).text;
+  ok('защита названа защитой браузера', /проверкой браузера \(Cloudflare/.test(ch));
+  ok('простой отказ назван отказом незнакомым клиентам', /отказывает незнакомым клиентам/.test(wall));
+  ok('код ответа назван в обоих', /403/.test(ch) && /403/.test(wall));
+}
+
+// ---- чужого языка в тексте нет: его читает человек
+{
+  const ruText = blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'ru' }).text;
+  // Имена роботов это их настоящие идентификаторы, они латиницей и на русском тоже: ChatGPT-User
+  // нельзя перевести, иначе владелец не найдёт его в журнале сервера. Вычёркиваем их и смотрим,
+  // не осталось ли непереведённых слов.
+  const bare = ruText.replace(/ChatGPT-User|OAI-SearchBot|Claude-SearchBot|Claude-User|Applebot-Extended|Google-Extended|anthropic-ai|PerplexityBot|Perplexity-User|Cloudflare|GPTBot|ClaudeBot|ChatGPT|OpenAI|Perplexity|Claude|robots\.txt|Anthropic|Gemini|Bingbot|Copilot|Bing|Apple Intelligence/g, '');
+  ok('в русском тексте не осталось английских слов', !/[A-Za-z]{4}/.test(bare));
+  ok('в английском нет кириллицы', !/[А-Яа-яЁё]/.test(blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'en' }).text));
+}
+
+if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
+console.log('\nпро чужой сайт говорим только измеренное');

package/src/test-unmeasured.mjs

@@ -0,0 +1,132 @@
+#!/usr/bin/env node
+/**
+ * Не прочитали robots.txt, значит не знаем, а не «всё отлично».
+ *
+ * 15.09.2026 проверка ставила 25 из 25 и писала «Все 14 роботов ИИ допущены на сайт» сайту, чей
+ * robots.txt отдал 403. Файла нет, значит запретов нет, значит отлично. Владелец получал высшую
+ * оценку за файл, который мы не открывали. Незнание это не хорошая новость.
+ *
+ * Здесь держится вся цепочка: движок помечает область неизмеренной и переносит балл на сто по
+ * остальным, проверка сходимости это понимает, отчёт печатает слово вместо числа и объясняет,
+ * из чего сложился балл.
+ *
+ * Сервер поднимается на loopback, а зовётся по имени lvh.me: оно публично указывает на 127.0.0.1,
+ * и так проверка проходит свой же запрет на частные адреса честно, без лазейки в коде продукта.
+ */
+import { createServer } from 'node:http';
+import { readFileSync } from 'node:fs';
+import { lookup } from 'node:dns/promises';
+import { checkVisibility } from './visibility.mjs';
+import { verifyScores } from './collect.mjs';
+import { toHtml, overallSummary } from './render.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+const PAGE = `<!doctype html><html lang="ru"><head><title>Пример</title><meta name="description" content="Описание"></head>
+<body><main><h1>Пример сайта</h1>${'<p>Обычный абзац текста про товар и цену, без цифр, чтобы было что цитировать. </p>'.repeat(40)}</main></body></html>`;
+
+const serve = ({ robots, status = null }) => new Promise((resolve) => {
+  const s = createServer((req, res) => {
+    if (req.url.startsWith('/robots.txt')) {
+      if (status) { res.writeHead(status, { 'content-type': 'text/html' }); res.end('<html>нет</html>'); return; }
+      if (robots === null) { res.writeHead(403, { 'content-type': 'text/html' }); res.end('<html>denied</html>'); return; }
+      res.writeHead(200, { 'content-type': 'text/plain' }); res.end(robots); return;
+    }
+    if (req.url === '/' ) { res.writeHead(200, { 'content-type': 'text/html; charset=utf-8' }); res.end(PAGE); return; }
+    res.writeHead(404, { 'content-type': 'text/plain' }); res.end('no');
+  });
+  s.listen(0, '127.0.0.1', () => resolve({ s, url: `http://lvh.me:${s.address().port}/` }));
+});
+
+let dnsOk = true;
+try { const a = await lookup('lvh.me'); dnsOk = a.address === '127.0.0.1'; } catch { dnsOk = false; }
+
+if (!dnsOk) {
+  console.log('ПРОПУЩЕНО: lvh.me не указывает на 127.0.0.1 с этой машины, сквозная часть не прогнана');
+} else {
+  // ---- robots.txt закрыт: область не измерена, балл по остальным
+  const { s, url } = await serve({ robots: null });
+  let v;
+  try { v = await checkVisibility(url, { budgetMs: 8500, samplePages: 3, lang: 'ru' }); } finally { s.close(); }
+  ok('проверка прошла (главная читается)', v.ok === true);
+  const access = v.areas.find((a) => a.id === 'access');
+  is('область доступа помечена неизмеренной', access.measured, false);
+  is('и балла у неё нет, а не ноль и не 25', access.score, null);
+  ok('первая находка говорит, что файл не прочитан', /не дал этой проверке прочитать robots\.txt/.test(access.findings[0].text));
+  ok('и что это не хорошая новость', /не хорошая новость/.test(access.findings[0].text));
+  ok('и не пишет «все роботы допущены»', !access.findings.some((f) => /допущены на сайт/.test(f.text)));
+  const rest = v.areas.filter((a) => a.id !== 'access');
+  const sum = rest.reduce((t, a) => t + a.score, 0);
+  const max = rest.reduce((t, a) => t + a.max, 0);
+  is('остальные области считаются из 75', max, 75);
+  is('балл это доля измеренного, перенесённая на сто', v.score, Math.round((sum / max) * 100));
+  ok('в исправлениях нет пункта про непрочитанный файл', !v.fixes.some((f) => f.id === 'robots-unreadable'));
+
+  // ---- сходимость: проверка отчёта понимает неизмеренную область
+  const problems = verifyScores({ checks: [], scores: {}, overall: { score: v.score, grade: v.grade, areas: v.areas } }).filter((p) => p.startsWith('overall:'));
+  is('проверка сходимости не спорит с движком', problems, []);
+
+  // ---- отчёт: слово вместо числа и честная подпись
+  const fixture = JSON.parse(readFileSync(new URL('../examples/sample-audit.json', import.meta.url), 'utf8'));
+  fixture.meta.lang = 'ru';
+  fixture.overall = { score: v.score, grade: v.grade, areas: v.areas, source: 'visibility', basis: { pages: 1, sitemapRead: false, sitemapUnchecked: false } };
+  const html = toHtml(fixture, null);
+  ok('в таблице областей стоит слово, а не null', /<td><span>не измерялось<\/span><\/td>/.test(html) && !/null/.test(html.match(/<table class="areas">[\s\S]*?<\/table>/)[0]));
+  const note = (html.match(/overall-note">([^<]*)</) || [])[1] || '';
+  ok('подпись говорит, сколько областей измерено', /Из пяти областей ниже измерены 4/.test(note));
+  ok('и из скольких очков', new RegExp(`${sum} из 75`).test(note));
+  ok('и что неизмеренное не в минус', /не зачтена ни в плюс, ни в минус/.test(note));
+  ok('старой фразы «пять областей дают в сумме ровно» нет', !/дают в сумме ровно/.test(note));
+
+  fixture.meta.lang = 'en';
+  const en = (toHtml(fixture, null).match(/overall-note">([^<]*)</) || [])[1] || '';
+  ok('английская подпись тоже честная', /4 could be measured/.test(en) && /not counted for or against/.test(en));
+
+  // ---- письмо берёт тот же блок: null остаётся null, слово едет рядом
+  const head = overallSummary(fixture.overall, { lang: 'ru' });
+  is('в блоке для письма область без балла', head.areas.find((a) => a.id === 'access').score, null);
+  is('и слово для неё передано', head.notMeasured, 'не измерялось');
+
+  // ---- контроль: с прочитанным robots.txt всё как раньше
+  const { s: s2, url: url2 } = await serve({ robots: 'User-agent: *\nDisallow: /admin/\n' });
+  let v2;
+  try { v2 = await checkVisibility(url2, { budgetMs: 8500, samplePages: 3, lang: 'ru' }); } finally { s2.close(); }
+  const access2 = v2.areas.find((a) => a.id === 'access');
+  is('с прочитанным файлом область измерена', access2.measured, true);
+  is('и оценена полностью', access2.score, 25);
+  is('и балл это прямая сумма', v2.score, v2.areas.reduce((t, a) => t + a.score, 0));
+  ok('подпись в отчёте прежняя', /дают в сумме ровно/.test((toHtml({ ...fixture, meta: { ...fixture.meta, lang: 'ru' }, overall: { ...fixture.overall, score: v2.score, areas: v2.areas } }, null).match(/overall-note">([^<]*)</) || [])[1] || ''));
+}
+
+  // ---- файла нет это ОТВЕТ, а не незнание
+  //
+  // Первая версия правки считала неизмеренным любой неуспех, и сайт без robots.txt терял 25
+  // заслуженных баллов: по стандарту отсутствие файла означает, что не запрещено ничего.
+  // Поймано на живом example.com сразу после выкладки: балл упал с 30 до 7.
+  for (const code of [404, 410]) {
+    const { s: s3, url: url3 } = await serve({ status: code });
+    let v3;
+    try { v3 = await checkVisibility(url3, { budgetMs: 8500, samplePages: 3, lang: 'ru' }); } finally { s3.close(); }
+    const a3 = v3.areas.find((a) => a.id === 'access');
+    is(`robots.txt ${code}: область измерена`, a3.measured, true);
+    is(`robots.txt ${code}: и оценена полностью`, a3.score, 25);
+    ok(`robots.txt ${code}: сказано, что файла нет`, /Файла robots\.txt на сайте нет/.test(a3.findings[0].text));
+    ok(`robots.txt ${code}: и что это значит «не запрещено ничего»`, /не запрещено ничего/.test(a3.findings[0].text));
+    ok(`robots.txt ${code}: не назвали это непрочитанным`, !a3.findings.some((f) => f.id === 'robots-unreadable'));
+    is(`robots.txt ${code}: балл это прямая сумма`, v3.score, v3.areas.reduce((t, a) => t + a.score, 0));
+  }
+
+  // ---- а отказ и сбой это по-прежнему незнание
+  for (const code of [401, 403, 429, 500]) {
+    const { s: s4, url: url4 } = await serve({ status: code });
+    let v4;
+    try { v4 = await checkVisibility(url4, { budgetMs: 8500, samplePages: 3, lang: 'ru' }); } finally { s4.close(); }
+    const a4 = v4.areas.find((a) => a.id === 'access');
+    is(`robots.txt ${code}: область не измерена`, a4.measured, false);
+    ok(`robots.txt ${code}: код назван в тексте`, new RegExp(`код ${code}`).test(a4.findings[0].text));
+  }
+
+if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
+console.log('\nнепрочитанное не считается ни в плюс, ни в минус, а отсутствующее это ответ');

package/src/visibility.mjs

@@ -49,9 +49,17 @@ export const MESSAGES = {
     badInput: 'Enter a public site address, for example example.com',
     tooSlow: 'The site took too long to answer',
     badAnswer: (status, url) => `The site answered ${status || 'nothing'} for ${url}`,
-    botWall: (status) => `The site refuses unknown clients (HTTP ${status}). AI fetchers that do not run a browser get the same answer, so nothing here can be read or quoted.`,
-    botChallenge: (status) => `The site sits behind a browser challenge (Cloudflare, HTTP ${status}). AI fetchers do not run one, so ChatGPT, Perplexity and the rest are turned away exactly as this check was, and nothing on the site can be quoted.`,
+    botWall: (status) => `The site refuses unknown clients (HTTP ${status}), so this check could not read a single page.`,
+    botChallenge: (status) => `The site sits behind a browser challenge (Cloudflare, HTTP ${status}), so this check could not read a single page.`,
+    // Что мы знаем про роботов ИИ, когда нас самих развернули: ровно то, что написано в правилах
+    // сайта, и ни словом больше. Пускают ли их на самом деле, решает защита, а не мы.
+    rulesAllowBots: (list) => ` The site's own rules do allow the AI crawlers (${list}), and sites behind this kind of protection often do let the verified ones through. Whether they get in is decided by the protection, not by this check, so nothing here is counted for or against the site.`,
+    rulesBlockBots: (list) => ` The site's own rules also close it to AI crawlers (${list}), so on top of this wall there is a written refusal.`,
+    rulesUnknown: ' Its robots.txt could not be read either, so there is nothing to say about AI crawlers: that is not counted for or against the site.',
+    howToCheckBots: ' To know for certain, open the server log and look for GPTBot, ClaudeBot and PerplexityBot, or ask whoever runs the protection which bots are on the allowlist.',
     area: { access: 'Can AI crawlers read it', index: 'Is there a map for agents (llms.txt)', entity: 'Is the entity clear (schema)', content: 'Is there something to quote', trust: 'Can it be dated and trusted' },
+    robotsMissing: 'There is no robots.txt on the site. By the standard that means nothing is disallowed, so every AI crawler may read it. A file is not required; add one only when something needs closing off.',
+    robotsUnreadable: (status) => `The site did not let this check read robots.txt${status ? ` (HTTP ${status})` : ''}, so whether AI crawlers are allowed could not be measured. It is not counted for or against the site: an unread file is not good news. The owner can open it in a browser, or ask whoever runs the site's protection.`,
     robotsAllBlocked: 'robots.txt disallows the whole site for every crawler. Nothing can read it.',
     fetchersBlocked: (list) => `Blocked answer-engine fetchers: ${list}. These are the bots that cite pages live.`,
     trainingBlocked: (list) => `Blocked training crawlers: ${list}. Models will not learn the brand from the site.`,
@@ -90,9 +98,15 @@ export const MESSAGES = {
     badInput: 'Введите адрес публичного сайта, например example.ru',
     tooSlow: 'Сайт слишком долго не отвечал',
     badAnswer: (status, url) => `Сайт ответил ${status ? `кодом ${status}` : 'ничем'} на ${url}`,
-    botWall: (status) => `Сайт отказывает незнакомым клиентам (код ${status}). Роботы ИИ, которые не запускают браузер, получают тот же ответ, поэтому прочитать и процитировать здесь нечего.`,
-    botChallenge: (status) => `Сайт закрыт проверкой браузера (Cloudflare, код ${status}). Роботы ИИ её не проходят, поэтому ChatGPT, Perplexity и остальных разворачивают ровно так же, как развернули эту проверку, и процитировать с сайта нельзя ничего.`,
+    botWall: (status) => `Сайт отказывает незнакомым клиентам (код ${status}), поэтому прочитать хотя бы одну страницу проверка не смогла.`,
+    botChallenge: (status) => `Сайт закрыт проверкой браузера (Cloudflare, код ${status}), поэтому прочитать хотя бы одну страницу проверка не смогла.`,
+    rulesAllowBots: (list) => ` Правила самого сайта роботов ИИ при этом пускают (${list}), а защита такого типа проверенных роботов нередко пропускает. Пустят ли их на деле, решает защита, а не эта проверка, поэтому в плюс или в минус сайту это не зачтено.`,
+    rulesBlockBots: (list) => ` Правила самого сайта роботов ИИ тоже закрывают (${list}), то есть к этой стене добавлен ещё и письменный отказ.`,
+    rulesUnknown: ' Файл robots.txt прочитать тоже не вышло, поэтому про роботов ИИ сказать нечего, и в плюс или в минус сайту это не зачтено.',
+    howToCheckBots: ' Чтобы знать точно, посмотрите в журнале сервера, приходят ли GPTBot, ClaudeBot и PerplexityBot, либо спросите у тех, кто настраивал защиту, кто у неё в белом списке.',
     area: { access: 'Могут ли роботы ИИ прочитать сайт', index: 'Есть ли карта для агентов (llms.txt)', entity: 'Понятно ли, кто вы (разметка)', content: 'Есть ли что процитировать', trust: 'Можно ли датировать и доверять' },
+    robotsMissing: 'Файла robots.txt на сайте нет. По стандарту это значит, что не запрещено ничего, то есть читать сайт может любой робот ИИ. Заводить файл необязательно: он нужен, только когда есть что закрывать.',
+    robotsUnreadable: (status) => `Сайт не дал этой проверке прочитать robots.txt${status ? ` (код ${status})` : ''}, поэтому допущены роботы ИИ или нет, измерить не вышло. В плюс или в минус сайту это не зачтено: непрочитанный файл это не хорошая новость. Владелец может открыть его в браузере сам или спросить у тех, кто настраивал защиту сайта.`,
     robotsAllBlocked: 'robots.txt закрывает весь сайт для всех роботов. Его никто не может прочитать.',
     fetchersBlocked: (list) => `Закрыты поисковые роботы ответных систем: ${list}. Именно они достают страницу, чтобы процитировать её в ответе.`,
     trainingBlocked: (list) => `Закрыты обучающие роботы: ${list}. Модели не узнают о бренде с сайта.`,
@@ -325,6 +339,33 @@ async function readSitemap(origin, robotsText, timeoutFn = () => 3000) {
  */
 export const VISIBILITY_DEFAULTS = Object.freeze({ budgetMs: 8500, samplePages: 3 });
 
+/**
+ * Что писать владельцу сайта, который нас не пустил.
+ *
+ * Отдельной функцией намеренно: это самый ответственный текст всей проверки. Он уходит человеку
+ * про его собственный сайт, и до 15.09.2026 он врал. Стояло «роботы ИИ её не проходят, поэтому
+ * ChatGPT, Perplexity и остальных разворачивают ровно так же». Это вывод о чужом сайте из того,
+ * что развернули НАС. Замерено руками на alternativeto.net: тот же адрес отдаёт GPTBot, ClaudeBot
+ * и PerplexityBot полную страницу (200, около 900 КБ), а нашей проверке 403. Защита такого типа
+ * держит белый список проверенных роботов.
+ *
+ * Граница проходит здесь: мы знаем, что не пустили нас, и знаем, что написано в robots.txt (его
+ * отдают и тогда, когда страницы закрыты). Поведение защиты по отношению к чужим роботам мы не
+ * измеряли и утверждать про него не имеем права.
+ */
+export function blockedNote({ status, challenged, blocked = true, robotsText = null, lang = 'en' } = {}) {
+  const T = MESSAGES[lang] || MESSAGES.en;
+  const head = challenged ? T.botChallenge(status) : T.botWall(status);
+  if (!blocked) return { text: head, botsBlocked: null };
+  const rules = robotsText ? parseRobots(robotsText) : null;
+  if (!rules) return { text: head + T.rulesUnknown + T.howToCheckBots, botsBlocked: null };
+  const closed = AI_AGENTS.filter((a) => agentVerdict(rules, a.agent) === 'blocked');
+  const names = (list) => list.slice(0, 3).map((a) => (lang === 'ru' ? a.labelRu : a.label)).join(', ')
+    + (list.length > 3 ? (lang === 'ru' ? ` и ещё ${list.length - 3}` : `, and ${list.length - 3} more`) : '');
+  const tail = closed.length ? T.rulesBlockBots(names(closed)) : T.rulesAllowBots(names(AI_AGENTS));
+  return { text: head + tail + T.howToCheckBots, botsBlocked: closed.length > 0 };
+}
+
 export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', samplePages = 3 } = {}) {
   const T = MESSAGES[lang] || MESSAGES.en;
   const agentLabel = (a) => (lang === 'ru' ? a.labelRu : a.label);
@@ -343,11 +384,28 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
     // её не проходит, поэтому сайт за ней невидим для всех ассистентов, что бы ни было на
     // страницах. Пришло из актора Apify, где это работало, а на сайтах человек видел «403».
     const challenged = blocked && (/challenge|managed/i.test(home.mitigated) || (/cloudflare/i.test(home.server) && home.status === 403));
+
+    /*
+     * Чего мы НЕ знаем, когда нас развернули.
+     *
+     * До 15.09.2026 здесь стояло «роботы ИИ её не проходят, поэтому ChatGPT, Perplexity и
+     * остальных разворачивают ровно так же». Это вывод о чужом сайте, сделанный из того, что
+     * развернули НАС. Проверено руками на alternativeto.net: один и тот же адрес отдаёт GPTBot,
+     * ClaudeBot и PerplexityBot полную страницу (200, около 900 КБ), а нашей проверке 403.
+     * Защита такого типа держит белый список проверенных роботов и пускает их по адресам, а
+     * незнакомого клиента разворачивает. То есть мы писали владельцу сайта неправду про его сайт.
+     *
+     * Что мы знаем на самом деле: нас не пустили, и что написано в robots.txt. Его отдают и тогда,
+     * когда страницы закрыты, поэтому правила прочитать обычно можно. Их и называем, а догадку о
+     * поведении защиты не выдаём за измерение.
+     */
+    const note = blockedNote({ status: home.status, challenged, blocked, robotsText: robotsRes.ok ? robotsRes.text : null, lang });
     const error = home.error === 'timeout' ? T.tooSlow
-      : challenged ? T.botChallenge(home.status)
-        : blocked ? T.botWall(home.status)
-          : T.badAnswer(home.status, url);
-    return { ok: false, blocked, challenged, status: home.status, error };
+      : blocked ? note.text
+        : T.badAnswer(home.status, url);
+    // `botsBlocked` говорит только про написанные правила, а не про поведение защиты: по нему
+    // нельзя утверждать, что робота не пустили, можно лишь, что ему не разрешали.
+    return { ok: false, blocked, challenged, status: home.status, error, botsBlocked: note.botsBlocked };
   }
   const homePage = analysePage(home.text, home.url);
   const robots = parseRobots(robotsRes.ok ? robotsRes.text : '');
@@ -372,10 +430,36 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   const blockedTrain = verdicts.filter((v) => v.kind === 'train' && v.verdict === 'blocked');
   const starBlocked = agentVerdict(robots, '__none__') === 'blocked';
   const noai = pages.some((p) => p.noai);
+  /*
+   * robots.txt может не прочитаться, и тогда мерить эту область нечем.
+   *
+   * До 15.09.2026 такой случай давал полные 25 из 25 и надпись «Все 14 роботов ИИ допущены на
+   * сайт»: файла нет, значит запретов нет, значит отлично. Замерено на cian.ru, где robots.txt
+   * отдаёт 403, а сайт при этом разворачивает клиента, представившегося GPTBot. Владелец получал
+   * отличную оценку за файл, который мы не открывали.
+   *
+   * Незнание это не хорошая новость. Область помечается неизмеренной, из знаменателя выпадает,
+   * и балл считается по тому, что действительно прочитано.
+   */
+  /*
+   * «Файла нет» и «нам его не дали» это разные вещи, и путать их нельзя ни в одну сторону.
+   *
+   * 404 и 410 это определённый ответ: файла на сайте нет, а по стандарту отсутствие robots.txt
+   * означает, что не запрещено ничего. Это измерение, и область получает свои баллы честно.
+   * Первая версия правки 15.09.2026 считала неизмеренным любой неуспех, и сайт без robots.txt
+   * (таких много среди небольших) терял 25 заслуженных баллов: example.com упал с 30 до 7.
+   *
+   * Неизмеренное это только отказ и сбой: 401, 403, 405, 429, пятисотые, таймаут, недоступность.
+   * Тогда мы действительно не знаем, что в файле написано.
+   */
+  const robotsMissing = robotsRes.status === 404 || robotsRes.status === 410;
+  const robotsRead = robotsRes.ok || robotsMissing;
   let access = 25;
   if (starBlocked) access = 0; else { access -= Math.min(15, blockedSearch.length * 4); access -= Math.min(8, blockedTrain.length * 2); if (noai) access -= 5; }
   access = Math.max(0, access);
   const accessFindings = [];
+  if (!robotsRead) accessFindings.push({ id: 'robots-unreadable', level: 'na', text: T.robotsUnreadable(robotsRes.status || 0) });
+  else if (robotsMissing && !accessFindings.length) accessFindings.push({ level: 'pass', text: T.robotsMissing });
   if (starBlocked) accessFindings.push({ id: 'robots-all-blocked', level: 'fail', text: T.robotsAllBlocked });
   if (blockedSearch.length) accessFindings.push({ id: 'robots-fetchers-blocked', level: 'fail', text: T.fetchersBlocked(blockedSearch.map(agentLabel).join(', ')) });
   if (blockedTrain.length) accessFindings.push({ id: 'robots-training-blocked', level: 'warn', text: T.trainingBlocked(blockedTrain.map(agentLabel).join(', ')) });
@@ -472,13 +556,23 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   }
 
   const areas = [
-    { id: 'access', label: T.area.access, score: access, max: 25, findings: accessFindings },
+    { id: 'access', label: T.area.access, score: robotsRead ? access : null, max: 25, measured: robotsRead, findings: accessFindings },
     { id: 'index', label: T.area.index, score: index, max: 15, findings: indexFindings },
     { id: 'entity', label: T.area.entity, score: entity, max: 20, findings: entityFindings },
     { id: 'content', label: T.area.content, score: content, max: 25, findings: contentFindings },
     { id: 'trust', label: T.area.trust, score: trust, max: 15, findings: trustFindings },
   ];
-  const total = areas.reduce((a, x) => a + x.score, 0);
+  /*
+   * Балл считается по измеренному и переносится на сто.
+   *
+   * Неизмеренная область выпадает из знаменателя, а не получает ноль: ноль это утверждение, что
+   * там плохо, а мы этого не знаем. Правило одно на весь продукт: не измерили, значит не считаем
+   * ни в плюс, ни в минус.
+   */
+  const measured = areas.filter((a) => a.measured !== false);
+  const maxMeasured = measured.reduce((a, x) => a + x.max, 0);
+  const rawTotal = measured.reduce((a, x) => a + x.score, 0);
+  const total = maxMeasured === 100 ? rawTotal : Math.round((rawTotal / maxMeasured) * 100);
   const grade = total >= 80 ? 'A' : total >= 65 ? 'B' : total >= 45 ? 'C' : total >= 25 ? 'D' : 'E';
   const fixes = areas.flatMap((a) => a.findings.filter((f) => f.level === 'fail').map((f) => ({ id: f.id, area: a.label, text: f.text }))).concat(areas.flatMap((a) => a.findings.filter((f) => f.level === 'warn').map((f) => ({ id: f.id, area: a.label, text: f.text })))).slice(0, 3);
   return {