@operstack/audit 0.32.0 → 0.33.1

package/README.md

@@ -1,3 +1,5 @@
+<img src="https://raw.githubusercontent.com/oper-stack/brand/main/og-audit.png" alt="OperStack audit-generator" width="100%">
+
 # @operstack/audit
 
 The SEO, AEO and GEO audit generator behind the OperStack audit service. It collects the public signals of a site into one JSON file, leaves the narrative to an analyst or an agent, and renders a print-ready report.
@@ -90,10 +92,10 @@ Technically: `draft` fills the narrative fields (`summary`, `client.subject`, `o
 **If you do not edit the site yourself.** Most people who read an audit now fix their site by telling an AI assistant what to do. This turns every finding into a task written for that assistant: copy it, paste it into Cursor or Claude Code, and it does the work. Each task says what the state is today, what to change, and how you will know it is finished, so the assistant cannot wander off and cannot quietly invent facts about your business.
 
 ```
-npx @operstack/audit prompts audit.json --lang en --limit 3
+npx @operstack/audit prompts audit.json --lang en
 ```
 
-Technically: every open check is rendered as a Markdown block with `Now` (the measured value), `Task` (the action and its boundaries) and `How to check` (the acceptance test), plus a standing rule against inventing business facts. Twenty checks carry text written for that specific finding; the rest fall back to the Fix action with a generic acceptance test. `--limit 3` is what the free tier hands out; the full list ships with the paid audit. `renderFixChecklist(plan, { withPrompts: true })` embeds the same tasks in the executor checklist.
+Technically: every open check is rendered as a Markdown block with `Now` (the measured value), `Task` (the action and its boundaries) and `How to check` (the acceptance test), plus a standing rule against inventing business facts. Twenty checks carry text written for that specific finding; the rest fall back to the Fix action with a generic acceptance test. Every open finding becomes a task, and that is the free behaviour: no account, no key, no trimmed preview. `--limit 3` is there when you want only the three tasks that move the score most. The paid audit sells the reading and the work, not the list. `renderFixChecklist(plan, { withPrompts: true })` embeds the same tasks in the executor checklist.
 
 ## The Fix package: turning findings into agreed work
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.32.0",
+  "version": "0.33.1",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",
@@ -29,7 +29,7 @@
     "LICENSE"
   ],
   "scripts": {
-    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html && node src/test-ru-sources.mjs && node src/test-sample-fairness.mjs && node test-engines.mjs && node test-seo-basics.mjs && node test-polite.mjs && node src/test-handover.mjs",
+    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html && node src/test-ru-sources.mjs && node src/test-sample-fairness.mjs && node test-engines.mjs && node test-seo-basics.mjs && node test-polite.mjs && node src/test-handover.mjs && node src/test-prospect-count.mjs && node src/test-redirect-host.mjs && node src/test-crawl-links.mjs && node src/test-ru-report.mjs",
     "sample": "node bin/audit.mjs render examples/sample-audit.json --pdf",
     "verify:live": "node src/verify-live.mjs"
   },

package/src/collect.mjs

@@ -9,7 +9,7 @@ import { fileURLToPath } from 'node:url';
 import { renderedDom, compareReadings, jsBlindnessCheck } from './rendered.mjs';
 import { parse } from 'node-html-parser';
 import { localiseChecks } from './i18n.mjs';
-import { checkVisibility, VISIBILITY_DEFAULTS } from './visibility.mjs';
+import { checkVisibility, VISIBILITY_DEFAULTS, internalLinks, robotsAllows } from './visibility.mjs';
 
 /** Версия читается из своего package.json. Зашитая строка врала в каждом отчёте с первого релиза:
  *  в подвале стояло 0.1.0, когда пакет был уже 0.12.0, и покупатель не мог понять, чем его мерили. */
@@ -104,18 +104,47 @@ export function crawlDelayFrom(robotsText, capMs = 3000) {
   return { ms: Math.min(asked, capMs), asked, capped: asked > capMs };
 }
 
-async function follow(url, max = 5) {
+async function follow(url, max = 5, opts = {}) {
   const hops = [];
   let cur = url;
   for (let i = 0; i < max; i++) {
-    const r = await get(cur);
+    const r = await get(cur, opts);
     hops.push({ url: cur, status: r.status, location: r.location });
     if (r.status >= 300 && r.status < 400 && r.location) { cur = new URL(r.location, cur).href; continue; }
     return { final: cur, response: r, hops };
   }
-  return { final: cur, response: await get(cur), hops };
+  return { final: cur, response: await get(cur, opts), hops };
 }
 
+/** Служебный файл с переходом по переадресации: robots.txt, карта сайта, llms.txt. Сайт, у
+ *  которого голый домен отвечает 301 на www, отдаёт их только по конечному адресу, а get() ходит
+ *  с redirect: 'manual' и видел бы один 301. Возвращает ответ конечного адреса, url в нём тоже конечный. */
+async function getFollowed(url, opts = {}) {
+  const f = await follow(url, 5, opts);
+  return { ...f.response, url: f.final };
+}
+
+/*
+ * Какие правовые страницы стоят за ссылкой. Смотрим каждую часть пути, а не только начало после
+ * косой черты: русский сайт пишет href="politika-konfidenczialnosti/" без неё, и до 30.09.2026
+ * агентство из Екатеринбурга получало красное «ни политики, ни условий нет» при живой политике.
+ * Оферта проверяется целым словом: испанское /ofertas/ это акции, а не условия.
+ */
+const POLICY_SLUGS = [
+  ['privacy', /^(privacy|politika|[a-z-]*konfiden|политика|[а-я-]*конфиденциальн)/],
+  ['terms', /^(terms|usloviya|oferta(?![a-z])|polzovatelskoe-soglashenie|условия|оферта|пользовательское-соглашение)/],
+  ['consent', /^(soglasie|согласие)/],
+  ['legal', /^legal/],
+  ['cookie', /^cookie/],
+  ['disclaimer', /^disclaimer/],
+];
+export function policyKinds(href) {
+  const h = String(href || '').toLowerCase();
+  if (/^(mailto|tel|javascript|data):/.test(h) || h.startsWith('#')) return [];
+  let path = h.replace(/^([a-z][a-z0-9+.-]*:)?\/\/[^/]+/, '').split(/[?#]/)[0];
+  try { path = decodeURIComponent(path); } catch { /* битая кодировка: читаем как есть */ }
+  return path.split('/').filter(Boolean).flatMap((seg) => { const k = POLICY_SLUGS.find(([, re]) => re.test(seg)); return k ? [k[0]] : []; });
+}
 const row = (id, group, label, status, value, comment = '') => ({ id, group, label, status, value, comment });
 
 /**
@@ -209,7 +238,7 @@ function analysePage(url, html) {
     sameAs: [...new Set(sameAs.map((u) => { try { return new URL(u).host.replace(/^www\./, ''); } catch { return ''; } }).filter(Boolean))],
     sameAsUrls: [...new Set(sameAs)],
     aboutPage: hrefsLower.some((h) => /\/(about|about-us|our-story|team|company|o-nas)\/?($|[?#])/.test(h)),
-    policyPages: [...new Set(hrefsLower.filter((h) => /\/(privacy|privacy-policy|terms|terms-of-use|legal|cookie|cookies|disclaimer)/.test(h)).map((h) => (h.match(/\/(privacy|terms|legal|cookie|disclaimer)/) || [])[1]).filter(Boolean))],
+    policyPages: [...new Set(hrefsLower.flatMap(policyKinds))],
     author: /"author"\s*:/.test(ld),
   };
   // Answer-first family, the same measures the free AI visibility check uses, so the two agree.
@@ -270,7 +299,7 @@ async function readSitemap(startUrl, { maxFiles = 6, budgetMs = 45000, maxUrls =
     const { url, depth } = queue.shift();
     if (seen.has(url) || depth > 3) continue;
     seen.add(url);
-    const r = await get(url, timeout ? { timeout } : {});
+    const r = await getFollowed(url, timeout ? { timeout } : {});
     filesRead++;
     if (!r.ok) continue;
     // Спускаться вглубь можно только из индекса карт. Прежнее условие из-за приоритета операторов
@@ -304,7 +333,16 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   checks.push(homeAnswered
     ? row('https', 'technical', 'HTTPS', home.final.startsWith('https://') ? 'ok' : 'bad', home.final.startsWith('https://') ? 'certificate active' : 'site served over http')
     : row('https', 'technical', 'HTTPS', 'bad', `the site did not answer${home.response.status ? `: HTTP ${home.response.status}` : ''}`, 'nothing below could be measured on a site that does not answer'));
-  const altHost = host.startsWith('www.') ? host.slice(4) : `www.${host}`;
+  /*
+   * Служебные файлы читаем с того хоста, где сайт на самом деле живёт. До 0.32.2 robots.txt и
+   * карта сайта брались с адреса, который ввёл человек: bristolpropertycentre.co.uk отвечает 301 на
+   * www, get() переадресацию не проходит, и отчёт писал «no sitemap found» и «1 pages sampled»,
+   * хотя в robots.txt на www стоит живая карта на сто страниц. Найдено 30.09.2026.
+   */
+  const siteOrigin = homeAnswered ? new URL(home.final).origin : origin;
+  const siteHost = new URL(siteOrigin).host;
+  const altHost = siteHost.startsWith('www.') ? siteHost.slice(4) : `www.${siteHost}`;
+  const ownHosts = new Set([host, siteHost, altHost]);
   /*
    * Цепочки переадресаций. Каждый прыжок это потерянное время у человека и потерянный вес ссылки
    * у поиска, а нейросети на длинной цепочке чаще бросают страницу вовсе. Один прыжок нормален
@@ -337,7 +375,7 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   checks.push(row('ttfb', 'technical', 'Time to first byte (homepage)', home.response.ttfb > 2500 ? 'bad' : home.response.ttfb > 1200 ? 'warn' : 'ok', `${home.response.ttfb} ms`, 'single request from the auditor, not a lab test'));
 
   log('robots.txt');
-  const robots = await get(`${origin}/robots.txt`);
+  const robots = await getFollowed(`${siteOrigin}/robots.txt`);
   const sitemapUrls = robots.ok ? [...robots.text.matchAll(/^sitemap:\s*(\S+)/gim)].map((m) => m[1]) : [];
   // robots.txt is read per user-agent block: a "Disallow: /" under an AI crawler is a policy, under * it is a catastrophe.
   const blocks = []; let cur = null;
@@ -386,13 +424,13 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   if (blockedTrainers.length) checks.push(row('robots-ai', 'geo', 'AI training crawlers blocked (policy)', 'na', `${blockedTrainers.length} agent(s) fully disallowed: ${blockedTrainers.join(', ')}`, 'a policy choice, not a defect: these systems will not train on the site, and will not cite it from their own crawl either'));
 
   log('sitemaps');
-  const candidates = sitemapUrls.length ? sitemapUrls : [`${origin}/sitemap.xml`, `${origin}/sitemap_index.xml`, `${origin}/sitemap-index.xml`];
+  const candidates = sitemapUrls.length ? sitemapUrls : [`${siteOrigin}/sitemap.xml`, `${siteOrigin}/sitemap_index.xml`, `${siteOrigin}/sitemap-index.xml`];
   let sitemapPages = []; let sitemapStatus = 'missing'; let sitemapSource = '';
   let sitemapRead = { filesRead: 0, nestedFound: 0, pending: 0, stopped: '' };
   for (const u of candidates) {
-    const r = await get(u);
+    const r = await getFollowed(u);
     if (r.ok && /<(urlset|sitemapindex)/.test(r.text)) {
-      sitemapRead = await readSitemap(u, { budgetMs: sitemapBudgetMs, maxFiles: sitemapMaxFiles });
+      sitemapRead = await readSitemap(r.url, { budgetMs: sitemapBudgetMs, maxFiles: sitemapMaxFiles });
       sitemapPages = sitemapRead.urls; sitemapStatus = 'ok'; sitemapSource = u; break;
     }
     if (sitemapUrls.includes(u)) { sitemapStatus = `HTTP ${r.status}`; sitemapSource = u; }
@@ -404,14 +442,14 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
       ? `${sitemapPages.length} URL(s) read from ${sitemapRead.filesRead} of ${sitemapRead.filesRead + sitemapRead.pending} sitemap file(s) in ${sitemapSource}`
       : `${sitemapPages.length} URL(s) in ${sitemapSource}`;
   checks.push(row('sitemap', 'technical', 'XML sitemap', sitemapStatus === 'ok' ? 'ok' : 'bad', sitemapValue, sitemapStatus !== 'ok' && sitemapUrls.length ? 'robots.txt points at a sitemap that does not answer' : sitemapRead.stopped ? 'a large nested sitemap: the pages below were sampled from the files that were read, not from every file' : ''));
-  const foreign = sitemapPages.filter((u) => { try { return new URL(u).host !== host && new URL(u).host !== altHost; } catch { return true; } });
+  const foreign = sitemapPages.filter((u) => { try { return !ownHosts.has(new URL(u).host); } catch { return true; } });
   if (foreign.length) checks.push(row('sitemap-foreign', 'technical', 'Sitemap lists other hosts', 'bad', `${foreign.length} URL(s) on other hosts, e.g. ${foreign[0]}`));
 
   log('llms.txt');
-  const llms = await get(`${origin}/llms.txt`);
+  const llms = await getFollowed(`${siteOrigin}/llms.txt`);
   const llmsIsText = llms.ok && !/<html/i.test(llms.text.slice(0, 500));
   const llmsLinks = llmsIsText ? [...llms.text.matchAll(/https?:\/\/[^\s)\]]+/g)].map((m) => m[0]) : [];
-  const llmsForeign = llmsLinks.filter((u) => { try { const h = new URL(u).host; return h !== host && h !== altHost; } catch { return false; } });
+  const llmsForeign = llmsLinks.filter((u) => { try { return !ownHosts.has(new URL(u).host); } catch { return false; } });
   checks.push(row('llms', 'geo', 'llms.txt', !llms.ok ? 'warn' : !llmsIsText ? 'bad' : llmsForeign.length > llmsLinks.length / 2 && llmsLinks.length > 3 ? 'bad' : 'ok',
     !llms.ok ? 'not present' : !llmsIsText ? 'answers with an HTML page, not a text index' : `${llmsLinks.length} link(s), ${llmsForeign.length} to other hosts`,
     !llms.ok ? 'answer engines get nothing to read; a generated index is a one-day job' : llmsForeign.length > 3 ? `links to ${[...new Set(llmsForeign.map((u) => new URL(u).host))].slice(0, 3).join(', ')}: an AI system may misidentify the business` : ''));
@@ -420,7 +458,7 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   // страницы. Индекс для ИИ разъезжается тихо: страницу переименовали, закрыли от индексации или
   // удалили, а в индексе она осталась, и ИИ идёт цитировать редирект или пустоту. Проверяем
   // выборку своих ссылок, а не все: на большом сайте их тысячи, а беда видна и по двадцати.
-  const llmsOwn = llmsLinks.filter((u) => { try { const h = new URL(u).host; return h === host || h === altHost; } catch { return false; } });
+  const llmsOwn = llmsLinks.filter((u) => { try { return ownHosts.has(new URL(u).host); } catch { return false; } });
   if (llmsOwn.length) {
     const sampleSize = Math.min(20, llmsOwn.length);
     const step = Math.max(1, Math.floor(llmsOwn.length / sampleSize));
@@ -448,13 +486,13 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   // вызвать. Стандарты молодые, поэтому отсутствие это не провал, а предупреждение, и в тексте
   // прямо сказано, что это раннее и необязательное. Врать про обязательность мы не будем.
   log('agent surface');
-  const agentCard = await get(`${origin}/.well-known/agent.json`);
+  const agentCard = await get(`${siteOrigin}/.well-known/agent.json`);
   const agentCardOk = agentCard.ok && /^\s*\{/.test(agentCard.text || '');
   checks.push(row('agent-card', 'geo', 'Agent card (/.well-known/agent.json)', agentCardOk ? 'ok' : 'warn',
     agentCardOk ? 'present and valid JSON' : agentCard.ok ? 'present but not JSON' : 'not present',
     agentCardOk ? '' : 'an early, optional standard: it is the file agent directories read to learn who you are and what you offer'));
 
-  const apiCatalog = await get(`${origin}/.well-known/api-catalog`);
+  const apiCatalog = await get(`${siteOrigin}/.well-known/api-catalog`);
   checks.push(row('api-catalog', 'geo', 'API catalogue (RFC 9727)', apiCatalog.ok ? 'ok' : 'warn',
     apiCatalog.ok ? 'present' : 'not present',
     apiCatalog.ok ? '' : 'optional, and only worth adding when the business actually exposes an API for agents to call'));
@@ -476,9 +514,28 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   // are read first rather than left to the luck of sitemap order. A 44 page site sampled 20 deep was
   // reporting "no messenger and no contact page" while both sat in the sitemap, unread.
   const TRUST_PAGE = /\/(contact|contacts|contact-us|kontakt|kontakty|about|about-us|o-nas|team|company|privacy|privacy-policy|politika[a-z-]*|terms|terms-of-use|usloviya|oferta|legal|impressum)\/?$/i;
-  const trustFirst = rest.filter((u) => { try { return TRUST_PAGE.test(new URL(u).pathname); } catch { return false; } });
+  const isTrust = (u) => { try { return TRUST_PAGE.test(new URL(u).pathname); } catch { return false; } };
+  const trustFirst = rest.filter(isTrust);
   const pool = [home.final, ...trustFirst, ...rest.filter((u) => !trustFirst.includes(u))];
   const wanted = pool.slice(0, pages);
+  /*
+   * Обход по ссылкам. Карта дала меньше страниц, чем нужно (или её нет вовсе): недостающие
+   * добираем из ссылок на прочитанных страницах, по уровням от главной. Лишних запросов это не
+   * стоит, ссылки берутся из тех же страниц, что и так читаются в выборку. Добавлено 30.09.2026.
+   */
+  const crawl = wanted.length < pages;
+  const allowedByRobots = robotsAllows(robots.ok ? robots.text : '');
+  let fromLinks = 0;
+  const addLinks = (html, base) => {
+    if (!crawl || wanted.length >= pages) return;
+    // Ссылка на http:// у сайта на https это та же страница: читаем её по протоколу сайта, а не дублем с 301.
+    const siteProtocol = new URL(siteOrigin).protocol;
+    const fresh = internalLinks(html, base, ownHosts).map((l) => { const x = new URL(l); x.protocol = siteProtocol; return x.href; }).filter((l) => { const n = norm(l); if (seenUrl.has(n) || !allowedByRobots(l)) return false; seenUrl.add(n); return true; });
+    for (const l of [...fresh.filter(isTrust), ...fresh.filter((l) => !isTrust(l))]) {
+      if (wanted.length >= pages) break;
+      wanted.push(l); fromLinks += 1;
+    }
+  };
   const politeness = crawlDelayFrom(robots.ok ? robots.text : '');
   let gap = Math.max(pageDelayMs, politeness.ms);
   const sample = [];
@@ -497,11 +554,11 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
     } else if (r.ok) {
       refusedInARow = 0;
     }
-    if (r.ok && /html/i.test(r.type)) sample.push(analysePage(u, r.text));
+    if (r.ok && /html/i.test(r.type)) { sample.push(analysePage(u, r.text)); addLinks(r.text, u); }
     else if (r.status >= 300 && r.status < 400) sample.push({ url: u, redirect: r.location, status: r.status });
     else sample.push({ url: u, status: r.status, error: r.error });
   }
-  const reading = { wanted: wanted.length, read: sample.filter((x) => x.title !== undefined).length, stoppedAt, gapMs: gap, crawlDelay: politeness };
+  const reading = { wanted: wanted.length, read: sample.filter((x) => x.title !== undefined).length, stoppedAt, gapMs: gap, crawlDelay: politeness, fromSitemap: wanted.length - 1 - fromLinks, fromLinks };
   const good = sample.filter((p) => p.title !== undefined);
   const hp = homePage || good[0];
 
@@ -621,7 +678,7 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   }
   const dated = good.filter((p) => p.dates.modified || p.dates.published).length;
   if (good.length > 2) checks.push(row('dates', 'content', 'Publication dates exposed', dated ? 'ok' : 'warn', dated ? `${dated} of ${good.length} sampled pages expose dates` : 'no article dates in the sample: answer engines cannot tell what is current'));
-  if (/wordpress/i.test(hp?.generator || '')) { const x = await get(`${origin}/xmlrpc.php`, { method: 'HEAD' }); if (x.status === 405 || x.status === 200) checks.push(row('xmlrpc', 'technical', 'xmlrpc.php', 'warn', `answers ${x.status}`, 'pingback endpoint open: attack surface with no SEO value')); }
+  if (/wordpress/i.test(hp?.generator || '')) { const x = await get(`${siteOrigin}/xmlrpc.php`, { method: 'HEAD' }); if (x.status === 405 || x.status === 200) checks.push(row('xmlrpc', 'technical', 'xmlrpc.php', 'warn', `answers ${x.status}`, 'pingback endpoint open: attack surface with no SEO value')); }
 
   // ---- Off-page and trust ----------------------------------------------------------------
   // Link data comes from Semrush when SEMRUSH_API_KEY is set. Without it the three link rows are
@@ -748,6 +805,35 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
 
   const localised = localiseChecks(checks, lang);
   const critical = checks.filter((c) => c.status === 'bad').map((c) => ({ title: c.label, text: `${c.value}${c.comment ? `. ${c.comment}` : ''}`, level: 'bad' }));
+  /*
+   * Подписи, которые сборщик пишет сам, на языке отчёта. До 0.33.1 они были только английскими, и
+   * русский отчёт выходил с «Week 1», «The site itself» и «Fix: Privacy and terms» среди русского
+   * текста: черновик их не трогает, потому что в них нет заготовок {{...}}.
+   */
+  const ru = lang === 'ru';
+  const pagesRu = (n) => (n % 10 === 1 && n % 100 !== 11 ? 'страница' : n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 10 || n % 100 >= 20) ? 'страницы' : 'страниц');
+  const S = ru ? {
+    rows: ['Движок сайта', 'Страниц в карте сайта', 'Язык', 'Что продаётся'],
+    site: 'Сам сайт', free: 'Бесплатно, без аккаунта',
+    siteDetail: (n, viaLinks) => `robots.txt, карты сайта, llms.txt, главная и ${n} ${pagesRu(n)} выборки, прочитанные так же, как их читает любой посетитель${viaLinks ? `; ${viaLinks} из них найдены по ссылкам с главной, потому что в карте сайта их слишком мало` : ''}`,
+    paid: 'Платный сервис, по желанию', paidDetail: 'только для справки, ни в одну оценку не входит',
+    limitations: ['Google Search Console и Яндекс Вебмастер: показов, кликов и запросов нет', 'Аналитика: данных о посещениях и поведении нет', 'Сервисы ключевых слов и ссылок: в аудите по публичным сигналам не используются'],
+    fix: 'Исправить',
+    roadmap: [['Неделя 1', 'Срочное, быстрые победы'], ['Недели 2-4', 'Основа'], ['Месяцы 2-3', 'Рост: поиск и ответы ИИ']],
+    geo: ['Понятно ли, кто вы', 'Упоминания на других сайтах', 'Отзывы и пресса'],
+    conv: ['Форма связи', 'Цена видна', 'Мессенджеры'],
+  } : {
+    rows: ['CMS / stack', 'Pages in sitemap', 'Language', 'What is sold'],
+    site: 'The site itself', free: 'Free, no account needed',
+    siteDetail: (n, viaLinks) => `robots.txt, the sitemaps, llms.txt, the homepage and ${n} sampled page(s), read exactly as any visitor reads them${viaLinks ? `; ${viaLinks} of the pages were found by following links from the homepage, because the sitemap listed too few` : ''}`,
+    paid: 'Paid tool, optional', paidDetail: 'reported for context only, not counted in any score',
+    limitations: ['Google Search Console: no impressions, clicks or query data', 'Analytics: no traffic or behaviour data', 'Keyword and backlink tools: not used in the external tier'],
+    fix: 'Fix',
+    roadmap: [['Week 1', 'Critical, quick wins'], ['Weeks 2 to 4', 'Foundation'], ['Months 2 to 3', 'Organic growth, AEO and GEO']],
+    geo: ['Entity clarity', 'Third-party mentions', 'Reviews and PR'],
+    conv: ['Contact form', 'Price visible', 'Messengers'],
+  };
+  const criticalShown = ru ? localised.filter((c) => c.status === 'bad').map((c) => ({ title: c.label, text: `${c.value}${c.comment ? `. ${c.comment}` : ''}`, level: 'bad' })) : critical;
 
   return {
     meta: { site: home.final, host, reachable: homeAnswered, homeStatus: home.response.status || 0, collectedAt: new Date().toISOString(), tool: `@operstack/audit ${VERSION}`, tier, auditType: lang === 'ru' ? 'Аудит по публичным сигналам' : 'External audit (no Search Console or analytics access)', lang, language: hp ? (hp.og?.locale || '') : '' },
@@ -757,23 +843,23 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
     scores,
     scoreBasis,
     summary: { lead: '{{Three sentences: what the site is, what works, what holds it back.}}', verdict: '{{Key takeaway in three sentences, ending with how fast the critical issues can be fixed.}}', priorities: ['{{Priority one}}', '{{Priority two}}', '{{Priority three}}'] },
-    overview: { rows: [['CMS / stack', hp?.generator || '{{stack}}'], ['Pages in sitemap', String(sitemapPages.length)], ['Language', '{{language}}'], ['What is sold', '{{products}}']], note: '{{One paragraph on how the offer is structured on the site and whether it is clear.}}' },
-    critical: lang === 'ru' ? localised.filter((c) => c.status === 'bad').map((c) => ({ title: c.label, text: `${c.value}${c.comment ? `. ${c.comment}` : ''}`, level: 'bad' })) : critical,
+    overview: { rows: [[S.rows[0], hp?.generator || '{{stack}}'], [S.rows[1], String(sitemapPages.length)], [S.rows[2], '{{language}}'], [S.rows[3], '{{products}}']], note: '{{One paragraph on how the offer is structured on the site and whether it is clear.}}' },
+    critical: criticalShown,
     checks: localised,
     content: { strengths: ['{{strength}}'], weaknesses: ['{{weakness}}'], gaps: ['{{missing landing page or cluster}}'] },
     aeo: { works: ['{{what already works}}'], blocks: ['{{what blocks answer-engine wins}}'], recommendation: '{{One recommendation with a page name.}}' },
-    geo: { rows: [['Entity clarity', '{{status}}', '{{detail}}'], ['Third-party mentions', '{{status}}', '{{detail}}'], ['Reviews and PR', '{{status}}', '{{detail}}']], callout: '{{Brand disambiguation note or the single biggest GEO risk.}}' },
+    geo: { rows: S.geo.map((label) => [label, '{{status}}', '{{detail}}']), callout: '{{Brand disambiguation note or the single biggest GEO risk.}}' },
     offpage: { listed: ['{{where the brand is already listed}}'], note: '{{One paragraph.}}' },
-    conversion: { rows: [['Contact form', '{{status}}'], ['Price visible', '{{status}}'], ['Messengers', '{{status}}']] },
+    conversion: { rows: S.conv.map((label) => [label, '{{status}}']) },
     sources: [
-      { name: 'The site itself', access: 'Free, no account needed', detail: `robots.txt, the sitemaps, llms.txt, the homepage and ${good.length} sampled page(s), read exactly as any visitor reads them` },
-      ...(links.ok ? [{ name: links.source, access: 'Paid tool, optional', detail: 'reported for context only, not counted in any score' }] : []),
+      { name: S.site, access: S.free, detail: S.siteDetail(good.length, fromLinks) },
+      ...(links.ok ? [{ name: links.source, access: S.paid, detail: S.paidDetail }] : []),
     ],
-    limitations: ['Google Search Console: no impressions, clicks or query data', 'Analytics: no traffic or behaviour data', 'Keyword and backlink tools: not used in the external tier'],
+    limitations: S.limitations,
     roadmap: [
-      { badge: 'Week 1', title: 'Critical, quick wins', items: critical.map((c) => `Fix: ${c.title}`).concat(['{{...}}']) },
-      { badge: 'Weeks 2 to 4', title: 'Foundation', items: ['{{pillar pages, alt text, Search Console and Bing connected}}'] },
-      { badge: 'Months 2 to 3', title: 'Organic growth, AEO and GEO', items: ['{{content clusters, schema, PR, reviews}}'] },
+      { badge: S.roadmap[0][0], title: S.roadmap[0][1], items: criticalShown.map((c) => `${S.fix}: ${c.title}`).concat(['{{...}}']) },
+      { badge: S.roadmap[1][0], title: S.roadmap[1][1], items: ['{{pillar pages, alt text, Search Console and Bing connected}}'] },
+      { badge: S.roadmap[2][0], title: S.roadmap[2][1], items: ['{{content clusters, schema, PR, reviews}}'] },
     ],
     closing: '{{Key message for the client in three sentences.}}',
     // В выборке остаётся и то, из чего считается работа с текстами: без этих полей пакет

package/src/i18n.mjs

@@ -149,7 +149,7 @@ const RU = {
   },
   'trust-profiles': { label: 'Профили на других площадках', value: (v) => (/no sameAs/.test(v) ? 'в разметке не заявлено ни одного профиля на других площадках' : `${nums(v)[0]}: ${v.split(': ').slice(1).join(': ')}`), comment: (c) => (c ? 'самый дешёвый внешний сигнал, и он бесплатный' : '') },
   'trust-about': { label: 'Страница о компании', value: (v) => (/no about/.test(v) ? 'страницы о компании нет или на неё не ведут ссылки' : 'на неё ведут ссылки с проверенных страниц') },
-  'trust-policies': { label: 'Политика и условия', value: (v) => (/neither/.test(v) ? 'ни политики конфиденциальности, ни условий на сайте нет' : `есть: ${v.replace(/privacy/g, 'политика').replace(/terms/g, 'условия').replace(/legal/g, 'правовая страница').replace(/cookie/g, 'куки').replace(/disclaimer/g, 'оговорка')}`) },
+  'trust-policies': { label: 'Политика и условия', value: (v) => (/neither/.test(v) ? 'ни политики конфиденциальности, ни условий на сайте нет' : `есть: ${v.replace(/privacy/g, 'политика').replace(/terms/g, 'условия').replace(/legal/g, 'правовая страница').replace(/cookie/g, 'куки').replace(/disclaimer/g, 'оговорка').replace(/consent/g, 'согласие на обработку данных')}`) },
   'conv-contact-path': { label: 'Способ связаться', value: (v) => { const n = nums(v); return `${n[0]} из ${pages(n[1])} выборки дают форму, контактную ссылку или страницу контактов`; } },
   'conv-cta': { label: 'Призыв к действию в первом экране', value: (v) => { const n = nums(v); return `${n[0]} из ${pages(n[1])} выборки ставят его в первых ${n[2]} процентах страницы`; }, comment: (c) => (c ? 'читателю, которого убедили сверху, не должно приходиться искать' : '') },
   'conv-form-depth': { label: 'На какой глубине лежит форма', value: (v) => (/no form/.test(v) ? 'на проверенных страницах формы нет' : /could not be measured/.test(v) ? 'положение формы измерить не удалось' : `медиана ${pct(nums(v)[0])} вниз по странице, измерено на ${pages(nums(v)[1])}`), comment: (c) => (c ? 'на длинной странице дотуда почти никто не доходит, особенно с телефона' : '') },

package/src/prospect.mjs

@@ -85,9 +85,24 @@ export const OWNER_LINES = {
     en: 'On a phone your page cannot be pinched to zoom: the code forbids it.',
     ru: 'С телефона страницу нельзя увеличить пальцами, масштабирование запрещено в коде.',
   },
+  /*
+   * Фраза от числа (задание Максима 26.09.2026): «Not one page…» стояло и при «5 of 8», то есть
+   * письмо говорило неправду про сайт, где половина страниц в порядке. Число берётся из самой
+   * проверки («5 of 8 sampled page(s) open…»).
+   */
   'answer-first': {
-    en: 'Not one page opens with a short direct answer, and that opening is exactly what gets quoted.',
-    ru: 'Ни на одной странице нет короткого прямого ответа в первом абзаце, а цитируют именно его.',
+    en: (c) => {
+      const [have, of] = countOf(c);
+      return have > 0 && of > have
+        ? `Only ${have} of your ${of} checked pages open with a short direct answer, and that opening is exactly what gets quoted.`
+        : 'Not one page opens with a short direct answer, and that opening is exactly what gets quoted.';
+    },
+    ru: (c) => {
+      const [have, of] = countOf(c);
+      return have > 0 && of > have
+        ? `Короткий прямой ответ в первом абзаце есть только на ${have} из ${of} проверенных страниц, а цитируют именно его.`
+        : 'Ни на одной странице нет короткого прямого ответа в первом абзаце, а цитируют именно его.';
+    },
   },
   'tables': {
     en: 'Your pages have no tables, and a table is the easiest thing for an assistant to lift and quote.',
@@ -164,8 +179,17 @@ const LEAD_ORDER = [
   'conv-form-fields', 'conv-contact-path', 'agent-markdown', 'h1', 'dates', 'utility',
 ];
 
+/** «5 of 8 sampled page(s)…» в находке: сколько страниц в порядке и сколько проверено. */
+function countOf(check) {
+  const m = String(check?.value || '').match(/(\d+)\s+(?:of|из)\s+(\d+)/);
+  return m ? [Number(m[1]), Number(m[2])] : [0, 0];
+}
+
 /** Фраза владельцу на нужном языке. Нет перевода, значит нет фразы, и печатается сама находка. */
-const line = (id, lang = 'en') => (OWNER_LINES[id] || {})[lang === 'ru' ? 'ru' : 'en'] || '';
+const line = (id, lang = 'en', check = null) => {
+  const say = (OWNER_LINES[id] || {})[lang === 'ru' ? 'ru' : 'en'];
+  return (typeof say === 'function' ? say(check) : say) || '';
+};
 
 /** Вес области при подсчёте одной общей оценки. Считаем только то, что правда измерено. */
 const WEIGHT = {
@@ -207,15 +231,15 @@ export function worstFindings(audit, limit = 3, lang = 'en') {
       const s = (SEVERITY[a.status] ?? 2) - (SEVERITY[b.status] ?? 2);
       if (s) return s;
       // При равной тяжести вперёд идёт то, для чего есть фраза владельцу: она и попадёт в письмо.
-      return (line(b.id, lang) ? 1 : 0) - (line(a.id, lang) ? 1 : 0);
+      return (line(b.id, lang, b) ? 1 : 0) - (line(a.id, lang, a) ? 1 : 0);
     });
   return open.slice(0, limit).map((c) => ({
     id: c.id,
     status: c.status,
     label: c.label,
     value: c.value,
-    say: line(c.id, lang) || `${c.label}: ${c.value}`,
-    translated: Boolean(line(c.id, lang)),
+    say: line(c.id, lang, c) || `${c.label}: ${c.value}`,
+    translated: Boolean(line(c.id, lang, c)),
   }));
 }
 

package/src/test-crawl-links.mjs

@@ -0,0 +1,87 @@
+#!/usr/bin/env node
+/**
+ * Сайт без карты сайта читается по ссылкам, а не одной главной.
+ *
+ * 30.09.2026 elitelivingrealty.com и solohomes.co.uk (на www нет ни robots.txt, ни карты) дали
+ * в отчёте выборку из одной главной. Здесь: разбор ссылок и правил robots.txt отдельно, потом
+ * живой сервер без карты, где страницы находятся только по ссылкам, на двух уровнях.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { internalLinks, robotsAllows } from './visibility.mjs';
+import { collect } from './collect.mjs';
+import { checkVisibility } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+// ---- разбор ссылок
+{
+  const html = `<a href="/buy/">Buy</a><a href="/buy">dup</a><a href="https://www.x.com/rent/?page=2#top">Rent</a>
+  <a href="https://x.com/sell/">apex</a><a href="https://other.com/">other</a><a href="mailto:a@x.com">m</a>
+  <a href="tel:+1">t</a><a href="#top">anchor</a><a href="/brochure.pdf">pdf</a><a href="/about.html">about</a>
+  <a href="/cart/">cart</a><a href="/tag/villas/">tag</a><a href="/x/" rel="nofollow">nf</a><a href="javascript:void(0)">js</a>`;
+  is('свои страницы, без повторов, файлов и служебных', internalLinks(html, 'https://www.x.com/'),
+    ['https://www.x.com/buy/', 'https://www.x.com/rent/', 'https://x.com/sell/', 'https://www.x.com/about.html']);
+  is('относительные ссылки от <base>', internalLinks('<base href="https://www.x.com/en/"><a href="team/">t</a>', 'https://www.x.com/'), ['https://www.x.com/en/team/']);
+  is('битый html не роняет разбор', internalLinks(undefined, 'https://x.com/'), []);
+}
+
+// ---- robots.txt
+{
+  const allow = robotsAllows('User-agent: Googlebot\nDisallow: /\n\nUser-agent: *\nDisallow: /private/\nDisallow: /*.php$\nAllow: /private/open/\n');
+  ok('обычная страница разрешена', allow('https://x.com/buy/'));
+  ok('закрытый раздел нет', !allow('https://x.com/private/a/'));
+  ok('Allow длиннее Disallow побеждает', allow('https://x.com/private/open/a/'));
+  ok('звёздочка и доллар', !allow('https://x.com/a/b.php') && allow('https://x.com/a/b.php5'));
+  ok('блок чужого робота не применяется', allow('https://x.com/'));
+  ok('пустой robots.txt разрешает всё', robotsAllows('')('https://x.com/a/'));
+}
+
+// ---- живой сервер без карты сайта
+let dnsOk = true;
+try { dnsOk = (await lookup('lvh.me')).address === '127.0.0.1'; } catch { dnsOk = false; }
+if (!dnsOk) { console.log('ok   пропуск живой части: lvh.me не указывает на 127.0.0.1 (нет сети)'); process.exit(bad ? 1 : 0); }
+
+const LINKS = {
+  '/': ['/buy/', '/rent/', '/private/', '/contact/', 'https://elsewhere.example/'],
+  '/buy/': ['/buy/villas/', '/buy/flats/', '/'],
+  '/rent/': ['/rent/long-term/'],
+  '/contact/': [], '/buy/villas/': [], '/buy/flats/': [], '/rent/long-term/': [], '/private/': [],
+};
+const page = (path) => `<!doctype html><html lang="en"><head><title>Page ${path}</title>
+<meta name="description" content="A page description long enough not to count as empty for the check."></head>
+<body><main><h1>Page ${path}</h1>${'<p>Plain paragraph about the property, the area and the price.</p>'.repeat(10)}
+<nav>${LINKS[path].map((l) => `<a href="${l}">${l}</a>`).join('')}</nav></main></body></html>`;
+const hits = [];
+const server = createServer((req, res) => {
+  hits.push(req.url);
+  if (req.url === '/robots.txt') { res.writeHead(200, { 'content-type': 'text/plain' }); return res.end('User-agent: *\nDisallow: /private/\n'); }
+  if (LINKS[req.url]) { res.writeHead(200, { 'content-type': 'text/html; charset=utf-8' }); return res.end(page(req.url)); }
+  res.writeHead(404, { 'content-type': 'text/plain' }); res.end('no');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+const base = `http://lvh.me:${server.address().port}`;
+
+try {
+  const a = await collect(`${base}/`, { pages: 10, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const read = a.sample.filter((p) => p.title !== undefined).map((p) => new URL(p.url).pathname);
+  ok('карты нет, и отчёт это говорит', (a.checks.find((c) => c.id === 'sitemap') || {}).status === 'bad');
+  is('прочитаны все открытые страницы по ссылкам, двумя уровнями', [...read].sort(), ['/', '/buy/', '/buy/flats/', '/buy/villas/', '/contact/', '/rent/', '/rent/long-term/']);
+  ok('закрытое в robots.txt не читается', !hits.includes('/private/'));
+  ok('страница контактов идёт раньше остальных ссылок', read.indexOf('/contact/') < read.indexOf('/buy/'));
+  is('счёт найденных по ссылкам', a.reading.fromLinks, 6);
+  ok('в источниках сказано, откуда страницы', /found by following links/.test(a.sources[0].detail));
+
+  const few = await collect(`${base}/`, { pages: 3, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  is('предел страниц соблюдается', few.sample.length, 3);
+
+  const v = await checkVisibility(`${base}/`, { lang: 'en', samplePages: 5, budgetMs: 8000 });
+  ok('бесплатная проверка прочитала сайт', v.ok);
+  const vRead = (v.sample || []).map((p) => new URL(p.url).pathname);
+  ok(`бесплатная проверка взяла страницы со ссылок главной (${vRead.join(', ')})`, vRead.length >= 4 && vRead.includes('/buy/') && !vRead.includes('/private/'));
+} finally { server.close(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/test-prospect-count.mjs

@@ -0,0 +1,12 @@
+// Фраза про короткий ответ зависит от числа страниц (задание 26.09.2026): «Not one page» только при нуле.
+import assert from 'node:assert/strict';
+import { prospectRow } from './prospect.mjs';
+const audit = (value, status) => ({ meta: { host: 'a.test' }, scores: {}, checks: [{ id: 'answer-first', status, label: 'Answer-first opening paragraph', value }] });
+const warn = prospectRow(audit('5 of 8 sampled page(s) open with 20 to 90 words carrying a figure, right after the H1', 'warn'));
+assert.equal(warn.say, 'Only 5 of your 8 checked pages open with a short direct answer, and that opening is exactly what gets quoted.');
+const bad = prospectRow(audit('0 of 8 sampled page(s) open with 20 to 90 words carrying a figure, right after the H1', 'bad'));
+assert.match(bad.say, /^Not one page opens/);
+const ru = prospectRow(audit('5 of 8 sampled page(s) open with 20 to 90 words carrying a figure, right after the H1', 'warn'), { lang: 'ru' });
+assert.equal(ru.say, 'Короткий прямой ответ в первом абзаце есть только на 5 из 8 проверенных страниц, а цитируют именно его.');
+assert.match(prospectRow(audit('', 'bad')).say, /^Not one page opens/, 'без числа прежняя фраза');
+console.log('test-prospect-count: ok');

package/src/test-redirect-host.mjs

@@ -0,0 +1,63 @@
+#!/usr/bin/env node
+/**
+ * Голый домен, который отвечает 301 на www, должен читаться так же, как сам www.
+ *
+ * 30.09.2026 bristolpropertycentre.co.uk получил в отчёте «no sitemap found at the usual paths» и
+ * «1 pages sampled»: robots.txt и карта сайта брались с введённого адреса без перехода по 301, а
+ * выборка в бесплатной проверке отсеивала страницы карты, потому что они на www. Тот же сайт,
+ * введённый с www, давал сто страниц. Здесь это держится на живом сервере: lvh.me и www.lvh.me оба
+ * указывают на 127.0.0.1, и сервер по заголовку Host отправляет голый домен на www.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { collect } from './collect.mjs';
+import { checkVisibility } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+
+let dnsOk = true;
+try { dnsOk = (await lookup('lvh.me')).address === '127.0.0.1' && (await lookup('www.lvh.me')).address === '127.0.0.1'; } catch { dnsOk = false; }
+if (!dnsOk) { console.log('ok   пропуск: lvh.me не указывает на 127.0.0.1 (нет сети)'); process.exit(0); }
+
+const PAGES = ['/', '/buy/', '/rent/', '/sell/', '/about/', '/contact/'];
+const page = (title) => `<!doctype html><html lang="en"><head><title>${title}</title>
+<meta name="description" content="A page description long enough not to count as empty for the check.">
+</head><body><main><h1>${title}</h1>${'<p>Plain paragraph about the property, the area and the price.</p>'.repeat(10)}</main></body></html>`;
+
+const server = createServer((req, res) => {
+  const host = (req.headers.host || '').toLowerCase();
+  const www = `http://www.${host.replace(/^www\./, '')}`;
+  if (!host.startsWith('www.')) { res.writeHead(301, { location: `${www}${req.url}` }); return res.end(); }
+  const send = (code, type, body) => { res.writeHead(code, { 'content-type': type }); res.end(body); };
+  if (req.url === '/robots.txt') return send(200, 'text/plain', `User-agent: *\nAllow: /\nSitemap: ${www}/sitemap.xml\n`);
+  if (req.url === '/llms.txt') return send(200, 'text/plain', `# Site\n\n- [Buy](${www}/buy/)\n`);
+  if (req.url === '/sitemap.xml') return send(200, 'application/xml', `<?xml version="1.0"?><urlset>${PAGES.map((p) => `<url><loc>${www}${p}</loc></url>`).join('')}</urlset>`);
+  if (PAGES.includes(req.url)) return send(200, 'text/html; charset=utf-8', page(`Page ${req.url}`));
+  return send(404, 'text/plain', 'no');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+const port = server.address().port;
+const apex = `http://lvh.me:${port}/`;
+
+try {
+  const a = await collect(apex, { pages: 10, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const check = (id) => a.checks.find((c) => c.id === id) || {};
+  ok('конечный адрес сайта на www', a.meta.site.startsWith(`http://www.lvh.me:${port}`));
+  ok(`robots.txt прочитан через 301 (${check('robots').status}: ${check('robots').value})`, check('robots').status === 'ok');
+  ok(`карта сайта найдена (${check('sitemap').value})`, check('sitemap').status === 'ok' && /6 URL/.test(check('sitemap').value));
+  ok('карта не считается чужим хостом', !a.checks.some((c) => c.id === 'sitemap-foreign'));
+  ok(`llms.txt прочитан через 301 (${check('llms').value})`, check('llms').status === 'ok');
+  ok('в обзоре шесть страниц в карте', a.overview.rows.find((r) => r[0] === 'Pages in sitemap')?.[1] === '6');
+  const sampled = Number((a.sources[0].detail.match(/homepage and (\d+) sampled/) || [])[1]);
+  ok(`выборка не одна главная (${sampled} страниц)`, sampled >= 5);
+  ok(`www-канонизация названа от голого домена к www (${check('www').value})`, /^lvh\.me:\d+ redirects to www\.lvh\.me/.test(check('www').value));
+
+  const v = await checkVisibility(apex, { lang: 'en', samplePages: 5, budgetMs: 8000 });
+  ok('бесплатная проверка прочитала сайт', v.ok);
+  ok(`бесплатная проверка нашла карту (${v.sitemap?.count})`, v.sitemap?.found && v.sitemap.count === 6);
+  ok(`в выборке не только главная (${v.sample?.length} страниц)`, (v.sample?.length || 0) >= 3);
+} finally { server.close(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/test-ru-report.mjs

@@ -0,0 +1,95 @@
+#!/usr/bin/env node
+/**
+ * Русский сайт в русском отчёте: правовые страницы находятся по русским адресам, и в audit.json
+ * нет английских подписей.
+ *
+ * 30.09.2026 образец аудита агентства из Екатеринбурга (collect --lang ru) дал красное «ни политики
+ * конфиденциальности, ни условий на сайте нет» при ссылке href="politika-konfidenczialnosti/", а в
+ * плане работ, обзоре, источниках и ограничениях стояли «Week 1», «Fix: Privacy and terms»,
+ * «The site itself» и «Analytics: no traffic or behaviour data».
+ */
+import { createServer } from 'node:http';
+import { mkdtemp, readFile } from 'node:fs/promises';
+import { tmpdir } from 'node:os';
+import path from 'node:path';
+import { collect, policyKinds } from './collect.mjs';
+import { draftNarrative } from './narrative.mjs';
+import { render } from './render.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+// ---- какие правовые страницы стоят за ссылкой
+is('русская политика без косой черты в начале', policyKinds('politika-konfidenczialnosti/'), ['privacy']);
+is('русская политика с косой чертой', policyKinds('/politika-konfidencialnosti/'), ['privacy']);
+is('конфиденциальность отдельным словом', policyKinds('/konfidencialnost/'), ['privacy']);
+is('согласие на обработку данных', policyKinds('/soglasie-na-obrabotku-personalnyh-dannyh/'), ['consent']);
+is('пользовательское соглашение это условия, а не согласие', policyKinds('/polzovatelskoe-soglashenie/'), ['terms']);
+is('условия и оферта', [policyKinds('usloviya-ispolzovaniya/'), policyKinds('/docs/oferta.pdf')], [['terms'], ['terms']]);
+is('кириллица в адресе, в том числе закодированная', [policyKinds('/политика-конфиденциальности/'), policyKinds('/%D0%BE%D1%84%D0%B5%D1%80%D1%82%D0%B0/')], [['privacy'], ['terms']]);
+is('полный адрес', policyKinds('https://dial93.ru/politika-konfidenczialnosti/'), ['privacy']);
+is('английские адреса как раньше', [policyKinds('/privacy-policy'), policyKinds('/en/terms-of-use/'), policyKinds('/cookies'), policyKinds('/legal/'), policyKinds('/disclaimer')], [['privacy'], ['terms'], ['cookie'], ['legal'], ['disclaimer']]);
+is('испанские акции не условия', policyKinds('/ofertas/'), []);
+is('почта, телефон и якорь не страницы', [policyKinds('mailto:privacy@x.ru'), policyKinds('tel:+7'), policyKinds('#privacy')], [[], [], []]);
+is('обычные страницы не правовые', [policyKinds('/kvartiry/'), policyKinds('/o-kompanii/'), policyKinds('/politics-news/')], [[], [], []]);
+
+// ---- живой русский сайт, отчёт по-русски
+const PAGES = ['/', '/kvartiry/', '/doma/', '/kontakty/'];
+const page = (p) => `<!doctype html><html lang="ru"><head><title>Агентство недвижимости ${p}</title>
+<meta name="description" content="Квартиры и дома в Екатеринбурге: подбор, проверка и сопровождение сделки под ключ.">
+</head><body><main><h1>Недвижимость ${p}</h1>${'<p>Квартира в новом доме, 54 квадратных метра, цена 7,2 млн рублей, сдача в 2027 году.</p>'.repeat(12)}</main>
+<footer><a href="politika-konfidenczialnosti/">Политика конфиденциальности</a> <a href="/soglasie-na-obrabotku/">Согласие на обработку</a></footer></body></html>`;
+const server = createServer((req, res) => {
+  const send = (code, type, body) => { res.writeHead(code, { 'content-type': type }); res.end(body); };
+  const www = `http://${req.headers.host}`;
+  if (req.url === '/robots.txt') return send(200, 'text/plain', `User-agent: *\nAllow: /\nSitemap: ${www}/sitemap.xml\n`);
+  if (req.url === '/sitemap.xml') return send(200, 'application/xml', `<?xml version="1.0"?><urlset>${PAGES.map((p) => `<url><loc>${www}${p}</loc></url>`).join('')}</urlset>`);
+  if (PAGES.includes(req.url)) return send(200, 'text/html; charset=utf-8', page(req.url));
+  return send(404, 'text/plain', 'нет');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+const base = `http://127.0.0.1:${server.address().port}`;
+
+// Английские подписи, которые сборщик писал сам до 0.33.1, и общий признак английской фразы.
+const ENGLISH = /\b(Week|Weeks|Months|Critical, quick wins|Foundation|Organic growth|Fix:|CMS \/ stack|Pages in sitemap|Language|What is sold|The site itself|Free, no account|read exactly as|sampled page|Search Console: no|Analytics: no|Keyword and backlink|external tier|Entity clarity|Third-party mentions|Reviews and PR|Contact form|Price visible|Messengers|Paid tool)\b/;
+const strings = (o, at = '', out = []) => {
+  if (typeof o === 'string') out.push([at, o]);
+  else if (Array.isArray(o)) o.forEach((x, i) => strings(x, `${at}[${i}]`, out));
+  else if (o && typeof o === 'object') for (const k of Object.keys(o)) strings(o[k], at ? `${at}.${k}` : k, out);
+  return out;
+};
+// Что пишет сам сборщик. Проверки, выборка и сырые замеры несут адреса и значения со страниц.
+const OWN = ['overview', 'critical', 'geo', 'conversion', 'sources', 'limitations', 'roadmap'];
+
+try {
+  const a = await collect(`${base}/`, { pages: 4, pageDelayMs: 0, lang: 'ru', log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const pol = a.checks.find((c) => c.id === 'trust-policies') || {};
+  is('политика и согласие найдены, проверка зелёная', pol.status, 'ok');
+  ok(`и подписаны по-русски (${pol.value})`, /политика/.test(pol.value) && /согласие/.test(pol.value) && !/privacy|consent/.test(pol.value));
+
+  const leaks = strings(Object.fromEntries(OWN.map((k) => [k, a[k]]))).filter(([, s]) => ENGLISH.test(s) && !s.includes('{{'));
+  is('в русском audit.json нет английских подписей', leaks, []);
+  is('план работ', a.roadmap.map((p) => p.badge), ['Неделя 1', 'Недели 2-4', 'Месяцы 2-3']);
+  const badRu = a.checks.filter((c) => c.status === 'bad').map((c) => `Исправить: ${c.label}`);
+  ok(`пункты плана по русским названиям проверок (${a.roadmap[0].items[0]})`, badRu.length > 0 && JSON.stringify(a.roadmap[0].items.slice(0, -1)) === JSON.stringify(badRu));
+  ok('источник «Сам сайт» с числом страниц словами', a.sources[0].name === 'Сам сайт' && /и 4 страницы выборки/.test(a.sources[0].detail));
+
+  const d = draftNarrative(a, { lang: 'ru' });
+  const after = strings(Object.fromEntries(OWN.map((k) => [k, d[k]]))).filter(([, s]) => ENGLISH.test(s));
+  is('и после черновика тоже', after, []);
+  is('черновик нашёл русские строки обзора', d.overview.rows.map((r) => r[1].includes('{{')), [false, false, false, false]);
+
+  const dir = await mkdtemp(path.join(tmpdir(), 'operstack-ru-'));
+  const out = path.join(dir, 'ru.html');
+  await render(d, { out });
+  const text = (await readFile(out, 'utf8')).replace(/<style[\s\S]*?<\/style>|<script[\s\S]*?<\/script>/gi, ' ').replace(/<[^>]+>/g, ' ');
+  const m = text.match(ENGLISH);
+  ok(`в напечатанном отчёте тоже${m ? `: «${text.slice(Math.max(0, m.index - 60), m.index + 60).replace(/\s+/g, ' ')}»` : ''}`, !m);
+
+  const en = await collect(`${base}/`, { pages: 4, pageDelayMs: 0, lang: 'en', log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  is('английский отчёт не изменился', [en.roadmap[0].badge, en.sources[0].name, en.overview.rows[1][0], en.limitations.length], ['Week 1', 'The site itself', 'Pages in sitemap', 3]);
+} finally { server.close(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/visibility.mjs

@@ -225,6 +225,86 @@ export function normaliseInput(input) {
   return u.href;
 }
 
+/*
+ * Страницы сайта по ссылкам, когда карта сайта их не даёт.
+ *
+ * Простым языком. Выборка страниц бралась только из карты сайта. У сайта без карты отчёт читал
+ * одну главную и судил по ней обо всём сайте: так 30.09.2026 вышли elitelivingrealty.com и
+ * solohomes.co.uk, у которых на www нет ни robots.txt, ни карты. Теперь, если карта дала меньше
+ * страниц, чем нужно, недостающие берутся из ссылок на уже прочитанных страницах: сначала с
+ * главной, потом со следующего уровня. Ровно так сайт видит любой поисковый робот.
+ *
+ * Берём только свои страницы (тот же домен, с www или без), без параметров и якорей, без файлов
+ * и служебных разделов, и не берём то, что robots.txt закрывает для всех роботов.
+ */
+const bare = (h) => String(h || '').toLowerCase().replace(/^www\./, '');
+
+/** Файлы и служебные разделы: это не страницы, по которым судят о сайте. */
+const FILE_EXT = /\.(?!html?$|php$|aspx?$)[a-z0-9]{2,5}$/i;
+const UTILITY = /\/(cart|basket|checkout|wishlist|compare|my-account|account|login|log-in|signin|sign-in|register|logout|wp-admin|wp-login\.php|wp-json|feed|rss|tag|tags|author|search|cdn-cgi)(\/|$)/i;
+
+/**
+ * Свои ссылки страницы в порядке появления, без повторов.
+ * @param {string} html
+ * @param {string} baseUrl адрес страницы, от него считаются относительные ссылки
+ * @param {Iterable<string>} [ownHosts] хосты сайта; по умолчанию хост baseUrl, с www и без
+ */
+export function internalLinks(html, baseUrl, ownHosts = []) {
+  let base;
+  try { base = new URL(baseUrl); } catch { return []; }
+  const own = new Set([bare(base.host), ...[...ownHosts].map(bare)]);
+  // Без парсера: этот файл живёт копией на сайтах и не тянет зависимостей. Скрипты, стили и
+  // комментарии вырезаются, чтобы ссылка внутри строки скрипта не считалась ссылкой страницы.
+  const src = String(html || '').replace(/<!--[\s\S]*?-->/g, ' ').replace(/<(script|style|noscript|template)\b[\s\S]*?<\/\1\s*>/gi, ' ');
+  const attrOf = (tag, name) => { const m = tag.match(new RegExp(`\\s${name}\\s*=\\s*(?:"([^"]*)"|'([^']*)'|([^\\s>]+))`, 'i')); return m ? (m[1] ?? m[2] ?? m[3] ?? '').replace(/&amp;/gi, '&') : null; };
+  const baseTag = src.match(/<base\b[^>]*>/i);
+  const baseHref = baseTag ? attrOf(baseTag[0], 'href') : null;
+  let resolveFrom = base;
+  if (baseHref) { try { resolveFrom = new URL(baseHref, base); } catch { /* битый <base> не мешает */ } }
+  const out = []; const seen = new Set();
+  for (const m of src.matchAll(/<a\b[^>]*>/gi)) {
+    const href = (attrOf(m[0], 'href') || '').trim();
+    if (!href || /^(#|mailto:|tel:|javascript:|data:|sms:|whatsapp:)/i.test(href)) continue;
+    if (/\bnofollow\b/i.test(attrOf(m[0], 'rel') || '')) continue;
+    let u;
+    try { u = new URL(href, resolveFrom); } catch { continue; }
+    if (!/^https?:$/.test(u.protocol) || !own.has(bare(u.host))) continue;
+    u.hash = ''; u.search = '';
+    if (FILE_EXT.test(u.pathname) || UTILITY.test(u.pathname)) continue;
+    const key = `${bare(u.host)}${u.pathname.replace(/\/$/, '')}`.toLowerCase();
+    if (seen.has(key)) continue;
+    seen.add(key);
+    out.push(u.href);
+  }
+  return out;
+}
+
+/**
+ * Разрешает ли robots.txt адрес роботу без своего блока (User-agent: *). Правило самое длинное
+ * совпадение, Allow побеждает при равной длине, звёздочка и знак доллара как у Google.
+ */
+export function robotsAllows(robotsText) {
+  const rules = []; let inStar = false; let sawRule = false;
+  for (const raw of String(robotsText || '').split(/\r?\n/)) {
+    const line = raw.replace(/#.*$/, '').trim(); if (!line) continue;
+    const m = line.match(/^([a-z-]+)\s*:\s*(.*)$/i); if (!m) continue;
+    const key = m[1].toLowerCase(); const value = m[2].trim();
+    if (key === 'user-agent') { if (sawRule) { inStar = false; sawRule = false; } if (value === '*') inStar = true; continue; }
+    if (key === 'allow' || key === 'disallow') { sawRule = true; if (inStar && value) rules.push({ allow: key === 'allow', value }); }
+  }
+  const compiled = rules.map((r) => ({ ...r, re: new RegExp(`^${r.value.replace(/[.+?^{}()|[\]\\]/g, '\\$&').replace(/\*/g, '.*').replace(/\\?\$$/, '$')}`) }));
+  return (url) => {
+    let path;
+    try { const u = new URL(url); path = u.pathname + u.search; } catch { return false; }
+    let best = null;
+    for (const r of compiled) {
+      if (!r.re.test(path)) continue;
+      if (!best || r.value.length > best.value.length || (r.value.length === best.value.length && r.allow)) best = r;
+    }
+    return !best || best.allow;
+  };
+}
+
 async function get(url, { timeout = 6000, method = 'GET' } = {}) {
   const c = new AbortController(); const t = setTimeout(() => c.abort(), timeout);
   const started = Date.now();
@@ -567,7 +647,17 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   }
   const homePage = analysePage(home.text, home.url);
   const robots = parseRobots(robotsRes.ok ? robotsRes.text : '');
-  const sitemap = left() > 1500 ? await readSitemap(origin, robotsRes.ok ? robotsRes.text : '', () => Math.min(3000, left() - 300)) : { found: false, url: '', count: 0, lastmod: false, pages: [], skipped: true };
+  /*
+   * Где сайт живёт на самом деле. Голый домен с 301 на www отдаёт robots.txt через переадресацию,
+   * и карта в нём перечисляет адреса на www. До 0.32.2 выборка брала только страницы, начинающиеся
+   * с введённого адреса, и на таком сайте читала одну главную. Найдено 30.09.2026 на
+   * bristolpropertycentre.co.uk.
+   */
+  const siteOrigin = (() => { try { return new URL(home.url).origin; } catch { return origin; } })();
+  const bare = (h) => h.replace(/^www\./, '').toLowerCase();
+  const ownBare = new Set([bare(host), bare(new URL(siteOrigin).host)]);
+  const isOwn = (u) => { try { return ownBare.has(bare(new URL(u).host)); } catch { return false; } };
+  const sitemap = left() > 1500 ? await readSitemap(siteOrigin, robotsRes.ok ? robotsRes.text : '', () => Math.min(3000, left() - 300)) : { found: false, url: '', count: 0, lastmod: false, pages: [], skipped: true };
   let sampled = [];
   /*
    * Сколько страниц выборки мы собирались прочитать. Нужно, чтобы отличить «сайт маленький» от
@@ -577,7 +667,17 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
    * выглядело как «стало лучше», а это ровно то, чего продукт обещает не делать.
    */
   let wantedPages = 0;
-  if (left() > 2000 && sitemap.pages.length) {
+  /*
+   * Карта не дала страниц (или дала меньше, чем нужно): добираем из ссылок главной. Без этого
+   * сайт без карты мерился по одной главной. Запросов не добавляет, главная уже прочитана.
+   * Добавлено 30.09.2026.
+   */
+  const fromSitemap = sitemap.pages.filter(isOwn);
+  const allowedByRobots = robotsAllows(robotsRes.ok ? robotsRes.text : '');
+  const fromHome = fromSitemap.length > samplePages ? [] : internalLinks(home.text, home.url, [host]).filter((l) => allowedByRobots(l));
+  const poolSeen = new Set();
+  const pool = [...fromSitemap, ...fromHome].filter((u) => { const k = u.replace(/\/$/, '').toLowerCase(); return poolSeen.has(k) ? false : poolSeen.add(k); });
+  if (left() > 2000 && pool.length) {
     const norm = (u) => u.replace(/\/$/, '').toLowerCase();
     /*
      * Какие страницы берём в выборку.
@@ -595,7 +695,7 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
      */
     const depth = (u) => { try { return new URL(u).pathname.replace(/\/$/, '').split('/').filter(Boolean).length; } catch { return 99; } };
     const section = (u) => { try { return new URL(u).pathname.split('/').filter(Boolean)[0] || ''; } catch { return ''; } };
-    const candidates = sitemap.pages.filter((p) => norm(p) !== norm(home.url) && p.startsWith(origin));
+    const candidates = pool.filter((p) => norm(p) !== norm(home.url));
     const byDepth = [...candidates].sort((a, b) => depth(a) - depth(b) || a.length - b.length || (a < b ? -1 : 1));
     const picks = [];
     const usedSections = new Set();