@operstack/audit 0.32.1 → 0.33.2

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.32.1",
+  "version": "0.33.2",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",
@@ -29,7 +29,7 @@
     "LICENSE"
   ],
   "scripts": {
-    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html && node src/test-ru-sources.mjs && node src/test-sample-fairness.mjs && node test-engines.mjs && node test-seo-basics.mjs && node test-polite.mjs && node src/test-handover.mjs && node src/test-prospect-count.mjs",
+    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html && node src/test-ru-sources.mjs && node src/test-sample-fairness.mjs && node test-engines.mjs && node test-seo-basics.mjs && node test-polite.mjs && node src/test-handover.mjs && node src/test-prospect-count.mjs && node src/test-redirect-host.mjs && node src/test-crawl-links.mjs && node src/test-ru-report.mjs",
     "sample": "node bin/audit.mjs render examples/sample-audit.json --pdf",
     "verify:live": "node src/verify-live.mjs"
   },

package/src/collect.mjs

@@ -9,7 +9,7 @@ import { fileURLToPath } from 'node:url';
 import { renderedDom, compareReadings, jsBlindnessCheck } from './rendered.mjs';
 import { parse } from 'node-html-parser';
 import { localiseChecks } from './i18n.mjs';
-import { checkVisibility, VISIBILITY_DEFAULTS } from './visibility.mjs';
+import { checkVisibility, VISIBILITY_DEFAULTS, internalLinks, robotsAllows } from './visibility.mjs';
 
 /** Версия читается из своего package.json. Зашитая строка врала в каждом отчёте с первого релиза:
  *  в подвале стояло 0.1.0, когда пакет был уже 0.12.0, и покупатель не мог понять, чем его мерили. */
@@ -104,18 +104,47 @@ export function crawlDelayFrom(robotsText, capMs = 3000) {
   return { ms: Math.min(asked, capMs), asked, capped: asked > capMs };
 }
 
-async function follow(url, max = 5) {
+async function follow(url, max = 5, opts = {}) {
   const hops = [];
   let cur = url;
   for (let i = 0; i < max; i++) {
-    const r = await get(cur);
+    const r = await get(cur, opts);
     hops.push({ url: cur, status: r.status, location: r.location });
     if (r.status >= 300 && r.status < 400 && r.location) { cur = new URL(r.location, cur).href; continue; }
     return { final: cur, response: r, hops };
   }
-  return { final: cur, response: await get(cur), hops };
+  return { final: cur, response: await get(cur, opts), hops };
 }
 
+/** Служебный файл с переходом по переадресации: robots.txt, карта сайта, llms.txt. Сайт, у
+ *  которого голый домен отвечает 301 на www, отдаёт их только по конечному адресу, а get() ходит
+ *  с redirect: 'manual' и видел бы один 301. Возвращает ответ конечного адреса, url в нём тоже конечный. */
+async function getFollowed(url, opts = {}) {
+  const f = await follow(url, 5, opts);
+  return { ...f.response, url: f.final };
+}
+
+/*
+ * Какие правовые страницы стоят за ссылкой. Смотрим каждую часть пути, а не только начало после
+ * косой черты: русский сайт пишет href="politika-konfidenczialnosti/" без неё, и до 30.09.2026
+ * агентство из Екатеринбурга получало красное «ни политики, ни условий нет» при живой политике.
+ * Оферта проверяется целым словом: испанское /ofertas/ это акции, а не условия.
+ */
+const POLICY_SLUGS = [
+  ['privacy', /^(privacy|politika|[a-z-]*konfiden|политика|[а-я-]*конфиденциальн)/],
+  ['terms', /^(terms|usloviya|oferta(?![a-z])|polzovatelskoe-soglashenie|условия|оферта|пользовательское-соглашение)/],
+  ['consent', /^(soglasie|согласие)/],
+  ['legal', /^legal/],
+  ['cookie', /^cookie/],
+  ['disclaimer', /^disclaimer/],
+];
+export function policyKinds(href) {
+  const h = String(href || '').toLowerCase();
+  if (/^(mailto|tel|javascript|data):/.test(h) || h.startsWith('#')) return [];
+  let path = h.replace(/^([a-z][a-z0-9+.-]*:)?\/\/[^/]+/, '').split(/[?#]/)[0];
+  try { path = decodeURIComponent(path); } catch { /* битая кодировка: читаем как есть */ }
+  return path.split('/').filter(Boolean).flatMap((seg) => { const k = POLICY_SLUGS.find(([, re]) => re.test(seg)); return k ? [k[0]] : []; });
+}
 const row = (id, group, label, status, value, comment = '') => ({ id, group, label, status, value, comment });
 
 /**
@@ -209,7 +238,7 @@ function analysePage(url, html) {
     sameAs: [...new Set(sameAs.map((u) => { try { return new URL(u).host.replace(/^www\./, ''); } catch { return ''; } }).filter(Boolean))],
     sameAsUrls: [...new Set(sameAs)],
     aboutPage: hrefsLower.some((h) => /\/(about|about-us|our-story|team|company|o-nas)\/?($|[?#])/.test(h)),
-    policyPages: [...new Set(hrefsLower.filter((h) => /\/(privacy|privacy-policy|terms|terms-of-use|legal|cookie|cookies|disclaimer)/.test(h)).map((h) => (h.match(/\/(privacy|terms|legal|cookie|disclaimer)/) || [])[1]).filter(Boolean))],
+    policyPages: [...new Set(hrefsLower.flatMap(policyKinds))],
     author: /"author"\s*:/.test(ld),
   };
   // Answer-first family, the same measures the free AI visibility check uses, so the two agree.
@@ -270,7 +299,7 @@ async function readSitemap(startUrl, { maxFiles = 6, budgetMs = 45000, maxUrls =
     const { url, depth } = queue.shift();
     if (seen.has(url) || depth > 3) continue;
     seen.add(url);
-    const r = await get(url, timeout ? { timeout } : {});
+    const r = await getFollowed(url, timeout ? { timeout } : {});
     filesRead++;
     if (!r.ok) continue;
     // Спускаться вглубь можно только из индекса карт. Прежнее условие из-за приоритета операторов
@@ -304,7 +333,16 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   checks.push(homeAnswered
     ? row('https', 'technical', 'HTTPS', home.final.startsWith('https://') ? 'ok' : 'bad', home.final.startsWith('https://') ? 'certificate active' : 'site served over http')
     : row('https', 'technical', 'HTTPS', 'bad', `the site did not answer${home.response.status ? `: HTTP ${home.response.status}` : ''}`, 'nothing below could be measured on a site that does not answer'));
-  const altHost = host.startsWith('www.') ? host.slice(4) : `www.${host}`;
+  /*
+   * Служебные файлы читаем с того хоста, где сайт на самом деле живёт. До 0.32.2 robots.txt и
+   * карта сайта брались с адреса, который ввёл человек: bristolpropertycentre.co.uk отвечает 301 на
+   * www, get() переадресацию не проходит, и отчёт писал «no sitemap found» и «1 pages sampled»,
+   * хотя в robots.txt на www стоит живая карта на сто страниц. Найдено 30.09.2026.
+   */
+  const siteOrigin = homeAnswered ? new URL(home.final).origin : origin;
+  const siteHost = new URL(siteOrigin).host;
+  const altHost = siteHost.startsWith('www.') ? siteHost.slice(4) : `www.${siteHost}`;
+  const ownHosts = new Set([host, siteHost, altHost]);
   /*
    * Цепочки переадресаций. Каждый прыжок это потерянное время у человека и потерянный вес ссылки
    * у поиска, а нейросети на длинной цепочке чаще бросают страницу вовсе. Один прыжок нормален
@@ -337,7 +375,7 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   checks.push(row('ttfb', 'technical', 'Time to first byte (homepage)', home.response.ttfb > 2500 ? 'bad' : home.response.ttfb > 1200 ? 'warn' : 'ok', `${home.response.ttfb} ms`, 'single request from the auditor, not a lab test'));
 
   log('robots.txt');
-  const robots = await get(`${origin}/robots.txt`);
+  const robots = await getFollowed(`${siteOrigin}/robots.txt`);
   const sitemapUrls = robots.ok ? [...robots.text.matchAll(/^sitemap:\s*(\S+)/gim)].map((m) => m[1]) : [];
   // robots.txt is read per user-agent block: a "Disallow: /" under an AI crawler is a policy, under * it is a catastrophe.
   const blocks = []; let cur = null;
@@ -386,13 +424,13 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   if (blockedTrainers.length) checks.push(row('robots-ai', 'geo', 'AI training crawlers blocked (policy)', 'na', `${blockedTrainers.length} agent(s) fully disallowed: ${blockedTrainers.join(', ')}`, 'a policy choice, not a defect: these systems will not train on the site, and will not cite it from their own crawl either'));
 
   log('sitemaps');
-  const candidates = sitemapUrls.length ? sitemapUrls : [`${origin}/sitemap.xml`, `${origin}/sitemap_index.xml`, `${origin}/sitemap-index.xml`];
+  const candidates = sitemapUrls.length ? sitemapUrls : [`${siteOrigin}/sitemap.xml`, `${siteOrigin}/sitemap_index.xml`, `${siteOrigin}/sitemap-index.xml`];
   let sitemapPages = []; let sitemapStatus = 'missing'; let sitemapSource = '';
   let sitemapRead = { filesRead: 0, nestedFound: 0, pending: 0, stopped: '' };
   for (const u of candidates) {
-    const r = await get(u);
+    const r = await getFollowed(u);
     if (r.ok && /<(urlset|sitemapindex)/.test(r.text)) {
-      sitemapRead = await readSitemap(u, { budgetMs: sitemapBudgetMs, maxFiles: sitemapMaxFiles });
+      sitemapRead = await readSitemap(r.url, { budgetMs: sitemapBudgetMs, maxFiles: sitemapMaxFiles });
       sitemapPages = sitemapRead.urls; sitemapStatus = 'ok'; sitemapSource = u; break;
     }
     if (sitemapUrls.includes(u)) { sitemapStatus = `HTTP ${r.status}`; sitemapSource = u; }
@@ -404,14 +442,14 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
       ? `${sitemapPages.length} URL(s) read from ${sitemapRead.filesRead} of ${sitemapRead.filesRead + sitemapRead.pending} sitemap file(s) in ${sitemapSource}`
       : `${sitemapPages.length} URL(s) in ${sitemapSource}`;
   checks.push(row('sitemap', 'technical', 'XML sitemap', sitemapStatus === 'ok' ? 'ok' : 'bad', sitemapValue, sitemapStatus !== 'ok' && sitemapUrls.length ? 'robots.txt points at a sitemap that does not answer' : sitemapRead.stopped ? 'a large nested sitemap: the pages below were sampled from the files that were read, not from every file' : ''));
-  const foreign = sitemapPages.filter((u) => { try { return new URL(u).host !== host && new URL(u).host !== altHost; } catch { return true; } });
+  const foreign = sitemapPages.filter((u) => { try { return !ownHosts.has(new URL(u).host); } catch { return true; } });
   if (foreign.length) checks.push(row('sitemap-foreign', 'technical', 'Sitemap lists other hosts', 'bad', `${foreign.length} URL(s) on other hosts, e.g. ${foreign[0]}`));
 
   log('llms.txt');
-  const llms = await get(`${origin}/llms.txt`);
+  const llms = await getFollowed(`${siteOrigin}/llms.txt`);
   const llmsIsText = llms.ok && !/<html/i.test(llms.text.slice(0, 500));
   const llmsLinks = llmsIsText ? [...llms.text.matchAll(/https?:\/\/[^\s)\]]+/g)].map((m) => m[0]) : [];
-  const llmsForeign = llmsLinks.filter((u) => { try { const h = new URL(u).host; return h !== host && h !== altHost; } catch { return false; } });
+  const llmsForeign = llmsLinks.filter((u) => { try { return !ownHosts.has(new URL(u).host); } catch { return false; } });
   checks.push(row('llms', 'geo', 'llms.txt', !llms.ok ? 'warn' : !llmsIsText ? 'bad' : llmsForeign.length > llmsLinks.length / 2 && llmsLinks.length > 3 ? 'bad' : 'ok',
     !llms.ok ? 'not present' : !llmsIsText ? 'answers with an HTML page, not a text index' : `${llmsLinks.length} link(s), ${llmsForeign.length} to other hosts`,
     !llms.ok ? 'answer engines get nothing to read; a generated index is a one-day job' : llmsForeign.length > 3 ? `links to ${[...new Set(llmsForeign.map((u) => new URL(u).host))].slice(0, 3).join(', ')}: an AI system may misidentify the business` : ''));
@@ -420,7 +458,7 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   // страницы. Индекс для ИИ разъезжается тихо: страницу переименовали, закрыли от индексации или
   // удалили, а в индексе она осталась, и ИИ идёт цитировать редирект или пустоту. Проверяем
   // выборку своих ссылок, а не все: на большом сайте их тысячи, а беда видна и по двадцати.
-  const llmsOwn = llmsLinks.filter((u) => { try { const h = new URL(u).host; return h === host || h === altHost; } catch { return false; } });
+  const llmsOwn = llmsLinks.filter((u) => { try { return ownHosts.has(new URL(u).host); } catch { return false; } });
   if (llmsOwn.length) {
     const sampleSize = Math.min(20, llmsOwn.length);
     const step = Math.max(1, Math.floor(llmsOwn.length / sampleSize));
@@ -448,13 +486,13 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   // вызвать. Стандарты молодые, поэтому отсутствие это не провал, а предупреждение, и в тексте
   // прямо сказано, что это раннее и необязательное. Врать про обязательность мы не будем.
   log('agent surface');
-  const agentCard = await get(`${origin}/.well-known/agent.json`);
+  const agentCard = await get(`${siteOrigin}/.well-known/agent.json`);
   const agentCardOk = agentCard.ok && /^\s*\{/.test(agentCard.text || '');
   checks.push(row('agent-card', 'geo', 'Agent card (/.well-known/agent.json)', agentCardOk ? 'ok' : 'warn',
     agentCardOk ? 'present and valid JSON' : agentCard.ok ? 'present but not JSON' : 'not present',
     agentCardOk ? '' : 'an early, optional standard: it is the file agent directories read to learn who you are and what you offer'));
 
-  const apiCatalog = await get(`${origin}/.well-known/api-catalog`);
+  const apiCatalog = await get(`${siteOrigin}/.well-known/api-catalog`);
   checks.push(row('api-catalog', 'geo', 'API catalogue (RFC 9727)', apiCatalog.ok ? 'ok' : 'warn',
     apiCatalog.ok ? 'present' : 'not present',
     apiCatalog.ok ? '' : 'optional, and only worth adding when the business actually exposes an API for agents to call'));
@@ -476,9 +514,28 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   // are read first rather than left to the luck of sitemap order. A 44 page site sampled 20 deep was
   // reporting "no messenger and no contact page" while both sat in the sitemap, unread.
   const TRUST_PAGE = /\/(contact|contacts|contact-us|kontakt|kontakty|about|about-us|o-nas|team|company|privacy|privacy-policy|politika[a-z-]*|terms|terms-of-use|usloviya|oferta|legal|impressum)\/?$/i;
-  const trustFirst = rest.filter((u) => { try { return TRUST_PAGE.test(new URL(u).pathname); } catch { return false; } });
+  const isTrust = (u) => { try { return TRUST_PAGE.test(new URL(u).pathname); } catch { return false; } };
+  const trustFirst = rest.filter(isTrust);
   const pool = [home.final, ...trustFirst, ...rest.filter((u) => !trustFirst.includes(u))];
   const wanted = pool.slice(0, pages);
+  /*
+   * Обход по ссылкам. Карта дала меньше страниц, чем нужно (или её нет вовсе): недостающие
+   * добираем из ссылок на прочитанных страницах, по уровням от главной. Лишних запросов это не
+   * стоит, ссылки берутся из тех же страниц, что и так читаются в выборку. Добавлено 30.09.2026.
+   */
+  const crawl = wanted.length < pages;
+  const allowedByRobots = robotsAllows(robots.ok ? robots.text : '');
+  let fromLinks = 0;
+  const addLinks = (html, base) => {
+    if (!crawl || wanted.length >= pages) return;
+    // Ссылка на http:// у сайта на https это та же страница: читаем её по протоколу сайта, а не дублем с 301.
+    const siteProtocol = new URL(siteOrigin).protocol;
+    const fresh = internalLinks(html, base, ownHosts).map((l) => { const x = new URL(l); x.protocol = siteProtocol; return x.href; }).filter((l) => { const n = norm(l); if (seenUrl.has(n) || !allowedByRobots(l)) return false; seenUrl.add(n); return true; });
+    for (const l of [...fresh.filter(isTrust), ...fresh.filter((l) => !isTrust(l))]) {
+      if (wanted.length >= pages) break;
+      wanted.push(l); fromLinks += 1;
+    }
+  };
   const politeness = crawlDelayFrom(robots.ok ? robots.text : '');
   let gap = Math.max(pageDelayMs, politeness.ms);
   const sample = [];
@@ -497,11 +554,11 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
     } else if (r.ok) {
       refusedInARow = 0;
     }
-    if (r.ok && /html/i.test(r.type)) sample.push(analysePage(u, r.text));
+    if (r.ok && /html/i.test(r.type)) { sample.push(analysePage(u, r.text)); addLinks(r.text, u); }
     else if (r.status >= 300 && r.status < 400) sample.push({ url: u, redirect: r.location, status: r.status });
     else sample.push({ url: u, status: r.status, error: r.error });
   }
-  const reading = { wanted: wanted.length, read: sample.filter((x) => x.title !== undefined).length, stoppedAt, gapMs: gap, crawlDelay: politeness };
+  const reading = { wanted: wanted.length, read: sample.filter((x) => x.title !== undefined).length, stoppedAt, gapMs: gap, crawlDelay: politeness, fromSitemap: wanted.length - 1 - fromLinks, fromLinks };
   const good = sample.filter((p) => p.title !== undefined);
   const hp = homePage || good[0];
 
@@ -621,7 +678,7 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
   }
   const dated = good.filter((p) => p.dates.modified || p.dates.published).length;
   if (good.length > 2) checks.push(row('dates', 'content', 'Publication dates exposed', dated ? 'ok' : 'warn', dated ? `${dated} of ${good.length} sampled pages expose dates` : 'no article dates in the sample: answer engines cannot tell what is current'));
-  if (/wordpress/i.test(hp?.generator || '')) { const x = await get(`${origin}/xmlrpc.php`, { method: 'HEAD' }); if (x.status === 405 || x.status === 200) checks.push(row('xmlrpc', 'technical', 'xmlrpc.php', 'warn', `answers ${x.status}`, 'pingback endpoint open: attack surface with no SEO value')); }
+  if (/wordpress/i.test(hp?.generator || '')) { const x = await get(`${siteOrigin}/xmlrpc.php`, { method: 'HEAD' }); if (x.status === 405 || x.status === 200) checks.push(row('xmlrpc', 'technical', 'xmlrpc.php', 'warn', `answers ${x.status}`, 'pingback endpoint open: attack surface with no SEO value')); }
 
   // ---- Off-page and trust ----------------------------------------------------------------
   // Link data comes from Semrush when SEMRUSH_API_KEY is set. Without it the three link rows are
@@ -748,6 +805,35 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
 
   const localised = localiseChecks(checks, lang);
   const critical = checks.filter((c) => c.status === 'bad').map((c) => ({ title: c.label, text: `${c.value}${c.comment ? `. ${c.comment}` : ''}`, level: 'bad' }));
+  /*
+   * Подписи, которые сборщик пишет сам, на языке отчёта. До 0.33.1 они были только английскими, и
+   * русский отчёт выходил с «Week 1», «The site itself» и «Fix: Privacy and terms» среди русского
+   * текста: черновик их не трогает, потому что в них нет заготовок {{...}}.
+   */
+  const ru = lang === 'ru';
+  const pagesRu = (n) => (n % 10 === 1 && n % 100 !== 11 ? 'страница' : n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 10 || n % 100 >= 20) ? 'страницы' : 'страниц');
+  const S = ru ? {
+    rows: ['Движок сайта', 'Страниц в карте сайта', 'Язык', 'Что продаётся'],
+    site: 'Сам сайт', free: 'Бесплатно, без аккаунта',
+    siteDetail: (n, viaLinks) => `robots.txt, карты сайта, llms.txt, главная и ${n} ${pagesRu(n)} выборки, прочитанные так же, как их читает любой посетитель${viaLinks ? `; ${viaLinks} из них найдены по ссылкам с главной, потому что в карте сайта их слишком мало` : ''}`,
+    paid: 'Платный сервис, по желанию', paidDetail: 'только для справки, ни в одну оценку не входит',
+    limitations: ['Google Search Console и Яндекс Вебмастер: показов, кликов и запросов нет', 'Аналитика: данных о посещениях и поведении нет', 'Сервисы ключевых слов и ссылок: в аудите по публичным сигналам не используются'],
+    fix: 'Исправить',
+    roadmap: [['Неделя 1', 'Срочное, быстрые победы'], ['Недели 2-4', 'Основа'], ['Месяцы 2-3', 'Рост: поиск и ответы ИИ']],
+    geo: ['Понятно ли, кто вы', 'Упоминания на других сайтах', 'Отзывы и пресса'],
+    conv: ['Форма связи', 'Цена видна', 'Мессенджеры'],
+  } : {
+    rows: ['CMS / stack', 'Pages in sitemap', 'Language', 'What is sold'],
+    site: 'The site itself', free: 'Free, no account needed',
+    siteDetail: (n, viaLinks) => `robots.txt, the sitemaps, llms.txt, the homepage and ${n} sampled page(s), read exactly as any visitor reads them${viaLinks ? `; ${viaLinks} of the pages were found by following links from the homepage, because the sitemap listed too few` : ''}`,
+    paid: 'Paid tool, optional', paidDetail: 'reported for context only, not counted in any score',
+    limitations: ['Google Search Console: no impressions, clicks or query data', 'Analytics: no traffic or behaviour data', 'Keyword and backlink tools: not used in the external tier'],
+    fix: 'Fix',
+    roadmap: [['Week 1', 'Critical, quick wins'], ['Weeks 2 to 4', 'Foundation'], ['Months 2 to 3', 'Organic growth, AEO and GEO']],
+    geo: ['Entity clarity', 'Third-party mentions', 'Reviews and PR'],
+    conv: ['Contact form', 'Price visible', 'Messengers'],
+  };
+  const criticalShown = ru ? localised.filter((c) => c.status === 'bad').map((c) => ({ title: c.label, text: `${c.value}${c.comment ? `. ${c.comment}` : ''}`, level: 'bad' })) : critical;
 
   return {
     meta: { site: home.final, host, reachable: homeAnswered, homeStatus: home.response.status || 0, collectedAt: new Date().toISOString(), tool: `@operstack/audit ${VERSION}`, tier, auditType: lang === 'ru' ? 'Аудит по публичным сигналам' : 'External audit (no Search Console or analytics access)', lang, language: hp ? (hp.og?.locale || '') : '' },
@@ -757,23 +843,23 @@ export async function collect(startUrl, { pages = 20, pageDelayMs = 400, log = (
     scores,
     scoreBasis,
     summary: { lead: '{{Three sentences: what the site is, what works, what holds it back.}}', verdict: '{{Key takeaway in three sentences, ending with how fast the critical issues can be fixed.}}', priorities: ['{{Priority one}}', '{{Priority two}}', '{{Priority three}}'] },
-    overview: { rows: [['CMS / stack', hp?.generator || '{{stack}}'], ['Pages in sitemap', String(sitemapPages.length)], ['Language', '{{language}}'], ['What is sold', '{{products}}']], note: '{{One paragraph on how the offer is structured on the site and whether it is clear.}}' },
-    critical: lang === 'ru' ? localised.filter((c) => c.status === 'bad').map((c) => ({ title: c.label, text: `${c.value}${c.comment ? `. ${c.comment}` : ''}`, level: 'bad' })) : critical,
+    overview: { rows: [[S.rows[0], hp?.generator || '{{stack}}'], [S.rows[1], String(sitemapPages.length)], [S.rows[2], '{{language}}'], [S.rows[3], '{{products}}']], note: '{{One paragraph on how the offer is structured on the site and whether it is clear.}}' },
+    critical: criticalShown,
     checks: localised,
     content: { strengths: ['{{strength}}'], weaknesses: ['{{weakness}}'], gaps: ['{{missing landing page or cluster}}'] },
     aeo: { works: ['{{what already works}}'], blocks: ['{{what blocks answer-engine wins}}'], recommendation: '{{One recommendation with a page name.}}' },
-    geo: { rows: [['Entity clarity', '{{status}}', '{{detail}}'], ['Third-party mentions', '{{status}}', '{{detail}}'], ['Reviews and PR', '{{status}}', '{{detail}}']], callout: '{{Brand disambiguation note or the single biggest GEO risk.}}' },
+    geo: { rows: S.geo.map((label) => [label, '{{status}}', '{{detail}}']), callout: '{{Brand disambiguation note or the single biggest GEO risk.}}' },
     offpage: { listed: ['{{where the brand is already listed}}'], note: '{{One paragraph.}}' },
-    conversion: { rows: [['Contact form', '{{status}}'], ['Price visible', '{{status}}'], ['Messengers', '{{status}}']] },
+    conversion: { rows: S.conv.map((label) => [label, '{{status}}']) },
     sources: [
-      { name: 'The site itself', access: 'Free, no account needed', detail: `robots.txt, the sitemaps, llms.txt, the homepage and ${good.length} sampled page(s), read exactly as any visitor reads them` },
-      ...(links.ok ? [{ name: links.source, access: 'Paid tool, optional', detail: 'reported for context only, not counted in any score' }] : []),
+      { name: S.site, access: S.free, detail: S.siteDetail(good.length, fromLinks) },
+      ...(links.ok ? [{ name: links.source, access: S.paid, detail: S.paidDetail }] : []),
     ],
-    limitations: ['Google Search Console: no impressions, clicks or query data', 'Analytics: no traffic or behaviour data', 'Keyword and backlink tools: not used in the external tier'],
+    limitations: S.limitations,
     roadmap: [
-      { badge: 'Week 1', title: 'Critical, quick wins', items: critical.map((c) => `Fix: ${c.title}`).concat(['{{...}}']) },
-      { badge: 'Weeks 2 to 4', title: 'Foundation', items: ['{{pillar pages, alt text, Search Console and Bing connected}}'] },
-      { badge: 'Months 2 to 3', title: 'Organic growth, AEO and GEO', items: ['{{content clusters, schema, PR, reviews}}'] },
+      { badge: S.roadmap[0][0], title: S.roadmap[0][1], items: criticalShown.map((c) => `${S.fix}: ${c.title}`).concat(['{{...}}']) },
+      { badge: S.roadmap[1][0], title: S.roadmap[1][1], items: ['{{pillar pages, alt text, Search Console and Bing connected}}'] },
+      { badge: S.roadmap[2][0], title: S.roadmap[2][1], items: ['{{content clusters, schema, PR, reviews}}'] },
     ],
     closing: '{{Key message for the client in three sentences.}}',
     // В выборке остаётся и то, из чего считается работа с текстами: без этих полей пакет

package/src/i18n.mjs

@@ -149,7 +149,7 @@ const RU = {
   },
   'trust-profiles': { label: 'Профили на других площадках', value: (v) => (/no sameAs/.test(v) ? 'в разметке не заявлено ни одного профиля на других площадках' : `${nums(v)[0]}: ${v.split(': ').slice(1).join(': ')}`), comment: (c) => (c ? 'самый дешёвый внешний сигнал, и он бесплатный' : '') },
   'trust-about': { label: 'Страница о компании', value: (v) => (/no about/.test(v) ? 'страницы о компании нет или на неё не ведут ссылки' : 'на неё ведут ссылки с проверенных страниц') },
-  'trust-policies': { label: 'Политика и условия', value: (v) => (/neither/.test(v) ? 'ни политики конфиденциальности, ни условий на сайте нет' : `есть: ${v.replace(/privacy/g, 'политика').replace(/terms/g, 'условия').replace(/legal/g, 'правовая страница').replace(/cookie/g, 'куки').replace(/disclaimer/g, 'оговорка')}`) },
+  'trust-policies': { label: 'Политика и условия', value: (v) => (/neither/.test(v) ? 'ни политики конфиденциальности, ни условий на сайте нет' : `есть: ${v.replace(/privacy/g, 'политика').replace(/terms/g, 'условия').replace(/legal/g, 'правовая страница').replace(/cookie/g, 'куки').replace(/disclaimer/g, 'оговорка').replace(/consent/g, 'согласие на обработку данных')}`) },
   'conv-contact-path': { label: 'Способ связаться', value: (v) => { const n = nums(v); return `${n[0]} из ${pages(n[1])} выборки дают форму, контактную ссылку или страницу контактов`; } },
   'conv-cta': { label: 'Призыв к действию в первом экране', value: (v) => { const n = nums(v); return `${n[0]} из ${pages(n[1])} выборки ставят его в первых ${n[2]} процентах страницы`; }, comment: (c) => (c ? 'читателю, которого убедили сверху, не должно приходиться искать' : '') },
   'conv-form-depth': { label: 'На какой глубине лежит форма', value: (v) => (/no form/.test(v) ? 'на проверенных страницах формы нет' : /could not be measured/.test(v) ? 'положение формы измерить не удалось' : `медиана ${pct(nums(v)[0])} вниз по странице, измерено на ${pages(nums(v)[1])}`), comment: (c) => (c ? 'на длинной странице дотуда почти никто не доходит, особенно с телефона' : '') },

package/src/prompts.mjs

@@ -114,6 +114,140 @@ const P = {
     ru: { task: 'Возьми страницы короче трёхсот слов и допиши их фактами, которые знает владелец: условия, цены, сроки, ограничения, частые вопросы покупателей с ответами. Не разбавляй текст водой ради объёма. Если фактов нет, выпиши владельцу список вопросов и оставь страницу как есть.', verify: 'Страница стала длиннее трёхсот слов, и каждый добавленный абзац содержит факт, а не общие слова.' },
     en: { task: 'Take the pages under three hundred words and fill them with facts the owner has: terms, prices, timings, limits, the questions buyers actually ask with the answers. Do not pad for length. Where the facts are missing, write the owner a list of questions and leave the page alone.', verify: 'The page is over three hundred words and every added paragraph carries a fact rather than filler.' },
   },
+  /*
+   * Ниже задания для проверок, у которых до 0.33.2 своего текста не было: «Задача» в файле для
+   * клиента повторяла название проверки или пояснение «это не наша работа». Найдено 01.10.2026 на
+   * первых настоящих выдачах (dial93.ru, bristolpropertycentre.co.uk). Тест test-prompts.mjs
+   * теперь требует задание у каждой проверки, которая может выйти находкой.
+   */
+  https: {
+    ru: { task: 'Сделай так, чтобы сайт открывался по https:// с действующим сертификатом, а адрес с http:// постоянно (кодом 301) переводил на https://. Сертификат выпускает хостинг: у большинства это одна галочка или бесплатный Let\'s Encrypt в панели. Если сайт сейчас не отвечает вовсе, сначала выясни у хостинга, почему, остальные задачи без этого бессмысленны.', verify: 'Главная открывается по https:// без предупреждения браузера, а http:// отвечает кодом 301 на тот же адрес с https://.' },
+    en: { task: 'Make the site open over https:// with a valid certificate, and make the http:// address redirect permanently (301) to https://. The host issues the certificate: on most hosts it is one switch or a free Let\'s Encrypt option in the panel. If the site does not answer at all right now, find out from the host why first; nothing else here matters until it does.', verify: 'The home page opens over https:// with no browser warning, and http:// answers 301 to the same address on https://.' },
+  },
+  www: {
+    ru: { task: 'Выбери один основной адрес сайта (с www или без, тот, что уже стоит в canonical и в карте сайта) и настрой постоянную переадресацию (код 301) со второго варианта на основной, с сохранением пути страницы. Если второй вариант сейчас не открывается вовсе, добавь для него запись в DNS и ту же переадресацию: люди набирают адрес по-разному.', verify: 'Второй вариант адреса, главная и любая внутренняя страница, отвечает кодом 301 на тот же путь на основном адресе.' },
+    en: { task: 'Pick one main address for the site (with www or without, whichever is already in the canonical tags and the sitemap) and redirect the other variant to it permanently (301), keeping the page path. If the other variant does not resolve at all, add a DNS record for it and the same redirect: people type the address both ways.', verify: 'The other variant, for the home page and for any inner page, answers 301 to the same path on the main address.' },
+  },
+  ttfb: {
+    ru: { task: 'Сократи время первого ответа главной до одной секунды: включи кеширование готовых страниц (плагин кеша, кеш на уровне хостинга или CDN), убери с главной тяжёлые запросы к базе при каждом открытии. Если сайт на дешёвом общем хостинге и кеш не помогает, напиши владельцу, что нужен тариф быстрее: менять хостинг без его решения нельзя.', verify: 'Три замера подряд (curl -o /dev/null -w "%{time_starttransfer}" адрес главной) показывают меньше 1,2 секунды.' },
+    en: { task: 'Bring the home page time to first byte under one second: turn on full-page caching (a cache plugin, host-level cache or a CDN) and remove heavy database work done on every home page load. If the site sits on cheap shared hosting and caching does not help, tell the owner a faster plan is needed: do not move hosts without their decision.', verify: 'Three runs in a row of curl -o /dev/null -w "%{time_starttransfer}" on the home page show under 1.2 seconds.' },
+  },
+  'robots-block': {
+    ru: { task: 'Убери из robots.txt строку Disallow: / в блоке User-agent: *, она запрещает поисковикам читать весь сайт. Закрытыми оставь только служебные адреса (корзина, личный кабинет, поиск по сайту). Если запрет стоял специально, например на тестовой копии, уточни у владельца, прежде чем снимать.', verify: 'В блоке User-agent: * файла /robots.txt нет строки Disallow: /, а главная открыта для чтения роботами.' },
+    en: { task: 'Remove Disallow: / from the User-agent: * block in robots.txt: it tells search engines not to read the whole site. Keep only utility addresses closed (cart, account, site search). If the block was put there on purpose, for a staging copy say, check with the owner before lifting it.', verify: 'The User-agent: * block of /robots.txt has no Disallow: / line, and the home page is open to crawlers.' },
+  },
+  engine: {
+    ru: { task: 'Найди в robots.txt правила, которые закрывают роботов, названных в строке «Сейчас», и убери для них Disallow: / (или весь их блок, если он только запрещает). Это роботы, которые достают страницу в момент ответа, а не обучающие: пока они закрыты, этот помощник не может сослаться на сайт. Если запрет поставлен осознанно, уточни у владельца.', verify: 'В /robots.txt для названных роботов нет запрета на весь сайт, и повторная проверка показывает этот помощник открытым.' },
+    en: { task: 'Find the robots.txt rules that block the crawlers named under Now and remove their Disallow: / (or their whole block if all it does is block). These crawlers fetch a page while answering, they are not training crawlers: while they are blocked, this assistant cannot cite the site. If the block is deliberate, check with the owner.', verify: '/robots.txt has no site-wide block for the named crawlers, and a fresh check shows this assistant as allowed.' },
+  },
+  'sitemap-foreign': {
+    ru: { task: 'Убери из карты сайта все адреса, которые ведут на другие домены: в sitemap.xml должны быть только страницы этого сайта на его основном адресе. Если карту собирает плагин или сборщик, поправь его настройку, а не файл руками, иначе адреса вернутся при следующей сборке.', verify: 'Все адреса в sitemap.xml начинаются с основного адреса сайта.' },
+    en: { task: 'Remove every URL that points at another domain from the sitemap: sitemap.xml should hold only this site\'s pages on its main address. If a plugin or the build generates the sitemap, fix its setting rather than the file by hand, or the URLs come back on the next build.', verify: 'Every URL in sitemap.xml starts with the site\'s main address.' },
+  },
+  'sitemap-health': {
+    ru: { task: 'Пройди по адресам из карты сайта и оставь в ней только те, что отвечают кодом 200. Адреса с переадресацией замени на конечные, мёртвые (404, 410, 5xx) убери. Если мёртвая страница должна существовать, не создавай её сама, а сообщи владельцу списком.', verify: 'Каждый адрес из sitemap.xml отвечает кодом 200 без переадресации.' },
+    en: { task: 'Go through the sitemap URLs and keep only those that answer 200. Replace redirecting URLs with their final address and drop dead ones (404, 410, 5xx). If a dead page ought to exist, do not invent it: list it for the owner.', verify: 'Every URL in sitemap.xml answers 200 without a redirect.' },
+  },
+  'api-catalog': {
+    ru: { task: 'Спроси владельца, есть ли у компании публичный API, который могут вызывать агенты. Если нет, ничего не делай: это необязательная строка, и выдумывать каталог ради галочки нельзя. Если есть, положи в /.well-known/api-catalog файл в формате linkset (RFC 9727) со ссылкой на описание API (OpenAPI) и документацию.', verify: 'Либо владелец подтвердил, что API нет, либо /.well-known/api-catalog отвечает кодом 200 с типом application/linkset+json и ссылки в нём открываются.' },
+    en: { task: 'Ask the owner whether the business has a public API that agents can call. If not, do nothing: this line is optional, and inventing a catalogue for the tick is wrong. If it does, serve /.well-known/api-catalog as a linkset (RFC 9727) pointing at the API description (OpenAPI) and the docs.', verify: 'Either the owner confirmed there is no API, or /.well-known/api-catalog answers 200 as application/linkset+json and its links open.' },
+  },
+  'title-all': {
+    ru: { task: 'Добавь тег title на страницы, где его нет (их адреса в пояснении к проверке). Заголовок до 60 знаков, свой у каждой страницы, говорит, что на ней, словами, которыми это ищут. Если страницы собраны из одного шаблона, почини шаблон: пусть он берёт заголовок из поля страницы, а не оставляет пустым.', verify: 'На каждой проверенной странице есть непустой title, и он не совпадает с title других страниц.' },
+    en: { task: 'Add a title tag to the pages that lack one (their paths are in the note to this check). Keep it under 60 characters, unique per page, saying what is on the page in the words people search with. If the pages share a template, fix the template so it takes the title from the page field instead of leaving it empty.', verify: 'Every sampled page has a non-empty title that no other page shares.' },
+  },
+  'description-all': {
+    ru: { task: 'Добавь meta description на страницы, где его нет: 120-160 знаков своими словами о том, что человек найдёт именно на этой странице. Бери смысл из текста страницы, обещаний, которых на ней нет, не пиши. Если описание пустое из-за шаблона, почини шаблон, чтобы он брал поле описания страницы.', verify: 'На каждой проверенной странице есть meta description длиной от 70 до 160 знаков, и описания не повторяются.' },
+    en: { task: 'Add a meta description to the pages that lack one: 120-160 characters in your own words on what a visitor finds on that page. Take the meaning from the page text and promise nothing the page does not have. If the template is why it is empty, fix the template to use the page description field.', verify: 'Every sampled page has a meta description of 70 to 160 characters, and no two are the same.' },
+  },
+  'h1-sample': {
+    ru: { task: 'На страницах, где больше одного H1, оставь один: главный заголовок страницы. Остальные H1 переведи в H2 или в обычный текст. Чаще всего лишний H1 сидит в шапке (логотип или название сайта) или в блоке шаблона, тогда правь шаблон, а не каждую страницу.', verify: 'На каждой проверенной странице ровно один H1.' },
+    en: { task: 'On pages with more than one H1, keep one: the main heading of the page. Turn the others into H2 or plain text. The extra H1 usually lives in the header (logo or site name) or in a template block; then fix the template, not every page.', verify: 'Every sampled page has exactly one H1.' },
+  },
+  'dup-titles': {
+    ru: { task: 'Найди страницы с одинаковым title (пример в строке «Сейчас») и дай каждой свой: что отличает эту страницу от соседних (город, услуга, модель, номер страницы списка). Если одинаковый title ставит шаблон, научи его брать заголовок страницы. Если страницы и правда дублируют друг друга, не переименовывай, а сообщи владельцу.', verify: 'Среди проверенных страниц нет двух с одинаковым title.' },
+    en: { task: 'Find the pages sharing one title (the example is under Now) and give each its own: what sets the page apart from its neighbours (city, service, model, list page number). If a template stamps the same title, make it use the page heading. If the pages really are duplicates of each other, do not rename them: tell the owner.', verify: 'No two sampled pages share a title.' },
+  },
+  'og-title': {
+    ru: { task: 'Добавь мета-тег og:title на страницы, где его нет. Значение бери из заголовка страницы (H1 или title без названия сайта). Лучше поставить его один раз в общем шаблоне, чтобы он заполнялся у всех страниц сам.', verify: 'На каждой проверенной странице есть <meta property="og:title"> с непустым значением, совпадающим по смыслу с заголовком страницы.' },
+    en: { task: 'Add an og:title meta tag to the pages that lack it. Take the value from the page heading (the H1, or the title without the site name). Best set it once in the shared template so every page gets it.', verify: 'Every sampled page has <meta property="og:title"> with a non-empty value matching the page heading.' },
+  },
+  'og-image': {
+    ru: { task: 'Добавь мета-тег og:image на страницы, где его нет: полный адрес картинки размером не меньше 1200 на 630 точек. Для страниц со своей главной картинкой бери её, для остальных одну общую (логотип на фоне или фото компании, которое уже есть на сайте). Новых изображений не рисуй и чужих не бери.', verify: 'На каждой проверенной странице есть og:image с полным адресом, и картинка по нему открывается с кодом 200.' },
+    en: { task: 'Add an og:image meta tag to the pages that lack it: the full URL of an image at least 1200 by 630 pixels. Pages with their own main image use it; the rest use one shared image (the logo on a background, or a company photo already on the site). Do not make up new images or take other people\'s.', verify: 'Every sampled page has og:image with a full URL, and the image opens with a 200.' },
+  },
+  'twitter-card': {
+    ru: { task: 'Добавь в общий шаблон мета-тег twitter:card со значением summary_large_image. Заголовок, описание и картинку X возьмёт из og-тегов, отдельно их дублировать не нужно, если og-теги уже стоят.', verify: 'В HTML главной есть <meta name="twitter:card" content="summary_large_image">.' },
+    en: { task: 'Add a twitter:card meta tag with the value summary_large_image to the shared template. X takes the title, description and image from the og tags, so they need no duplicates if the og tags are in place.', verify: 'The home page HTML has <meta name="twitter:card" content="summary_large_image">.' },
+  },
+  'schema-all': {
+    ru: { task: 'Добавь разметку JSON-LD на страницы, где её нет (адреса в пояснении). Тип выбирай по тому, что на странице на самом деле: статья (Article), услуга (Service), товар с ценой (Product), страница контактов (ContactPage), остальные хотя бы WebPage с BreadcrumbList. Значения бери только со страницы, ничего не дописывай от себя.', verify: 'На каждой проверенной странице есть хотя бы один блок JSON-LD, и валидатор schema.org не показывает ошибок.' },
+    en: { task: 'Add JSON-LD markup to the pages that lack it (paths in the note). Choose the type from what the page really is: an article (Article), a service (Service), a product with a price (Product), a contact page (ContactPage), and at least WebPage with BreadcrumbList for the rest. Take every value from the page itself, add nothing of your own.', verify: 'Every sampled page has at least one JSON-LD block, and the schema.org validator shows no errors.' },
+  },
+  'breadcrumbs-schema': {
+    ru: { task: 'Добавь на внутренние страницы разметку BreadcrumbList в JSON-LD: путь от главной до текущей страницы, каждый шаг с названием и полным адресом. Путь строй по настоящей структуре разделов сайта; если на странице уже видны хлебные крошки, разметка должна повторять их слово в слово.', verify: 'На внутренних проверенных страницах есть JSON-LD с типом BreadcrumbList, все адреса в нём открываются, валидатор не показывает ошибок.' },
+    en: { task: 'Add BreadcrumbList JSON-LD to the inner pages: the path from the home page to the current one, each step with a name and a full URL. Build the path from the site\'s real section structure; if the page already shows visible breadcrumbs, the markup must match them word for word.', verify: 'Inner sampled pages carry JSON-LD of type BreadcrumbList, every URL in it opens, and the validator shows no errors.' },
+  },
+  'org-schema': {
+    ru: { task: 'Добавь в общий шаблон (или хотя бы на главную) разметку организации в JSON-LD: Organization или более точный тип (LocalBusiness, RealEstateAgent и подобные), с названием, адресом сайта, логотипом, контактами и ссылками на профили в sameAs. Заполняй только тем, что есть на сайте или что подтвердил владелец, остальные поля оставь пустыми.', verify: 'На главной есть JSON-LD с типом Organization или его подтипом, в нём name и url, и валидатор не показывает ошибок.' },
+    en: { task: 'Add organisation JSON-LD to the shared template (or at least the home page): Organization or a more precise type (LocalBusiness, RealEstateAgent and the like), with the name, site address, logo, contacts and profile links in sameAs. Fill in only what is on the site or confirmed by the owner; leave the other fields out.', verify: 'The home page has JSON-LD of type Organization or a subtype, with name and url, and the validator shows no errors.' },
+  },
+  favicon: {
+    ru: { task: 'Добавь значок сайта: файл favicon (лучше SVG и запасной PNG 32 на 32 или ICO) из логотипа компании, и ссылку <link rel="icon"> на него в общем шаблоне. Логотип бери тот, что уже есть на сайте, новый не рисуй.', verify: 'В HTML главной есть <link rel="icon">, и файл по ссылке открывается с кодом 200.' },
+    en: { task: 'Add a site icon: a favicon file (SVG, plus a 32 by 32 PNG or an ICO as a fallback) made from the company logo, and a <link rel="icon"> to it in the shared template. Use the logo already on the site, do not draw a new one.', verify: 'The home page HTML has <link rel="icon">, and the file it points at opens with a 200.' },
+  },
+  'redirect-chain': {
+    ru: { task: 'Сделай так, чтобы адрес главной, который набирает человек, вёл на конечный адрес одной переадресацией, а не цепочкой (например http://, потом www, потом косая черта). Замени цепочку одним правилом 301 сразу на конечный адрес для каждого варианта.', verify: 'curl -sIL на адрес без www и без https показывает не больше одной переадресации до ответа 200.' },
+    en: { task: 'Make the home page address people type reach its final address in one redirect instead of a chain (http://, then www, then a trailing slash, say). Replace the chain with one 301 rule straight to the final address for each variant.', verify: 'curl -sIL on the address without www and without https shows at most one redirect before the 200.' },
+  },
+  resources: {
+    ru: { task: 'Сократи число скриптов, которые грузит главная: убери подключения неиспользуемых плагинов и виджетов, объедини мелкие файлы при сборке, несрочные скрипты подключи с defer или после загрузки. Ничего не удаляй вслепую: что нужно для форм, оплаты и счётчиков, оставь и перечисли владельцу, что убрано.', verify: 'Главная грузит не больше 15 файлов скриптов, а формы, меню и счётчики продолжают работать.' },
+    en: { task: 'Cut the number of scripts the home page loads: drop plugins and widgets nobody uses, bundle small files at build, load non-urgent scripts with defer or after load. Remove nothing blindly: keep whatever forms, payments and counters need, and list for the owner what you removed.', verify: 'The home page loads at most 15 script files, and forms, menus and counters still work.' },
+  },
+  xmlrpc: {
+    ru: { task: 'Закрой точку xmlrpc.php в WordPress: плагином безопасности, фильтром xmlrpc_enabled в теме или правилом сервера, которое отдаёт 403. Сначала уточни у владельца, не публикует ли он записи через мобильное приложение WordPress или Jetpack: им xmlrpc нужен.', verify: 'Запрос к /xmlrpc.php отвечает кодом 403 или 404.' },
+    en: { task: 'Close WordPress xmlrpc.php: with a security plugin, the xmlrpc_enabled filter in the theme, or a server rule that returns 403. First ask the owner whether they publish through the WordPress mobile app or Jetpack: those need xmlrpc.', verify: 'A request to /xmlrpc.php answers 403 or 404.' },
+  },
+  utility: {
+    ru: { task: 'Исключи из карты сайта служебные адреса: корзину, избранное, личный кабинет, страницы тегов и авторов, результаты поиска. Людям они пусть остаются доступны, убрать их нужно только из sitemap.xml (а страницам тегов и поиска ещё поставить noindex). Правь настройку плагина или сборщика карты, а не файл руками.', verify: 'В sitemap.xml нет адресов корзины, избранного, кабинета, тегов, авторов и поиска.' },
+    en: { task: 'Drop utility URLs from the sitemap: cart, wishlist, account, tag and author pages, search results. Leave them reachable for people; only take them out of sitemap.xml (and set noindex on tag and search pages). Change the sitemap plugin or build setting, not the file by hand.', verify: 'sitemap.xml lists no cart, wishlist, account, tag, author or search URLs.' },
+  },
+  viewport: {
+    ru: { task: 'Поставь в общий шаблон мета-тег <meta name="viewport" content="width=device-width, initial-scale=1">. Если в нём сейчас есть user-scalable=no или maximum-scale=1, убери их: запрет масштабирования мешает людям со слабым зрением и вредит мобильной выдаче.', verify: 'В HTML главной стоит viewport с width=device-width и без user-scalable=no и maximum-scale=1.' },
+    en: { task: 'Put <meta name="viewport" content="width=device-width, initial-scale=1"> in the shared template. If it currently has user-scalable=no or maximum-scale=1, remove them: blocking zoom hurts people with weak eyesight and mobile rankings.', verify: 'The home page HTML has a viewport with width=device-width and no user-scalable=no or maximum-scale=1.' },
+  },
+  'trust-profiles': {
+    ru: { task: 'Спроси владельца, где у компании есть настоящие профили: соцсети, каталоги, карты, отраслевые площадки. Впиши их адреса в поле sameAs разметки организации и поставь ссылки на них в подвал. Профили, которых нет или которые заброшены, не добавляй.', verify: 'В JSON-LD организации есть sameAs хотя бы с двумя адресами, и каждый открывает профиль именно этой компании.' },
+    en: { task: 'Ask the owner where the business really has profiles: social networks, directories, maps, industry sites. Put those addresses in the sameAs field of the organisation markup and link them from the footer. Do not add profiles that do not exist or are abandoned.', verify: 'The organisation JSON-LD has sameAs with at least two addresses, and each opens a profile of this very business.' },
+  },
+  'trust-about': {
+    ru: { task: 'Сделай страницу «О компании» (или «Команда») и поставь на неё ссылку в меню или подвал, чтобы она была видна со всех страниц. На странице: кто стоит за сайтом, чем занимается, с какого года, где находится, как связаться. Всё только со слов владельца или из того, что уже опубликовано; если страница уже есть, просто добавь ссылку.', verify: 'Со всех проверенных страниц есть ссылка на страницу о компании, и она открывается с кодом 200.' },
+    en: { task: 'Make an About (or Team) page and link it from the menu or footer so it is reachable from every page. On it: who is behind the site, what they do, since when, where, how to get in touch. Use only what the owner tells you or what is already published; if the page exists, just add the link.', verify: 'Every sampled page links to the about page, and it opens with a 200.' },
+  },
+  'trust-policies': {
+    ru: { task: 'Поставь в подвал ссылки на политику конфиденциальности и на условия (оферту или пользовательское соглашение). Если документов нет, не сочиняй их: юридический текст за владельцем, сообщи ему, каких страниц не хватает. Если документы есть, но не связаны с сайтом, просто добавь ссылки.', verify: 'В подвале каждой страницы есть ссылки на политику конфиденциальности и на условия, и обе открываются с кодом 200.' },
+    en: { task: 'Link the privacy policy and the terms from the footer. If the documents do not exist, do not write them yourself: legal text is the owner\'s call, so tell them which pages are missing. If they exist but are not linked, just add the links.', verify: 'Every page footer links to a privacy policy and to terms, and both open with a 200.' },
+  },
+  'conv-contact-path': {
+    ru: { task: 'Сделай так, чтобы с любой страницы можно было связаться: ссылка «Контакты» в меню или подвале, телефон или мессенджер в шапке, либо короткая форма. Используй только те контакты, которые уже есть на сайте или которые дал владелец.', verify: 'На каждой проверенной странице есть форма, ссылка на контакты или прямой контакт (tel:, mailto:, мессенджер).' },
+    en: { task: 'Make it possible to get in touch from any page: a Contact link in the menu or footer, a phone or messenger in the header, or a short form. Use only contacts already on the site or given by the owner.', verify: 'Every sampled page has a form, a contact link or a direct contact (tel:, mailto:, a messenger).' },
+  },
+  'conv-form-depth': {
+    ru: { task: 'Подними форму заявки выше на длинных страницах: либо перенеси её в первую треть, либо поставь вверху кнопку, которая прокручивает к форме. Сами поля и текст формы не меняй.', verify: 'На проверенных страницах форма или кнопка, ведущая к ней, видна в первой половине страницы, в том числе на телефоне.' },
+    en: { task: 'Move the enquiry form higher on long pages: either into the first third, or add a button near the top that scrolls to it. Do not change the form fields or wording.', verify: 'On the sampled pages the form, or a button leading to it, sits in the first half of the page, on a phone too.' },
+  },
+  'conv-form-fields': {
+    ru: { task: 'Сократи форму заявки до четырёх полей или меньше: имя и один способ связи (телефон или мессенджер, на выбор), остальное необязательным или убрать. Какие поля нужны для работы, решает владелец: перечисли ему, что предлагаешь убрать, и убирай после его ответа.', verify: 'В форме не больше четырёх полей, и заявка с заполненными обязательными полями доходит до владельца.' },
+    en: { task: 'Cut the enquiry form to four fields or fewer: a name and one way to reach them (phone or messenger, their choice), the rest optional or gone. The owner decides which fields the business needs: list what you propose to drop and drop it once they agree.', verify: 'The form has at most four fields, and a submission with the required fields reaches the owner.' },
+  },
+  sections: {
+    ru: { task: 'Разбей длинные страницы на разделы: каждый начинается заголовком H2, который звучит как вопрос или тема раздела. На странице должно быть не меньше трёх таких разделов. Ради объёма ничего не дописывай, только структурируй то, что есть.', verify: 'На каждой проверенной странице не меньше трёх заголовков H2, и по ним понятно, о чём страница, без чтения текста.' },
+    en: { task: 'Split the long pages into sections, each opening with an H2 that reads as the question or topic of that section. A page needs at least three. Add nothing for length, only structure what is there.', verify: 'Every sampled page has at least three H2 headings, and they alone tell what the page is about.' },
+  },
+  tables: {
+    ru: { task: 'Там, где на странице есть цифры, которые сравнивают (цены, сроки, площади, условия), собери их в таблицу с подписанными столбцами. Строй её только из данных, которые уже есть на странице или у владельца.', verify: 'На страницах со сравниваемыми цифрами есть хотя бы одна настоящая таблица (тег table), а не картинка и не список.' },
+    en: { task: 'Where a page has figures that get compared (prices, timings, areas, terms), put them in a table with labelled columns. Build it only from data already on the page or held by the owner.', verify: 'Pages with comparable figures carry at least one real table (a table tag), not an image and not a list.' },
+  },
 };
 
 const withLang = (v, lang) => v[lang === 'ru' ? 'ru' : 'en'];
@@ -202,10 +336,13 @@ function whereLine(id, platform, lang) {
   return `**${head}:** ${Object.entries(map).map(([k, v]) => `${PLATFORM_LABEL[k]}, ${v[lang]}`).join('; ')}`;
 }
 
+/** Строки «помощник может читать сайт» идут по одной на помощника (engine-chatgpt и т.д.), задание у них общее. */
+const promptKey = (id) => (String(id || '').startsWith('engine-') ? 'engine' : id);
+
 export function agentPrompt(check, opts = {}) {
   const lang = opts.lang === 'ru' ? 'ru' : 'en';
   const h = HEAD[lang];
-  const own = P[check.id] ? withLang(P[check.id], lang) : null;
+  const own = P[promptKey(check.id)] ? withLang(P[promptKey(check.id)], lang) : null;
   const rule = FIX_ACTIONS[check.id];
   const fallback = rule && rule.action ? withLang(rule.action, lang) : (rule && rule.why ? withLang(rule.why, lang) : check.label);
 
@@ -230,7 +367,7 @@ export function agentPrompts(audit, opts = {}) {
   const ordered = [...checks.filter((c) => c.status === 'bad'), ...checks.filter((c) => c.status === 'warn')];
   const chosen = limit > 0 ? ordered.slice(0, limit) : ordered;
   const platform = opts.platform || detectPlatform(audit);
-  return chosen.map((c) => ({ id: c.id, hasOwnText: Boolean(P[c.id]), text: agentPrompt(c, { lang, platform }) }));
+  return chosen.map((c) => ({ id: c.id, hasOwnText: Boolean(P[promptKey(c.id)]), text: agentPrompt(c, { lang, platform }) }));
 }
 
 /** Файл, который отдаётся клиенту вместе с отчётом. */
@@ -276,6 +413,8 @@ const FIRST_FIX_BY_PROMPT = {
   'answer-first-missing': 'answer-first',
   'sources-missing': 'sources',
   'thin-pages': 'thin',
+  'few-h2': 'sections',
+  'no-tables': 'tables',
 };
 
 const FIRST_FIX_OWN = {
@@ -299,14 +438,6 @@ const FIRST_FIX_OWN = {
     ru: { task: 'Добавь на страницы статей и записей разметку Article или BlogPosting в JSON-LD: заголовок, дата публикации, дата изменения, автор, издатель. Бери данные со страницы, ничего не придумывай.', verify: 'На странице статьи есть JSON-LD с типом Article или BlogPosting, и проверка разметки не показывает ошибок.' },
     en: { task: 'Add Article or BlogPosting markup in JSON-LD to the article pages: headline, date published, date modified, author, publisher. Take the data from the page, invent nothing.', verify: 'An article page carries JSON-LD of type Article or BlogPosting and the markup validator shows no errors.' },
   },
-  'few-h2': {
-    ru: { task: 'Разбей длинные страницы на разделы: каждый начинается заголовком H2, который звучит как вопрос или тема раздела. На странице должно быть не меньше трёх таких разделов. Ради объёма ничего не дописывай, только структурируй то, что есть.', verify: 'На каждой проверенной странице не меньше трёх заголовков H2, и по ним понятно, о чём страница, без чтения текста.' },
-    en: { task: 'Split the long pages into sections, each opening with an H2 that reads as the question or topic of that section. A page needs at least three. Add nothing for length, only structure what is there.', verify: 'Every sampled page has at least three H2 headings, and they alone tell what the page is about.' },
-  },
-  'no-tables': {
-    ru: { task: 'Там, где на странице есть цифры, которые сравнивают (цены, сроки, площади, условия), собери их в таблицу с подписанными столбцами. Строй её только из данных, которые уже есть на странице или у владельца.', verify: 'На страницах со сравниваемыми цифрами есть хотя бы одна настоящая таблица (тег table), а не картинка и не список.' },
-    en: { task: 'Where a page has figures that get compared (prices, timings, areas, terms), put them in a table with labelled columns. Build it only from data already on the page or held by the owner.', verify: 'Pages with comparable figures carry at least one real table (a table tag), not an image and not a list.' },
-  },
   'sitemap-no-lastmod': {
     ru: { task: 'Проставь в карте сайта (sitemap.xml) каждой странице поле lastmod с настоящей датой последнего изменения содержимого. Дату сборки или сегодняшнее число во все строки не ставь: это хуже, чем пустое поле.', verify: 'У каждого url в sitemap.xml есть lastmod, даты различаются между страницами и совпадают с датой изменения на самой странице.' },
     en: { task: 'Give every page in sitemap.xml a lastmod with the real date its content last changed. Do not stamp the build date or today on every line: that is worse than leaving it empty.', verify: 'Every url in sitemap.xml has a lastmod, the dates differ between pages and match the modified date on the page itself.' },

package/src/test-crawl-links.mjs

@@ -0,0 +1,87 @@
+#!/usr/bin/env node
+/**
+ * Сайт без карты сайта читается по ссылкам, а не одной главной.
+ *
+ * 30.09.2026 elitelivingrealty.com и solohomes.co.uk (на www нет ни robots.txt, ни карты) дали
+ * в отчёте выборку из одной главной. Здесь: разбор ссылок и правил robots.txt отдельно, потом
+ * живой сервер без карты, где страницы находятся только по ссылкам, на двух уровнях.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { internalLinks, robotsAllows } from './visibility.mjs';
+import { collect } from './collect.mjs';
+import { checkVisibility } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+// ---- разбор ссылок
+{
+  const html = `<a href="/buy/">Buy</a><a href="/buy">dup</a><a href="https://www.x.com/rent/?page=2#top">Rent</a>
+  <a href="https://x.com/sell/">apex</a><a href="https://other.com/">other</a><a href="mailto:a@x.com">m</a>
+  <a href="tel:+1">t</a><a href="#top">anchor</a><a href="/brochure.pdf">pdf</a><a href="/about.html">about</a>
+  <a href="/cart/">cart</a><a href="/tag/villas/">tag</a><a href="/x/" rel="nofollow">nf</a><a href="javascript:void(0)">js</a>`;
+  is('свои страницы, без повторов, файлов и служебных', internalLinks(html, 'https://www.x.com/'),
+    ['https://www.x.com/buy/', 'https://www.x.com/rent/', 'https://x.com/sell/', 'https://www.x.com/about.html']);
+  is('относительные ссылки от <base>', internalLinks('<base href="https://www.x.com/en/"><a href="team/">t</a>', 'https://www.x.com/'), ['https://www.x.com/en/team/']);
+  is('битый html не роняет разбор', internalLinks(undefined, 'https://x.com/'), []);
+}
+
+// ---- robots.txt
+{
+  const allow = robotsAllows('User-agent: Googlebot\nDisallow: /\n\nUser-agent: *\nDisallow: /private/\nDisallow: /*.php$\nAllow: /private/open/\n');
+  ok('обычная страница разрешена', allow('https://x.com/buy/'));
+  ok('закрытый раздел нет', !allow('https://x.com/private/a/'));
+  ok('Allow длиннее Disallow побеждает', allow('https://x.com/private/open/a/'));
+  ok('звёздочка и доллар', !allow('https://x.com/a/b.php') && allow('https://x.com/a/b.php5'));
+  ok('блок чужого робота не применяется', allow('https://x.com/'));
+  ok('пустой robots.txt разрешает всё', robotsAllows('')('https://x.com/a/'));
+}
+
+// ---- живой сервер без карты сайта
+let dnsOk = true;
+try { dnsOk = (await lookup('lvh.me')).address === '127.0.0.1'; } catch { dnsOk = false; }
+if (!dnsOk) { console.log('ok   пропуск живой части: lvh.me не указывает на 127.0.0.1 (нет сети)'); process.exit(bad ? 1 : 0); }
+
+const LINKS = {
+  '/': ['/buy/', '/rent/', '/private/', '/contact/', 'https://elsewhere.example/'],
+  '/buy/': ['/buy/villas/', '/buy/flats/', '/'],
+  '/rent/': ['/rent/long-term/'],
+  '/contact/': [], '/buy/villas/': [], '/buy/flats/': [], '/rent/long-term/': [], '/private/': [],
+};
+const page = (path) => `<!doctype html><html lang="en"><head><title>Page ${path}</title>
+<meta name="description" content="A page description long enough not to count as empty for the check."></head>
+<body><main><h1>Page ${path}</h1>${'<p>Plain paragraph about the property, the area and the price.</p>'.repeat(10)}
+<nav>${LINKS[path].map((l) => `<a href="${l}">${l}</a>`).join('')}</nav></main></body></html>`;
+const hits = [];
+const server = createServer((req, res) => {
+  hits.push(req.url);
+  if (req.url === '/robots.txt') { res.writeHead(200, { 'content-type': 'text/plain' }); return res.end('User-agent: *\nDisallow: /private/\n'); }
+  if (LINKS[req.url]) { res.writeHead(200, { 'content-type': 'text/html; charset=utf-8' }); return res.end(page(req.url)); }
+  res.writeHead(404, { 'content-type': 'text/plain' }); res.end('no');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+const base = `http://lvh.me:${server.address().port}`;
+
+try {
+  const a = await collect(`${base}/`, { pages: 10, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const read = a.sample.filter((p) => p.title !== undefined).map((p) => new URL(p.url).pathname);
+  ok('карты нет, и отчёт это говорит', (a.checks.find((c) => c.id === 'sitemap') || {}).status === 'bad');
+  is('прочитаны все открытые страницы по ссылкам, двумя уровнями', [...read].sort(), ['/', '/buy/', '/buy/flats/', '/buy/villas/', '/contact/', '/rent/', '/rent/long-term/']);
+  ok('закрытое в robots.txt не читается', !hits.includes('/private/'));
+  ok('страница контактов идёт раньше остальных ссылок', read.indexOf('/contact/') < read.indexOf('/buy/'));
+  is('счёт найденных по ссылкам', a.reading.fromLinks, 6);
+  ok('в источниках сказано, откуда страницы', /found by following links/.test(a.sources[0].detail));
+
+  const few = await collect(`${base}/`, { pages: 3, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  is('предел страниц соблюдается', few.sample.length, 3);
+
+  const v = await checkVisibility(`${base}/`, { lang: 'en', samplePages: 5, budgetMs: 8000 });
+  ok('бесплатная проверка прочитала сайт', v.ok);
+  const vRead = (v.sample || []).map((p) => new URL(p.url).pathname);
+  ok(`бесплатная проверка взяла страницы со ссылок главной (${vRead.join(', ')})`, vRead.length >= 4 && vRead.includes('/buy/') && !vRead.includes('/private/'));
+} finally { server.close(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/test-prompts.mjs

@@ -3,6 +3,7 @@
 import { readFileSync } from 'node:fs';
 import { agentPrompt, agentPrompts, renderAgentPrompts, firstFixParts, FIRST_FIX_IDS } from './prompts.mjs';
 import { FIX_ACTIONS } from './fix.mjs';
+import { localiseChecks } from './i18n.mjs';
 
 let bad = 0;
 const is = (n, a, b) => { const ok = JSON.stringify(a) === JSON.stringify(b); if (!ok) { bad++; console.error(`FAIL ${n}\n  ждали ${JSON.stringify(b)}\n  вышло ${JSON.stringify(a)}`); } else console.log(`ok   ${n}`); };
@@ -20,7 +21,7 @@ ok('в задании есть запрет выдумывать', one.includes(
 // Даже там, где своего текста нет, все три части на месте
 const generic = agentPrompt(c('xmlrpc', 'warn', 'xmlrpc.php', 'открыт'), { lang: 'ru' });
 ok('общее задание тоже с проверкой', generic.includes('**Как проверить:**'));
-ok('и с действием из набора работ', generic.includes('Закрыть открытую точку'));
+ok('и со своим действием', generic.includes('Закрой точку xmlrpc.php'));
 
 // Порядок: сначала провалы, потом предупреждения
 const list = agentPrompts(audit([c('og', 'warn', 'OG', 'нет'), c('robots', 'bad', 'robots', 'закрыт')]), { lang: 'ru' });
@@ -108,5 +109,34 @@ ok('в файле нет пустых сдвоенных строк', !/\n\n\n/.
   ok('незнакомый язык падает в английский', firstFixParts({ id: 'llms-missing', text: 'x' }, { lang: 'de' }).labels.now === 'Now');
 }
 
+/*
+ * У каждой проверки, которая может выйти находкой, своё задание. 01.10.2026 в первых настоящих
+ * выдачах (dial93.ru, bristolpropertycentre.co.uk) «Задача» у части проверок просто повторяла
+ * название, а «Как проверить» была общей фразой «прогони проверку заново». Список проверок берём
+ * прямо из collect.mjs, чтобы новая проверка без задания роняла этот тест.
+ */
+{
+  const src = readFileSync(new URL('./collect.mjs', import.meta.url), 'utf8');
+  const rows = [...src.matchAll(/row\(\s*['`]([^'`]+)['`]\s*,\s*'([a-z]+)'\s*,\s*['`"]([^'`"]*)['`"]/g)]
+    .map((m) => ({ id: m[1].replace('${e.id}', 'chatgpt'), label: m[3].replace('${e.label}', 'ChatGPT') }));
+  rows.push({ id: 'js-content', label: 'Text visible without running JavaScript' });
+  // Эти строки выходят только со статусом na (справка или осознанный выбор), находкой не бывают.
+  const NEVER_OPEN = new Set(['cms', 'robots-ai', 'howto-schema', 'product-schema', 'hreflang', 'links-profile']);
+  ok('список проверок из collect.mjs прочитан', rows.length > 40);
+  const field = (text, name) => (text.match(new RegExp(`\\*\\*${name}:\\*\\* (.*)`)) || [])[1] || '';
+  const empty = [];
+  for (const r of rows.filter((x) => !NEVER_OPEN.has(x.id))) {
+    for (const lang of ['ru', 'en']) {
+      const [chk] = lang === 'ru' ? localiseChecks([c(r.id, 'warn', r.label, 'x')], 'ru') : [c(r.id, 'warn', r.label, 'x')];
+      const t = agentPrompt(chk, { lang });
+      const task = field(t, lang === 'ru' ? 'Задача' : 'Task').trim();
+      const verify = field(t, lang === 'ru' ? 'Как проверить' : 'How to check').trim();
+      const generic = lang === 'ru' ? /^Прогони проверку сайта заново/ : /^Run the site check again/;
+      if (!task || task === chk.label || task === r.label || task.length < 60 || !verify || generic.test(verify)) empty.push(`${r.id}/${lang}`);
+    }
+  }
+  is('у каждой проверки своё задание и своя проверка, не название', empty, []);
+}
+
 if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
 console.log('\nвсе тесты заданий прошли');

package/src/test-redirect-host.mjs

@@ -0,0 +1,63 @@
+#!/usr/bin/env node
+/**
+ * Голый домен, который отвечает 301 на www, должен читаться так же, как сам www.
+ *
+ * 30.09.2026 bristolpropertycentre.co.uk получил в отчёте «no sitemap found at the usual paths» и
+ * «1 pages sampled»: robots.txt и карта сайта брались с введённого адреса без перехода по 301, а
+ * выборка в бесплатной проверке отсеивала страницы карты, потому что они на www. Тот же сайт,
+ * введённый с www, давал сто страниц. Здесь это держится на живом сервере: lvh.me и www.lvh.me оба
+ * указывают на 127.0.0.1, и сервер по заголовку Host отправляет голый домен на www.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { collect } from './collect.mjs';
+import { checkVisibility } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+
+let dnsOk = true;
+try { dnsOk = (await lookup('lvh.me')).address === '127.0.0.1' && (await lookup('www.lvh.me')).address === '127.0.0.1'; } catch { dnsOk = false; }
+if (!dnsOk) { console.log('ok   пропуск: lvh.me не указывает на 127.0.0.1 (нет сети)'); process.exit(0); }
+
+const PAGES = ['/', '/buy/', '/rent/', '/sell/', '/about/', '/contact/'];
+const page = (title) => `<!doctype html><html lang="en"><head><title>${title}</title>
+<meta name="description" content="A page description long enough not to count as empty for the check.">
+</head><body><main><h1>${title}</h1>${'<p>Plain paragraph about the property, the area and the price.</p>'.repeat(10)}</main></body></html>`;
+
+const server = createServer((req, res) => {
+  const host = (req.headers.host || '').toLowerCase();
+  const www = `http://www.${host.replace(/^www\./, '')}`;
+  if (!host.startsWith('www.')) { res.writeHead(301, { location: `${www}${req.url}` }); return res.end(); }
+  const send = (code, type, body) => { res.writeHead(code, { 'content-type': type }); res.end(body); };
+  if (req.url === '/robots.txt') return send(200, 'text/plain', `User-agent: *\nAllow: /\nSitemap: ${www}/sitemap.xml\n`);
+  if (req.url === '/llms.txt') return send(200, 'text/plain', `# Site\n\n- [Buy](${www}/buy/)\n`);
+  if (req.url === '/sitemap.xml') return send(200, 'application/xml', `<?xml version="1.0"?><urlset>${PAGES.map((p) => `<url><loc>${www}${p}</loc></url>`).join('')}</urlset>`);
+  if (PAGES.includes(req.url)) return send(200, 'text/html; charset=utf-8', page(`Page ${req.url}`));
+  return send(404, 'text/plain', 'no');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+const port = server.address().port;
+const apex = `http://lvh.me:${port}/`;
+
+try {
+  const a = await collect(apex, { pages: 10, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const check = (id) => a.checks.find((c) => c.id === id) || {};
+  ok('конечный адрес сайта на www', a.meta.site.startsWith(`http://www.lvh.me:${port}`));
+  ok(`robots.txt прочитан через 301 (${check('robots').status}: ${check('robots').value})`, check('robots').status === 'ok');
+  ok(`карта сайта найдена (${check('sitemap').value})`, check('sitemap').status === 'ok' && /6 URL/.test(check('sitemap').value));
+  ok('карта не считается чужим хостом', !a.checks.some((c) => c.id === 'sitemap-foreign'));
+  ok(`llms.txt прочитан через 301 (${check('llms').value})`, check('llms').status === 'ok');
+  ok('в обзоре шесть страниц в карте', a.overview.rows.find((r) => r[0] === 'Pages in sitemap')?.[1] === '6');
+  const sampled = Number((a.sources[0].detail.match(/homepage and (\d+) sampled/) || [])[1]);
+  ok(`выборка не одна главная (${sampled} страниц)`, sampled >= 5);
+  ok(`www-канонизация названа от голого домена к www (${check('www').value})`, /^lvh\.me:\d+ redirects to www\.lvh\.me/.test(check('www').value));
+
+  const v = await checkVisibility(apex, { lang: 'en', samplePages: 5, budgetMs: 8000 });
+  ok('бесплатная проверка прочитала сайт', v.ok);
+  ok(`бесплатная проверка нашла карту (${v.sitemap?.count})`, v.sitemap?.found && v.sitemap.count === 6);
+  ok(`в выборке не только главная (${v.sample?.length} страниц)`, (v.sample?.length || 0) >= 3);
+} finally { server.close(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/test-ru-report.mjs

@@ -0,0 +1,95 @@
+#!/usr/bin/env node
+/**
+ * Русский сайт в русском отчёте: правовые страницы находятся по русским адресам, и в audit.json
+ * нет английских подписей.
+ *
+ * 30.09.2026 образец аудита агентства из Екатеринбурга (collect --lang ru) дал красное «ни политики
+ * конфиденциальности, ни условий на сайте нет» при ссылке href="politika-konfidenczialnosti/", а в
+ * плане работ, обзоре, источниках и ограничениях стояли «Week 1», «Fix: Privacy and terms»,
+ * «The site itself» и «Analytics: no traffic or behaviour data».
+ */
+import { createServer } from 'node:http';
+import { mkdtemp, readFile } from 'node:fs/promises';
+import { tmpdir } from 'node:os';
+import path from 'node:path';
+import { collect, policyKinds } from './collect.mjs';
+import { draftNarrative } from './narrative.mjs';
+import { render } from './render.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+// ---- какие правовые страницы стоят за ссылкой
+is('русская политика без косой черты в начале', policyKinds('politika-konfidenczialnosti/'), ['privacy']);
+is('русская политика с косой чертой', policyKinds('/politika-konfidencialnosti/'), ['privacy']);
+is('конфиденциальность отдельным словом', policyKinds('/konfidencialnost/'), ['privacy']);
+is('согласие на обработку данных', policyKinds('/soglasie-na-obrabotku-personalnyh-dannyh/'), ['consent']);
+is('пользовательское соглашение это условия, а не согласие', policyKinds('/polzovatelskoe-soglashenie/'), ['terms']);
+is('условия и оферта', [policyKinds('usloviya-ispolzovaniya/'), policyKinds('/docs/oferta.pdf')], [['terms'], ['terms']]);
+is('кириллица в адресе, в том числе закодированная', [policyKinds('/политика-конфиденциальности/'), policyKinds('/%D0%BE%D1%84%D0%B5%D1%80%D1%82%D0%B0/')], [['privacy'], ['terms']]);
+is('полный адрес', policyKinds('https://dial93.ru/politika-konfidenczialnosti/'), ['privacy']);
+is('английские адреса как раньше', [policyKinds('/privacy-policy'), policyKinds('/en/terms-of-use/'), policyKinds('/cookies'), policyKinds('/legal/'), policyKinds('/disclaimer')], [['privacy'], ['terms'], ['cookie'], ['legal'], ['disclaimer']]);
+is('испанские акции не условия', policyKinds('/ofertas/'), []);
+is('почта, телефон и якорь не страницы', [policyKinds('mailto:privacy@x.ru'), policyKinds('tel:+7'), policyKinds('#privacy')], [[], [], []]);
+is('обычные страницы не правовые', [policyKinds('/kvartiry/'), policyKinds('/o-kompanii/'), policyKinds('/politics-news/')], [[], [], []]);
+
+// ---- живой русский сайт, отчёт по-русски
+const PAGES = ['/', '/kvartiry/', '/doma/', '/kontakty/'];
+const page = (p) => `<!doctype html><html lang="ru"><head><title>Агентство недвижимости ${p}</title>
+<meta name="description" content="Квартиры и дома в Екатеринбурге: подбор, проверка и сопровождение сделки под ключ.">
+</head><body><main><h1>Недвижимость ${p}</h1>${'<p>Квартира в новом доме, 54 квадратных метра, цена 7,2 млн рублей, сдача в 2027 году.</p>'.repeat(12)}</main>
+<footer><a href="politika-konfidenczialnosti/">Политика конфиденциальности</a> <a href="/soglasie-na-obrabotku/">Согласие на обработку</a></footer></body></html>`;
+const server = createServer((req, res) => {
+  const send = (code, type, body) => { res.writeHead(code, { 'content-type': type }); res.end(body); };
+  const www = `http://${req.headers.host}`;
+  if (req.url === '/robots.txt') return send(200, 'text/plain', `User-agent: *\nAllow: /\nSitemap: ${www}/sitemap.xml\n`);
+  if (req.url === '/sitemap.xml') return send(200, 'application/xml', `<?xml version="1.0"?><urlset>${PAGES.map((p) => `<url><loc>${www}${p}</loc></url>`).join('')}</urlset>`);
+  if (PAGES.includes(req.url)) return send(200, 'text/html; charset=utf-8', page(req.url));
+  return send(404, 'text/plain', 'нет');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+const base = `http://127.0.0.1:${server.address().port}`;
+
+// Английские подписи, которые сборщик писал сам до 0.33.1, и общий признак английской фразы.
+const ENGLISH = /\b(Week|Weeks|Months|Critical, quick wins|Foundation|Organic growth|Fix:|CMS \/ stack|Pages in sitemap|Language|What is sold|The site itself|Free, no account|read exactly as|sampled page|Search Console: no|Analytics: no|Keyword and backlink|external tier|Entity clarity|Third-party mentions|Reviews and PR|Contact form|Price visible|Messengers|Paid tool)\b/;
+const strings = (o, at = '', out = []) => {
+  if (typeof o === 'string') out.push([at, o]);
+  else if (Array.isArray(o)) o.forEach((x, i) => strings(x, `${at}[${i}]`, out));
+  else if (o && typeof o === 'object') for (const k of Object.keys(o)) strings(o[k], at ? `${at}.${k}` : k, out);
+  return out;
+};
+// Что пишет сам сборщик. Проверки, выборка и сырые замеры несут адреса и значения со страниц.
+const OWN = ['overview', 'critical', 'geo', 'conversion', 'sources', 'limitations', 'roadmap'];
+
+try {
+  const a = await collect(`${base}/`, { pages: 4, pageDelayMs: 0, lang: 'ru', log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const pol = a.checks.find((c) => c.id === 'trust-policies') || {};
+  is('политика и согласие найдены, проверка зелёная', pol.status, 'ok');
+  ok(`и подписаны по-русски (${pol.value})`, /политика/.test(pol.value) && /согласие/.test(pol.value) && !/privacy|consent/.test(pol.value));
+
+  const leaks = strings(Object.fromEntries(OWN.map((k) => [k, a[k]]))).filter(([, s]) => ENGLISH.test(s) && !s.includes('{{'));
+  is('в русском audit.json нет английских подписей', leaks, []);
+  is('план работ', a.roadmap.map((p) => p.badge), ['Неделя 1', 'Недели 2-4', 'Месяцы 2-3']);
+  const badRu = a.checks.filter((c) => c.status === 'bad').map((c) => `Исправить: ${c.label}`);
+  ok(`пункты плана по русским названиям проверок (${a.roadmap[0].items[0]})`, badRu.length > 0 && JSON.stringify(a.roadmap[0].items.slice(0, -1)) === JSON.stringify(badRu));
+  ok('источник «Сам сайт» с числом страниц словами', a.sources[0].name === 'Сам сайт' && /и 4 страницы выборки/.test(a.sources[0].detail));
+
+  const d = draftNarrative(a, { lang: 'ru' });
+  const after = strings(Object.fromEntries(OWN.map((k) => [k, d[k]]))).filter(([, s]) => ENGLISH.test(s));
+  is('и после черновика тоже', after, []);
+  is('черновик нашёл русские строки обзора', d.overview.rows.map((r) => r[1].includes('{{')), [false, false, false, false]);
+
+  const dir = await mkdtemp(path.join(tmpdir(), 'operstack-ru-'));
+  const out = path.join(dir, 'ru.html');
+  await render(d, { out });
+  const text = (await readFile(out, 'utf8')).replace(/<style[\s\S]*?<\/style>|<script[\s\S]*?<\/script>/gi, ' ').replace(/<[^>]+>/g, ' ');
+  const m = text.match(ENGLISH);
+  ok(`в напечатанном отчёте тоже${m ? `: «${text.slice(Math.max(0, m.index - 60), m.index + 60).replace(/\s+/g, ' ')}»` : ''}`, !m);
+
+  const en = await collect(`${base}/`, { pages: 4, pageDelayMs: 0, lang: 'en', log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  is('английский отчёт не изменился', [en.roadmap[0].badge, en.sources[0].name, en.overview.rows[1][0], en.limitations.length], ['Week 1', 'The site itself', 'Pages in sitemap', 3]);
+} finally { server.close(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/visibility.mjs

@@ -225,6 +225,86 @@ export function normaliseInput(input) {
   return u.href;
 }
 
+/*
+ * Страницы сайта по ссылкам, когда карта сайта их не даёт.
+ *
+ * Простым языком. Выборка страниц бралась только из карты сайта. У сайта без карты отчёт читал
+ * одну главную и судил по ней обо всём сайте: так 30.09.2026 вышли elitelivingrealty.com и
+ * solohomes.co.uk, у которых на www нет ни robots.txt, ни карты. Теперь, если карта дала меньше
+ * страниц, чем нужно, недостающие берутся из ссылок на уже прочитанных страницах: сначала с
+ * главной, потом со следующего уровня. Ровно так сайт видит любой поисковый робот.
+ *
+ * Берём только свои страницы (тот же домен, с www или без), без параметров и якорей, без файлов
+ * и служебных разделов, и не берём то, что robots.txt закрывает для всех роботов.
+ */
+const bare = (h) => String(h || '').toLowerCase().replace(/^www\./, '');
+
+/** Файлы и служебные разделы: это не страницы, по которым судят о сайте. */
+const FILE_EXT = /\.(?!html?$|php$|aspx?$)[a-z0-9]{2,5}$/i;
+const UTILITY = /\/(cart|basket|checkout|wishlist|compare|my-account|account|login|log-in|signin|sign-in|register|logout|wp-admin|wp-login\.php|wp-json|feed|rss|tag|tags|author|search|cdn-cgi)(\/|$)/i;
+
+/**
+ * Свои ссылки страницы в порядке появления, без повторов.
+ * @param {string} html
+ * @param {string} baseUrl адрес страницы, от него считаются относительные ссылки
+ * @param {Iterable<string>} [ownHosts] хосты сайта; по умолчанию хост baseUrl, с www и без
+ */
+export function internalLinks(html, baseUrl, ownHosts = []) {
+  let base;
+  try { base = new URL(baseUrl); } catch { return []; }
+  const own = new Set([bare(base.host), ...[...ownHosts].map(bare)]);
+  // Без парсера: этот файл живёт копией на сайтах и не тянет зависимостей. Скрипты, стили и
+  // комментарии вырезаются, чтобы ссылка внутри строки скрипта не считалась ссылкой страницы.
+  const src = String(html || '').replace(/<!--[\s\S]*?-->/g, ' ').replace(/<(script|style|noscript|template)\b[\s\S]*?<\/\1\s*>/gi, ' ');
+  const attrOf = (tag, name) => { const m = tag.match(new RegExp(`\\s${name}\\s*=\\s*(?:"([^"]*)"|'([^']*)'|([^\\s>]+))`, 'i')); return m ? (m[1] ?? m[2] ?? m[3] ?? '').replace(/&amp;/gi, '&') : null; };
+  const baseTag = src.match(/<base\b[^>]*>/i);
+  const baseHref = baseTag ? attrOf(baseTag[0], 'href') : null;
+  let resolveFrom = base;
+  if (baseHref) { try { resolveFrom = new URL(baseHref, base); } catch { /* битый <base> не мешает */ } }
+  const out = []; const seen = new Set();
+  for (const m of src.matchAll(/<a\b[^>]*>/gi)) {
+    const href = (attrOf(m[0], 'href') || '').trim();
+    if (!href || /^(#|mailto:|tel:|javascript:|data:|sms:|whatsapp:)/i.test(href)) continue;
+    if (/\bnofollow\b/i.test(attrOf(m[0], 'rel') || '')) continue;
+    let u;
+    try { u = new URL(href, resolveFrom); } catch { continue; }
+    if (!/^https?:$/.test(u.protocol) || !own.has(bare(u.host))) continue;
+    u.hash = ''; u.search = '';
+    if (FILE_EXT.test(u.pathname) || UTILITY.test(u.pathname)) continue;
+    const key = `${bare(u.host)}${u.pathname.replace(/\/$/, '')}`.toLowerCase();
+    if (seen.has(key)) continue;
+    seen.add(key);
+    out.push(u.href);
+  }
+  return out;
+}
+
+/**
+ * Разрешает ли robots.txt адрес роботу без своего блока (User-agent: *). Правило самое длинное
+ * совпадение, Allow побеждает при равной длине, звёздочка и знак доллара как у Google.
+ */
+export function robotsAllows(robotsText) {
+  const rules = []; let inStar = false; let sawRule = false;
+  for (const raw of String(robotsText || '').split(/\r?\n/)) {
+    const line = raw.replace(/#.*$/, '').trim(); if (!line) continue;
+    const m = line.match(/^([a-z-]+)\s*:\s*(.*)$/i); if (!m) continue;
+    const key = m[1].toLowerCase(); const value = m[2].trim();
+    if (key === 'user-agent') { if (sawRule) { inStar = false; sawRule = false; } if (value === '*') inStar = true; continue; }
+    if (key === 'allow' || key === 'disallow') { sawRule = true; if (inStar && value) rules.push({ allow: key === 'allow', value }); }
+  }
+  const compiled = rules.map((r) => ({ ...r, re: new RegExp(`^${r.value.replace(/[.+?^{}()|[\]\\]/g, '\\$&').replace(/\*/g, '.*').replace(/\\?\$$/, '$')}`) }));
+  return (url) => {
+    let path;
+    try { const u = new URL(url); path = u.pathname + u.search; } catch { return false; }
+    let best = null;
+    for (const r of compiled) {
+      if (!r.re.test(path)) continue;
+      if (!best || r.value.length > best.value.length || (r.value.length === best.value.length && r.allow)) best = r;
+    }
+    return !best || best.allow;
+  };
+}
+
 async function get(url, { timeout = 6000, method = 'GET' } = {}) {
   const c = new AbortController(); const t = setTimeout(() => c.abort(), timeout);
   const started = Date.now();
@@ -567,7 +647,17 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   }
   const homePage = analysePage(home.text, home.url);
   const robots = parseRobots(robotsRes.ok ? robotsRes.text : '');
-  const sitemap = left() > 1500 ? await readSitemap(origin, robotsRes.ok ? robotsRes.text : '', () => Math.min(3000, left() - 300)) : { found: false, url: '', count: 0, lastmod: false, pages: [], skipped: true };
+  /*
+   * Где сайт живёт на самом деле. Голый домен с 301 на www отдаёт robots.txt через переадресацию,
+   * и карта в нём перечисляет адреса на www. До 0.32.2 выборка брала только страницы, начинающиеся
+   * с введённого адреса, и на таком сайте читала одну главную. Найдено 30.09.2026 на
+   * bristolpropertycentre.co.uk.
+   */
+  const siteOrigin = (() => { try { return new URL(home.url).origin; } catch { return origin; } })();
+  const bare = (h) => h.replace(/^www\./, '').toLowerCase();
+  const ownBare = new Set([bare(host), bare(new URL(siteOrigin).host)]);
+  const isOwn = (u) => { try { return ownBare.has(bare(new URL(u).host)); } catch { return false; } };
+  const sitemap = left() > 1500 ? await readSitemap(siteOrigin, robotsRes.ok ? robotsRes.text : '', () => Math.min(3000, left() - 300)) : { found: false, url: '', count: 0, lastmod: false, pages: [], skipped: true };
   let sampled = [];
   /*
    * Сколько страниц выборки мы собирались прочитать. Нужно, чтобы отличить «сайт маленький» от
@@ -577,7 +667,17 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
    * выглядело как «стало лучше», а это ровно то, чего продукт обещает не делать.
    */
   let wantedPages = 0;
-  if (left() > 2000 && sitemap.pages.length) {
+  /*
+   * Карта не дала страниц (или дала меньше, чем нужно): добираем из ссылок главной. Без этого
+   * сайт без карты мерился по одной главной. Запросов не добавляет, главная уже прочитана.
+   * Добавлено 30.09.2026.
+   */
+  const fromSitemap = sitemap.pages.filter(isOwn);
+  const allowedByRobots = robotsAllows(robotsRes.ok ? robotsRes.text : '');
+  const fromHome = fromSitemap.length > samplePages ? [] : internalLinks(home.text, home.url, [host]).filter((l) => allowedByRobots(l));
+  const poolSeen = new Set();
+  const pool = [...fromSitemap, ...fromHome].filter((u) => { const k = u.replace(/\/$/, '').toLowerCase(); return poolSeen.has(k) ? false : poolSeen.add(k); });
+  if (left() > 2000 && pool.length) {
     const norm = (u) => u.replace(/\/$/, '').toLowerCase();
     /*
      * Какие страницы берём в выборку.
@@ -595,7 +695,7 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
      */
     const depth = (u) => { try { return new URL(u).pathname.replace(/\/$/, '').split('/').filter(Boolean).length; } catch { return 99; } };
     const section = (u) => { try { return new URL(u).pathname.split('/').filter(Boolean)[0] || ''; } catch { return ''; } };
-    const candidates = sitemap.pages.filter((p) => norm(p) !== norm(home.url) && p.startsWith(origin));
+    const candidates = pool.filter((p) => norm(p) !== norm(home.url));
     const byDepth = [...candidates].sort((a, b) => depth(a) - depth(b) || a.length - b.length || (a < b ? -1 : 1));
     const picks = [];
     const usedSections = new Set();