@operstack/audit 0.33.3 → 0.34.0

package/src/test-shopify-store.mjs

@@ -0,0 +1,159 @@
+#!/usr/bin/env node
+/**
+ * Магазин на Shopify, как brainmd.com 12.10.2026. Прогон 0.33.3 дал пять неправд о живом сайте:
+ *  1. «язык не указан», хотя <html> разбит на строки и lang="en" в нём стоит;
+ *  2. «в карте 349 страниц» при 1 357: из десяти файлов карты прочитаны шесть, статьи пропущены;
+ *  3. «CMS не измерено», хотя в коде Shopify.shop и cdn.shopify.com;
+ *  4. в выборку попали книги и диски вместо основных товаров, и FAQPage «не найдена»;
+ *  5. балл видимости не посчитан: в выборку попали agents.md и вход в аккаунт.
+ * Второй прогон того же дня нашёл ещё пять:
+ *  6. «нет sameAs», хотя в JSON-LD семь профилей, только слеши записаны как \/;
+ *  7. «мёртвая ссылка» в llms.txt с хвостовой обратной кавычкой из markdown;
+ *  8. «цены нет» при ценах на каждом товаре; пустая корзина $0.00 при этом не цена;
+ *  9. «на первом экране нечего нажать»: Add to cart не считалось, а меню съедало 15% разметки;
+ * 10. свой домен с точкой на конце в списке чужих хостов llms.txt.
+ * Здесь такой же магазин поднимается локально, и каждая из пяти неправд проверяется отдельно.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { collect, detectStack, homeLinkRank } from './collect.mjs';
+import { checkVisibility, linksInText } from './visibility.mjs';
+import { localiseChecks } from './i18n.mjs';
+import { draftNarrative } from './narrative.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+// ---- движок по следам в коде
+is('Shopify по Shopify.shop', detectStack('<script>Shopify.shop = "x.myshopify.com";</script>'), 'Shopify');
+is('Shopify по cdn.shopify.com', detectStack('<link href="//cdn.shopify.com/s/files/1/a.css">'), 'Shopify');
+is('WordPress по wp-content', detectStack('<img src="/wp-content/uploads/a.jpg">'), 'WordPress');
+is('без следов не угадываем', detectStack('<p>Shopify is a platform we like</p>'), '');
+
+// ---- 7, 10. Адреса из markdown без хвостов
+is('хвосты markdown отрезаны', linksInText('See `https://x.com/.well-known/ucp`. Home: https://x.com. Also (https://x.com/a), "https://x.com/b"'),
+  ['https://x.com/.well-known/ucp', 'https://x.com', 'https://x.com/a', 'https://x.com/b']);
+
+// ---- порядок по ссылкам главной
+{
+  const r = homeLinkRank('<a href="/products/a">1</a><a href="/products/a">2</a><a href="https://www.x.com/products/b/">3</a><a href="https://other.com/products/c">4</a>', 'https://x.com/', new Set(['x.com', 'www.x.com']));
+  is('ссылки главной посчитаны', [r.get('https://x.com/products/a/'), r.get('https://www.x.com/products/b/'), r.has('https://other.com/products/c/')], [2, 1, false]);
+}
+
+const BOOKS = Array.from({ length: 12 }, (_, i) => `/products/book-${i + 1}`);
+const MAIN = ['/products/omega-power', '/products/memory-boost'];
+const ARTICLES = Array.from({ length: 980 }, (_, i) => `/blogs/news/post-${i + 1}`);
+const PAGES = ['/pages/contact', '/pages/about'];
+const CHILDREN = ['agentic_discovery', 'products_1?from=1&amp;to=2', 'pages_1', 'collections_1', 'blogs_1', 'articles_1', 'metaobject_pages_1', 'metaobject_pages_2', 'metaobject_pages_3'];
+
+const shopifyHead = (title, schema = '') => `<!doctype html>
+<html
+  class="no-js market-us "
+  lang="en"
+
+>
+<head><title>${title} | Brain Store supplements</title>
+<meta name="description" content="A description of the page that is long enough to count as a real one for the check.">
+<link rel="stylesheet" href="//cdn.shopify.com/s/files/1/theme.css">
+<script>var Shopify = Shopify || {}; Shopify.shop = "x09u0a-0i.myshopify.com";</script>${schema}</head>`;
+const sameAs = '<script type="application/ld+json">{"@context":"https:\\/\\/schema.org","@type":"Organization","name":"Brain Store","sameAs":["https:\\/\\/www.instagram.com\\/brainstore\\/","https:\\/\\/www.youtube.com\\/brainstore","https:\\/\\/www.facebook.com\\/brainstore"]}</script>';
+const cartDrawer = '<div class="drawer">Cart 0. Spend $0.00 more to reach free shipping!</div>';
+const bigMenu = `<header><div class="menu">${'<div class="item"><img src="/i.png" alt=""><span class="x"></span></div>'.repeat(400)}</div></header>`;
+const buyBox = `<div class="gallery">${'<img src="/g.jpg" alt="">'.repeat(60)}</div><div class="buy"><p>$39.95</p><button type="submit" name="add">Add To Cart</button></div>`;
+const faq = '<script type="application/ld+json">{"@context":"https://schema.org","@type":"FAQPage","mainEntity":[]}</script><script type="application/ld+json">{"@context":"https://schema.org","@type":"Product","name":"X"}</script>';
+const body = (h1, links = []) => `<body><main><h1>${h1}</h1>${'<p>Plain paragraph about the product, what it does and the price.</p>'.repeat(8)}
+<nav>${links.map((l) => `<a href="${l}">${l}</a>`).join('')}</nav></main></body></html>`;
+const urlset = (base, list) => `<?xml version="1.0"?><urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">${list.map((p) => `<url><loc>${base}${p}</loc></url>`).join('')}</urlset>`;
+
+const hits = [];
+const server = createServer((req, res) => {
+  hits.push(req.url);
+  const base = `http://${req.headers.host}`;
+  const xml = (s) => { res.writeHead(200, { 'content-type': 'application/xml' }); res.end(s); };
+  const html = (s) => { res.writeHead(200, { 'content-type': 'text/html; charset=utf-8' }); res.end(s); };
+  const u = req.url;
+  if (u === '/robots.txt') { res.writeHead(200, { 'content-type': 'text/plain' }); return res.end(`User-agent: *\nDisallow: /cart\nSitemap: ${base}/sitemap.xml\n`); }
+  if (u === '/sitemap.xml') return xml(`<?xml version="1.0"?><sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">${CHILDREN.map((c) => `<sitemap><loc>${base}/sitemap_${c.replace(/\?.*/, '')}.xml${c.includes('?') ? `?${c.split('?')[1]}` : ''}</loc></sitemap>`).join('')}</sitemapindex>`);
+  if (u === '/sitemap_agentic_discovery.xml') return xml(urlset(base, ['/agents.md']));
+  // Shopify отдаёт товары только с обоими параметрами: &amp; в адресе значит пустую карту.
+  if (u.startsWith('/sitemap_products_1.xml')) return xml(urlset(base, u === '/sitemap_products_1.xml?from=1&to=2' ? [...BOOKS, ...MAIN] : []));
+  if (u === '/sitemap_pages_1.xml') return xml(urlset(base, PAGES));
+  if (u === '/sitemap_articles_1.xml') return xml(urlset(base, ARTICLES));
+  if (u.startsWith('/sitemap_')) return xml(urlset(base, []));
+  if (u === '/agents.md') { res.writeHead(200, { 'content-type': 'text/markdown' }); return res.end('# Agents\n'); }
+  if (u.startsWith('/customer_authentication/')) return; // висит, как вход в аккаунт Shopify
+  if (u === '/llms.txt') { res.writeHead(200, { 'content-type': 'text/plain' }); return res.end(`# Brain Store\n\nShop: ${base}.\nAgents: \`${base}/.well-known/ucp\`.\n- [Omega](${base}${MAIN[0]})\n- [Memory](${base}${MAIN[1]})\n- [Contact](${base}/pages/contact)\n- [Shop app](https://shop.app/brainstore)\n`); }
+  if (u === '/.well-known/ucp') { res.writeHead(200, { 'content-type': 'application/json' }); return res.end('{}'); }
+  if (u === '/') return html(shopifyHead('Home', sameAs) + body('Brain Store', [MAIN[0], MAIN[0], MAIN[0], MAIN[1], MAIN[1], '/pages/contact', '/customer_authentication/redirect']));
+  if (MAIN.includes(u)) return html(shopifyHead(u, faq) + `<body>${cartDrawer}${bigMenu}<main><h1>${u}</h1>${buyBox}${'<p>Plain paragraph about the product, what it does and how to take it.</p>'.repeat(40)}</main></body></html>`);
+  if (PAGES.includes(u)) return html(shopifyHead(u) + `<body>${cartDrawer}` + body(u).slice('<body>'.length));
+  if (BOOKS.includes(u) || u.startsWith('/blogs/')) return html(shopifyHead(u) + body(u));
+  res.writeHead(404, { 'content-type': 'text/plain' }); res.end('no');
+});
+await new Promise((r) => server.listen(0, '127.0.0.1', r));
+// Бесплатная проверка не берёт 127.0.0.1 (это не публичный адрес), поэтому живая часть идёт через lvh.me.
+let dnsOk = true;
+try { dnsOk = (await lookup('lvh.me')).address === '127.0.0.1'; } catch { dnsOk = false; }
+if (!dnsOk) { console.log('ok   пропуск живой части: lvh.me не указывает на 127.0.0.1 (нет сети)'); server.close(); process.exit(bad ? 1 : 0); }
+const base = `http://lvh.me:${server.address().port}`;
+
+try {
+  const a = await collect(`${base}/`, { pages: 6, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
+  const check = (id) => a.checks.find((c) => c.id === id) || {};
+  const row = (label) => (a.overview.rows.find((r) => r[0] === label) || [])[1];
+
+  // 1. Язык
+  is('1. язык прочитан из многострочного <html>', a.meta.language, 'en');
+
+  // 2. Карта сайта
+  const total = BOOKS.length + MAIN.length + PAGES.length + ARTICLES.length + 1; // + agents.md
+  is('2. прочитаны все десять файлов карты', check('sitemap').value, `${total} URL(s) in ${base}/sitemap.xml`);
+  is('2. в обзоре полное число', row('Pages in sitemap'), String(total));
+  ok('2. товары прочитаны по адресу с &, а не с &amp;', hits.includes('/sitemap_products_1.xml?from=1&to=2'));
+
+  // 2. Если карта прочитана не вся, в обзоре это сказано, а не выдано за целое.
+  const part = await collect(`${base}/`, { pages: 2, pageDelayMs: 0, sitemapMaxFiles: 3, log: () => {}, visibility: { ok: false, error: 'skipped in test' }, rendered: false });
+  const partRow = (part.overview.rows.find((r) => r[0] === 'Pages in sitemap') || [])[1] || '';
+  ok(`2. частичная цифра названа частичной (${partRow})`, /^at least \d+: 3 of 10 sitemap files were read/.test(partRow));
+
+  // 3. Движок
+  is('3. Shopify в обзоре', row('CMS / stack'), 'Shopify');
+  is('3. Shopify в проверке', check('cms').value, 'Shopify (detected from the page code)');
+  is('3. по-русски', localiseChecks([check('cms')], 'ru')[0].value, 'Shopify (определён по коду страницы)');
+
+  // 4. Выборка
+  const read = a.sample.filter((p) => p.title !== undefined).map((p) => new URL(p.url).pathname);
+  ok(`4. основные товары с главной в выборке (${read.join(', ')})`, MAIN.every((p) => read.includes(p)));
+  ok('4. чаще упомянутый на главной идёт раньше', read.indexOf(MAIN[0]) < read.indexOf(MAIN[1]));
+  ok('4. книги не вытеснили товары', read.filter((p) => p.startsWith('/products/book-')).length <= 1);
+  ok('4. agents.md не читается как страница', !read.includes('/agents.md'));
+  is('4. FAQPage найдена', check('faq-schema').status, 'ok');
+
+  // 6. Профили из sameAs со слешами \/
+  is('6. профили прочитаны', check('trust-profiles').value, '3: instagram.com, youtube.com, facebook.com');
+
+  // 7, 10. llms.txt
+  ok(`7. адрес с обратной кавычкой не мёртвый (${check('llms-health').value})`, check('llms-health').status === 'ok');
+  // Точку после своего домена с портом URL не разберёт, поэтому сам случай brainmd.com. проверен выше на linksInText.
+  is('10. свой домен с точкой не чужой хост', check('llms').value, '6 link(s), 1 to other hosts');
+
+  // 8. Цена: из выборки, и пустая корзина ценой не считается
+  const priced = a.sample.filter((p) => p.priceShown).map((p) => new URL(p.url).pathname);
+  ok(`8. цена найдена на товарах и только на них (${priced.join(', ')})`, MAIN.every((p) => priced.includes(p)) && !priced.includes('/pages/contact'));
+  const drafted = draftNarrative(a, { lang: 'en' });
+  ok(`8. строка «цена видна» не пишет «цены нет» (${drafted.conversion.rows.find((r) => /price/i.test(r[0]))?.[1]})`, /^yes: a price is shown on 2 of \d+ pages/.test(drafted.conversion.rows.find((r) => /price/i.test(r[0]))?.[1] || ''));
+
+  // 9. Призыв на первом экране: Add To Cart после огромного меню и галереи
+  ok(`9. Add to cart на товаре засчитан (${check('conv-cta').value})`, /^2 of /.test(check('conv-cta').value) // два товара; ссылки главной стоят в <nav>, это не первый экран
+    && a.sample.filter((p) => MAIN.some((m) => p.url.endsWith(m))).every((p) => p.ctaFirstScreen === true));
+
+  // 5. Балл видимости
+  const v = await checkVisibility(`${base}/`, { lang: 'en' });
+  ok(`5. балл посчитан (${v.ok ? v.score : v.error})`, v.ok && Number.isFinite(v.score));
+  const vRead = (v.sample || []).map((p) => new URL(p.url).pathname);
+  ok(`5. в выборке нет agents.md и входа в аккаунт (${vRead.join(', ')})`, vRead.length >= 3 && !vRead.some((p) => p === '/agents.md' || p.startsWith('/customer_authentication')));
+} finally { server.close(); server.closeAllConnections?.(); }
+
+if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
+console.log('\nвсё сходится');

package/src/verify.mjs

@@ -0,0 +1,347 @@
+/**
+ * Второй взгляд (14.10.2026): проверка утверждений отчёта другим способом до того, как он уйдёт.
+ *
+ * Простым языком. Сборщик смотрит на выборку из 20-30 страниц и пишет «на сайте нет политики»,
+ * «цены нет», «мессенджеров нет». За неделю это трижды оказалось неправдой: политика и цены лежали
+ * на страницах вне выборки или внутри текста, соцсети стояли в подвале, а скорость сайта мерилась
+ * одним запросом. Здесь каждое такое «нет» перепроверяется по ВСЕМ страницам карты сайта (до
+ * предела), а время ответа берётся серединой из трёх замеров. Если второй взгляд нашёл то, чего
+ * «нет», строка переписывается по факту, а в audit.verification записывается, что и почему
+ * поменялось. Отчёт без этой записи считается непроверенным (см. assertVerified).
+ */
+import { __readSitemap as readSitemap, policyKinds, computeScores, computeOverall } from './collect.mjs';
+import { localiseChecks } from './i18n.mjs';
+import { detectNiche } from './niche.mjs';
+import { MECHANICAL_IDS } from './narrative.mjs';
+import { request as httpsRequest } from 'node:https';
+import { request as httpRequest } from 'node:http';
+
+const UA = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130 Safari/537.36';
+const MESSENGER = /(?:wa\.me\/|api\.whatsapp\.com|whatsapp:\/\/|\bt\.me\/|telegram\.me\/|viber:\/\/|invite\.viber\.com|\bmax\.ru\/)/i;
+const SOCIAL = /\/\/(?:www\.)?(vk\.com|ok\.ru|t\.me|instagram\.com|facebook\.com|youtube\.com|rutube\.ru|dzen\.ru|linkedin\.com|tiktok\.com|x\.com|twitter\.com|pinterest\.com)\/[^"'\s?#]+/gi;
+const ABOUT_HREF = /\/(about|about-us|about-me|our-story|team|company|o-nas|o-kompanii|o-czentre|o-centre|o-klinike|kompaniya|obo-mne|o-sebe|ob-avtore|o-proekte|our-practice|o-vrache|o-klinike)\/?($|[?#])/i;
+const ABOUT_TITLE = /^(о нас|о компании|о клинике|о центре|обо мне|о себе|об авторе|о проекте|о враче|о докторе|о специалисте|о практике|about|about us|about me|about the doctor|our practice|our story|who we are)(?![\p{L}])/iu;
+const POLICY_TEXT = { privacy: /политик[аи] (?:конфиденциальности|обработки персональных данных)|privacy policy/i, terms: /пользовательское соглашение|публичная оферта|договор(?:-| )оферт|правила (?:и порядок )?оказания (?:платных )?услуг|terms (?:of (?:service|use)|and conditions)/i };
+const PRICE = /(?:\d[\d\s ]{0,9}(?:[.,]\d{1,2})?\s?(?:₽|руб(?:\.|лей|ля|ль)?(?![а-яё])|р\.(?=\s))|(?:\$|€|£)\s?\d[\d,]*(?:\.\d{2})?|"price"\s*:\s*"?\d)/i;
+
+const strip = (html) => String(html || '').replace(/<(script|style|noscript|template)[\s\S]*?<\/\1>/gi, ' ').replace(/<[^>]+>/g, ' ').replace(/&nbsp;|&#160;/g, ' ').replace(/\s+/g, ' ');
+const hrefs = (html) => [...String(html || '').matchAll(/href\s*=\s*["']([^"']+)["']/gi)].map((m) => m[1]);
+const titleOf = (html) => strip((String(html).match(/<title[^>]*>([\s\S]*?)<\/title>/i) || [])[1] || '').trim();
+// H1 внутри <template> и с атрибутами Vue (v-, :, @) человек не видит: как в сборщике (collect.mjs).
+const h1sOf = (html) => [...String(html).replace(/<template[\s\S]*?<\/template>/gi, ' ').matchAll(/<h1\b([^>]*)>[\s\S]*?<\/h1>/gi)].filter((m) => !/\s(?:v-|:|@|x-)[\w-]+=/.test(m[1] || '')).map((m) => strip(m[0]).trim()).filter((t) => t && !/\{\{|\}\}/.test(t));
+const median = (xs) => { const s = [...xs].sort((a, b) => a - b); return s.length ? s[Math.floor((s.length - 1) / 2)] : null; };
+
+async function fetchPage(url, fetchImpl, timeout = 20000) {
+  const c = new AbortController(); const t = setTimeout(() => c.abort(), timeout);
+  const started = Date.now();
+  try {
+    const r = await fetchImpl(url, { redirect: 'follow', signal: c.signal, headers: { 'user-agent': UA, accept: 'text/html,*/*' } });
+    const ttfb = Date.now() - started;
+    const text = await r.text();
+    return { url, ok: r.ok, status: r.status, html: text, ttfb };
+  } catch (e) { return { url, ok: false, status: 0, html: '', ttfb: Date.now() - started, error: e.message }; }
+  finally { clearTimeout(t); }
+}
+
+async function pool(items, n, fn) {
+  const out = new Array(items.length); let i = 0;
+  await Promise.all(Array.from({ length: Math.min(n, items.length) }, async () => { while (i < items.length) { const k = i++; out[k] = await fn(items[k]); } }));
+  return out;
+}
+
+
+/** Время до первого байта на новом соединении, как у посетителя: без пула соединений. */
+export function coldTtfb(url, { timeout = 20000, ua = UA } = {}) {
+  return new Promise((resolve) => {
+    let u; try { u = new URL(url); } catch { resolve(null); return; }
+    const started = Date.now();
+    const req = (u.protocol === 'http:' ? httpRequest : httpsRequest)(u, { method: 'GET', agent: false, headers: { 'user-agent': ua, accept: 'text/html,*/*' }, timeout }, (res) => {
+      const ms = Date.now() - started; res.resume(); res.on('end', () => {}); resolve({ ms, status: res.statusCode });
+    });
+    req.on('timeout', () => { req.destroy(); resolve(null); });
+    req.on('error', () => resolve({ ms: null, status: 0 }));
+    req.end();
+  });
+}
+
+/** Пускает ли сервер робота с таким user-agent: ответ на robots.txt, обрыв соединения это «не пускает». */
+const BOT_UA = (name) => `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ${name}; +https://example.com/bot)`;
+const TRAINING = ['GPTBot/1.1', 'ClaudeBot/1.0', 'Amazonbot/0.1', 'meta-externalagent/1.1', 'CCBot/2.0', 'Bytespider'];
+const SEARCH = ['OAI-SearchBot/1.0', 'ChatGPT-User/1.0', 'PerplexityBot/1.0', 'Perplexity-User/1.0', 'Claude-SearchBot/1.0', 'Claude-User/1.0'];
+
+const cap = (x) => { const t = String(x || '').trim(); return t ? t[0].toUpperCase() + t.slice(1) : t; };
+/** «Значение. Пояснение» без повтора и со строчной после точки (14.10.2026: «описания нет. описания нет»). */
+export function joinValueComment(value, comment) {
+  const v = cap(value); const c = String(comment || '').trim();
+  if (!c) return v;
+  const words = (x) => x.toLowerCase().match(/[\p{L}\p{N}]+/gu) || [];
+  const vw = new Set(words(v));
+  // Пояснение, все слова которого уже есть в значении, это повтор: «описания у страницы нет. описания нет».
+  if (words(c).every((w) => vw.has(w))) return v;
+  return `${v}. ${cap(c)}`;
+}
+
+/** Список «что чинить первым» и первая неделя плана собираются из строк как они есть сейчас. */
+export function rebuildCritical(audit) {
+  const ru = audit.meta?.lang === 'ru';
+  const shown = ru ? localiseChecks(audit.checks || [], 'ru') : (audit.checks || []);
+  const bad = shown.filter((c) => c.status === 'bad');
+  audit.critical = bad.map((c) => ({ title: c.label, text: joinValueComment(c.value, c.comment), level: 'bad' }));
+  const fix = ru ? 'Исправить' : 'Fix';
+  const week1 = (audit.roadmap || [])[0]; const week2 = (audit.roadmap || [])[1];
+  if (week1 && Array.isArray(week1.items)) {
+    // В «быстрые победы» только техническое: то, что требует фактов владельца или юриста, уходит во вторую очередь (14.10.2026).
+    const quick = bad.filter((c) => MECHANICAL_IDS.has(c.id) && c.id !== 'trust-policies');
+    const slow = bad.filter((c) => !quick.includes(c));
+    const other = week1.items.filter((i) => !String(i).startsWith(`${fix}:`) && !String(i).includes('{{'));
+    week1.items = [...quick.map((c) => `${fix}: ${c.label}`), ...other];
+    if (week2 && Array.isArray(week2.items)) {
+      const keep = week2.items.filter((i) => !String(i).includes('{{') && !week1.items.some((w) => String(w).toLowerCase().includes(String(i).toLowerCase()) || String(i).toLowerCase().includes(String(w).replace(/^[^:]+:\s*/, '').toLowerCase())));
+      week2.items = [...slow.map((c) => `${fix}: ${c.label}`), ...keep, ru ? 'Остальные задачи по порядку из файла задач' : 'The rest of the tasks, in order, from the tasks file'];
+      week2.items = [...new Set(week2.items)];
+    }
+  }
+  return audit;
+}
+
+/** Все страницы сайта, которые стоит прочитать второй раз: карта сайта плюс выборка, без файлов. */
+async function siteUrls(audit, { maxPages, fetchImpl }) {
+  const origin = new URL(audit.meta.site).origin;
+  const fromSample = (audit.sample || []).map((p) => p.url).filter(Boolean);
+  let fromMap = [];
+  try {
+    const robots = await fetchPage(`${origin}/robots.txt`, fetchImpl, 10000);
+    const lines = [...String(robots.html).matchAll(/^sitemap:\s*(\S+)/gim)].map((m) => m[1]);
+    for (const u of [...lines, `${origin}/sitemap.xml`, `${origin}/sitemap_index.xml`, `${origin}/wp-sitemap.xml`]) {
+      const r = await readSitemap(u, { maxFiles: 50, budgetMs: 40000 }).catch(() => null);
+      if (r && r.urls && r.urls.length) { fromMap = r.urls; break; }
+    }
+  } catch { /* без карты читаем то, что есть */ }
+  const pages = fromMap.filter((u) => !/\.(xml|pdf|jpe?g|png|webp|gif|svg|zip|docx?|xlsx?)(\?|$)/i.test(u));
+  // Сначала короткие адреса (разделы, служебные страницы), потом длинные (статьи): политика и «о нас» живут сверху.
+  pages.sort((a, b) => a.length - b.length);
+  // Один адрес со слешем и без считался двумя страницами: выходило «105 прочитанных» при 104 в карте (14.10.2026).
+  const norm = (u) => String(u).replace(/[?#].*$/, '').replace(/\/+$/, '');
+  const seen = new Set(); const out = [];
+  for (const u of [audit.meta.site, ...fromSample, ...pages]) { const k = norm(u); if (!seen.has(k)) { seen.add(k); out.push(u); } }
+  return out.slice(0, maxPages);
+}
+
+/**
+ * Второй взгляд по сайту. Меняет audit.checks по факту и пишет audit.verification:
+ * { at, pagesRead, changes: [{ id, before, after, evidence }] }.
+ */
+export async function secondLook(audit, { maxPages = 150, concurrency = 4, fetchImpl = fetch, log = () => {}, lang = audit.meta?.lang || 'en', probes = true } = {}) {
+  // probes: false выключает замеры по сырому соединению (время ответа, роботы ИИ): так эталонный тест идёт без сети.
+  const ru = lang === 'ru';
+  const urls = await siteUrls(audit, { maxPages, fetchImpl });
+  log(`second look: reading ${urls.length} page(s) of ${audit.meta.host}`);
+  const pages = (await pool(urls, concurrency, (u) => fetchPage(u, fetchImpl))).filter((p) => p.ok && /<html|<body/i.test(p.html));
+  const changes = [];
+  const byId = (id) => (audit.checks || []).find((c) => c.id === id);
+  const change = (id, patch, evidence) => {
+    const c = byId(id); if (!c) return;
+    const before = { status: c.status, value: c.value };
+    Object.assign(c, patch, ('value' in patch || 'comment' in patch) && ru ? { localised: true } : {});
+    changes.push({ id, before, after: { status: c.status, value: c.value }, evidence });
+  };
+  const path = (u) => { try { return new URL(u).pathname; } catch { return u; } };
+
+  // 1. Политика и условия: ссылки на любых страницах, затем текст на страницах.
+  const pol = byId('trust-policies');
+  if (pol && pol.status !== 'ok') {
+    const linked = new Set(); const inText = {};
+    for (const p of pages) {
+      for (const h of hrefs(p.html)) for (const k of policyKinds(h)) linked.add(k);
+      const t = strip(p.html);
+      for (const [k, re] of Object.entries(POLICY_TEXT)) if (re.test(t) && !inText[k]) inText[k] = p.url;
+    }
+    const kinds = [...linked];
+    const textOnly = Object.entries(inText).filter(([k]) => !kinds.some((x) => (k === 'privacy' ? /privacy|konfid|personal|polit/.test(x) : !/privacy|konfid|personal|polit/.test(x))));
+    if (kinds.length || textOnly.length) {
+      const parts = [];
+      if (kinds.length) parts.push(ru ? `ссылки есть: ${kinds.join(', ')}` : `linked: ${kinds.join(', ')}`);
+      for (const [k, u] of textOnly) parts.push(ru ? `${k === 'privacy' ? 'политика конфиденциальности' : 'правила или условия оказания услуг'} есть только в тексте страницы ${path(u)}, отдельной страницы и ссылки нет` : `${k === 'privacy' ? 'privacy policy' : 'terms'} only inside the text of ${path(u)}, no page of its own and no link`);
+      const missingPrivacy = !kinds.some((x) => /privacy|konfid|personal|polit/.test(x)) && !inText.privacy;
+      if (missingPrivacy) parts.push(ru ? 'политики конфиденциальности нет нигде на сайте' : 'no privacy policy anywhere on the site');
+      const withForms = pages.filter((p) => /<form[\s\S]*?(?:type=["']?tel|name=["'][^"']*(?:phone|tel|name|email)|placeholder=["'][^"']*(?:телефон|номер|имя|почт))/i.test(p.html)).length;
+      if (missingPrivacy && withForms && ru) parts.push(`при этом формы, которые собирают контакты, стоят на ${withForms} из ${pages.length} страниц; по 152-ФЗ сайт, который собирает персональные данные, обязан опубликовать политику их обработки и получать согласие`);
+      change('trust-policies', { status: missingPrivacy ? 'bad' : kinds.length >= 2 ? 'ok' : 'warn', value: parts.join('; ') }, { pagesRead: pages.length, linked: kinds, inText, withForms });
+    } else {
+      change('trust-policies', { value: ru ? `ни политики конфиденциальности, ни условий нет ни на одной из ${pages.length} прочитанных страниц` : `neither a privacy policy nor terms on any of the ${pages.length} pages read` }, { pagesRead: pages.length });
+    }
+  }
+
+  // 2. Страница «о компании».
+  const about = byId('trust-about');
+  if (about && about.status !== 'ok') {
+    const hit = pages.find((p) => hrefs(p.html).some((h) => ABOUT_HREF.test(h)) || ABOUT_HREF.test(new URL(p.url).pathname) || /"@type"\s*:\s*"AboutPage"/.test(p.html) || ABOUT_TITLE.test(titleOf(p.html)) || h1sOf(p.html).some((h) => ABOUT_TITLE.test(h)));
+    if (hit) change('trust-about', { status: 'ok', value: ru ? `есть: найдено на ${path(hit.url)}` : `present: found via ${path(hit.url)}` }, { url: hit.url });
+    else change('trust-about', { value: ru ? `страницы о компании нет ни на одной из ${pages.length} прочитанных страниц` : `no about or team page on any of the ${pages.length} pages read` }, { pagesRead: pages.length });
+  }
+
+  // 3. Мессенджеры.
+  const msg = byId('conv-messenger');
+  // Онлайн-чат на сайте это тоже способ написать (14.10.2026, brainmd.com: Gorgias на каждой странице).
+  const CHAT = /(gorgias|jivosite|jivo\.chat|code\.jivo|intercom|tawk\.to|crisp\.chat|livechatinc|zopim|zendesk\.com\/embeddable|talk-me|carrotquest|bitrix24.*crm|chatra|tidio|drift\.com|hubspot.*conversations)/i;
+  const chatPages = pages.filter((p) => CHAT.test(p.html));
+  if (msg && msg.status !== 'ok' && chatPages.length) {
+    const name = (chatPages[0].html.match(CHAT) || [])[1] || 'chat';
+    change('conv-messenger', { status: 'ok', value: ru ? `мессенджеров нет, но на ${chatPages.length} из ${pages.length} страниц есть онлайн-чат (${name})` : `no messenger links, but ${chatPages.length} of ${pages.length} pages carry a live chat (${name})`, comment: '' }, { chat: name });
+  }
+  if (msg && msg.status !== 'ok') {
+    const hit = pages.filter((p) => hrefs(p.html).some((h) => MESSENGER.test(h)));
+    if (hit.length) change('conv-messenger', { status: 'ok', value: ru ? `есть на ${hit.length} из ${pages.length} прочитанных страниц` : `on ${hit.length} of ${pages.length} pages read` }, { urls: hit.slice(0, 5).map((p) => p.url) });
+    else change('conv-messenger', { value: ru ? `нет ни на одной из ${pages.length} прочитанных страниц` : `none on any of the ${pages.length} pages read`, comment: ru ? 'человеку с телефона одна ссылка на мессенджер часто удобнее формы' : 'for a visitor on a phone, one messenger link is often easier than a form' }, { pagesRead: pages.length });
+  }
+
+  // 4. Профили: sameAs с разэкранированными слешами, плюс ссылки на соцсети в самих страницах.
+  const prof = byId('trust-profiles');
+  if (prof && prof.status !== 'ok') {
+    const own = audit.meta.host.replace(/^www\./, '');
+    const inSchema = new Set(); const inLinks = new Set();
+    for (const p of pages) {
+      const ld = String(p.html).replace(/\\\//g, '/');
+      for (const m of ld.matchAll(/"sameAs"\s*:\s*(\[[^\]]*\]|"[^"]+")/g)) for (const u of m[1].match(/https?:\/\/[^"\s,\]]+/g) || []) { try { const h = new URL(u).host.replace(/^www\./, ''); if (h !== own) inSchema.add(h); } catch { /* мусор */ } }
+      for (const m of String(p.html).matchAll(SOCIAL)) inLinks.add(m[1].toLowerCase());
+    }
+    if (inSchema.size) change('trust-profiles', { status: inSchema.size >= 2 ? 'ok' : 'warn', value: `${inSchema.size}: ${[...inSchema].slice(0, 5).join(', ')}` }, { inSchema: [...inSchema] });
+    else if (inLinks.size) change('trust-profiles', { status: 'warn', value: ru ? `в разметке не заявлены, но ссылки на сайте есть: ${[...inLinks].join(', ')}` : `not declared in the markup, though the pages link to: ${[...inLinks].join(', ')}` }, { inLinks: [...inLinks] });
+    else change('trust-profiles', { value: ru ? `ни в разметке, ни ссылками ни на одной из ${pages.length} прочитанных страниц профилей нет` : `no profile in the markup or as a link on any of the ${pages.length} pages read` }, { pagesRead: pages.length });
+  }
+
+  // 5. Цена: по всем страницам, с «рублей» прописью и в разметке.
+  const priced = pages.filter((p) => PRICE.test(strip(p.html)) || /"price"\s*:\s*"?\d/.test(p.html));
+  audit.verification = audit.verification || {};
+  audit.verification.price = { pagesRead: pages.length, withPrice: priced.map((p) => path(p.url)).slice(0, 10), count: priced.length };
+
+  // 6. Главная: описание, H1, llms.txt и время ответа, тремя новыми запросами.
+  const homeTries = await pool([0, 1, 2], 1, () => fetchPage(audit.meta.site, fetchImpl));
+  const homeOk = homeTries.filter((r) => r.ok);
+  if (homeOk.length) {
+    const html = homeOk[0].html;
+    const desc = (html.match(/<meta[^>]+name=["']description["'][^>]*content=["']([^"']*)["']/i) || html.match(/<meta[^>]+content=["']([^"']*)["'][^>]*name=["']description["']/i) || [])[1];
+    const d = byId('description');
+    if (d && d.status === 'bad' && desc && desc.trim()) change('description', { status: 'ok', value: ru ? `${desc.trim().length} знаков` : `${desc.trim().length} chars` }, { desc });
+    const h1 = byId('h1');
+    if (h1 && h1.status === 'bad' && h1sOf(html).length === 1) change('h1', { status: 'ok', value: h1sOf(html)[0].slice(0, 80) }, { h1: h1sOf(html) });
+    const t = byId('ttfb');
+    if (t && probes) {
+      // Пять замеров на новом соединении, середина (14.10.2026: один запрос давал то 1,1 с, то 4,0 с).
+      const runs = [];
+      for (let i = 0; i < 5; i++) { const r = await coldTtfb(audit.meta.site); if (r && r.ms) runs.push(r.ms); }
+      if (runs.length >= 3) {
+        const mid = median(runs); const lo = Math.min(...runs); const hi = Math.max(...runs);
+        const fmt = (x) => (ru ? `${(x / 1000).toFixed(1).replace('.', ',')} с` : `${(x / 1000).toFixed(1)} s`);
+        // Пороги web.dev: до 0,8 с хорошо, до 1,8 с терпимо, дальше плохо.
+        const status = mid <= 800 ? 'ok' : mid <= 1800 ? 'warn' : 'bad';
+        change('ttfb', { status, value: ru ? `середина ${fmt(mid)} по ${runs.length} замерам (от ${fmt(lo)} до ${fmt(hi)}), замер с сервера в Германии` : `median ${fmt(mid)} over ${runs.length} requests (${fmt(lo)} to ${fmt(hi)}), measured from a server in Germany`, comment: ru ? 'хорошим Google считает ответ до 0,8 секунды; посетители из другой страны могут видеть другое время' : 'Google calls 0.8 seconds or less good; visitors elsewhere may see a different time' }, { runs });
+      }
+    }
+  }
+  const llms = byId('llms');
+  if (llms && llms.status !== 'ok') {
+    const r = await fetchPage(`${new URL(audit.meta.site).origin}/llms.txt`, fetchImpl, 15000);
+    if (r.ok && r.html.trim() && !/<html/i.test(r.html)) change('llms', { status: 'ok', value: ru ? 'есть' : 'present' }, { status: r.status });
+  }
+
+  // Числа по всему сайту рядом с числами по выборке (14.10.2026, Максим: «H1 нет на 11 из 20» без «выборки» и без
+  // «по всему сайту на 84 из 104» преуменьшает проблему). Только там, где второй взгляд прочитал больше выборки.
+  if (pages.length > (audit.sample || []).length) {
+    const shownValue = (c) => (ru ? localiseChecks([c], 'ru')[0].value : c.value);
+    const h1c = byId('h1-sample');
+    const noH1All = pages.filter((p) => !h1sOf(p.html).length).length;
+    if (h1c && noH1All && /no H1|H1 нет/.test(String(shownValue(h1c)))) change('h1-sample', { value: `${shownValue(h1c)}${ru ? `, по всему сайту на ${noH1All} из ${pages.length}` : `; across the whole site on ${noH1All} of ${pages.length}`}` }, { noH1All, pagesRead: pages.length });
+    const dc = byId('description-all');
+    const noDescAll = pages.filter((p) => !((String(p.html).match(/<meta[^>]+name=["']description["'][^>]*content=["']([^"']*)["']/i) || String(p.html).match(/<meta[^>]+content=["']([^"']*)["'][^>]*name=["']description["']/i) || [])[1] || '').trim()).length;
+    if (dc && dc.status !== 'ok' && noDescAll) change('description-all', { value: `${shownValue(dc)}${ru ? `; по всему сайту описания нет на ${noDescAll} из ${pages.length}` : `; across the whole site ${noDescAll} of ${pages.length} pages have none`}` }, { noDescAll, pagesRead: pages.length });
+  }
+  // Ниша и необязательные для неё строки: карточка агента, каталог API и markdown нужны только тем, у кого
+  // есть свой ИИ-сервис или API. Остальным это не недостаток, а «не нужно» (14.10.2026).
+  audit.niche = audit.niche || detectNiche(audit);
+  if (audit.niche.niche !== 'b2b') for (const id of ['agent-card', 'api-catalog', 'agent-markdown']) {
+    const c = byId(id);
+    if (c && c.status === 'warn') change(id, { status: 'na', comment: ru ? 'необязательно для этого сайта: нужно, только если у компании есть свой ИИ-сервис или API' : 'optional for this site: needed only when the business runs its own AI service or API' }, { niche: audit.niche.niche });
+  }
+  // Роботы ИИ по-настоящему: robots.txt может их пускать, а сервер обрывать соединение (14.10.2026, medeq-mc.ru).
+  const robotsUrl = `${new URL(audit.meta.site).origin}/robots.txt`;
+  const robotsText = (await fetchPage(robotsUrl, fetchImpl, 10000)).html || '';
+  const probe = async (name) => { const r = await coldTtfb(robotsUrl, { ua: BOT_UA(name), timeout: 15000 }); return { name: name.split('/')[0], ok: Boolean(r && r.status && r.status < 500) }; };
+  const train = probes ? await pool(TRAINING, 3, probe) : []; const search = probes ? await pool(SEARCH, 3, probe) : [];
+  const cut = [...train, ...search].filter((x) => !x.ok);
+  if (cut.length) {
+    const cutSearch = search.filter((x) => !x.ok).map((x) => x.name); const cutTrain = train.filter((x) => !x.ok).map((x) => x.name); const okTrain = train.filter((x) => x.ok).map((x) => x.name);
+    const value = ru
+      ? `${cutSearch.length ? `сервер не пускает поисковых роботов ИИ ${cutSearch.join(', ')}; ` : ''}${cutTrain.length ? `сервер не пускает обучающих роботов ${cutTrain.join(', ')}: соединение обрывается без ответа, даже на robots.txt` : ''}${okTrain.length && cutTrain.length ? `, а ${okTrain.join(', ')} пускает` : ''}; в robots.txt этого не видно, запрет стоит на уровне сервера или хостинга`
+      : `${cutSearch.length ? `the server refuses AI search fetchers ${cutSearch.join(', ')}; ` : ''}${cutTrain.length ? `it drops the training crawlers ${cutTrain.join(', ')} without an answer, even on robots.txt` : ''}${okTrain.length && cutTrain.length ? `, while letting ${okTrain.join(', ')} in` : ''}; robots.txt does not show this, the block sits in the server or host`;
+    if (!(audit.checks || []).some((c) => c.id === 'train-bots')) {
+      const at = (audit.checks || []).findIndex((c) => c.id === 'ai-search-access');
+      const row = { id: 'train-bots', group: 'geo', label: ru ? 'Роботы ИИ на уровне сервера' : 'AI robots at the server', status: cutSearch.length ? 'bad' : 'warn', value, comment: ru ? 'если это не решение владельца, стоит спросить хостинг' : 'if the owner did not decide this, ask the host' };
+      audit.checks.splice(at >= 0 ? at + 1 : audit.checks.length, 0, row);
+      changes.push({ id: 'train-bots', before: null, after: { status: row.status, value }, evidence: { train, search } });
+    }
+  }
+  audit.verification = { ...audit.verification, at: new Date().toISOString(), pagesRead: pages.length, changes };
+  const src = (audit.sources || [])[0];
+  if (src && pages.length > (audit.sample || []).length) src.detail = ru ? `robots.txt и все ${pages.length} ${pages.length % 10 >= 2 && pages.length % 10 <= 4 && (pages.length % 100 < 10 || pages.length % 100 >= 20) ? 'страницы' : pages.length % 10 === 1 && pages.length % 100 !== 11 ? 'страницу' : 'страниц'} из карты сайта: на них проверено всё, что отчёт называет отсутствующим; ${(audit.sample || []).length} страниц выборки (включая главную) разобраны подробно` : `robots.txt and all ${pages.length} pages in the sitemap, checked for everything the report calls absent; ${(audit.sample || []).length} sampled pages (home included) read in detail`;
+  rescore(audit);
+  // Сжатые копии прочитанных страниц для проверяющего: в audit не пишутся, отдаются вызывающему.
+  Object.defineProperty(audit.verification, 'digest', { value: siteDigest(pages, robotsText), enumerable: false });
+  log(`second look: ${pages.length} page(s) read, ${changes.filter((c) => c.before?.status !== c.after.status).length} status(es) corrected`);
+  return audit.verification;
+}
+
+/** Отчёт без второго взгляда не печатается для клиента. */
+export function assertVerified(audit) {
+  if (!audit.verification || !audit.verification.at) throw new Error('fact gate: this audit was not verified (run secondLook before render)');
+  return true;
+}
+
+/** Оценки областей и балл отчёта пересчитываются после любой правки строк: иначе на первой странице стоит старое число. */
+export function rescore(audit) {
+  // Пояснение, все слова которого уже есть в значении, убираем: «описания нет» под «описания у страницы нет» (14.10.2026).
+  for (const c of audit.checks || []) if (c.comment && joinValueComment(c.value, c.comment) === joinValueComment(c.value, '')) c.comment = '';
+  const { scores, scoreBasis } = computeScores(audit.checks);
+  audit.scores = scores; audit.scoreBasis = scoreBasis;
+  audit.reportScore = computeOverall(audit.checks);
+  rebuildCritical(audit);
+  return audit;
+}
+
+/**
+ * Короткая выжимка по каждой прочитанной странице: то, на что опираются утверждения отчёта.
+ * Её получает проверяющий ИИ, чтобы сверять фразы не с памятью, а с сайтом.
+ */
+export function siteDigest(pages, robotsText = '') {
+  const one = (p) => {
+    const h = String(p.html || '');
+    const attr = (re) => (h.match(re) || [])[1] || '';
+    const ld = h.replace(/\\\//g, '/');
+    const imgs = h.match(/<img\b[^>]*>/gi) || [];
+    const text = strip(h.replace(/<(header|nav|footer)[\s\S]*?<\/\1>/gi, ' ')).trim();
+    return {
+      url: p.url,
+      title: titleOf(h),
+      description: attr(/<meta[^>]+name=["']description["'][^>]*content=["']([^"']*)/i),
+      h1: h1sOf(h),
+      h2: [...h.matchAll(/<h2\b[\s\S]*?<\/h2>/gi)].map((m) => strip(m[0]).trim()).filter(Boolean).slice(0, 12),
+      schema: [...new Set([...ld.matchAll(/"@type"\s*:\s*"([^"]+)"/g)].map((m) => m[1]))],
+      sameAs: [...new Set([...ld.matchAll(/"sameAs"\s*:\s*(\[[^\]]*\]|"[^"]+")/g)].flatMap((m) => m[1].match(/https?:\/\/[^"\s,\]]+/g) || []))],
+      images: imgs.length, imagesAltEmpty: imgs.filter((i) => /alt=["']\s*["']/i.test(i)).length, imagesNoAltAttr: imgs.filter((i) => !/\balt=/i.test(i)).length,
+      forms: (h.match(/<form\b/gi) || []).length,
+      social: [...new Set([...h.matchAll(SOCIAL)].map((m) => m[0].replace(/^\/\//, '')))].slice(0, 8),
+      messengers: hrefs(h).filter((x) => MESSENGER.test(x)).slice(0, 5),
+      words: text.split(/\s+/).filter(Boolean).length,
+      visibleDates: [...new Set((text.match(/(?<!\d)\d{1,2}[./]\d{1,2}[./](?:19|20)\d{2}(?!\d)/g) || []))].slice(0, 6),
+      prices: [...new Set((text.match(/\d[\d\s]{0,9}(?:₽|руб(?:\.|лей|ля|ль)?(?![а-яё])|USD|\$)/gi) || []).map((x) => x.trim()))].slice(0, 6),
+      privacyText: /политик[аи] (?:конфиденциальности|обработки персональных данных)|согласи[ея] на обработку|privacy policy/i.test(text),
+      termsText: /правила (?:и порядок )?оказания|публичная оферта|пользовательское соглашение|terms (?:of|and)/i.test(text),
+      accordions: (h.match(/class=["'][^"']*(?:faq|accordion|spoiler|toggle)[^"']*["']/gi) || []).length,
+      tableTags: (h.match(/<table\b/gi) || []).length,
+      tableLike: (h.match(/class=["'][^"']*(?:table|tr\b|td\b)[^"']*["']/gi) || []).length,
+      formFields: [...new Set([...h.matchAll(/<input[^>]*(?:type=["'](tel|email|text)["']|placeholder=["']([^"']+)["'])/gi)].map((m) => m[1] || m[2]).filter(Boolean))].slice(0, 6),
+      text: text.slice(0, 1800),
+    };
+  };
+  return { robots: String(robotsText).slice(0, 2000), pages: pages.map(one) };
+}