@operstack/audit 0.35.1 → 0.37.0

package/src/test-agency-ids.mjs

@@ -1,48 +0,0 @@
-/** Идентификаторы проверок, снятые с настоящего прогона: тест сверяет с ними фразы владельцу,
- *  чтобы переименованная проверка не оставила строку, которая никогда не сработает. */
-export const CHECK_IDS = [
-  "agent-card",
-  "agent-markdown",
-  "ai-search-access",
-  "alt",
-  "answer-first",
-  "api-catalog",
-  "canonical",
-  "conv-contact-path",
-  "conv-cta",
-  "conv-form-depth",
-  "conv-form-fields",
-  "conv-messenger",
-  "dates",
-  "description",
-  "dup-titles",
-  "faq-schema",
-  "h1",
-  "h1-sample",
-  "hreflang",
-  "https",
-  "llms",
-  "llms-health",
-  "og",
-  "org-schema",
-  "resources",
-  "robots",
-  "robots-ai",
-  "schema",
-  "sections",
-  "sitemap",
-  "sitemap-health",
-  "sources",
-  "tables",
-  "thin",
-  "title",
-  "trust-about",
-  "trust-contact",
-  "trust-entity",
-  "trust-policies",
-  "trust-profiles",
-  "ttfb",
-  "utility",
-  "viewport",
-  "www"
-];

package/src/test-agency.mjs

@@ -1,158 +0,0 @@
-/**
- * Правило, которое защищает этот файл: платное оформление не включается без лицензии, а
- * бесплатная подпись работает всегда. Если сломать первое, агентский план перестанет продаваться,
- * если второе, отчёт перестанет подписываться именем покупателя.
- *
- * Ключ здесь генерируется прямо в тесте одноразовой парой Ed25519: настоящий приватный ключ в
- * репозитории не лежит и лежать не должен.
- */
-import { generateKeyPairSync, sign } from 'node:crypto';
-import { mkdtempSync, writeFileSync } from 'node:fs';
-import { tmpdir } from 'node:os';
-import { join } from 'node:path';
-import { resolveBranding, verifyKey, softenHex } from './agency.mjs';
-import { toHtml } from './render.mjs';
-
-let failed = 0;
-const ok = (name, cond) => { if (cond) console.log(`ok   ${name}`); else { failed++; console.error(`FAIL ${name}`); } };
-
-const { publicKey, privateKey } = generateKeyPairSync('ed25519');
-const pub = publicKey.export({ type: 'spki', format: 'pem' });
-const makeKey = (data) => {
-  const payload = Buffer.from(JSON.stringify(data));
-  return `OSK1.${payload.toString('base64url')}.${sign(null, payload, privateKey).toString('base64url')}`;
-};
-
-// Проверка подписи
-ok('правильный ключ принимается', verifyKey(makeKey({ email: 'a@b.co', plan: 'agency' }), pub).ok);
-ok('мусор отвергается', !verifyKey('OSK1.aaa.bbb', pub).ok);
-// Портить надо байты, а не символы. В base64url последний символ кодирует не все шесть бит,
-// поэтому несколько разных символов дают одни и те же байты, и подпись оставалась верной
-// примерно в каждом пятом прогоне. Летучий тест хуже, чем никакого.
-const tampered = (k) => {
-  const [p, payload, sig] = k.split('.');
-  const bytes = Buffer.from(sig, 'base64url');
-  bytes[0] ^= 0xff;
-  return `${p}.${payload}.${bytes.toString('base64url')}`;
-};
-ok('чужая подпись отвергается', !verifyKey(tampered(makeKey({ plan: 'agency' })), pub).ok);
-ok('просроченный план отвергается', !verifyKey(makeKey({ plan: 'agency', expires: '2020-01-01' }), pub).ok);
-ok('ключ другого продукта отвергается', !verifyKey(makeKey({ plan: 'site-kit' }), pub).ok);
-ok('срок в будущем проходит', verifyKey(makeKey({ plan: 'agency', expires: '2999-01-01' }), pub).ok);
-
-// Что бесплатно, а что нет
-const free = resolveBranding({ by: 'Harper & Vale' });
-ok('подпись именем работает без лицензии', free.preparedBy === 'Harper & Vale' && free.notes.length === 0);
-ok('без платных опций строка об инструменте остаётся', free.showToolLine === true);
-
-const blocked = resolveBranding({ by: 'X', color: '#123456', toolLine: false });
-ok('без лицензии цвет не применяется', !blocked.accent && blocked.showToolLine === true);
-ok('и человеку сказано почему', blocked.notes.some((n) => /agency plan/i.test(n)));
-
-// Цвет
-ok('светлая версия цвета светлее исходной', parseInt(softenHex('#0b7a75').slice(1, 3), 16) > 0x0b);
-ok('кривой цвет не проходит', resolveBranding({ color: 'нет', licence: makeKey({ plan: 'agency' }) }).accent === '');
-
-// Вёрстка
-const audit = {
-  meta: { host: 'example.com', tool: '@operstack/audit 0.0.0', collectedAt: '2026-01-01T00:00:00Z', auditType: 'External', lang: 'en' },
-  client: { name: 'Client', subject: 'Sells things', reportDate: '2026-01-01', preparedBy: 'OperStack' },
-  scores: {}, scoreBasis: {}, summary: { lead: 'a', verdict: 'b', priorities: ['c'] },
-  overview: { rows: [], note: '' }, sample: [], checks: [], critical: [],
-  content: { strengths: [], weaknesses: [], gaps: [] },
-  aeo: { works: [], blocks: [], recommendation: '' }, geo: { rows: [], callout: '' },
-  offpage: { listed: [], note: '' }, conversion: { rows: [] }, sources: [], limitations: [],
-  roadmap: [], closing: 'done',
-};
-const plain = toHtml(audit);
-ok('без оформления на обложке стоит наше имя', plain.includes('OperStack') && !plain.includes('<img class="cover-logo"'));
-
-const branded = toHtml(audit, { preparedBy: 'Harper & Vale Digital', logo: 'data:image/svg+xml;base64,AAA', accent: '#7b3fa0', showToolLine: false });
-ok('имя агентства попало на обложку', branded.includes('Harper &amp; Vale Digital'));
-ok('логотип попал на обложку', branded.includes('<img class="cover-logo"'));
-ok('цвет агентства подменил акцент', branded.includes('--accent:#7b3fa0'));
-ok('строка про инструмент убрана', !branded.includes('@operstack/audit 0.0.0'));
-ok('но воспроизводимость обещана по-прежнему', /reproduced from it/i.test(branded));
-ok('нашего имени в фирменном отчёте не осталось', !/OperStack/.test(branded));
-
-// Список сайтов
-const { parseList } = await import('./batch.mjs');
-const list = parseList('# комментарий\n\nexample.com, Northline Dental\nhttps://two.example\nне адрес\n');
-ok('список разбирается', list.length === 3 && list[0].name === 'Northline Dental');
-ok('адрес без схемы достраивается', list[0].url.startsWith('https://example.com'));
-ok('строка-мусор помечена, а не роняет прогон', list[2].invalid === true);
-
-// Ключ из файла рядом с работой
-const dir = mkdtempSync(join(tmpdir(), 'operstack-agency-'));
-writeFileSync(join(dir, '.operstack-licence'), makeKey({ plan: 'agency', email: 'x@y.z' }));
-const cwd = process.cwd();
-process.chdir(dir);
-const { findKey } = await import('./agency.mjs');
-ok('ключ читается из файла .operstack-licence', findKey().startsWith('OSK1.'));
-process.chdir(cwd);
-
-
-// ── Разведка кандидатов ───────────────────────────────────────────────────────
-// Правило: в письмо никогда не попадает строка, которую владелец бизнеса не поймёт, и
-// ни одна фраза не ссылается на проверку, которой в сборщике нет.
-const { OWNER_LINES, overallScore, prospectRow, rank, toCsv, toMarkdown } = await import('./prospect.mjs');
-const { CHECK_IDS } = await import('./test-agency-ids.mjs');
-
-const unknown = Object.keys(OWNER_LINES).filter((id) => !CHECK_IDS.includes(id));
-ok('каждая фраза ссылается на существующую проверку', unknown.length === 0);
-ok('у каждой фразы есть оба языка', Object.values(OWNER_LINES).every((v) => v.en && v.ru));
-
-ok('неизмеренная область не тянет оценку вниз', overallScore({ a: 10, b: null }) === 100);
-ok('пустые оценки дают не ноль, а «не измеряли»', overallScore({}) === null);
-
-const mk = (id, status, scores) => ({
-  meta: { host: `${id}.example` }, client: { name: id }, scores,
-  checks: [{ id, group: 'x', label: 'L', status, value: 'v' }],
-});
-const weak = prospectRow(mk('ai-search-access', 'bad', { a: 2 }));
-ok('перекрытый доступ роботов ИИ попадает в письмо', /ChatGPT/.test(weak.say));
-ok('провал посчитан', weak.failing === 1 && weak.warning === 0);
-
-const dull = prospectRow(mk('utility', 'warn', { a: 9 }));
-const sharp = prospectRow({
-  meta: { host: 'x.example' }, client: { name: 'x' }, scores: { a: 5 },
-  checks: [
-    { id: 'utility', group: 'x', label: 'L', status: 'warn', value: 'v' },
-    { id: 'ai-search-access', group: 'x', label: 'L', status: 'warn', value: 'v' },
-  ],
-});
-ok('при равной тяжести в письмо идёт сильная находка, а не первая', /ChatGPT/.test(sharp.say));
-ok('слабая находка всё равно объяснена по-человечески', !/^utility/.test(dull.say));
-
-const ranked = rank([prospectRow(mk('alt', 'warn', { a: 9 })), weak, { ...dull, score: null }]);
-ok('сначала идёт тот, у кого хуже', ranked[0].score < ranked[1].score);
-ok('сайт без оценки уходит в конец, а не наверх', ranked[ranked.length - 1].score === null);
-
-const csv = toCsv([weak]);
-ok('в CSV есть заголовок и строка', csv.split('\n').length === 2 && csv.startsWith('site,name,score'));
-ok('запятая внутри фразы не ломает CSV', toCsv([{ ...weak, say: 'a, b' }]).includes('"a, b"'));
-ok('в таблице сказано, что строки измерены, а не придуманы', /measured check, not an opinion/.test(toMarkdown([weak])));
-
-const russian = prospectRow(mk('ai-search-access', 'bad', { a: 2 }), { lang: 'ru' });
-ok('русская фраза приходит по-русски', /Perplexity не могут/.test(russian.say));
-
-
-// Три дыры, найденные прогоном по списку, который специально собран из ломающего.
-const dead = prospectRow({ meta: { host: 'gone.example', reachable: false }, scores: {}, checks: [] });
-ok('мёртвый сайт помечен, а не выдан как кандидат', dead.reachable === false);
-const { split } = await import('./prospect.mjs');
-const parts = split([dead, prospectRow(mk('alt', 'warn', { a: 9 }))]);
-ok('мёртвые не попадают в таблицу кандидатов', parts.live.length === 1 && parts.dead.length === 1);
-ok('и названы отдельным списком', /Did not answer/.test(toMarkdown([dead, prospectRow(mk('alt', 'warn', { a: 9 }))])));
-ok('мёртвого нет в CSV', !toCsv([dead]).includes('gone.example'));
-
-const bad = prospectRow(mk('ai-search-access', 'bad', { a: 2 }));
-ok('статус bad считается провалом, а не пропускается', bad.failing === 1);
-ok('и тяжёлая находка доходит до письма', /ChatGPT/.test(bad.say));
-
-const twice = rank([prospectRow(mk('alt', 'warn', { a: 9 })), prospectRow(mk('alt', 'warn', { a: 9 }))]);
-ok('один сайт в списке дважды даёт одну строку', twice.length === 1);
-
-console.log(failed ? `\n${failed} проверок не прошли` : '\nагентский план: лицензия, оформление и список проверены');
-process.exit(failed ? 1 : 0);
-

package/src/test-agent-surface.mjs

@@ -1,46 +0,0 @@
-#!/usr/bin/env node
-/** Агентная поверхность: три проверки, их перевод, работа и задание для агента. */
-import { FIX_ACTIONS } from './fix.mjs';
-import { localiseChecks } from './i18n.mjs';
-import { agentPrompt } from './prompts.mjs';
-import { draftNarrative } from './narrative.mjs';
-
-let bad = 0;
-const is = (n, a, b) => { const ok = JSON.stringify(a) === JSON.stringify(b); if (!ok) { bad++; console.error(`FAIL ${n}\n  ждали ${JSON.stringify(b)}\n  вышло ${JSON.stringify(a)}`); } else console.log(`ok   ${n}`); };
-const ok = (n, c) => is(n, Boolean(c), true);
-
-const ids = ['agent-card', 'api-catalog', 'agent-markdown'];
-
-// У каждой проверки есть решение и перевод
-for (const id of ids) ok(`у проверки ${id} описано, что делать или почему не делаем`, Boolean(FIX_ACTIONS[id] && (FIX_ACTIONS[id].action || FIX_ACTIONS[id].why)));
-const ru = localiseChecks(ids.map((id) => ({ id, group: 'geo', label: 'English label', status: 'warn', value: 'not present', comment: 'an early, optional standard: it is the file agent directories read to learn who you are and what you offer' })), 'ru');
-for (const r of ru) ok(`проверка ${r.id} переведена`, !/English label/.test(r.label) && !/not present/.test(r.value));
-
-// Каталог API мы не обещаем чинить: он нужен не всем
-is('каталог API не обещаем', FIX_ACTIONS['api-catalog'].scope, 'never');
-ok('и объяснено почему', /есть API/.test(FIX_ACTIONS['api-catalog'].why.ru));
-
-// Задания для агента полные и не врут про обязательность
-const card = agentPrompt({ id: 'agent-card', label: 'Карточка агента', status: 'warn', value: 'нет' }, { lang: 'ru' });
-ok('в задании про карточку есть проверка', /Как проверить/.test(card));
-ok('и не велит делать карточку без агента', /только правду|выдуманная возможность|ради галочки нельзя/.test(card));
-const md = agentPrompt({ id: 'agent-markdown', label: 'Markdown-версия', status: 'warn', value: 'нет' }, { lang: 'ru' });
-ok('в задании про markdown сказано, что класть, а что нет', /меню и подвал/.test(md));
-
-// В отчёте это не превращается в приговор: стандарт ранний
-const audit = {
-  meta: { host: 'x.ru', lang: 'ru' },
-  scores: { 'GEO, visibility in AI systems': 7 },
-  client: { name: '{{a}}', subject: '{{b}}' },
-  summary: { lead: '{{a}}', verdict: '{{b}}', priorities: ['{{1}}'] },
-  overview: { rows: [], note: '{{n}}' }, content: { strengths: [], weaknesses: [], gaps: [] },
-  aeo: { works: [], blocks: [], recommendation: '{{r}}' }, geo: { rows: [], callout: '{{c}}' },
-  offpage: { listed: [], note: '{{n}}' }, conversion: { rows: [] }, roadmap: [], closing: '{{c}}',
-  sample: [], checks: [{ id: 'agent-card', group: 'geo', label: 'Карточка агента', status: 'warn', value: 'нет' }],
-};
-const d = draftNarrative(audit, { lang: 'ru' });
-ok('в приоритетах появляется работа по карточке', /agent\.json|карточк/i.test(JSON.stringify(d.summary.priorities)));
-ok('и вывод не называет это провалом', !/критичн/i.test(d.summary.verdict) || /нет/.test(d.summary.verdict));
-
-if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
-console.log('\nвсе тесты агентной поверхности прошли');

package/src/test-blocked.mjs

@@ -1,100 +0,0 @@
-#!/usr/bin/env node
-/**
- * Сайт нас не пустил. Что мы имеем право сказать про него владельцу.
- *
- * До 15.09.2026 проверка писала: «Роботы ИИ её не проходят, поэтому ChatGPT, Perplexity и
- * остальных разворачивают ровно так же». Это вывод о ЧУЖОМ сайте, сделанный из того, что
- * развернули НАС. Замерено руками на alternativeto.net: тот же адрес отдаёт GPTBot, ClaudeBot
- * и PerplexityBot полную страницу (200, около 900 КБ), а нашей проверке 403. Защита держит
- * белый список проверенных роботов.
- *
- * Здесь держится граница: говорим, что не пустили нас, и что написано в правилах сайта.
- * Про поведение защиты не гадаем.
- */
-import { blockedNote } from './visibility.mjs';
-
-let bad = 0;
-const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
-
-const OPEN = 'User-agent: *\nDisallow: /admin/\n';
-const CLOSED = 'User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow: /\n';
-
-// ---- главное: ни при каких вводных не утверждать, что роботов ИИ развернули
-{
-  for (const lang of ['ru', 'en']) {
-    for (const [what, robots] of [['правила открыты', OPEN], ['правила закрыты', CLOSED], ['robots не прочитан', null]]) {
-      for (const challenged of [true, false]) {
-        const t = blockedNote({ status: 403, challenged, robotsText: robots, lang }).text;
-        ok(`${lang}/${what}/${challenged ? 'защита' : 'отказ'}: не утверждаем, что роботов ИИ развернули`, lang === 'ru'
-          ? !/(разворачивают|не проходят|получают тот же ответ|процитировать (здесь|с сайта) нельзя|нечего)/.test(t.replace('сказать нечего', ''))
-          : !/(turned away|do not run one|get the same answer|nothing here can be read)/.test(t));
-        ok(`${lang}/${what}/${challenged ? 'защита' : 'отказ'}: сказано, как проверить точно`, lang === 'ru' ? /журнале сервера/.test(t) : /server log/.test(t));
-      }
-    }
-  }
-}
-
-// ---- что именно говорим в каждом из трёх случаев
-{
-  const ru = (robots) => blockedNote({ status: 403, challenged: true, robotsText: robots, lang: 'ru' });
-  const en = (robots) => blockedNote({ status: 403, challenged: true, robotsText: robots, lang: 'en' });
-
-  const open = ru(OPEN);
-  ok('правила открыты: сказано, что пускают', /правила самого сайта роботов ИИ при этом пускают/i.test(open.text));
-  ok('правила открыты: сказано, что не зачтено в минус', /не зачтено/.test(open.text));
-  ok('правила открыты: названы конкретные роботы', /OAI-SearchBot|GPTBot/.test(open.text));
-  ok('правила открыты: поле говорит «не закрыты»', open.botsBlocked === false);
-
-  const closed = ru(CLOSED);
-  ok('правила закрыты: названо письменным отказом', /письменный отказ/.test(closed.text));
-  ok('правила закрыты: названы именно закрытые', /GPTBot/.test(closed.text) && /Claude/.test(closed.text));
-  ok('правила закрыты: поле говорит «закрыты»', closed.botsBlocked === true);
-
-  const none = ru(null);
-  ok('robots не прочитан: молчим про роботов', /про роботов ИИ сказать нечего/.test(none.text));
-  ok('robots не прочитан: и это не в минус', /не зачтено/.test(none.text));
-  ok('robots не прочитан: поле пустое, а не false', none.botsBlocked === null);
-
-  ok('английский: правила открыты', /rules do allow the AI crawlers/.test(en(OPEN).text));
-  ok('английский: правила закрыты', /rules also close it to AI crawlers/.test(en(CLOSED).text));
-  ok('английский: robots не прочитан', /robots\.txt could not be read/.test(en(null).text));
-}
-
-// ---- защита и простой отказ описываются по-разному: лечатся они тоже по-разному
-{
-  const ch = blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'ru' }).text;
-  const wall = blockedNote({ status: 403, challenged: false, robotsText: OPEN, lang: 'ru' }).text;
-  ok('защита названа защитой браузера', /проверкой браузера \(Cloudflare/.test(ch));
-  ok('простой отказ назван отказом незнакомым клиентам', /отказывает незнакомым клиентам/.test(wall));
-  ok('код ответа назван в обоих', /403/.test(ch) && /403/.test(wall));
-}
-
-// ---- чужого языка в тексте нет: его читает человек
-{
-  const ruText = blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'ru' }).text;
-  // Имена роботов это их настоящие идентификаторы, они латиницей и на русском тоже: ChatGPT-User
-  // нельзя перевести, иначе владелец не найдёт его в журнале сервера. Вычёркиваем их и смотрим,
-  // не осталось ли непереведённых слов.
-  const bare = ruText.replace(/ChatGPT-User|OAI-SearchBot|Claude-SearchBot|Claude-User|Applebot-Extended|Google-Extended|anthropic-ai|PerplexityBot|Perplexity-User|Cloudflare|GPTBot|ClaudeBot|ChatGPT|OpenAI|Perplexity|Claude|robots\.txt|Anthropic|Gemini|Bingbot|Copilot|Bing|Apple Intelligence/g, '');
-  ok('в русском тексте не осталось английских слов', !/[A-Za-z]{4}/.test(bare));
-  ok('в английском нет кириллицы', !/[А-Яа-яЁё]/.test(blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'en' }).text));
-}
-
-// ---- несуществующий адрес: человек чаще всего просто опечатался
-//
-// Стояло «Сайт ответил ничем на https://…»: и коряво, и бесполезно. Человек, который ошибся в
-// букве, должен узнать об этом первым делом, а не гадать, что с его сайтом.
-{
-  const { checkVisibility } = await import('./visibility.mjs');
-  for (const lang of ['ru', 'en']) {
-    const v = await checkVisibility('https://takogo-domena-tochno-net-4f7a2b9c.ru/', { budgetMs: 8500, samplePages: 3, lang });
-    ok(`${lang}: балла у несуществующего адреса нет`, v.ok === false);
-    ok(`${lang}: названа вероятная причина, опечатка`, lang === 'ru' ? /опечатка в адресе/.test(v.error) : /typo in the address/.test(v.error));
-    ok(`${lang}: сказано, что делать`, lang === 'ru' ? /проверьте написание/.test(v.error) : /check the spelling/.test(v.error));
-    ok(`${lang}: нет старого «ответил ничем»`, lang === 'ru' ? !/ответил ничем/.test(v.error) : !/answered nothing/.test(v.error));
-    ok(`${lang}: чужого языка нет`, lang === 'ru' ? !/[A-Za-z]{5}/.test(v.error.replace(/https?:\/\/[^\s]+/g, '')) : !/[А-Яа-яЁё]/.test(v.error));
-  }
-}
-
-if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
-console.log('\nпро чужой сайт говорим только измеренное');

package/src/test-crawl-links.mjs

@@ -1,87 +0,0 @@
-#!/usr/bin/env node
-/**
- * Сайт без карты сайта читается по ссылкам, а не одной главной.
- *
- * 30.09.2026 elitelivingrealty.com и solohomes.co.uk (на www нет ни robots.txt, ни карты) дали
- * в отчёте выборку из одной главной. Здесь: разбор ссылок и правил robots.txt отдельно, потом
- * живой сервер без карты, где страницы находятся только по ссылкам, на двух уровнях.
- */
-import { createServer } from 'node:http';
-import { lookup } from 'node:dns/promises';
-import { internalLinks, robotsAllows } from './visibility.mjs';
-import { collect } from './collect.mjs';
-import { checkVisibility } from './visibility.mjs';
-
-let bad = 0;
-const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
-const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
-
-// ---- разбор ссылок
-{
-  const html = `<a href="/buy/">Buy</a><a href="/buy">dup</a><a href="https://www.x.com/rent/?page=2#top">Rent</a>
-  <a href="https://x.com/sell/">apex</a><a href="https://other.com/">other</a><a href="mailto:a@x.com">m</a>
-  <a href="tel:+1">t</a><a href="#top">anchor</a><a href="/brochure.pdf">pdf</a><a href="/about.html">about</a>
-  <a href="/cart/">cart</a><a href="/tag/villas/">tag</a><a href="/x/" rel="nofollow">nf</a><a href="javascript:void(0)">js</a>`;
-  is('свои страницы, без повторов, файлов и служебных', internalLinks(html, 'https://www.x.com/'),
-    ['https://www.x.com/buy/', 'https://www.x.com/rent/', 'https://x.com/sell/', 'https://www.x.com/about.html']);
-  is('относительные ссылки от <base>', internalLinks('<base href="https://www.x.com/en/"><a href="team/">t</a>', 'https://www.x.com/'), ['https://www.x.com/en/team/']);
-  is('битый html не роняет разбор', internalLinks(undefined, 'https://x.com/'), []);
-}
-
-// ---- robots.txt
-{
-  const allow = robotsAllows('User-agent: Googlebot\nDisallow: /\n\nUser-agent: *\nDisallow: /private/\nDisallow: /*.php$\nAllow: /private/open/\n');
-  ok('обычная страница разрешена', allow('https://x.com/buy/'));
-  ok('закрытый раздел нет', !allow('https://x.com/private/a/'));
-  ok('Allow длиннее Disallow побеждает', allow('https://x.com/private/open/a/'));
-  ok('звёздочка и доллар', !allow('https://x.com/a/b.php') && allow('https://x.com/a/b.php5'));
-  ok('блок чужого робота не применяется', allow('https://x.com/'));
-  ok('пустой robots.txt разрешает всё', robotsAllows('')('https://x.com/a/'));
-}
-
-// ---- живой сервер без карты сайта
-let dnsOk = true;
-try { dnsOk = (await lookup('lvh.me')).address === '127.0.0.1'; } catch { dnsOk = false; }
-if (!dnsOk) { console.log('ok   пропуск живой части: lvh.me не указывает на 127.0.0.1 (нет сети)'); process.exit(bad ? 1 : 0); }
-
-const LINKS = {
-  '/': ['/buy/', '/rent/', '/private/', '/contact/', 'https://elsewhere.example/'],
-  '/buy/': ['/buy/villas/', '/buy/flats/', '/'],
-  '/rent/': ['/rent/long-term/'],
-  '/contact/': [], '/buy/villas/': [], '/buy/flats/': [], '/rent/long-term/': [], '/private/': [],
-};
-const page = (path) => `<!doctype html><html lang="en"><head><title>Page ${path}</title>
-<meta name="description" content="A page description long enough not to count as empty for the check."></head>
-<body><main><h1>Page ${path}</h1>${'<p>Plain paragraph about the property, the area and the price.</p>'.repeat(10)}
-<nav>${LINKS[path].map((l) => `<a href="${l}">${l}</a>`).join('')}</nav></main></body></html>`;
-const hits = [];
-const server = createServer((req, res) => {
-  hits.push(req.url);
-  if (req.url === '/robots.txt') { res.writeHead(200, { 'content-type': 'text/plain' }); return res.end('User-agent: *\nDisallow: /private/\n'); }
-  if (LINKS[req.url]) { res.writeHead(200, { 'content-type': 'text/html; charset=utf-8' }); return res.end(page(req.url)); }
-  res.writeHead(404, { 'content-type': 'text/plain' }); res.end('no');
-});
-await new Promise((r) => server.listen(0, '127.0.0.1', r));
-const base = `http://lvh.me:${server.address().port}`;
-
-try {
-  const a = await collect(`${base}/`, { pages: 10, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
-  const read = a.sample.filter((p) => p.title !== undefined).map((p) => new URL(p.url).pathname);
-  ok('карты нет, и отчёт это говорит', (a.checks.find((c) => c.id === 'sitemap') || {}).status === 'bad');
-  is('прочитаны все открытые страницы по ссылкам, двумя уровнями', [...read].sort(), ['/', '/buy/', '/buy/flats/', '/buy/villas/', '/contact/', '/rent/', '/rent/long-term/']);
-  ok('закрытое в robots.txt не читается', !hits.includes('/private/'));
-  ok('страница контактов идёт раньше остальных ссылок', read.indexOf('/contact/') < read.indexOf('/buy/'));
-  is('счёт найденных по ссылкам', a.reading.fromLinks, 6);
-  ok('в источниках сказано, откуда страницы', /found by following links/.test(a.sources[0].detail));
-
-  const few = await collect(`${base}/`, { pages: 3, pageDelayMs: 0, log: () => {}, visibility: { ok: false, error: 'skipped in test' } });
-  is('предел страниц соблюдается', few.sample.length, 3);
-
-  const v = await checkVisibility(`${base}/`, { lang: 'en', samplePages: 5, budgetMs: 8000 });
-  ok('бесплатная проверка прочитала сайт', v.ok);
-  const vRead = (v.sample || []).map((p) => new URL(p.url).pathname);
-  ok(`бесплатная проверка взяла страницы со ссылок главной (${vRead.join(', ')})`, vRead.length >= 4 && vRead.includes('/buy/') && !vRead.includes('/private/'));
-} finally { server.close(); }
-
-if (bad) { console.error(`\n${bad} FAIL`); process.exit(1); }
-console.log('\nвсё сходится');