@operstack/audit 0.21.1 → 0.21.3

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.21.1",
+  "version": "0.21.3",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",
@@ -29,7 +29,7 @@
     "LICENSE"
   ],
   "scripts": {
-    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html",
+    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html",
     "sample": "node bin/audit.mjs render examples/sample-audit.json --pdf",
     "verify:live": "node src/verify-live.mjs"
   },

package/src/render.mjs

@@ -77,7 +77,7 @@ const LABELS = {
       const read = o.basis ? `Прочитано ${p} ${pl} сайта${o.basis.sitemapUnchecked ? ', а карта сайта не ответила вовремя, и это не зачтено ни в плюс, ни в минус' : o.basis.sitemapRead ? ' и его карта' : ''}. ` : '';
       const where = o.source === 'visibility:reused'
         ? `Это ровно то число, которое вы уже видели в бесплатной проверке${o.measuredAt ? ` ${String(o.measuredAt).slice(0, 10)}` : ''}. Здесь оно не меряется заново, поэтому страница, письмо и этот отчёт всегда несут одно число. `
-        : 'Измерено здесь тем же кодом и с теми же настройками, что у бесплатной проверки на oper-stack.com/ai-visibility. ';
+        : 'Измерено здесь тем же кодом и с теми же настройками, что у бесплатной проверки на oper-stack.ru/ai-visibility. ';
       const areas = Array.isArray(o.areas) ? o.areas : [];
       const measured = areas.filter((a) => a.measured !== false && a.score !== null);
       const sumUp = areas.length && measured.length < areas.length

package/src/test-i18n.mjs

@@ -56,5 +56,13 @@ is('неизмеренное переводится', localiseBasisNote('not mea
 
 is('английский язык ничего не меняет', localiseChecks(all, 'en'), all);
 
+// Русские тексты не отправляют человека на английский сайт: подпись под баллом вела на
+// oper-stack.com, и русский читатель попадал на страницу и цены не на своём языке.
+{
+  const ru = readFileSync(new URL('./render.mjs', import.meta.url), 'utf8').split('\n')
+    .filter((l) => /[А-Яа-яЁё]/.test(l) && /oper-stack\.com/.test(l) && !l.trim().startsWith('*') && !l.trim().startsWith('//'));
+  is('в русских строках нет ссылок на английский сайт', ru, []);
+}
+
 if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
 console.log(`\nперевод проверен на ${all.length} проверках, всё чисто`);

package/src/test-sample.mjs

@@ -0,0 +1,91 @@
+#!/usr/bin/env node
+/**
+ * Прочитать меньше не должно выглядеть как «стало лучше».
+ *
+ * 15.09.2026 один и тот же сайт в шести прогонах подряд дал 46, 54, 59 и 69 баллов. Выше он
+ * выходил там, где из выборки успела ответить одна страница вместо двух: области «есть ли что
+ * процитировать» и «дата и доверие» считались по одной главной, а она у большинства сайтов
+ * лучше внутренних страниц. То есть медленная сеть выглядела как хороший сайт, и покупатель,
+ * запустивший проверку дважды, видел два разных числа.
+ *
+ * Теперь: страниц хватало, а ответили не все, значит эти две области не измерены. Балл считается
+ * по остальным и переносится на сто, как и при нечитаемом robots.txt. Здесь это держится на
+ * живом сервере: одна страница выборки отвечает сразу, вторая висит дольше отпущенного времени.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { checkVisibility } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+const page = (title, extra = '') => `<!doctype html><html lang="ru"><head><title>${title}</title>
+<meta name="description" content="Описание страницы для проверки, достаточно длинное чтобы не считаться пустым.">
+<link rel="canonical" href="http://example.com/"></head><body><main><h1>${title}</h1>
+${'<p>Обычный абзац текста про товар, услугу и цену без источника.</p>'.repeat(12)}${extra}</main></body></html>`;
+
+/** Сервер: главная и две страницы в карте сайта, вторая из них отвечает медленнее отпущенного. */
+const serve = ({ slowPages = 0, slowMs = 9000 } = {}) => new Promise((resolve) => {
+  const s = createServer((req, res) => {
+    const send = (code, type, body) => { res.writeHead(code, { 'content-type': type }); res.end(body); };
+    if (req.url.startsWith('/robots.txt')) return send(200, 'text/plain', `User-agent: *\nAllow: /\nSitemap: http://lvh.me:${s.address().port}/sitemap.xml\n`);
+    if (req.url.startsWith('/llms.txt')) return send(404, 'text/plain', 'no');
+    if (req.url.startsWith('/sitemap.xml')) {
+      const base = `http://lvh.me:${s.address().port}`;
+      // Восемь внутренних страниц: движок сортирует их по длине адреса и берёт каждую четвёртую,
+      // поэтому выборка из двух складывается только на сайте такого размера.
+      const urls = ['/', ...Array.from({ length: 8 }, (_, i) => `/stranica-nomer-${i}${'-x'.repeat(8 - i)}/`)];
+      return send(200, 'application/xml', `<?xml version="1.0"?><urlset>${urls.map((u) => `<url><loc>${base}${u}</loc></url>`).join('')}</urlset>`);
+    }
+    if (req.url === '/') return send(200, 'text/html; charset=utf-8', page('Главная'));
+    if (req.url.startsWith('/stranica-')) {
+      if (slowPages > 0) { setTimeout(() => send(200, 'text/html; charset=utf-8', page('Медленная')), slowMs); return; }
+      return send(200, 'text/html; charset=utf-8', page('Внутренняя'));
+    }
+    return send(404, 'text/plain', 'no');
+  });
+  s.listen(0, '127.0.0.1', () => resolve({ s, url: `http://lvh.me:${s.address().port}/` }));
+});
+
+let dnsOk = true;
+try { const a = await lookup('lvh.me'); dnsOk = a.address === '127.0.0.1'; } catch { dnsOk = false; }
+if (!dnsOk) { console.log('ok   пропуск: lvh.me не указывает на 127.0.0.1 (нет сети)'); process.exit(0); }
+
+const area = (v, id) => (v.areas || []).find((a) => a.id === id);
+
+// ---- все страницы выборки ответили: области считаются
+{
+  const { s, url } = await serve();
+  const v = await checkVisibility(url, { lang: 'ru', samplePages: 2, budgetMs: 8000 });
+  ok('сайт прочитан', v.ok);
+  ok('обе области по страницам измерены', area(v, 'content').measured !== false && area(v, 'trust').measured !== false);
+  ok('балл посчитан из всех пяти областей', typeof v.score === 'number' && v.score > 0);
+  s.close();
+}
+
+// ---- страницы выборки не отвечают даже со второй попытки: балла нет вовсе
+{
+  const { s, url } = await serve({ slowPages: 1 });
+  const v = await checkVisibility(url, { lang: 'ru', samplePages: 2, budgetMs: 6000 });
+  is('балл не выдан', v.ok, false);
+  ok('сказано, сколько страниц ответило', /Из \d+ страниц ответили \d+/.test(v.error));
+  ok('сказано, что число не показываем и почему', /защитить нельзя/.test(v.error));
+  ok('предложено повторить', /через минуту/.test(v.error));
+  ok('это не выдаётся за блокировку', v.blocked === false && v.challenged === false);
+  ok('в сообщении нет null и undefined', !/null|undefined|NaN/.test(v.error));
+  const en = await checkVisibility(url, { lang: 'en', samplePages: 2, budgetMs: 6000 });
+  ok('по-английски то же самое', en.ok === false && /not enough of the site to score/.test(en.error) && !/[А-Яа-яЁё]/.test(en.error));
+  s.close();
+}
+
+// ---- все страницы отвечают быстро: областям есть на чём считаться
+{
+  const { s, url } = await serve();
+  const v = await checkVisibility(url, { lang: 'ru', samplePages: 2, budgetMs: 8000 });
+  ok('быстрый сайт измерен целиком', area(v, 'content').measured !== false && area(v, 'trust').measured !== false);
+  s.close();
+}
+
+if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
+console.log('\nвыборка: прочитать меньше больше не выглядит как «стало лучше»');

package/src/visibility.mjs

@@ -62,6 +62,7 @@ export const MESSAGES = {
     area: { access: 'Can AI crawlers read it', index: 'Is there a map for agents (llms.txt)', entity: 'Is the entity clear (schema)', content: 'Is there something to quote', trust: 'Can it be dated and trusted' },
     llmsUnreadable: (status) => `The site did not let this check read llms.txt${status ? ` (HTTP ${status})` : ''}, so whether the site has a map for agents could not be measured. It is not counted for or against the site: a file we were refused is not the same as a file that is not there.`,
     robotsMissing: 'There is no robots.txt on the site. By the standard that means nothing is disallowed, so every AI crawler may read it. A file is not required; add one only when something needs closing off.',
+    sampleShort: (read, wanted) => `Only ${read} of ${wanted} pages answered in time, twice in a row, so there was not enough of the site to score. We do not show a number here: a score that goes up because we read less is a score nobody can defend. The site may simply be slow right now; run the check again in a minute.`,
     robotsUnreadable: (status) => `The site did not let this check read robots.txt${status ? ` (HTTP ${status})` : ''}, so whether AI crawlers are allowed could not be measured. It is not counted for or against the site: an unread file is not good news. The owner can open it in a browser, or ask whoever runs the site's protection.`,
     robotsAllBlocked: 'robots.txt disallows the whole site for every crawler. Nothing can read it.',
     fetchersBlocked: (list) => `Blocked answer-engine fetchers: ${list}. These are the bots that cite pages live.`,
@@ -111,6 +112,7 @@ export const MESSAGES = {
     area: { access: 'Могут ли роботы ИИ прочитать сайт', index: 'Есть ли карта для агентов (llms.txt)', entity: 'Понятно ли, кто вы (разметка)', content: 'Есть ли что процитировать', trust: 'Можно ли датировать и доверять' },
     llmsUnreadable: (status) => `Сайт не дал этой проверке прочитать llms.txt${status ? ` (код ${status})` : ''}, поэтому есть ли у сайта карта для агентов, измерить не вышло. В плюс или в минус это не зачтено: файл, который нам не отдали, это не то же самое, что файла нет.`,
     robotsMissing: 'Файла robots.txt на сайте нет. По стандарту это значит, что не запрещено ничего, то есть читать сайт может любой робот ИИ. Заводить файл необязательно: он нужен, только когда есть что закрывать.',
+    sampleShort: (read, wanted) => `Из ${wanted} страниц ответили ${read}, и со второй попытки тоже, поэтому считать балл не по чему. Числа здесь не будет: балл, который растёт оттого, что мы прочитали меньше, защитить нельзя. Возможно, сайт сейчас просто медленный: запустите проверку через минуту.`,
     robotsUnreadable: (status) => `Сайт не дал этой проверке прочитать robots.txt${status ? ` (код ${status})` : ''}, поэтому допущены роботы ИИ или нет, измерить не вышло. В плюс или в минус сайту это не зачтено: непрочитанный файл это не хорошая новость. Владелец может открыть его в браузере сам или спросить у тех, кто настраивал защиту сайта.`,
     robotsAllBlocked: 'robots.txt закрывает весь сайт для всех роботов. Его никто не может прочитать.',
     fetchersBlocked: (list) => `Закрыты поисковые роботы ответных систем: ${list}. Именно они достают страницу, чтобы процитировать её в ответе.`,
@@ -376,7 +378,8 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   const agentLabel = (a) => (lang === 'ru' ? a.labelRu : a.label);
   const started = Date.now();
   const deadline = started + budgetMs;
-  const left = () => deadline - Date.now();
+  let grace = 0;
+  const left = () => deadline + grace - Date.now();
   const url = normaliseInput(input);
   if (!url) return { ok: false, error: T.badInput };
   const origin = new URL(url).origin; const host = new URL(url).host;
@@ -417,11 +420,39 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   const robots = parseRobots(robotsRes.ok ? robotsRes.text : '');
   const sitemap = left() > 1500 ? await readSitemap(origin, robotsRes.ok ? robotsRes.text : '', () => Math.min(3000, left() - 300)) : { found: false, url: '', count: 0, lastmod: false, pages: [], skipped: true };
   let sampled = [];
+  /*
+   * Сколько страниц выборки мы собирались прочитать. Нужно, чтобы отличить «сайт маленький» от
+   * «страницы не успели ответить»: в первом случае меряем по тому, что есть, во втором мерить
+   * нечем. Найдено 15.09.2026: habr.com в шести прогонах подряд дал 46, 54, 59 и 69, и выше
+   * он выходил там, где успела прочитаться одна страница вместо двух. То есть прочитать меньше
+   * выглядело как «стало лучше», а это ровно то, чего продукт обещает не делать.
+   */
+  let wantedPages = 0;
   if (left() > 2000 && sitemap.pages.length) {
     const norm = (u) => u.replace(/\/$/, '').toLowerCase();
     const picks = sitemap.pages.filter((p) => norm(p) !== norm(home.url) && p.startsWith(origin)).sort((a, b) => b.length - a.length).slice(0, Math.max(12, samplePages * 4)).filter((_, i) => i % 4 === 0).slice(0, samplePages);
-    const rs = await Promise.all(picks.map((p) => get(p, { timeout: Math.min(4000, left() - 300) })));
+    const read = async (list) => Promise.all(list.map((p) => get(p, { timeout: Math.min(4000, left() - 300) })));
+    let rs = await read(picks);
+    // Одна повторная попытка по тем, что не ответили: страницы маленькие, а разница в балле
+    // между «прочитали две» и «прочитали одну» доходила до двадцати пунктов.
+    const failed = picks.filter((p, i) => !(rs[i].ok && /html/i.test(rs[i].type)));
+    if (failed.length) {
+      // Повтору даётся своё время сверх общего бюджета, один раз и не больше трёх секунд.
+      // Без этого на медленном сайте повтор упирался в тот же истёкший бюджет и проверка
+      // отказывалась считать балл там, где сайт просто отвечает за пять секунд, а не за две.
+      grace = 5000;
+      let again = await Promise.all(failed.map((p) => get(p, { timeout: Math.min(3500, left() - 200) })));
+      rs = rs.concat(again);
+      // Вторая и последняя попытка по тем, что снова молчат: три обращения к странице это
+      // предел, дальше мы уже не меряем сайт, а ждём его.
+      const stillFailed = failed.filter((p, i) => !(again[i].ok && /html/i.test(again[i].type)));
+      if (stillFailed.length && left() > 1200) rs = rs.concat(await Promise.all(stillFailed.map((p) => get(p, { timeout: Math.min(2500, left() - 200) }))));
+    }
     sampled = rs.filter((r) => r.ok && /html/i.test(r.type)).map((r) => analysePage(r.text, r.url));
+    // Дубли по адресу: повтор мог вернуть ту же страницу, что и первая попытка.
+    const seenUrl = new Set();
+    sampled = sampled.filter((p) => (seenUrl.has(p.url) ? false : seenUrl.add(p.url)));
+    wantedPages = Math.min(picks.length, samplePages);
   }
   const pages = [homePage, ...sampled];
 
@@ -571,12 +602,27 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
     trustFindings.push({ level: 'fail', text: T.sitemapMissing });
   }
 
+  /*
+   * Выборка так и не прочитана даже со второй попытки. Балла не будет.
+   *
+   * Почему не «посчитаем по тому, что успели»: 15.09.2026 один и тот же сайт в шести прогонах
+   * дал 46, 54, 59 и 69, и выше он выходил там, где прочиталась одна страница вместо двух.
+   * Главная у большинства сайтов лучше внутренних, поэтому меньше чтения выглядело как лучший
+   * сайт. Число, которое растёт от того, что мы прочитали меньше, защитить нельзя, поэтому его
+   * не показываем вовсе: тот же путь, что у сайта, который нам не ответил.
+   */
+  if (wantedPages > 0 && sampled.length < wantedPages) {
+    return { ok: false, blocked: false, challenged: false, status: home.status, error: T.sampleShort(sampled.length + 1, wantedPages + 1), botsBlocked: [] };
+  }
+  const sampleOk = true;
+  const sampleNote = null;
+
   const areas = [
     { id: 'access', label: T.area.access, score: robotsRead ? access : null, max: 25, measured: robotsRead, findings: accessFindings },
     { id: 'index', label: T.area.index, score: llmsRead ? index : null, max: 15, measured: llmsRead, findings: indexFindings },
     { id: 'entity', label: T.area.entity, score: entity, max: 20, findings: entityFindings },
-    { id: 'content', label: T.area.content, score: content, max: 25, findings: contentFindings },
-    { id: 'trust', label: T.area.trust, score: trust, max: 15, findings: trustFindings },
+    { id: 'content', label: T.area.content, score: sampleOk ? content : null, max: 25, measured: sampleOk, findings: sampleOk ? contentFindings : [sampleNote] },
+    { id: 'trust', label: T.area.trust, score: sampleOk ? trust : null, max: 15, measured: sampleOk, findings: sampleOk ? trustFindings : [sampleNote] },
   ];
   /*
    * Балл считается по измеренному и переносится на сто.