@operstack/audit 0.21.3 → 0.22.0

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.21.3",
+  "version": "0.22.0",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",
@@ -29,7 +29,7 @@
     "LICENSE"
   ],
   "scripts": {
-    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html",
+    "test": "node src/test-scores.mjs && node src/test-fix.mjs && node src/test-foundation.mjs && node src/test-narrative.mjs && node src/test-prompts.mjs && node src/test-sitemap.mjs && node src/test-overall.mjs && node src/test-blocked.mjs && node src/test-unmeasured.mjs && node src/test-rendered.mjs && node src/test-sample.mjs && node src/test-demand.mjs && node src/test-agent-surface.mjs && node src/test-agency.mjs && node src/test-i18n.mjs examples/sample-audit.json && node bin/audit.mjs check examples/sample-audit.json && node bin/audit.mjs render examples/sample-audit.json --out /tmp/operstack-audit-sample.html && node src/test-ru-sources.mjs",
     "sample": "node bin/audit.mjs render examples/sample-audit.json --pdf",
     "verify:live": "node src/verify-live.mjs"
   },

package/src/collect.mjs

@@ -52,6 +52,13 @@ async function follow(url, max = 5) {
 
 const row = (id, group, label, status, value, comment = '') => ({ id, group, label, status, value, comment });
 
+/**
+ * Чем в тексте называют источник цифры, по-английски и по-русски. Список слово в слово совпадает
+ * с SOURCE_RE в visibility.mjs: два движка должны считать одно и то же, иначе балл в бесплатной
+ * проверке и в платном отчёте разойдётся на ровном месте.
+ */
+const SOURCE_RE = /(?<!\p{L})(according to|source:|sources:|data from|reported by|published by|registry|statistics office|central bank|по данным|источник:|источники:|согласно|по информации|по сведениям|росстат|центробанк|банк россии|росреестр|минфин|минэкономразвития)(?!\p{L})/giu;
+
 function analysePage(url, html) {
   const root = parse(html, { blockTextElements: { script: true, style: true, noscript: true } });
   const attr = (sel, a) => root.querySelector(sel)?.getAttribute(a) ?? '';
@@ -147,7 +154,13 @@ function analysePage(url, html) {
   const tables = (bodyHtml.match(/<table[\s>]/gi) || []).length;
   // A source is named either in words, or the way careful writing actually does it: a link to
   // somebody else's site sitting in the same paragraph as the figure it backs.
-  const sourcePhrases = (text.match(/\b(according to|source:|sources:|data from|reported by|published by|registry|statistics office|central bank)\b/gi) || []).length;
+  // Слова, которыми называют источник цифры. Список и границы слова те же, что в движке
+  // бесплатной проверки (visibility.mjs, SOURCE_RE): до 16.09.2026 здесь были только английские
+  // выражения, и русский сайт, честно написавший «по данным Росстата», получал ноль. Живой
+  // пользователь сказал об этом прямо: на русском сайте эти баллы недостижимы.
+  // Обычная граница слова \b для кириллицы не работает, она построена на латинице, поэтому
+  // границы заданы через отсутствие буквы рядом.
+  const sourcePhrases = (text.match(SOURCE_RE) || []).length;
   const ownHostname = (() => { try { return new URL(url).hostname.replace(/^www\./, ''); } catch { return ''; } })();
   // Абзацы, в которых вообще есть цифра. Без этого счётчика «цифры без источника» вменяется
   // странице, где цифр нет ни одной, например политике конфиденциальности.

package/src/test-flaky-files.mjs

@@ -0,0 +1,81 @@
+#!/usr/bin/env node
+/**
+ * Один сбой сети не должен менять балл.
+ *
+ * 15.09.2026 сайт avtokomissar-app.ru получил 52 на русской площадке и 67 на английской с
+ * разницей в две минуты. Движок, его версия и параметры у обеих одинаковые, значит дело было в
+ * самом прогоне: служебные файлы читались по одному разу, и один неудачный ответ решал судьбу
+ * целой области. robots.txt стоит 25 очков, llms.txt 15. Владелец сайта читает такое расхождение
+ * как «вы врёте», и он прав.
+ *
+ * Здесь сервер отдаёт llms.txt отказом только на первый запрос, а со второго нормально. Балл
+ * обязан совпасть с тем, что даёт всегда исправный сервер.
+ *
+ * Сервер поднимается на loopback, а зовётся по имени lvh.me: оно публично указывает на 127.0.0.1,
+ * и так проверка проходит свой же запрет на частные адреса честно, без лазейки в коде продукта.
+ */
+import { createServer } from 'node:http';
+import { lookup } from 'node:dns/promises';
+import { checkVisibility } from './visibility.mjs';
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${JSON.stringify(a)})`, JSON.stringify(a) === JSON.stringify(b));
+
+const PAGE = `<!doctype html><html lang="ru"><head><title>Пример</title><meta name="description" content="Описание"></head>
+<body><main><h1>Пример сайта</h1>${'<p>Обычный абзац текста про товар и услугу, чтобы было что цитировать. </p>'.repeat(40)}</main></body></html>`;
+const LLMS = `# Пример\n\n> Короткое описание сайта.\n\n## Разделы\n\n${Array.from({ length: 6 }, (_, i) => `- [Страница ${i}](http://HOST/p${i}.html): о чём она`).join('\n')}\n`;
+
+/** @param failFirst сколько первых запросов к llms.txt отдать отказом */
+const serve = (failFirst) => new Promise((resolve) => {
+  let asked = 0;
+  const s = createServer((req, res) => {
+    if (req.url.startsWith('/llms.txt')) {
+      asked += 1;
+      if (asked <= failFirst) { res.writeHead(503, { 'content-type': 'text/html' }); res.end('<html>занято</html>'); return; }
+      res.writeHead(200, { 'content-type': 'text/plain; charset=utf-8' });
+      res.end(LLMS.replaceAll('HOST', req.headers.host));
+      return;
+    }
+    if (req.url.startsWith('/robots.txt')) { res.writeHead(200, { 'content-type': 'text/plain' }); res.end('User-agent: *\nAllow: /\n'); return; }
+    res.writeHead(200, { 'content-type': 'text/html; charset=utf-8' }); res.end(PAGE);
+  });
+  s.listen(0, '127.0.0.1', () => resolve({ s, url: `http://lvh.me:${s.address().port}/`, asked: () => asked }));
+});
+
+let dnsOk = true;
+try { const a = await lookup('lvh.me'); dnsOk = a.address === '127.0.0.1'; } catch { dnsOk = false; }
+
+if (!dnsOk) {
+  console.log('ПРОПУЩЕНО: lvh.me не указывает на 127.0.0.1 с этой машины');
+} else {
+  const opts = { budgetMs: 9000, samplePages: 3, lang: 'ru' };
+
+  const good = await serve(0);
+  let clean;
+  try { clean = await checkVisibility(good.url, opts); } finally { good.s.close(); }
+  ok('исправный сервер: проверка прошла', clean.ok === true);
+  const cleanIndex = clean.areas.find((a) => a.id === 'index');
+  ok('и карта для агентов зачтена', cleanIndex.score > 0);
+
+  const flaky = await serve(1);
+  let shaky;
+  try { shaky = await checkVisibility(flaky.url, opts); } finally { flaky.s.close(); }
+  ok('сервер с одним сбоем: проверка прошла', shaky.ok === true);
+  ok('к llms.txt обратились дважды, а не один раз', flaky.asked() >= 2);
+  const shakyIndex = shaky.areas.find((a) => a.id === 'index');
+  is('область карты дала тот же балл', shakyIndex.score, cleanIndex.score);
+  is('и общий балл совпал', shaky.score, clean.score);
+
+  // Постоянный отказ это не сбой сети: область честно остаётся неизмеренной.
+  const dead = await serve(99);
+  let never;
+  try { never = await checkVisibility(dead.url, opts); } finally { dead.s.close(); }
+  const neverIndex = never.areas.find((a) => a.id === 'index');
+  is('при постоянном отказе область не измерена', neverIndex.measured, false);
+  is('и балла у неё нет, а не ноль', neverIndex.score, null);
+  ok('и это не выдаётся за «у вас нет llms.txt»', !neverIndex.findings.some((f) => /Нет llms\.txt/.test(f.text)));
+}
+
+console.log(bad ? `\nПРОВАЛЕНО: ${bad}` : '\nодин сбой сети балл не меняет, постоянный отказ не считается ни в плюс, ни в минус');
+process.exit(bad ? 1 : 0);

package/src/test-ru-sources.mjs

@@ -0,0 +1,41 @@
+#!/usr/bin/env node
+/**
+ * Русский сайт, который честно называет источник цифры, получает за это балл.
+ *
+ * 16.09.2026 живой пользователь сказал прямо: «поиск источника цифр англоязычный, на русском
+ * сайте эти пять баллов недостижимы честно». Так и было: в движке платного аудита список слов
+ * состоял только из английских выражений, хотя в движке бесплатной проверки русские уже были.
+ * Два движка считали одно и то же по-разному.
+ */
+import { readFileSync } from 'node:fs';
+import { resolve, dirname } from 'node:path';
+import { fileURLToPath } from 'node:url';
+
+const here = dirname(fileURLToPath(import.meta.url));
+const src = readFileSync(resolve(here, 'collect.mjs'), 'utf8');
+const vis = readFileSync(resolve(here, 'visibility.mjs'), 'utf8');
+
+let bad = 0;
+const ok = (n, c) => { if (c) console.log(`ok   ${n}`); else { bad++; console.error(`FAIL ${n}`); } };
+
+const line = (text) => (text.match(/^const SOURCE_RE = .+$/m) || [''])[0];
+ok('списки слов в обоих движках совпадают слово в слово', line(src) === line(vis) && line(src).length > 60);
+
+const RE = new RegExp(line(src).replace(/^const SOURCE_RE = \//, '').replace(/\/giu;$/, ''), 'giu');
+const count = (t) => (t.match(RE) || []).length;
+
+for (const t of ['По данным Росстата, рынок вырос на 12%.',
+                 'Источник: отчёт Банка России за 2025 год.',
+                 'Согласно исследованию, доля выросла до 40%.',
+                 'По информации Минфина, ставка снижена.',
+                 'По сведениям Росреестра, сделок стало больше.'])
+  ok(`русский источник виден: ${t.slice(0, 34)}…`, count(t) > 0);
+
+for (const t of ['According to Rosstat, the market grew 12%.', 'Source: Bank of Russia report.'])
+  ok(`английский по-прежнему виден: ${t.slice(0, 30)}…`, count(t) > 0);
+
+for (const t of ['Мы выросли на 12% за год.', 'Наша команда работает с 2019 года.', 'Согласнее всех был директор.'])
+  ok(`пустая похвальба источником не считается: ${t.slice(0, 28)}…`, count(t) === 0);
+
+console.log(bad ? `\nпровалов: ${bad}` : '\nвсё сходится');
+process.exit(bad ? 1 : 0);

package/src/visibility.mjs

@@ -383,7 +383,32 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   const url = normaliseInput(input);
   if (!url) return { ok: false, error: T.badInput };
   const origin = new URL(url).origin; const host = new URL(url).host;
-  const [home, robotsRes, llmsRes] = await Promise.all([get(url, { timeout: Math.min(6000, left() - 300) }), get(`${origin}/robots.txt`, { timeout: Math.min(4000, left() - 300) }), get(`${origin}/llms.txt`, { timeout: Math.min(4000, left() - 300) })]);
+  /*
+   * Служебные файлы читаются с одним повтором, и это не украшение.
+   *
+   * Один ответ решает судьбу целой области: robots.txt стоит 25 очков, llms.txt 15. До 16.09.2026
+   * повтора не было, и одна неудачная выборка меняла балл на пятнадцать пунктов. 15.09.2026
+   * avtokomissar-app.ru получил 52 на русском сайте и 67 на английском с разницей в две минуты,
+   * при том что движок, версия и параметры у обоих одинаковые. Владелец сайта читает такое
+   * расхождение как «вы врёте», и он прав.
+   *
+   * Повторяем только неопределённый ответ: таймаут, отказ защиты, ошибку сервера. Честные 404 и
+   * 410 значат, что файла правда нет, их переспрашивать незачем и это удвоило бы запросы почти
+   * на каждом сайте.
+   */
+  const settled = (r) => r.ok || r.status === 404 || r.status === 410;
+  const once = (u, ms) => get(u, { timeout: Math.min(ms, left() - 300) });
+  const twice = async (u, ms) => {
+    const first = await once(u, ms);
+    if (settled(first) || left() < 1200) return first;
+    const again = await once(u, Math.min(ms, 2500));
+    return settled(again) ? again : first;
+  };
+  const [home, robotsRes, llmsRes] = await Promise.all([
+    once(url, 6000),
+    twice(`${origin}/robots.txt`, 4000),
+    twice(`${origin}/llms.txt`, 4000),
+  ]);
   if (!home.ok || !/html/i.test(home.type)) {
     // Код 401/403/405/429 это бот-стена, а не сломанный сайт, и это находка сама по себе: та же
     // стена, что развернула эту проверку, разворачивает и роботов ответных систем.