@operstack/audit 0.18.0 → 0.18.1

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.18.0",
+  "version": "0.18.1",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",

package/src/collect.mjs

@@ -460,7 +460,7 @@ export async function collect(startUrl, { pages = 20, log = () => {}, backlinks
     for (const t of targets) {
       if (!t.url) continue;
       log(`rendering ${t.url} in a real browser`);
-      const dom = renderedDom(t.url);
+      const dom = await renderedDom(t.url);
       if (!dom) { log('no browser here, the JavaScript check will say it was not measured'); break; }
       const rawHtml = t.raw || (await get(t.url)).text;
       if (!rawHtml) continue;

package/src/rendered.mjs

@@ -10,11 +10,31 @@
  * Браузер берётся тот же, которым печатается PDF отчёта: свой Chrome или Chromium. Если его нет,
  * проверка не выдумывает результат, а говорит, что не измеряла, и почему.
  */
-import { spawnSync } from 'node:child_process';
+import { spawn, spawnSync } from 'node:child_process';
 import { mkdtempSync, rmSync } from 'node:fs';
 import { tmpdir } from 'node:os';
 import { join } from 'node:path';
 
+/**
+ * Это страница сайта или собственная страница ошибки браузера.
+ *
+ * Простым языком: браузер не смог открыть сайт и вместо него напечатал свою страницу «не удалось
+ * подключиться». В ней сотни слов интерфейса самого браузера. Если принять её за «как сайт
+ * выглядит со скриптами», получится, что у покупателя почти весь текст появляется только в
+ * браузере, и мы напишем ему в отчёте, что его сайт не читается без скриптов. Это была бы
+ * выдуманная находка по чужому сайту, худший вид ошибки в платном отчёте.
+ *
+ * Поэтому такую страницу мы не меряем вовсе и честно говорим, что не мерили.
+ */
+export function isBrowserErrorPage(html) {
+  const s = String(html || '');
+  if (!s) return false;
+  // Своя страница ошибки Chrome собирается из этих кусков и ни на одном настоящем сайте их нет
+  // всех сразу: контейнер ошибки, скрипт neterror и копирайт Chromium в собственных стилях.
+  const marks = [/id="main-frame-error"/i, /neterror/i, /chrome-error:/i, /Chromium Authors/].filter((re) => re.test(s)).length;
+  return marks >= 2;
+}
+
 /** Тот же поиск браузера, что у печати PDF: одна привычка на весь пакет. */
 export function findChrome() {
   const candidates = [
@@ -34,17 +54,74 @@ export function findChrome() {
 /** Текст страницы после выполнения скриптов. null, если браузера нет или он не справился. */
 export function renderedDom(url, { chrome = null, timeoutMs = 45000, waitMs = 8000 } = {}) {
   const bin = chrome || findChrome();
-  if (!bin) return null;
+  if (!bin) return Promise.resolve(null);
   const profile = mkdtempSync(join(tmpdir(), 'operstack-render-'));
-  try {
-    const r = spawnSync(bin, [
+
+  /*
+   * Почему не spawnSync с таймаутом, хотя так было и так короче.
+   *
+   * 14.09.2026 отчёт по habr.com встал на этой стадии и не двигался сорок минут при нулевой
+   * загрузке процессора. Таймаут spawnSync отправляет сигнал только самому Chrome, а тот
+   * запускает десяток вспомогательных процессов, и они наследуют тот же канал вывода. Главный
+   * умирает, помощники живут, канал не закрывается, и ожидание чтения не кончается никогда.
+   * Таймаут при этом честно сработал: висел не Chrome, висело чтение его вывода.
+   *
+   * Поэтому запускаем своей группой процессов (`detached`) и по истечении срока убиваем всю
+   * группу разом, отрицательным номером. Помощники уходят вместе с главным, канал закрывается,
+   * и стадия заканчивается в срок при любом поведении чужого сайта.
+   */
+  /** Похоже ли прочитанное на целую страницу, а не на обрывок. */
+  const complete = (html) => /<\/html\s*>\s*$/i.test(String(html).trimEnd());
+
+  return new Promise((resolve) => {
+    let out = ''; let size = 0; let done = false;
+    const child = spawn(bin, [
       '--headless=new', '--disable-gpu', '--no-first-run', '--no-default-browser-check',
       '--disable-extensions', '--mute-audio', '--hide-scrollbars',
       `--user-data-dir=${profile}`, `--virtual-time-budget=${waitMs}`, '--dump-dom', url,
-    ], { encoding: 'utf8', timeout: timeoutMs, maxBuffer: 64 * 1024 * 1024 });
-    if (r.status !== 0 || !r.stdout) return null;
-    return r.stdout;
-  } catch { return null; } finally { rmSync(profile, { recursive: true, force: true }); }
+    ], { detached: true, stdio: ['ignore', 'pipe', 'ignore'] });
+
+    const finish = (value) => {
+      if (done) return;
+      done = true;
+      // Страница ошибки браузера это не сайт покупателя: меряли бы интерфейс Chrome.
+      if (value && isBrowserErrorPage(value)) value = null;
+      clearTimeout(timer);
+      stopGroup();
+      rmSync(profile, { recursive: true, force: true });
+      resolve(value);
+    };
+    const stopGroup = () => {
+      // Отрицательный номер это вся группа: сам Chrome и все его помощники.
+      try { process.kill(-child.pid, 'SIGKILL'); } catch { /* уже ушли */ }
+    };
+
+    // По сроку отдаём то, что успели прочитать: браузер мог допечатать страницу целиком и не
+    // суметь завершиться. Выбрасывать готовый DOM только потому, что Chrome не ушёл сам, значит
+    // сказать покупателю «не измеряли» там, где измерили.
+    const timer = setTimeout(() => finish(complete(out) ? out : null), timeoutMs);
+    child.stdout.on('data', (chunk) => {
+      size += chunk.length;
+      // Страница может оказаться огромной. Читаем до потолка и прекращаем: DOM на шестьдесят
+      // мегабайт всё равно не нужен, а память нужна.
+      if (size > 64 * 1024 * 1024) { finish(complete(out) ? out : null); return; }
+      out += chunk;
+      // Как только страница допечатана до закрывающего тега, ждать больше нечего: `--dump-dom`
+      // печатает разметку целиком и одним куском. Chrome после этого может не завершиться сам,
+      // и раньше каждая страница стоила полного срока ожидания вместо секунды.
+      if (complete(out)) finish(out);
+    });
+    child.on('error', () => finish(null));
+    /*
+     * Ждём именно `exit`, а не `close`.
+     *
+     * `close` ждёт, пока закроются все потоки, а канал вывода держат вспомогательные процессы
+     * Chrome, которые живут дольше главного. Из-за этого стадия не заканчивалась даже на
+     * example.com: DOM был давно прочитан, а событие не приходило. `exit` приходит, когда ушёл
+     * сам браузер, и этого достаточно: всё, что он собирался напечатать, уже у нас.
+     */
+    child.on('exit', (code) => finish(code === 0 && out ? out : (complete(out) ? out : null)));
+  });
 }
 
 const CHROME_STRIP = /<(nav|footer|aside|script|style|noscript|template)[\s\S]*?<\/\1>/gi;

package/src/test-rendered.mjs

@@ -1,6 +1,9 @@
 #!/usr/bin/env node
 /** Слепота к скриптам: считаем честно, не измерив, так и говорим. */
-import { compareReadings, jsBlindnessCheck } from './rendered.mjs';
+import { chmodSync, mkdtempSync, writeFileSync, rmSync } from 'node:fs';
+import { tmpdir } from 'node:os';
+import { join } from 'node:path';
+import { compareReadings, jsBlindnessCheck, isBrowserErrorPage, renderedDom } from './rendered.mjs';
 
 let bad = 0;
 const is = (n, a, b) => { const ok = JSON.stringify(a) === JSON.stringify(b); if (!ok) { bad++; console.error(`FAIL ${n}\n  ждали ${JSON.stringify(b)}\n  вышло ${JSON.stringify(a)}`); } else console.log(`ok   ${n}`); };
@@ -57,5 +60,57 @@ ok('и сказано почему', /нет браузера/.test(none.value))
 const en = jsBlindnessCheck([{ url: 'https://x.com/', raw: 10, rendered: 400, hiddenShare: 98, verdict: 'bad' }], 'en');
 ok('английская версия без кириллицы', !/[А-Яа-яЁё]/.test(JSON.stringify(en)));
 
+// ---- страница ошибки браузера это не сайт покупателя
+//
+// 14.09.2026 браузер не смог открыть сайт и напечатал свою страницу «не удалось подключиться»:
+// сто восемьдесят килобайт интерфейса Chrome. Приняв её за «как выглядит со скриптами», мы бы
+// написали покупателю в платном отчёте, что его сайт не читается без скриптов. Выдуманная
+// находка по чужому сайту это худшее, что может быть в отчёте за деньги.
+{
+  const errorPage = '<!DOCTYPE html><html dir="ltr" lang="ru"><head><style>/* Copyright 2017 The Chromium Authors */</style>'
+    + '<script>function neterror(){}</script></head><body><div id="main-frame-error"><span>Не удалось открыть страницу</span></div></body></html>';
+  ok('страница ошибки браузера распознана', isBrowserErrorPage(errorPage));
+  ok('настоящая страница не принята за ошибку', !isBrowserErrorPage(body(text(300))));
+  ok('пустой ответ не принят за ошибку', !isBrowserErrorPage(''));
+  // Одного совпадения мало: слово neterror может встретиться в статье про ошибки браузера.
+  ok('одного слова недостаточно', !isBrowserErrorPage('<html><body><p>Статья про neterror и как его читать</p></body></html>'));
+}
+
+// ---- браузер обязан отпускать, даже если сам не уходит
+//
+// Chrome печатает разметку и может не завершиться: его вспомогательные процессы держат канал
+// вывода открытым. Отчёт по habr.com из-за этого стоял сорок минут при нулевой загрузке.
+{
+  const dir = mkdtempSync(join(tmpdir(), 'operstack-fake-chrome-'));
+  const fake = (script) => {
+    const f = join(dir, `chrome-${Math.random().toString(36).slice(2)}.sh`);
+    writeFileSync(f, `#!/bin/sh\n${script}\n`);
+    chmodSync(f, 0o755);
+    return f;
+  };
+
+  // Напечатал страницу целиком и завис. Ждать его незачем: всё уже у нас.
+  const printsThenHangs = fake(`printf '%s' '<html><body><p>текст страницы</p></body></html>'\nsleep 60`);
+  const t0 = Date.now();
+  const dom = await renderedDom('https://example.com/', { chrome: printsThenHangs, timeoutMs: 10000 });
+  const took = Date.now() - t0;
+  ok('разметка получена, хотя браузер не вышел', typeof dom === 'string' && dom.includes('текст страницы'));
+  ok(`и получена сразу, а не по сроку (${(took / 1000).toFixed(1)} с)`, took < 5000);
+
+  // Ничего не печатает и не уходит. Здесь обязан сработать срок, и вернуться «не измеряли».
+  const silentHang = fake('sleep 60');
+  const t1 = Date.now();
+  const none = await renderedDom('https://example.com/', { chrome: silentHang, timeoutMs: 2500 });
+  const waited = Date.now() - t1;
+  is('молчащий браузер это «не измеряли», а не выдумка', none, null);
+  ok(`и ожидание кончилось в срок (${(waited / 1000).toFixed(1)} с)`, waited >= 2000 && waited < 9000);
+
+  // Напечатал свою страницу ошибки: не мерим.
+  const printsError = fake(`printf '%s' '<html><head><style>/* Copyright The Chromium Authors */</style></head><body><div id="main-frame-error">нет связи</div></body></html>'`);
+  is('страница ошибки не идёт в измерение', await renderedDom('https://example.com/', { chrome: printsError, timeoutMs: 8000 }), null);
+
+  rmSync(dir, { recursive: true, force: true });
+}
+
 if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
 console.log('\nвсе тесты слепоты к скриптам прошли');