@operstack/audit 0.19.1 → 0.19.3

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.19.1",
+  "version": "0.19.3",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",

package/src/test-blocked.mjs

@@ -80,5 +80,21 @@ const CLOSED = 'User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisall
   ok('в английском нет кириллицы', !/[А-Яа-яЁё]/.test(blockedNote({ status: 403, challenged: true, robotsText: OPEN, lang: 'en' }).text));
 }
 
+// ---- несуществующий адрес: человек чаще всего просто опечатался
+//
+// Стояло «Сайт ответил ничем на https://…»: и коряво, и бесполезно. Человек, который ошибся в
+// букве, должен узнать об этом первым делом, а не гадать, что с его сайтом.
+{
+  const { checkVisibility } = await import('./visibility.mjs');
+  for (const lang of ['ru', 'en']) {
+    const v = await checkVisibility('https://takogo-domena-tochno-net-4f7a2b9c.ru/', { budgetMs: 8500, samplePages: 3, lang });
+    ok(`${lang}: балла у несуществующего адреса нет`, v.ok === false);
+    ok(`${lang}: названа вероятная причина, опечатка`, lang === 'ru' ? /опечатка в адресе/.test(v.error) : /typo in the address/.test(v.error));
+    ok(`${lang}: сказано, что делать`, lang === 'ru' ? /проверьте написание/.test(v.error) : /check the spelling/.test(v.error));
+    ok(`${lang}: нет старого «ответил ничем»`, lang === 'ru' ? !/ответил ничем/.test(v.error) : !/answered nothing/.test(v.error));
+    ok(`${lang}: чужого языка нет`, lang === 'ru' ? !/[A-Za-z]{5}/.test(v.error.replace(/https?:\/\/[^\s]+/g, '')) : !/[А-Яа-яЁё]/.test(v.error));
+  }
+}
+
 if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
 console.log('\nпро чужой сайт говорим только измеренное');

package/src/test-unmeasured.mjs

@@ -27,8 +27,9 @@ const is = (n, a, b) => ok(`${n} (ждали ${JSON.stringify(b)}, вышло ${
 const PAGE = `<!doctype html><html lang="ru"><head><title>Пример</title><meta name="description" content="Описание"></head>
 <body><main><h1>Пример сайта</h1>${'<p>Обычный абзац текста про товар и цену, без цифр, чтобы было что цитировать. </p>'.repeat(40)}</main></body></html>`;
 
-const serve = ({ robots, status = null }) => new Promise((resolve) => {
+const serve = ({ robots, status = null, llmsStatus = 404 }) => new Promise((resolve) => {
   const s = createServer((req, res) => {
+    if (req.url.startsWith('/llms.txt')) { res.writeHead(llmsStatus, { 'content-type': 'text/html' }); res.end('<html>нет</html>'); return; }
     if (req.url.startsWith('/robots.txt')) {
       if (status) { res.writeHead(status, { 'content-type': 'text/html' }); res.end('<html>нет</html>'); return; }
       if (robots === null) { res.writeHead(403, { 'content-type': 'text/html' }); res.end('<html>denied</html>'); return; }
@@ -128,5 +129,43 @@ if (!dnsOk) {
     ok(`robots.txt ${code}: код назван в тексте`, new RegExp(`код ${code}`).test(a4.findings[0].text));
   }
 
+  // ---- llms.txt: та же граница между «нет файла» и «не дали файл»
+  //
+  // Сайт за защитой отдавал 403 на llms.txt, и мы писали владельцу «у вас нет карты для агентов»
+  // с нулём баллов. Файл мог быть, мы его просто не получили.
+  {
+    const cases = [[404, 'missing'], [410, 'missing'], [403, 'unknown'], [429, 'unknown'], [500, 'unknown']];
+    for (const [code, kind] of cases) {
+      const { s: s5, url: url5 } = await serve({ robots: 'User-agent: *\nDisallow: /admin/\n', llmsStatus: code });
+      let v5;
+      try { v5 = await checkVisibility(url5, { budgetMs: 8500, samplePages: 3, lang: 'ru' }); } finally { s5.close(); }
+      const a5 = v5.areas.find((a) => a.id === 'index');
+      if (kind === 'missing') {
+        is(`llms.txt ${code}: область измерена`, a5.measured, true);
+        is(`llms.txt ${code}: и это честный ноль`, a5.score, 0);
+        ok(`llms.txt ${code}: находка называет отсутствие`, a5.findings.some((f) => f.id === 'llms-missing'));
+      } else {
+        is(`llms.txt ${code}: область не измерена`, a5.measured, false);
+        is(`llms.txt ${code}: балла нет, а не ноль`, a5.score, null);
+        ok(`llms.txt ${code}: не пишем «у вас нет файла»`, !a5.findings.some((f) => f.id === 'llms-missing'));
+        ok(`llms.txt ${code}: сказано, что не отдали`, /не дал этой проверке прочитать llms\.txt/.test(a5.findings[0].text));
+        is(`llms.txt ${code}: знаменатель без этой области`, v5.score, Math.round((v5.areas.filter((a) => a.measured !== false).reduce((t, a) => t + a.score, 0) / v5.areas.filter((a) => a.measured !== false).reduce((t, a) => t + a.max, 0)) * 100));
+      }
+    }
+  }
+
+  // ---- две неизмеренные области сразу: знаменатель считается по оставшимся трём
+  {
+    const { s: s6, url: url6 } = await serve({ robots: null, llmsStatus: 403 });
+    let v6;
+    try { v6 = await checkVisibility(url6, { budgetMs: 8500, samplePages: 3, lang: 'ru' }); } finally { s6.close(); }
+    const un = v6.areas.filter((a) => a.measured === false);
+    is('неизмеренных областей две', un.length, 2);
+    const meas = v6.areas.filter((a) => a.measured !== false);
+    is('знаменатель 60', meas.reduce((t, a) => t + a.max, 0), 60);
+    is('балл по оставшимся', v6.score, Math.round((meas.reduce((t, a) => t + a.score, 0) / 60) * 100));
+    ok('ни одна из них не получила ноль', un.every((a) => a.score === null));
+  }
+
 if (bad) { console.error(`\n${bad} тест(ов) упало`); process.exit(1); }
 console.log('\nнепрочитанное не считается ни в плюс, ни в минус, а отсутствующее это ответ');

package/src/visibility.mjs

@@ -48,7 +48,9 @@ export const MESSAGES = {
   en: {
     badInput: 'Enter a public site address, for example example.com',
     tooSlow: 'The site took too long to answer',
-    badAnswer: (status, url) => `The site answered ${status || 'nothing'} for ${url}`,
+    badAnswer: (status, url) => `The site answered ${status} for ${url}`,
+    // Чаще всего это опечатка в адресе, и сказать об этом надо первым делом, а не после разбора.
+    unreachable: (url) => `Nothing answered at ${url}. Most often that is a typo in the address: check the spelling, and if the site really is there, it may be down right now.`,
     botWall: (status) => `The site refuses unknown clients (HTTP ${status}), so this check could not read a single page.`,
     botChallenge: (status) => `The site sits behind a browser challenge (Cloudflare, HTTP ${status}), so this check could not read a single page.`,
     // Что мы знаем про роботов ИИ, когда нас самих развернули: ровно то, что написано в правилах
@@ -58,6 +60,7 @@ export const MESSAGES = {
     rulesUnknown: ' Its robots.txt could not be read either, so there is nothing to say about AI crawlers: that is not counted for or against the site.',
     howToCheckBots: ' To know for certain, open the server log and look for GPTBot, ClaudeBot and PerplexityBot, or ask whoever runs the protection which bots are on the allowlist.',
     area: { access: 'Can AI crawlers read it', index: 'Is there a map for agents (llms.txt)', entity: 'Is the entity clear (schema)', content: 'Is there something to quote', trust: 'Can it be dated and trusted' },
+    llmsUnreadable: (status) => `The site did not let this check read llms.txt${status ? ` (HTTP ${status})` : ''}, so whether the site has a map for agents could not be measured. It is not counted for or against the site: a file we were refused is not the same as a file that is not there.`,
     robotsMissing: 'There is no robots.txt on the site. By the standard that means nothing is disallowed, so every AI crawler may read it. A file is not required; add one only when something needs closing off.',
     robotsUnreadable: (status) => `The site did not let this check read robots.txt${status ? ` (HTTP ${status})` : ''}, so whether AI crawlers are allowed could not be measured. It is not counted for or against the site: an unread file is not good news. The owner can open it in a browser, or ask whoever runs the site's protection.`,
     robotsAllBlocked: 'robots.txt disallows the whole site for every crawler. Nothing can read it.',
@@ -97,7 +100,8 @@ export const MESSAGES = {
   ru: {
     badInput: 'Введите адрес публичного сайта, например example.ru',
     tooSlow: 'Сайт слишком долго не отвечал',
-    badAnswer: (status, url) => `Сайт ответил ${status ? `кодом ${status}` : 'ничем'} на ${url}`,
+    badAnswer: (status, url) => `Сайт ответил кодом ${status} на ${url}`,
+    unreachable: (url) => `По адресу ${url} никто не ответил. Чаще всего это опечатка в адресе: проверьте написание. Если сайт там действительно есть, значит он сейчас недоступен.`,
     botWall: (status) => `Сайт отказывает незнакомым клиентам (код ${status}), поэтому прочитать хотя бы одну страницу проверка не смогла.`,
     botChallenge: (status) => `Сайт закрыт проверкой браузера (Cloudflare, код ${status}), поэтому прочитать хотя бы одну страницу проверка не смогла.`,
     rulesAllowBots: (list) => ` Правила самого сайта роботов ИИ при этом пускают (${list}), а защита такого типа проверенных роботов нередко пропускает. Пустят ли их на деле, решает защита, а не эта проверка, поэтому в плюс или в минус сайту это не зачтено.`,
@@ -105,6 +109,7 @@ export const MESSAGES = {
     rulesUnknown: ' Файл robots.txt прочитать тоже не вышло, поэтому про роботов ИИ сказать нечего, и в плюс или в минус сайту это не зачтено.',
     howToCheckBots: ' Чтобы знать точно, посмотрите в журнале сервера, приходят ли GPTBot, ClaudeBot и PerplexityBot, либо спросите у тех, кто настраивал защиту, кто у неё в белом списке.',
     area: { access: 'Могут ли роботы ИИ прочитать сайт', index: 'Есть ли карта для агентов (llms.txt)', entity: 'Понятно ли, кто вы (разметка)', content: 'Есть ли что процитировать', trust: 'Можно ли датировать и доверять' },
+    llmsUnreadable: (status) => `Сайт не дал этой проверке прочитать llms.txt${status ? ` (код ${status})` : ''}, поэтому есть ли у сайта карта для агентов, измерить не вышло. В плюс или в минус это не зачтено: файл, который нам не отдали, это не то же самое, что файла нет.`,
     robotsMissing: 'Файла robots.txt на сайте нет. По стандарту это значит, что не запрещено ничего, то есть читать сайт может любой робот ИИ. Заводить файл необязательно: он нужен, только когда есть что закрывать.',
     robotsUnreadable: (status) => `Сайт не дал этой проверке прочитать robots.txt${status ? ` (код ${status})` : ''}, поэтому допущены роботы ИИ или нет, измерить не вышло. В плюс или в минус сайту это не зачтено: непрочитанный файл это не хорошая новость. Владелец может открыть его в браузере сам или спросить у тех, кто настраивал защиту сайта.`,
     robotsAllBlocked: 'robots.txt закрывает весь сайт для всех роботов. Его никто не может прочитать.',
@@ -401,8 +406,9 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
      */
     const note = blockedNote({ status: home.status, challenged, blocked, robotsText: robotsRes.ok ? robotsRes.text : null, lang });
     const error = home.error === 'timeout' ? T.tooSlow
-      : blocked ? note.text
-        : T.badAnswer(home.status, url);
+      : home.error === 'unreachable' || !home.status ? T.unreachable(url)
+        : blocked ? note.text
+          : T.badAnswer(home.status, url);
     // `botsBlocked` говорит только про написанные правила, а не про поведение защиты: по нему
     // нельзя утверждать, что робота не пустили, можно лишь, что ему не разрешали.
     return { ok: false, blocked, challenged, status: home.status, error, botsBlocked: note.botsBlocked };
@@ -467,8 +473,18 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
   if (!accessFindings.length) accessFindings.push({ level: 'pass', text: T.allAllowed(AI_AGENTS.length, robots.signal) });
 
   // Area 2: agent index (15)
+  /*
+   * Та же граница, что у robots.txt: «файла нет» и «нам его не дали» это разные вещи.
+   *
+   * До 15.09.2026 любой неуспех давал вывод «у вас нет llms.txt» и ноль баллов. На сайте за
+   * защитой это выдуманная находка: файл может быть, мы его просто не получили. 404 и 410
+   * означают, что файла действительно нет, и вот это честная находка с нулём.
+   */
+  const llmsMissing = llmsRes.status === 404 || llmsRes.status === 410;
+  const llmsRead = llmsRes.ok || llmsMissing;
   let index = 0; const indexFindings = [];
-  if (!llmsRes.ok) indexFindings.push({ id: 'llms-missing', level: 'fail', text: T.llmsMissing });
+  if (!llmsRead) indexFindings.push({ id: 'llms-unreadable', level: 'na', text: T.llmsUnreadable(llmsRes.status || 0) });
+  else if (!llmsRes.ok) indexFindings.push({ id: 'llms-missing', level: 'fail', text: T.llmsMissing });
   else if (!llmsIsText) { index = 3; indexFindings.push({ id: 'llms-not-text', level: 'fail', text: T.llmsNotText }); }
   else if (llmsLinks.length && llmsForeign.length > llmsLinks.length / 2) { index = 5; indexFindings.push({ id: 'llms-foreign', level: 'fail', text: T.llmsForeign([...new Set(llmsForeign.map((l) => new URL(l).host))].slice(0, 3).join(', ')) }); }
   else { index = llmsLinks.length >= 5 ? 15 : 10; indexFindings.push({ level: 'pass', text: T.llmsOk(llmsLinks.length) }); }
@@ -557,7 +573,7 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
 
   const areas = [
     { id: 'access', label: T.area.access, score: robotsRead ? access : null, max: 25, measured: robotsRead, findings: accessFindings },
-    { id: 'index', label: T.area.index, score: index, max: 15, findings: indexFindings },
+    { id: 'index', label: T.area.index, score: llmsRead ? index : null, max: 15, measured: llmsRead, findings: indexFindings },
     { id: 'entity', label: T.area.entity, score: entity, max: 20, findings: entityFindings },
     { id: 'content', label: T.area.content, score: content, max: 25, findings: contentFindings },
     { id: 'trust', label: T.area.trust, score: trust, max: 15, findings: trustFindings },