@operstack/audit 0.33.3 → 0.34.0

package/src/visibility.mjs

@@ -241,7 +241,7 @@ const bare = (h) => String(h || '').toLowerCase().replace(/^www\./, '');
 
 /** Файлы и служебные разделы: это не страницы, по которым судят о сайте. */
 const FILE_EXT = /\.(?!html?$|php$|aspx?$)[a-z0-9]{2,5}$/i;
-const UTILITY = /\/(cart|basket|checkout|wishlist|compare|my-account|account|login|log-in|signin|sign-in|register|logout|wp-admin|wp-login\.php|wp-json|feed|rss|tag|tags|author|search|cdn-cgi)(\/|$)/i;
+const UTILITY = /\/(cart|basket|checkout|wishlist|compare|my-account|account|login|customer_authentication|customer_identity|log-in|signin|sign-in|register|logout|wp-admin|wp-login\.php|wp-json|feed|rss|tag|tags|author|search|cdn-cgi)(\/|$)/i;
 
 /**
  * Свои ссылки страницы в порядке появления, без повторов.
@@ -249,6 +249,14 @@ const UTILITY = /\/(cart|basket|checkout|wishlist|compare|my-account|account|log
  * @param {string} baseUrl адрес страницы, от него считаются относительные ссылки
  * @param {Iterable<string>} [ownHosts] хосты сайта; по умолчанию хост baseUrl, с www и без
  */
+/** Адреса из простого текста или markdown. Хвостовые знаки препинания, обратные кавычки и
+ *  звёздочки к адресу не относятся: `https://x.com/a`. или (https://x.com/b), в конце строки. */
+export function linksInText(text) {
+  return [...String(text || '').matchAll(/https?:\/\/[^\s)\]>"'`<]+/g)]
+    .map((m) => m[0].replace(/[.,;:!?*_'"`]+$/, ''))
+    .filter((u) => { try { return Boolean(new URL(u).host); } catch { return false; } });
+}
+
 export function internalLinks(html, baseUrl, ownHosts = []) {
   let base;
   try { base = new URL(baseUrl); } catch { return []; }
@@ -531,13 +539,29 @@ async function readSitemap(origin, robotsText, timeoutFn = () => 3000) {
     const r = await get(u, { timeout: timeoutFn() });
     if (r.error === 'timeout') { timedOut = true; continue; }
     if (!r.ok || !/<(urlset|sitemapindex)/.test(r.text)) continue;
-    let locs = [...r.text.matchAll(/<loc>\s*([^<\s]+)\s*<\/loc>/g)].map((m) => m[1]);
+    const locsOf = (text) => [...text.matchAll(/<loc>\s*([^<\s]+)\s*<\/loc>/g)].map((m) => m[1].replace(/&amp;/g, '&'));
+    const pagesOf = (list) => list.filter((l) => { try { const p = new URL(l).pathname; return !FILE_EXT.test(p) && !UTILITY.test(p); } catch { return false; } });
+    let locs = locsOf(r.text);
     let lastmod = /<lastmod>/.test(r.text);
-    if (/<sitemapindex/.test(r.text) && locs.length && timeoutFn() > 500) {
-      const child = await get(locs[0], { timeout: timeoutFn() });
-      if (child.ok) { locs = [...child.text.matchAll(/<loc>\s*([^<\s]+)\s*<\/loc>/g)].map((m) => m[1]); lastmod = lastmod || /<lastmod>/.test(child.text); }
+    /*
+     * Из индекса берём первую вложенную карту, в которой есть страницы. До 0.33.4 брали просто
+     * первую, а у Shopify это sitemap_agentic_discovery.xml с одним agents.md: в выборку шёл файл
+     * не HTML, он считался «не ответившей страницей», и балл не считался вовсе (brainmd.com,
+     * 12.10.2026). Смотрим не больше трёх вложенных карт.
+     */
+    if (/<sitemapindex/.test(r.text) && locs.length) {
+      const children = locs;
+      for (const childUrl of children.slice(0, 3)) {
+        if (timeoutFn() <= 500) break;
+        const child = await get(childUrl, { timeout: timeoutFn() });
+        if (!child.ok) continue;
+        const childLocs = locsOf(child.text);
+        lastmod = lastmod || /<lastmod>/.test(child.text);
+        if (pagesOf(childLocs).length) { locs = childLocs; break; }
+      }
+      if (locs === children) locs = [];
     }
-    return { found: true, url: u, count: locs.length, lastmod, pages: locs.filter((l) => !/\.(xml|pdf|jpe?g|png)$/i.test(l)) };
+    return { found: true, url: u, count: locs.length, lastmod, pages: pagesOf(locs) };
   }
   return { found: false, url: '', count: 0, lastmod: false, pages: [], timedOut };
 }
@@ -672,7 +696,7 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
    * сайт без карты мерился по одной главной. Запросов не добавляет, главная уже прочитана.
    * Добавлено 30.09.2026.
    */
-  const fromSitemap = sitemap.pages.filter(isOwn);
+  const fromSitemap = sitemap.pages.filter(isOwn).filter((u) => { try { const p = new URL(u).pathname; return !FILE_EXT.test(p) && !UTILITY.test(p); } catch { return false; } });
   const allowedByRobots = robotsAllows(robotsRes.ok ? robotsRes.text : '');
   const fromHome = fromSitemap.length > samplePages ? [] : internalLinks(home.text, home.url, [host]).filter((l) => allowedByRobots(l));
   const poolSeen = new Set();
@@ -713,9 +737,15 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
     }
     const read = async (list) => Promise.all(list.map((p) => get(p, { timeout: Math.min(4000, left() - 300) })));
     let rs = await read(picks);
+    /*
+     * Адрес, который ответил 200, но не HTML (markdown, PDF, JSON), это не «страница не ответила»,
+     * а не страница вовсе. Повторять его бессмысленно, и в счёт выборки он не идёт: иначе один
+     * agents.md в карте Shopify отменял балл всему сайту (12.10.2026).
+     */
+    const notPages = new Set(picks.filter((p, i) => rs[i].ok && !/html/i.test(rs[i].type)));
     // Одна повторная попытка по тем, что не ответили: страницы маленькие, а разница в балле
     // между «прочитали две» и «прочитали одну» доходила до двадцати пунктов.
-    const failed = picks.filter((p, i) => !(rs[i].ok && /html/i.test(rs[i].type)));
+    const failed = picks.filter((p, i) => !notPages.has(p) && !(rs[i].ok && /html/i.test(rs[i].type)));
     if (failed.length) {
       // Повтору даётся своё время сверх общего бюджета, один раз и не больше трёх секунд.
       // Без этого на медленном сайте повтор упирался в тот же истёкший бюджет и проверка
@@ -732,13 +762,13 @@ export async function checkVisibility(input, { budgetMs = 8500, lang = 'en', sam
     // Дубли по адресу: повтор мог вернуть ту же страницу, что и первая попытка.
     const seenUrl = new Set();
     sampled = sampled.filter((p) => (seenUrl.has(p.url) ? false : seenUrl.add(p.url)));
-    wantedPages = Math.min(picks.length, samplePages);
+    wantedPages = Math.min(picks.length - notPages.size, samplePages);
   }
   const pages = [homePage, ...sampled];
 
   // llms.txt
   const llmsIsText = llmsRes.ok && !/<html/i.test(llmsRes.text.slice(0, 400));
-  const llmsLinks = llmsIsText ? [...llmsRes.text.matchAll(/https?:\/\/[^\s)\]>]+/g)].map((m) => m[0]) : [];
+  const llmsLinks = llmsIsText ? linksInText(llmsRes.text) : [];
   const llmsForeign = llmsLinks.filter((l) => { try { return !new URL(l).host.endsWith(host.replace(/^www\./, '')); } catch { return false; } });
 
   // Area 1: access for AI crawlers (25)