@operstack/audit 0.7.1 → 0.7.2

package/README.md

@@ -79,7 +79,7 @@ npx @operstack/audit foundation-scope audit.json --lang en --new-pages 3
 
 Each sampled page is read for five things: does it open with an answer carrying a figure, are the figures sourced, is it broken into sections, does it carry a table worth quoting, and is there enough of it at all. A page needing one edit is one share of work, two or three defects is two, four or more (or an empty page) is three, and a page that does not exist yet is three. Shares times the unit price, lifted to the package minimum.
 
-Utility pages are excluded and counted separately: nobody rewrites a privacy policy to open with a figure. Sources are asked for only where the page actually carries figures. Without Search Console access the scope is built on a sitemap sample, and the letter says so rather than implying we picked the pages that matter.
+The letter states the scope and the shares; `--price` adds the money, because a short page is sometimes short on purpose and an automatic invoice for rewriting it is an invoice for work that should not happen. Utility pages are excluded and counted separately: nobody rewrites a privacy policy to open with a figure. Sources are asked for only where the page actually carries figures. Without Search Console access the scope is built on a sitemap sample, and the letter says so rather than implying we picked the pages that matter.
 
 ## Example
 

package/bin/audit.mjs

@@ -45,8 +45,8 @@ if (!cmd || cmd === '--help' || cmd === '-h') {
     '      what the Fix package closes on this site: plan, client letter, executor checklist',
     '  operstack-audit fix-report <audit-fix-plan.json> <after.json> [--out report.md]',
     '      what was closed, what was not, and how much to refund',
-    '  operstack-audit foundation-scope <audit.json> [--lang ru|en] [--new-pages 3] [--gsc] [--unit 50] [--minimum 500] [--out base]',
-    '      the text work the Foundation package would do, page by page, and the price it adds up to',
+    '  operstack-audit foundation-scope <audit.json> [--lang ru|en] [--new-pages 3] [--gsc] [--price] [--out base]',
+    '      the text work the Foundation package would do, page by page; --price also states the money',
   ].join('\n'));
   process.exit(cmd ? 0 : 2);
 }
@@ -114,6 +114,7 @@ if (cmd === 'collect') {
     lang,
     newPages: Number(opt('--new-pages', 0)),
     hasSearchConsole: has("--gsc"),
+    withPrice: has('--price'),
     unit: opt('--unit') ? Number(opt('--unit')) : undefined,
     minimum: opt('--minimum') ? Number(opt('--minimum')) : undefined,
     currency: opt('--currency'),
@@ -123,6 +124,7 @@ if (cmd === 'collect') {
   writeFileSync(resolve(`${base}-foundation-letter.md`), renderFoundationScope(scope));
   writeFileSync(resolve(`${base}-foundation-checklist.md`), renderFoundationChecklist(scope));
   console.log(`${scope.pages.length} page(s) need text work of ${scope.sampledPages} sampled, ${scope.shares} share(s)`);
-  console.log(`price ${scope.price} ${scope.currency}${scope.atMinimum ? ` (raw ${scope.raw}, lifted to the package minimum)` : ''}`);
+  if (scope.withPrice) console.log(`price ${scope.price} ${scope.currency}${scope.atMinimum ? ` (raw ${scope.raw}, lifted to the package minimum)` : ''}`);
+  else console.log('no price in the letter: add --price once the list is agreed and you have decided what to charge');
   console.log(`wrote ${base}-foundation-scope.json, ${base}-foundation-letter.md, ${base}-foundation-checklist.md`);
 } else { console.error(`unknown command ${cmd}`); process.exit(2); }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.7.1",
+  "version": "0.7.2",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",

package/src/collect.mjs

@@ -59,9 +59,22 @@ function analysePage(url, html) {
       walk(j);
     } catch { schemaTypes.push('(invalid JSON-LD)'); }
   }
+  // Служебная обвязка вырезается, кроме <header>, в котором стоит H1: это шапка статьи, а не сайта.
+  const bodyHtml = (html.match(/<body[\s\S]*<\/body>/i) || [html])[0]
+    .replace(/<(nav|footer|aside|script|style)[\s\S]*?<\/\1>/gi, ' ')
+    .replace(/<header[\s\S]*?<\/header>/gi, (block) => (/<h1[\s>]/i.test(block) ? block : ' '));
+  const plain = (x) => x.replace(/<[^>]+>/g, ' ').replace(/&nbsp;/g, ' ').replace(/\s+/g, ' ').trim();
+  const countWords = (x) => (x.match(/[\p{L}\p{N}][\p{L}\p{N}'’-]*/gu) || []).length;
   const body = root.querySelector('body');
-  const text = (body?.text ?? '').replace(/\s+/g, ' ').trim();
-  const words = (text.match(/[\p{L}\p{N}][\p{L}\p{N}'’-]*/gu) || []).length;
+  // Парсер иногда не находит body в большом или неаккуратном HTML и молча возвращает пустой текст,
+  // а пустой текст это приговор «страница пустая». Проверено на css-tricks.com: 178 КБ, body не
+  // найден, слов ноль при живых 978. Поэтому берём тот текст, которого больше: пустоту показывать
+  // клиенту нельзя, это ложное обвинение, за которое он ещё и заплатит в смете.
+  const parsedText = (body?.text ?? '').replace(/\s+/g, ' ').trim();
+  const text = countWords(parsedText) >= countWords(plain(bodyHtml)) ? parsedText : plain((html.match(/<body[\s\S]*<\/body>/i) || [html])[0].replace(/<(script|style)[\s\S]*?<\/\1>/gi, ' '));
+  // Слова считаем по содержимому без меню и подвала: иначе страница из одного абзаца в большом
+  // шаблоне выглядит на три тысячи слов и проверка на пустые страницы не значит ничего.
+  const words = countWords(plain(bodyHtml)) || countWords(text);
   const links = root.querySelectorAll('a[href]').map((a) => a.getAttribute('href') || '');
   const ld = root.querySelectorAll('script[type="application/ld+json"]').map((x) => x.text).join('\n');
   const dates = { published: attr('meta[property="article:published_time"]', 'content') || (ld.match(/"datePublished"\s*:\s*"([^"]+)"/) || [])[1] || '', modified: attr('meta[property="article:modified_time"]', 'content') || (ld.match(/"dateModified"\s*:\s*"([^"]+)"/) || [])[1] || '' };
@@ -108,11 +121,6 @@ function analysePage(url, html) {
     author: /"author"\s*:/.test(ld),
   };
   // Answer-first family, the same measures the free AI visibility check uses, so the two agree.
-  // Site chrome is stripped, except a <header> that carries the H1: that is the article head, not chrome.
-  const bodyHtml = (html.match(/<body[\s\S]*<\/body>/i) || [html])[0]
-    .replace(/<(nav|footer|aside|script|style)[\s\S]*?<\/\1>/gi, ' ')
-    .replace(/<header[\s\S]*?<\/header>/gi, (block) => (/<h1[\s>]/i.test(block) ? block : ' '));
-  const plain = (x) => x.replace(/<[^>]+>/g, ' ').replace(/&nbsp;/g, ' ').replace(/\s+/g, ' ').trim();
   const afterH1 = bodyHtml.split(/<\/h1>/i)[1] || '';
   const firstPara = plain((afterH1.match(/<p[^>]*>([\s\S]*?)<\/p>/i) || ['', ''])[1]);
   const firstParaWords = (firstPara.match(/[\p{L}\p{N}][\p{L}\p{N}'’-]*/gu) || []).length;
@@ -125,13 +133,18 @@ function analysePage(url, html) {
   const ownHostname = (() => { try { return new URL(url).hostname.replace(/^www\./, ''); } catch { return ''; } })();
   // Абзацы, в которых вообще есть цифра. Без этого счётчика «цифры без источника» вменяется
   // странице, где цифр нет ни одной, например политике конфиденциальности.
-  const figureParagraphs = (bodyHtml.match(/<p[^>]*>[\s\S]*?<\/p>/gi) || []).filter((para) => /\d/.test(plain(para))).length;
-  const citedParagraphs = (bodyHtml.match(/<p[^>]*>[\s\S]*?<\/p>/gi) || []).filter((para) => {
-    if (!/\d/.test(plain(para))) return false;
-    return [...para.matchAll(/<a[^>]+href=["'](https?:\/\/[^"']+)["']/gi)].some((m) => {
-      try { return new URL(m[1]).hostname.replace(/^www\./, '') !== ownHostname; } catch { return false; }
-    });
-  }).length;
+  // Абзацы берём разбором дерева, а не регуляркой: на странице с незакрытым <p> регулярка
+  // склеивает переключатель валют, заголовок и текст в один «абзац с цифрой». Порог в двенадцать
+  // слов отсекает служебные обрывки: цена в карточке это не утверждение, которому нужен источник.
+  const PROSE_WORDS = 12;
+  const paras = (body ? body.querySelectorAll('p') : []).map((el) => ({
+    text: (el.text || '').replace(/\s+/g, ' ').trim(),
+    hrefs: el.querySelectorAll('a[href]').map((a) => a.getAttribute('href') || ''),
+  })).filter((x) => countWords(x.text) >= PROSE_WORDS && /\d/.test(x.text));
+  const figureParagraphs = paras.length;
+  const citedParagraphs = paras.filter((x) => x.hrefs.some((h) => {
+    try { return new URL(h, url).hostname.replace(/^www\./, '') !== ownHostname; } catch { return false; }
+  })).length;
   return { url, title, citedParagraphs, figureParagraphs, titleLength: title.length, description, descriptionLength: description.length, descriptionGarbage: shortcode, h1Count: h1s.length, h1: h1s[0] || '', images: imgs.length, imagesNoAlt: imgsNoAlt, canonical, robots, viewport, og, twitter, generator, hreflang, scripts, stylesheets, schemaTypes: [...new Set(schemaTypes)], words, links, dates, firstPara: firstPara.slice(0, 220), firstParaWords, answerFirst, h2Count, tables, sourcePhrases , telLinks, mailLinks, messengerLinks, contactPages, forms: realForms.length, formFields, formDepth, ctaFirstScreen, trust };
 }
 

package/src/foundation.mjs

@@ -13,6 +13,10 @@
  * Чего этот расчёт не знает: какие страницы приносят показы. Это видно только в Search Console,
  * доступ к которой даёт клиент, и это бесплатно. Без доступа мы считаем по выборке и говорим
  * об этом прямо, а не делаем вид, что выбрали важные страницы.
+ *
+ * Деньги в письмо по умолчанию не попадают. Объём работы машина считает честно, а цену называет
+ * человек: короткая страница бывает короткой намеренно, и счёт, выставленный автоматом, окажется
+ * счётом за работу, которой не нужно было делать. Цена включается флагом, осознанно.
  */
 
 /**
@@ -84,13 +88,17 @@ export function buildFoundationScope(audit, opts = {}) {
   const unit = Number(opts.unit ?? (lang === 'en' ? 50 : 4200));
   const minimum = Number(opts.minimum ?? (lang === 'en' ? 500 : 42000));
   const newPages = Math.max(0, Number(opts.newPages ?? 0));
+  const withPrice = opts.withPrice === true;
 
   const sampled = (audit.sample || []).filter((p) => p.title !== undefined && typeof p.words === 'number');
   const utility = sampled.filter((p) => isUtilityPage(p.url));
   const content = sampled.filter((p) => !isUtilityPage(p.url));
   const pages = [];
   for (const p of content) {
-    const issues = PAGE_ISSUES.filter((i) => i.test(p));
+    let issues = PAGE_ISSUES.filter((i) => i.test(p));
+    // Странице, которую пишем заново, незачем отдельной строкой советовать переписать первый
+    // абзац: это та же работа, названная дважды, и в списке она выглядит как две.
+    if (issues.some((i) => i.heavy)) issues = issues.filter((i) => i.heavy);
     if (!issues.length) continue;
     const tier = tierOf(issues);
     pages.push({
@@ -112,7 +120,7 @@ export function buildFoundationScope(audit, opts = {}) {
   const price = Math.max(minimum, raw);
 
   return {
-    lang, currency, unit, minimum, newPages,
+    lang, currency, unit, minimum, newPages, withPrice,
     host: audit.meta?.host,
     checkedAt: audit.meta?.collectedAt,
     sampledPages: sampled.length,
@@ -134,6 +142,9 @@ const T = {
     tier: { rewrite: 'написать заново', rework: 'переработать', touch: 'одна правка' },
     words: (n) => `${n} ${plural(n, 'слово', 'слова', 'слов')}`,
     newPages: (n, s) => `## Новые страницы: ${n}\n\nСтраниц, которых у вас нет, а рынок их спрашивает: ${n}. Каждая считается как страница с нуля, это ${s} ${plural(s, 'доля', 'доли', 'долей')}.`,
+    workHead: '## Объём работы',
+    workBody: (s) => `Всего ${s} ${plural(s, 'доля', 'доли', 'долей')} работы. Доля это работа над одной страницей: одна правка доля, две или три две доли, четыре и больше или пустая страница три. Цену мы назовём отдельно, когда вы согласуете сам список.`,
+    thinWarn: 'Среди них есть страницы короче трёхсот слов. Если такие страницы у вас задуманы короткими, это анонсы, новости или ссылки на чужой материал, скажите, и мы уберём их из списка: писать их заново незачем.',
     priceHead: '## Цена',
     priceBody: (s, u, c, raw) => `Доля работы над одной страницей стоит ${u} ${c}. Долей набралось ${s}, это ${raw} ${c}.`,
     atMin: (min, c) => `Минимум пакета ${min} ${c}, поэтому в счёте будет ${min} ${c}: меньше этой суммы браться нет смысла ни нам, ни вам.`,
@@ -157,6 +168,9 @@ const T = {
     tier: { rewrite: 'write from scratch', rework: 'rework', touch: 'one edit' },
     words: (n) => `${n} word${n === 1 ? '' : 's'}`,
     newPages: (n, s) => `## New pages: ${n}\n\nPages you do not have and the market asks for: ${n}. Each counts as a page written from scratch, ${s} share${s === 1 ? '' : 's'}.`,
+    workHead: '## Scope of work',
+    workBody: (s) => `${s} share${s === 1 ? '' : 's'} of work in total. A share is the work on one page: one edit is a share, two or three defects are two, four or more (or an empty page) three. We name the price separately, once you have agreed the list itself.`,
+    thinWarn: 'Some of these are under 300 words. If those pages are meant to be short, link posts, news items, announcements, say so and we will drop them from the list: there is nothing to rewrite.',
     priceHead: '## Price',
     priceBody: (s, u, c, raw) => `One share of work on a page costs ${u} ${c}. The scope came to ${s} shares, which is ${raw} ${c}.`,
     atMin: (min, c) => `The package minimum is ${min} ${c}, so the invoice will say ${min} ${c}: below that it is not worth either side's time.`,
@@ -194,11 +208,18 @@ export function renderFoundationScope(scope) {
   }
   if (scope.newPages) { L.push(t.newPages(scope.newPages, scope.newShares)); L.push(''); }
 
-  L.push(t.priceHead);
-  L.push('');
-  L.push(t.priceBody(scope.shares, scope.unit, scope.currency, scope.raw));
-  if (scope.atMinimum) L.push(t.atMin(scope.minimum, scope.currency));
-  L.push(t.total(scope.price, scope.currency));
+  if (scope.withPrice) {
+    L.push(t.priceHead);
+    L.push('');
+    L.push(t.priceBody(scope.shares, scope.unit, scope.currency, scope.raw));
+    if (scope.atMinimum) L.push(t.atMin(scope.minimum, scope.currency));
+    L.push(t.total(scope.price, scope.currency));
+  } else {
+    L.push(t.workHead);
+    L.push('');
+    L.push(t.workBody(scope.shares));
+  }
+  if (scope.pages.some((p) => p.issues.some((i) => i.id === 'thin'))) { L.push(''); L.push(t.thinWarn); }
   L.push('');
   L.push(t.needHead);
   L.push('');
@@ -216,7 +237,7 @@ export function renderFoundationScope(scope) {
 export function renderFoundationChecklist(scope) {
   const t = dict(scope.lang);
   const L = [`# ${scope.lang === 'en' ? 'Foundation checklist' : 'Чек-лист Foundation'}: ${scope.host}`, '',
-    `${scope.lang === 'en' ? 'Shares' : 'Долей'}: ${scope.shares} (${scope.pageShares} + ${scope.newShares} ${scope.lang === 'en' ? 'new' : 'новых'}). ${scope.lang === 'en' ? 'Price' : 'Цена'}: ${scope.price} ${scope.currency}.`, ''];
+    `${scope.lang === 'en' ? 'Shares' : 'Долей'}: ${scope.shares} (${scope.pageShares} + ${scope.newShares} ${scope.lang === 'en' ? 'new' : 'новых'}).${scope.withPrice ? ` ${scope.lang === 'en' ? 'Price' : 'Цена'}: ${scope.price} ${scope.currency}.` : ''}`, ''];
   for (const p of scope.pages) {
     L.push(`- [ ] ${p.title} (${t.tier[p.tier]}, ${p.shares})`);
     L.push(`      ${p.url}`);

package/src/test-foundation.mjs

@@ -17,6 +17,7 @@ is('цена без работы ноль долей', clean.shares, 0);
 
 const thin = buildFoundationScope(audit([page({ words: 120 })]));
 is('пустая страница это три доли', thin.pages[0].shares, 3);
+is('и одна работа, а не список повторов', buildFoundationScope(audit([page({ words: 90, answerFirst: false, h2Count: 0, tables: 0 })])).pages[0].issues.map((i) => i.id), ['thin']);
 is('и помечена как «написать заново»', thin.pages[0].tier, 'rewrite');
 
 const one = buildFoundationScope(audit([page({ answerFirst: false })]));
@@ -66,7 +67,20 @@ is('цена доли по умолчанию', en.unit, 50);
 is('минимум пакета', en.minimum, 500);
 const letterEn = renderFoundationScope({ ...en, host: 'x.com', pages: en.pages.map((p) => ({ ...p, title: 'A page' })) });
 ok('английское письмо без кириллицы', !/[А-Яа-яЁё]/.test(letterEn));
-ok('в английском письме есть цена', letterEn.includes('500 USD'));
+
+// Деньги в письме только по флагу: цену называет человек, а не машина
+ok('по умолчанию цены в письме нет', !/USD|RUB/.test(letterEn));
+ok('вместо неё объём работы', letterEn.includes('share') && letterEn.includes('name the price separately'));
+const priced = buildFoundationScope(audit([page({ url: 'https://x.ru/a/', words: 100 })]), { lang: 'en', withPrice: true });
+ok('с флагом цена появляется', renderFoundationScope(priced).includes('500 USD'));
+ok('и в чек-листе тоже', renderFoundationChecklist(priced).includes('500 USD'));
+ok('без флага чек-лист без денег', !/USD|RUB/.test(renderFoundationChecklist(en)));
+is('доли считаются в обоих случаях', [en.shares > 0, priced.shares > 0], [true, true]);
+
+// Короткие страницы бывают короткими намеренно, поэтому их просим подтвердить
+const thinLetter = renderFoundationScope(buildFoundationScope(audit([page({ url: 'https://x.ru/n/', words: 90 })])));
+ok('письмо просит подтвердить короткие страницы', thinLetter.includes('задуманы короткими'));
+ok('без коротких страниц такой оговорки нет', !renderFoundationScope(buildFoundationScope(audit([page({ url: 'https://x.ru/a/', answerFirst: false })]))).includes('задуманы короткими'));
 
 // Чек-лист
 const list = renderFoundationChecklist(many);