@operstack/audit 0.15.0 → 0.15.1

package/bin/audit.mjs

@@ -31,7 +31,7 @@ import { draftNarrative, stillEmpty } from '../src/narrative.mjs';
 import { renderAgentPrompts, agentPrompts } from '../src/prompts.mjs';
 import { render, checkNarrative } from '../src/render.mjs';
 import { resolveBranding } from '../src/agency.mjs';
-import { readList, runBatch, runProspect, summarise, toCsv, toMarkdown } from '../src/batch.mjs';
+import { rank, readList, runBatch, runProspect, split, summarise, toCsv, toMarkdown } from '../src/batch.mjs';
 import { writeFileSync, readFileSync } from 'node:fs';
 import { resolve } from 'node:path';
 
@@ -108,7 +108,12 @@ if (cmd === 'collect') {
   writeFileSync(`${base}.csv`, toCsv(rows));
   writeFileSync(`${base}.md`, toMarkdown(rows));
   for (const f of failed) console.error(`  skipped ${f.url}: ${f.reason}`);
-  console.log(`wrote ${base}.csv and ${base}.md: ${rows.length} site(s), weakest first`);
+  // Считаем по тем же правилам, по которым печатается таблица: иначе терминал скажет одно,
+  // а файл покажет другое, и первым, кто это заметит, будет покупатель.
+  const { live, dead } = split(rows);
+  const shown = rank(live).length;
+  console.log(`wrote ${base}.csv and ${base}.md: ${shown} site(s) to write to, weakest first`
+    + (dead.length ? `, ${dead.length} did not answer` : ''));
 } else if (cmd === 'batch') {
   const brand = brandFrom(opt, has);
   const items = readList(target);

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@operstack/audit",
-  "version": "0.15.0",
+  "version": "0.15.1",
   "description": "SEO, AEO and GEO audit generator: collect public signals from a site into audit.json, let an analyst or an agent fill the narrative, render the OperStack report as HTML and PDF.",
   "type": "module",
   "license": "MIT",

package/src/batch.mjs

@@ -11,7 +11,7 @@ import { resolve, join } from 'node:path';
 import { collect } from './collect.mjs';
 import { render } from './render.mjs';
 import { draftNarrative as draft } from './narrative.mjs';
-import { prospectRow, toCsv, toMarkdown } from './prospect.mjs';
+import { prospectRow, rank, split, toCsv, toMarkdown } from './prospect.mjs';
 
 /** Строки списка: адрес и, через запятую, имя клиента для обложки. Пустые строки и # игнорируются. */
 export function parseList(text) {
@@ -94,7 +94,16 @@ export async function runProspect(items, { pages = 8, lang = 'en', log = () => {
     if (item.invalid) { failed.push({ ...item, reason: 'not a valid address' }); log(`${label}: пропущен`); continue; }
     try {
       log(`${label}: проверяю`);
-      const audit = await collect(item.url, { pages, lang, rendered: false });
+      let audit = await collect(item.url, { pages, lang, rendered: false });
+      // Сеть подводит чаще, чем сайты падают. Один повтор через пару секунд убирает почти все
+      // ложные «не отвечает»: без него один и тот же клиент в понедельник в списке, а во вторник
+      // в мёртвых, и человек перестаёт верить таблице.
+      if (audit.meta?.reachable === false) {
+        log(`${label}: не ответил, пробую ещё раз`);
+        await new Promise((r) => setTimeout(r, 2500));
+        const again = await collect(item.url, { pages, lang, rendered: false });
+        if (again.meta?.reachable !== false) audit = again;
+      }
       rows.push(prospectRow(audit, { name: item.name, lang }));
     } catch (err) {
       failed.push({ ...item, reason: err.message });
@@ -104,4 +113,4 @@ export async function runProspect(items, { pages = 8, lang = 'en', log = () => {
   return { rows, failed };
 }
 
-export { toCsv, toMarkdown };
+export { rank, split, toCsv, toMarkdown };

package/src/prospect.mjs

@@ -194,12 +194,15 @@ export function overallScore(scores = {}) {
   return Math.round((sum / weight) * 10);
 }
 
-const SEVERITY = { fail: 0, warn: 1 };
+// Сборщик размечает проверки как ok, warn, bad и na. Слова fail в нём нет, и код,
+// который его искал, пропускал мимо себя всё самое тяжёлое.
+const SEVERITY = { bad: 0, warn: 1 };
+const OPEN = (s) => s === 'bad' || s === 'warn';
 
 /** Худшие находки по одному сайту: сначала провалы, потом предупреждения, и только те, что слышит владелец. */
 export function worstFindings(audit, limit = 3, lang = 'en') {
   const open = (audit.checks || [])
-    .filter((c) => c.status === 'fail' || c.status === 'warn')
+    .filter((c) => OPEN(c.status))
     .sort((a, b) => {
       const s = (SEVERITY[a.status] ?? 2) - (SEVERITY[b.status] ?? 2);
       if (s) return s;
@@ -218,6 +221,7 @@ export function worstFindings(audit, limit = 3, lang = 'en') {
 
 /** Одна строка таблицы: сайт, оценка, находки и фраза для письма. */
 export function prospectRow(audit, { name = '', lang = 'en' } = {}) {
+  const reachable = audit.meta?.reachable !== false;
   const findings = worstFindings(audit, 3, lang);
   // Фразу для письма ищем по всем открытым находкам, а не только по трём верхним: иначе в письмо
   // попадёт сырая техническая строка вроде «API catalogue (RFC 9727): not present», которую
@@ -229,10 +233,11 @@ export function prospectRow(audit, { name = '', lang = 'en' } = {}) {
     return (ia === -1 ? 999 : ia) - (ib === -1 ? 999 : ib);
   })[0] || findings[0] || null;
   return {
+    reachable,
     host: audit.meta?.host || '',
     name: name || audit.client?.name || audit.meta?.host || '',
     score: overallScore(audit.scores),
-    failing: (audit.checks || []).filter((c) => c.status === 'fail').length,
+    failing: (audit.checks || []).filter((c) => c.status === 'bad').length,
     warning: (audit.checks || []).filter((c) => c.status === 'warn').length,
     findings,
     say: lead ? lead.say : (lang === 'ru'
@@ -241,9 +246,13 @@ export function prospectRow(audit, { name = '', lang = 'en' } = {}) {
   };
 }
 
-/** Сортировка: сначала те, у кого хуже. Сайт без оценки уходит в конец, а не наверх. */
+/** Сортировка: сначала те, у кого хуже. Сайт без оценки уходит в конец, а не наверх.
+ *  Повторы по адресу схлопываются: список клиентов человек собирает руками, и один и тот же
+ *  сайт в нём попадается. */
 export function rank(rows) {
-  return [...rows].sort((a, b) => {
+  const seen = new Map();
+  for (const r of rows) if (!seen.has(r.host)) seen.set(r.host, r);
+  return [...seen.values()].sort((a, b) => {
     if (a.score === null) return 1;
     if (b.score === null) return -1;
     if (a.score !== b.score) return a.score - b.score;
@@ -256,20 +265,35 @@ const csvCell = (v) => {
   return /[",\n]/.test(s) ? `"${s.replace(/"/g, '""')}"` : s;
 };
 
+/** Живые и мёртвые: писать можно только живым, остальные идут отдельным списком. */
+export function split(rows) {
+  return { live: rows.filter((r) => r.reachable !== false), dead: rows.filter((r) => r.reachable === false) };
+}
+
 export function toCsv(rows) {
-  const head = ['site', 'name', 'score', 'failing', 'warnings', 'what to say'];
-  return [head, ...rank(rows).map((r) => [r.host, r.name, r.score ?? '', r.failing, r.warning, r.say])]
+  const head = ['site', 'name', 'score', 'problems', 'warnings', 'what to say'];
+  return [head, ...rank(split(rows).live).map((r) => [r.host, r.name, r.score ?? '', r.failing, r.warning, r.say])]
     .map((line) => line.map(csvCell).join(','))
     .join('\n');
 }
 
 export function toMarkdown(rows, { title = 'Prospects, worst first' } = {}) {
-  const ranked = rank(rows);
-  const out = [`# ${title}`, '', `${ranked.length} site(s), the weakest at the top.`, '',
-    '| # | Site | Score | Fails | What to say in the first line |', '|---:|---|---:|---:|---|'];
+  const { live, dead } = split(rows);
+  const ranked = rank(live);
+  const out = [`# ${title}`, '',
+    dead.length
+      ? `${ranked.length} site(s) to write to, weakest at the top. ${dead.length} did not answer and are listed at the end.`
+      : `${ranked.length} site(s), the weakest at the top.`,
+    '',
+    '| # | Site | Score | Problems | What to say in the first line |', '|---:|---|---:|---:|---|'];
   ranked.forEach((r, i) => {
     out.push(`| ${i + 1} | ${r.host} | ${r.score ?? 'n/a'} | ${r.failing} | ${r.say.replace(/\|/g, '/')} |`);
   });
+  if (dead.length) {
+    out.push('', '## Did not answer', '',
+      'These sites did not respond, so there is nothing measured and nobody to write to. Check the address before you use it.', '');
+    for (const r of rank(dead)) out.push(`- ${r.host}`);
+  }
   out.push('', '## What each one has open', '');
   for (const r of ranked) {
     out.push(`### ${r.name} (${r.host})`);

package/src/test-agency.mjs

@@ -100,7 +100,7 @@ const mk = (id, status, scores) => ({
   meta: { host: `${id}.example` }, client: { name: id }, scores,
   checks: [{ id, group: 'x', label: 'L', status, value: 'v' }],
 });
-const weak = prospectRow(mk('ai-search-access', 'fail', { a: 2 }));
+const weak = prospectRow(mk('ai-search-access', 'bad', { a: 2 }));
 ok('перекрытый доступ роботов ИИ попадает в письмо', /ChatGPT/.test(weak.say));
 ok('провал посчитан', weak.failing === 1 && weak.warning === 0);
 
@@ -124,9 +124,26 @@ ok('в CSV есть заголовок и строка', csv.split('\n').length
 ok('запятая внутри фразы не ломает CSV', toCsv([{ ...weak, say: 'a, b' }]).includes('"a, b"'));
 ok('в таблице сказано, что строки измерены, а не придуманы', /measured check, not an opinion/.test(toMarkdown([weak])));
 
-const russian = prospectRow(mk('ai-search-access', 'fail', { a: 2 }), { lang: 'ru' });
+const russian = prospectRow(mk('ai-search-access', 'bad', { a: 2 }), { lang: 'ru' });
 ok('русская фраза приходит по-русски', /Perplexity не могут/.test(russian.say));
 
 
+// Три дыры, найденные прогоном по списку, который специально собран из ломающего.
+const dead = prospectRow({ meta: { host: 'gone.example', reachable: false }, scores: {}, checks: [] });
+ok('мёртвый сайт помечен, а не выдан как кандидат', dead.reachable === false);
+const { split } = await import('./prospect.mjs');
+const parts = split([dead, prospectRow(mk('alt', 'warn', { a: 9 }))]);
+ok('мёртвые не попадают в таблицу кандидатов', parts.live.length === 1 && parts.dead.length === 1);
+ok('и названы отдельным списком', /Did not answer/.test(toMarkdown([dead, prospectRow(mk('alt', 'warn', { a: 9 }))])));
+ok('мёртвого нет в CSV', !toCsv([dead]).includes('gone.example'));
+
+const bad = prospectRow(mk('ai-search-access', 'bad', { a: 2 }));
+ok('статус bad считается провалом, а не пропускается', bad.failing === 1);
+ok('и тяжёлая находка доходит до письма', /ChatGPT/.test(bad.say));
+
+const twice = rank([prospectRow(mk('alt', 'warn', { a: 9 })), prospectRow(mk('alt', 'warn', { a: 9 }))]);
+ok('один сайт в списке дважды даёт одну строку', twice.length === 1);
+
 console.log(failed ? `\n${failed} проверок не прошли` : '\nагентский план: лицензия, оформление и список проверены');
 process.exit(failed ? 1 : 0);
+