@webnumseoagent/next 0.1.17 → 0.1.19

package/client.ts

@@ -20,7 +20,7 @@ interface SeoFields {
   title?: string;
   description?: string;
   canonical?: string;
-  robots?: { index?: boolean; follow?: boolean };
+  robots?: { index?: boolean; follow?: boolean; noarchive?: boolean; nosnippet?: boolean; noimageindex?: boolean };
   og?: { title?: string; description?: string; image?: string; siteName?: string; locale?: string };
   twitter?: { card?: string; image?: string; site?: string };
   facebook?: { appId?: string; admins?: string }; // fb:app_id / fb:admins (admins — через запятую)
@@ -44,9 +44,30 @@ async function fetchJson<T>(path: string, revalidate = 300): Promise<T | null> {
   }
 }
 
+// Next допускает robots и строкой ("noindex, nofollow"), и объектом. Чтобы не потерять
+// строковый дефолт сайта при наложении директив, разбираем его в объект (токены точным
+// сравнением — иначе "follow" совпал бы внутри "nofollow"). Незнакомые директивы (max-snippet…)
+// опускаем — они редки, а оверрайд и так намеренный.
+function robotsFromString(s: string): Record<string, unknown> {
+  const out: Record<string, unknown> = {};
+  for (const raw of s.split(",")) {
+    switch (raw.trim().toLowerCase()) {
+      case "noindex": out.index = false; break;
+      case "index": out.index = true; break;
+      case "nofollow": out.follow = false; break;
+      case "follow": out.follow = true; break;
+      case "noarchive": out.noarchive = true; break;
+      case "nosnippet": out.nosnippet = true; break;
+      case "noimageindex": out.noimageindex = true; break;
+    }
+  }
+  return out;
+}
+
 // Накладывает удалённый конфиг ПОВЕРХ скомпилированных дефолтов сайта.
-// robots: index флипается в false ТОЛЬКО если удалённо явно index:false; иначе
-// сохраняем дефолт сайта (защита от случайного деиндекса).
+// robots: index/follow меняем ТОЛЬКО при явном булеве (иначе сохраняем дефолт сайта — защита
+// от случайного деиндекса); ограничительные директивы (noarchive/nosnippet/noimageindex)
+// добавляем поверх дефолта сайта только когда явно включены.
 function mergeIntoMetadata(fallback: Metadata, f: SeoFields): Metadata {
   const m: Metadata = { ...fallback };
   if (f.title) {
@@ -61,7 +82,17 @@ function mergeIntoMetadata(fallback: Metadata, f: SeoFields): Metadata {
   if (f.description) m.description = f.description;
   if (f.canonical) m.alternates = { ...(m.alternates ?? {}), canonical: f.canonical };
   if (f.robots) {
-    m.robots = { index: f.robots.index !== false, follow: f.robots.follow !== false };
+    const r = f.robots;
+    const base: Record<string, unknown> =
+      typeof m.robots === "string" ? robotsFromString(m.robots)
+      : m.robots && typeof m.robots === "object" ? { ...(m.robots as Record<string, unknown>) }
+      : {};
+    if (typeof r.index === "boolean") base.index = r.index; // false → noindex; true → index; иначе не трогаем
+    if (typeof r.follow === "boolean") base.follow = r.follow;
+    if (r.noarchive) base.noarchive = true;
+    if (r.nosnippet) base.nosnippet = true;
+    if (r.noimageindex) base.noimageindex = true;
+    m.robots = base as Metadata["robots"];
   }
   if (f.og) {
     m.openGraph = {

package/dist/client.js

@@ -39,9 +39,43 @@ async function fetchJson(path, revalidate = 300) {
         return null;
     }
 }
+// Next допускает robots и строкой ("noindex, nofollow"), и объектом. Чтобы не потерять
+// строковый дефолт сайта при наложении директив, разбираем его в объект (токены точным
+// сравнением — иначе "follow" совпал бы внутри "nofollow"). Незнакомые директивы (max-snippet…)
+// опускаем — они редки, а оверрайд и так намеренный.
+function robotsFromString(s) {
+    const out = {};
+    for (const raw of s.split(",")) {
+        switch (raw.trim().toLowerCase()) {
+            case "noindex":
+                out.index = false;
+                break;
+            case "index":
+                out.index = true;
+                break;
+            case "nofollow":
+                out.follow = false;
+                break;
+            case "follow":
+                out.follow = true;
+                break;
+            case "noarchive":
+                out.noarchive = true;
+                break;
+            case "nosnippet":
+                out.nosnippet = true;
+                break;
+            case "noimageindex":
+                out.noimageindex = true;
+                break;
+        }
+    }
+    return out;
+}
 // Накладывает удалённый конфиг ПОВЕРХ скомпилированных дефолтов сайта.
-// robots: index флипается в false ТОЛЬКО если удалённо явно index:false; иначе
-// сохраняем дефолт сайта (защита от случайного деиндекса).
+// robots: index/follow меняем ТОЛЬКО при явном булеве (иначе сохраняем дефолт сайта — защита
+// от случайного деиндекса); ограничительные директивы (noarchive/nosnippet/noimageindex)
+// добавляем поверх дефолта сайта только когда явно включены.
 function mergeIntoMetadata(fallback, f) {
     const m = { ...fallback };
     if (f.title) {
@@ -59,7 +93,21 @@ function mergeIntoMetadata(fallback, f) {
     if (f.canonical)
         m.alternates = { ...(m.alternates ?? {}), canonical: f.canonical };
     if (f.robots) {
-        m.robots = { index: f.robots.index !== false, follow: f.robots.follow !== false };
+        const r = f.robots;
+        const base = typeof m.robots === "string" ? robotsFromString(m.robots)
+            : m.robots && typeof m.robots === "object" ? { ...m.robots }
+                : {};
+        if (typeof r.index === "boolean")
+            base.index = r.index; // false → noindex; true → index; иначе не трогаем
+        if (typeof r.follow === "boolean")
+            base.follow = r.follow;
+        if (r.noarchive)
+            base.noarchive = true;
+        if (r.nosnippet)
+            base.nosnippet = true;
+        if (r.noimageindex)
+            base.noimageindex = true;
+        m.robots = base;
     }
     if (f.og) {
         m.openGraph = {

package/dist/sitemap-build.js

@@ -35,6 +35,30 @@ function escapeXml(s) {
         .replace(/"/g, """)
         .replace(/'/g, "'");
 }
+// Авто-репорт списка страниц на платформу: у адаптера есть ВСЕ URL сайта (из генератора
+// карты), поэтому он сам отдаёт их платформе — там появляется полный список «SEO страниц»,
+// и новые страницы подхватываются сами (без ручного скана). Fail-safe + троттлинг.
+let lastReport = 0;
+async function reportPages(entries) {
+    if (!API || !SITE || !TOKEN)
+        return;
+    const now = Date.now();
+    if (now - lastReport < 60000)
+        return; // не чаще раза в минуту на процесс
+    lastReport = now;
+    try {
+        await fetch(`${API}/api/seo/${SITE}/pages`, {
+            method: "POST",
+            headers: { "x-seo-agent-key": TOKEN, "content-type": "application/json" },
+            body: JSON.stringify({ pages: entries.map((e) => ({ loc: e.loc, lastmod: e.lastmod, title: e.title })) }),
+            signal: AbortSignal.timeout(4000),
+            cache: "no-store",
+        });
+    }
+    catch {
+        /* fail-safe: не критично — обновится при следующей генерации карты */
+    }
+}
 function normalize(entries) {
     const out = [];
     for (const e of entries) {
@@ -46,12 +70,14 @@ function normalize(entries) {
         const images = Array.isArray(e.images)
             ? e.images.filter((i) => typeof i === "string" && !!i)
             : [];
+        const title = typeof e.title === "string" ? e.title : typeof e.name === "string" ? e.name : undefined;
         out.push({
             loc: e.url,
             lastmod,
             changefreq: typeof e.changeFrequency === "string" ? e.changeFrequency : undefined,
             priority: typeof e.priority === "number" ? e.priority : undefined,
             images: images.length ? images : undefined,
+            title: title?.trim() || undefined,
         });
     }
     return out;
@@ -148,6 +174,10 @@ async function seoWrapSitemap(fn, kind, group) {
     const origin = originOf(entries);
     if (!origin || entries.length === 0)
         return EMPTY;
+    // Отдаём платформе ПОЛНЫЙ список страниц (до исключений) — только на индексном/плоском
+    // вызове (у него все URL). Await + троттлинг: доставка надёжна, задержка редка (карта кэш 300с).
+    if (kind === "index" || kind === "flat")
+        await reportPages(entries);
     // Трансформации применяем к списку записей ОДИН раз, до ветвления по kind —
     // иначе flat и «схлопывание в один раздел» их обходят.
     if (!cfg.images)

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@webnumseoagent/next",
-  "version": "0.1.17",
+  "version": "0.1.19",
   "description": "Runtime SEO adapter + installer for Next.js App Router sites (SEO Agent platform)",
   "main": "dist/client.js",
   "types": "dist/client.d.ts",

package/sitemap-build.ts

@@ -54,6 +54,29 @@ interface NEntry {
   changefreq?: string;
   priority?: number;
   images?: string[];
+  title?: string; // имя записи (name/title из генератора) — для списка «SEO страниц» на платформе
+}
+
+// Авто-репорт списка страниц на платформу: у адаптера есть ВСЕ URL сайта (из генератора
+// карты), поэтому он сам отдаёт их платформе — там появляется полный список «SEO страниц»,
+// и новые страницы подхватываются сами (без ручного скана). Fail-safe + троттлинг.
+let lastReport = 0;
+async function reportPages(entries: NEntry[]): Promise<void> {
+  if (!API || !SITE || !TOKEN) return;
+  const now = Date.now();
+  if (now - lastReport < 60_000) return; // не чаще раза в минуту на процесс
+  lastReport = now;
+  try {
+    await fetch(`${API}/api/seo/${SITE}/pages`, {
+      method: "POST",
+      headers: { "x-seo-agent-key": TOKEN, "content-type": "application/json" },
+      body: JSON.stringify({ pages: entries.map((e) => ({ loc: e.loc, lastmod: e.lastmod, title: e.title })) }),
+      signal: AbortSignal.timeout(4000),
+      cache: "no-store",
+    });
+  } catch {
+    /* fail-safe: не критично — обновится при следующей генерации карты */
+  }
 }
 
 // Запись карты может нести доп. поля (напр. images) сверх типа Next — читаем через каст.
@@ -63,6 +86,8 @@ type RawEntry = {
   changeFrequency?: string;
   priority?: number;
   images?: unknown;
+  name?: unknown; // доп. поле генератора — имя записи (товар/категория/статья)
+  title?: unknown;
 };
 
 function normalize(entries: MetadataRoute.Sitemap): NEntry[] {
@@ -74,12 +99,14 @@ function normalize(entries: MetadataRoute.Sitemap): NEntry[] {
     const images = Array.isArray(e.images)
       ? e.images.filter((i: unknown): i is string => typeof i === "string" && !!i)
       : [];
+    const title = typeof e.title === "string" ? e.title : typeof e.name === "string" ? e.name : undefined;
     out.push({
       loc: e.url,
       lastmod,
       changefreq: typeof e.changeFrequency === "string" ? e.changeFrequency : undefined,
       priority: typeof e.priority === "number" ? e.priority : undefined,
       images: images.length ? images : undefined,
+      title: title?.trim() || undefined,
     });
   }
   return out;
@@ -180,6 +207,10 @@ export async function seoWrapSitemap(
   const origin = originOf(entries);
   if (!origin || entries.length === 0) return EMPTY;
 
+  // Отдаём платформе ПОЛНЫЙ список страниц (до исключений) — только на индексном/плоском
+  // вызове (у него все URL). Await + троттлинг: доставка надёжна, задержка редка (карта кэш 300с).
+  if (kind === "index" || kind === "flat") await reportPages(entries);
+
   // Трансформации применяем к списку записей ОДИН раз, до ветвления по kind —
   // иначе flat и «схлопывание в один раздел» их обходят.
   if (!cfg.images) for (const e of entries) e.images = undefined; // убрать изображения