@webnumseoagent/next 0.2.3 → 0.3.1

package/bin/cli.mjs

@@ -35,6 +35,19 @@ async function ensureFile(p, content) {
   ok(path.relative(root, p));
   return true;
 }
+async function anyExistsRel(paths) {
+  for (const p of paths) if (await exists(path.join(root, p))) return true;
+  return false;
+}
+// Переименовывает файл в *.bak (не удаляя) — сохраняем чужой robots/sitemap при takeover.
+async function backupIfExists(p) {
+  if (!(await exists(p))) return false;
+  let bak = `${p}.bak`, i = 1;
+  while (await exists(bak)) bak = `${p}.bak${i++}`;
+  await fs.rename(p, bak);
+  ok(`${path.relative(root, p)} → ${path.relative(root, bak)} (бэкап)`);
+  return true;
+}
 
 async function findAppDir() {
   for (const c of ["app", "src/app"]) {
@@ -469,10 +482,156 @@ async function findMetadataPages(dir, acc = []) {
   return acc;
 }
 
+// takeover — передать robots.txt и/или sitemap.xml под управление платформы, даже если у сайта
+// уже есть свои (статический public/robots.txt|sitemap.xml или app/robots.ts|sitemap.ts). Чужие
+// файлы бэкапим в *.bak и ставим наши динамические роуты (их отдаёт адаптер, контентом рулит платформа).
+// Флаги: --robots и/или --sitemap (без флагов — оба). Требует, чтобы адаптер уже был установлен (init).
+async function takeover() {
+  log("\n\x1b[1m@webnumseoagent/next — takeover robots/sitemap\x1b[0m\n");
+  if (!isGitClean() && !args.includes("--force")) {
+    console.error("  ✗ Рабочее дерево git не чистое. Закоммить/откатись (или добавь --force), чтобы дифф был обозрим.");
+    process.exit(1);
+  }
+  const appDir = await findAppDir();
+  if (!appDir) {
+    console.error("  ✗ Не найдена папка app/ или src/app/. Запусти из корня Next.js-проекта.");
+    process.exit(1);
+  }
+  ok(`Найден app-каталог: ${appDir}/`);
+  const ext = (await exists(path.join(root, "tsconfig.json"))) ? "ts" : "js";
+
+  // Импорт клиента: пакет установлен → из пакета; иначе — из вендор-папки seoagent/ (её создаёт init).
+  const pkgMode = await exists(path.join(root, "node_modules/@webnumseoagent/next/package.json"));
+  if (!pkgMode && !(await exists(path.join(root, "seoagent", "client.ts")))) {
+    console.error("  ✗ Адаптер не установлен (нет пакета и нет seoagent/client.ts). Сначала запусти init.");
+    process.exit(1);
+  }
+  const clientFor = (file) => (pkgMode ? "@webnumseoagent/next" : `${importPath(appDir, file)}/client`);
+
+  // Без флагов — оба; иначе только выбранные.
+  const only = args.includes("--robots") || args.includes("--sitemap");
+  const doRobots = !only || args.includes("--robots");
+  const doSitemap = !only || args.includes("--sitemap");
+
+  const hdr = `{ "content-type": "application/xml; charset=utf-8", "x-seoagent-sitemap": "1" }`;
+  const childSig = ext === "ts" ? "_req: Request, { params }: { params: { name: string } }" : "_req, { params }";
+
+  if (doRobots) {
+    if (await anyExistsRel([`${appDir}/robots.txt/route.ts`, `${appDir}/robots.txt/route.js`])) {
+      skip("robots (наш роут уже есть)");
+    } else {
+      // Бэкапим чужой robots: статический public/robots.txt, метаданные app/robots.ts|js И статический
+      // app/robots.txt (Next-конвенция). Последний критично отодвинуть: иначе mkdir("app/robots.txt")
+      // для нашего роут-каталога упадёт с EEXIST (по этому пути уже лежит ФАЙЛ).
+      await backupIfExists(path.join(root, "public", "robots.txt"));
+      await backupIfExists(path.join(root, appDir, "robots.ts"));
+      await backupIfExists(path.join(root, appDir, "robots.js"));
+      await backupIfExists(path.join(root, appDir, "robots.txt"));
+      await ensureFile(
+        path.join(root, appDir, `robots.txt/route.${ext}`),
+        `import { seoRobotsTxt } from "${clientFor("robots.txt/route.ts")}";\nexport const revalidate = 300;\nexport async function GET() {\n  return new Response(await seoRobotsTxt(), { headers: { "content-type": "text/plain; charset=utf-8", "x-seoagent-robots": "1" } });\n}\n`,
+      );
+      ok("robots.txt → под управлением платформы");
+    }
+  }
+
+  if (doSitemap) {
+    if (await anyExistsRel([`${appDir}/sitemap.xml/route.ts`, `${appDir}/sitemap.xml/route.js`])) {
+      skip("sitemap (наш роут уже есть)");
+    } else {
+      const xslRoute = () => ensureFile(
+        path.join(root, appDir, `sitemap.xsl/route.${ext}`),
+        `import { SITEMAP_XSL } from "${clientFor("sitemap.xsl/route.ts")}";\nexport function GET() {\n  return new Response(SITEMAP_XSL, { headers: { "content-type": "text/xsl; charset=utf-8" } });\n}\n`,
+      );
+      // Конфликт: у сайта уже есть app/sitemap/[иной-сегмент] — тогда свой [name] не создаём.
+      let dynConflict = false;
+      const smDir = path.join(root, appDir, "sitemap");
+      if (await exists(smDir)) {
+        const names = await fs.readdir(smDir).catch(() => []);
+        dynConflict = names.some((n) => /^\[.*\]$/.test(n) && n !== "[name]");
+      }
+      // Роуты-обёртки (зовут переименованную карту сайта sitemap.source + добавляют стиль/разбивку).
+      const genWrapRoutes = async () => {
+        await ensureFile(
+          path.join(root, appDir, `sitemap.xml/route.${ext}`),
+          `import original from "../sitemap.source";\nimport { seoWrapSitemap } from "${clientFor("sitemap.xml/route.ts")}";\nexport const revalidate = 300;\nexport async function GET() {\n  return new Response(await seoWrapSitemap(original, "${dynConflict ? "flat" : "index"}"), { headers: ${hdr} });\n}\n`,
+        );
+        if (!dynConflict)
+          await ensureFile(
+            path.join(root, appDir, `sitemap/[name]/route.${ext}`),
+            `import original from "../../sitemap.source";\nimport { seoWrapSitemap } from "${clientFor("sitemap/[name]/route.ts")}";\nexport const revalidate = 300;\nexport async function GET(${childSig}) {\n  return new Response(await seoWrapSitemap(original, "child", params.name), { headers: ${hdr} });\n}\n`,
+          );
+        await xslRoute();
+      };
+      // Роуты-генерации (карту собирает платформа).
+      const genGenerateRoutes = async () => {
+        await ensureFile(
+          path.join(root, appDir, `sitemap.xml/route.${ext}`),
+          `import { seoSitemapXml } from "${clientFor("sitemap.xml/route.ts")}";\nexport const revalidate = 300;\nexport async function GET() {\n  return new Response(await seoSitemapXml("/sitemap.xml"), { headers: ${hdr} });\n}\n`,
+        );
+        if (!dynConflict)
+          await ensureFile(
+            path.join(root, appDir, `sitemap/[name]/route.${ext}`),
+            `import { seoSitemapXml } from "${clientFor("sitemap/[name]/route.ts")}";\nexport const revalidate = 300;\nexport async function GET(${childSig}) {\n  return new Response(await seoSitemapXml("/sitemap/" + params.name), { headers: ${hdr} });\n}\n`,
+          );
+        await xslRoute();
+      };
+
+      // Возобновление прерванной обёртки: карта уже переименована в sitemap.source.* (а роутов ещё нет) —
+      // просто доделываем wrap-роуты. Иначе повторный запуск ушёл бы в «генерацию» и осиротил бы URL сайта.
+      let sourceExt = null;
+      for (const e of ["ts", "js", "tsx", "jsx"]) {
+        if (await exists(path.join(root, appDir, `sitemap.source.${e}`))) { sourceExt = e; break; }
+      }
+      if (sourceExt) {
+        await genWrapRoutes();
+        ok("sitemap.xml → под управлением платформы (обёртка — докрутка после прерывания)");
+      } else {
+        // Динамическая карта сайта (app/sitemap.ts|js) со СВОИМИ URL: не теряем её — оборачиваем.
+        // Только стандартный default-export без generateSitemaps.
+        let metaSitemap = null;
+        for (const e of ["ts", "js", "tsx", "jsx"]) {
+          const p = path.join(root, appDir, `sitemap.${e}`);
+          if (await exists(p)) { metaSitemap = { p, e }; break; }
+        }
+        let wrap = false;
+        if (metaSitemap) {
+          const code = await fs.readFile(metaSitemap.p, "utf8");
+          wrap = !/\bgenerateSitemaps\b/.test(code) &&
+            (/export\s+default\s+(async\s+)?function/.test(code) || /export\s+default\s+\w/.test(code));
+        }
+        // Чужую статическую карту (public/sitemap*.xml и статический app/sitemap.xml) бэкапим в любом
+        // случае — иначе она перекроет наш роут; app/sitemap.xml критично отодвинуть (иначе mkdir EEXIST).
+        await backupIfExists(path.join(root, "public", "sitemap.xml"));
+        await backupIfExists(path.join(root, "public", "sitemap_index.xml"));
+        await backupIfExists(path.join(root, appDir, "sitemap.xml"));
+        if (wrap) {
+          await fs.rename(metaSitemap.p, path.join(root, appDir, `sitemap.source.${metaSitemap.e}`));
+          ok(`${appDir}/sitemap.${metaSitemap.e} → ${appDir}/sitemap.source.${metaSitemap.e} (оборачиваем существующую карту)`);
+          await genWrapRoutes();
+          ok("sitemap.xml → под управлением платформы (обёртка карты сайта)");
+        } else {
+          if (metaSitemap) await backupIfExists(metaSitemap.p); // нестандартный app/sitemap.* (напр. generateSitemaps)
+          await genGenerateRoutes();
+          ok("sitemap.xml → под управлением платформы (генерация с платформы)");
+        }
+      }
+    }
+  }
+
+  log("\n\x1b[1mЗатем:\x1b[0m проверь \x1b[36mgit diff\x1b[0m, затем \x1b[36mgit add -A && git commit && git push\x1b[0m. Убедись, что env SEOAGENT_* заданы в Vercel.\n");
+}
+
 if (cmd === "init") {
   init().catch((e) => { console.error(e); process.exit(1); });
+} else if (cmd === "takeover") {
+  takeover().catch((e) => { console.error(e); process.exit(1); });
 } else {
-  log("Использование: npx @webnumseoagent/next init [--wrap] [--no-blog] [--site <id>] [--token <t>] [--api <url>] [--revalidate-secret <s>]");
-  log("  --wrap     — авто-обернуть generateMetadata страниц (иначе печатает сниппеты)");
-  log("  --no-blog  — не создавать роуты блога /blog (по умолчанию блог создаётся)");
+  log("Использование: npx @webnumseoagent/next <init|takeover> [опции]");
+  log("  init [--wrap] [--no-blog] [--site <id>] [--token <t>] [--api <url>] [--revalidate-secret <s>]");
+  log("    --wrap     — авто-обернуть generateMetadata страниц (иначе печатает сниппеты)");
+  log("    --no-blog  — не создавать роуты блога /blog (по умолчанию блог создаётся)");
+  log("  takeover [--robots] [--sitemap] [--force]");
+  log("    передать robots.txt/sitemap.xml под управление платформы (бэкап чужих в *.bak);");
+  log("    без флагов — оба. Требует уже установленного адаптера (init).");
 }

package/client.ts

@@ -303,8 +303,14 @@ export async function seoRobots(): Promise<MetadataRoute.Robots> {
 //     return new Response(await seoRobotsTxt(), { headers: { "content-type": "text/plain" } });
 //   }
 // Fail-safe: при недоступности платформы отдаём разрешающий robots (никогда не Disallow: /).
+// Маркер-комментарий в начале robots.txt — чтобы платформа могла определить, что robots отдаёт
+// наш адаптер, даже когда Vercel обслуживает роут как ISR-статик и срезает заголовок x-seoagent-robots
+// (по телу — надёжно). Комментарий безвреден: краулеры игнорируют строки, начинающиеся с #.
+const ROBOTS_MARK = "# SEO Agent\n";
+const withRobotsMark = (t: string) => (t.startsWith(ROBOTS_MARK) ? t : ROBOTS_MARK + t);
+
 export async function seoRobotsTxt(): Promise<string> {
-  const FALLBACK = "User-agent: *\nAllow: /\n";
+  const FALLBACK = withRobotsMark("User-agent: *\nAllow: /\n");
   if (!API || !SITE || !TOKEN) return FALLBACK;
   try {
     const r = await fetch(`${API}/api/seo/${SITE}/robots.txt`, {
@@ -313,7 +319,7 @@ export async function seoRobotsTxt(): Promise<string> {
       signal: AbortSignal.timeout(5000),
     });
     if (!r.ok) return FALLBACK;
-    return await r.text();
+    return withRobotsMark(await r.text());
   } catch {
     return FALLBACK;
   }

package/dist/client.js

@@ -305,8 +305,13 @@ async function seoRobots() {
 //     return new Response(await seoRobotsTxt(), { headers: { "content-type": "text/plain" } });
 //   }
 // Fail-safe: при недоступности платформы отдаём разрешающий robots (никогда не Disallow: /).
+// Маркер-комментарий в начале robots.txt — чтобы платформа могла определить, что robots отдаёт
+// наш адаптер, даже когда Vercel обслуживает роут как ISR-статик и срезает заголовок x-seoagent-robots
+// (по телу — надёжно). Комментарий безвреден: краулеры игнорируют строки, начинающиеся с #.
+const ROBOTS_MARK = "# SEO Agent\n";
+const withRobotsMark = (t) => (t.startsWith(ROBOTS_MARK) ? t : ROBOTS_MARK + t);
 async function seoRobotsTxt() {
-    const FALLBACK = "User-agent: *\nAllow: /\n";
+    const FALLBACK = withRobotsMark("User-agent: *\nAllow: /\n");
     if (!API || !SITE || !TOKEN)
         return FALLBACK;
     try {
@@ -317,7 +322,7 @@ async function seoRobotsTxt() {
         });
         if (!r.ok)
             return FALLBACK;
-        return await r.text();
+        return withRobotsMark(await r.text());
     }
     catch {
         return FALLBACK;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@webnumseoagent/next",
-  "version": "0.2.3",
+  "version": "0.3.1",
   "description": "Runtime SEO adapter + installer for Next.js App Router sites (SEO Agent platform)",
   "main": "dist/client.js",
   "types": "dist/client.d.ts",