qq-bot-roost 0.8.11 → 0.8.13

package/README.md

@@ -10,7 +10,7 @@
 <img src="https://img.shields.io/badge/dependencies-0-brightgreen" alt="零依赖">
 <img src="https://img.shields.io/badge/tests-600%2B%20passed-brightgreen" alt="测试 600+ 项">
 <img src="https://img.shields.io/badge/plugins-JS%20%7C%20Python%20%7C%20Go%20%7C%20any-blue" alt="多语言插件">
-<img src="https://img.shields.io/badge/version-0.8.11-blueviolet" alt="版本 0.8.11">
+<img src="https://img.shields.io/badge/version-0.8.13-blueviolet" alt="版本 0.8.13">
 <img src="https://img.shields.io/badge/license-Non--Commercial-red" alt="禁止商用">
 <a href="https://github.com/tdcq9594/qq-bot-roost/actions"><img src="https://img.shields.io/github/actions/workflow/status/tdcq9594/qq-bot-roost/ci.yml?branch=master" alt="CI"></a>
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "qq-bot-roost",
-  "version": "0.8.11",
+  "version": "0.8.13",
   "type": "module",
   "description": "栖 Roost：零依赖的 QQ 官方机器人框架，填 AppID/AppSecret 即连，插件可写任意语言",
   "license": "SEE LICENSE IN LICENSE",

package/src/gitee.js

@@ -69,7 +69,14 @@ export function giteeRawUrl(repo, ref, filePath) {
  *                            如 ['src/', 'package.json']；不传拉全仓
  * @param {number} [o.timeoutMs] 单文件超时
  * @param {(msg:string)=>void} [o.onProgress] 每拉完一个文件调一次
- * @returns {Promise<{files:number, skipped:number}>}
+ * @param {boolean} [o.allowPartial] 有文件拉不下时**不抛错**，把失败清单放进
+ *   返回值的 `failed` 里，交给调用方用别的源补拉。默认 false（整体中止）。
+ *
+ *   为什么要这个开关：Gitee 会对个别文件返回 451（内容审查），而**同一个
+ *   文件在 GitHub 上是好的**（实测 douluo 的 content-pack.sql 等 4 个文件）。
+ *   以前只要有一个失败就整包中止，等于一个文件被屏蔽 → 整个插件装不上。
+ *
+ * @returns {Promise<{files:number, skipped:number, failed:Array<{path:string,error:string}>}>}
  */
 export async function fetchGiteeTree({
   repo,
@@ -79,6 +86,7 @@ export async function fetchGiteeTree({
   only = null,
   timeoutMs = 120000,
   onProgress,
+  allowPartial = false,
 }) {
   if (!repo || !/^[\w.-]+\/[\w.-]+$/.test(repo)) throw new Error(`Gitee 仓库名不合法：${repo}`);
   if (!ref) throw new Error('Gitee 下载缺少分支/tag');
@@ -121,6 +129,7 @@ export async function fetchGiteeTree({
   await fs.mkdir(destDir, { recursive: true });
   let done = 0;
   let failed = 0;
+  const failedList = [];
   let cursor = 0;
 
   async function worker() {
@@ -145,7 +154,15 @@ export async function fetchGiteeTree({
               signal: AbortSignal.timeout(timeoutMs),
             });
             if (res.ok) break;
-            lastErr = new Error(`HTTP ${res.status}`);
+            /**
+             * 451 = Unavailable For Legal Reasons。Gitee 会对个别文件返回它
+             * （内容审查），而同一个文件在 GitHub 上是 200。光写「HTTP 451」
+             * 没人看得懂该去换下载源，所以翻成人话。
+             */
+            lastErr =
+              res.status === 451
+                ? new Error('HTTP 451（Gitee 上这个文件不可用，多半被内容审查挡了）')
+                : new Error(`HTTP ${res.status}`);
             if (!isRetryable(res, null)) {
               res = null;
               break;
@@ -169,6 +186,7 @@ export async function fetchGiteeTree({
         onProgress?.(`${done}/${files.length} ${f.path}`);
       } catch (e) {
         failed += 1;
+        failedList.push({ path: f.path, error: e.message });
         log.warn(`拉取失败 ${f.path}: ${e.message}`);
       }
     }
@@ -177,9 +195,11 @@ export async function fetchGiteeTree({
   await Promise.all(Array.from({ length: Math.min(CONCURRENCY, files.length) }, worker));
 
   if (failed) {
+    // 调用方要自己补拉就不抛 —— 它补完还失败会自己报错，那时信息更全
+    if (allowPartial) return { files: done, skipped: files.length - done, failed: failedList };
     throw new Error(`Gitee 下载 ${repo}@${ref}：${files.length} 个文件里 ${failed} 个失败，已中止`);
   }
-  return { files: done, skipped: files.length - done };
+  return { files: done, skipped: files.length - done, failed: [] };
 }
 
 /**

package/src/plugin/market.js

@@ -251,6 +251,69 @@ export async function verifyPluginDir(entry, dir) {
  * @param {number} [o.timeoutMs]
  * @param {(msg:string)=>void} [o.onRetry]
  */
+/**
+ * 单个文件的 GitHub raw 地址。
+ * 走 `fetchViaMirror`，所以自定义镜像 / 代理一样生效。
+ */
+function githubRawUrl(repo, ref, filePath) {
+  const p = String(filePath ?? '')
+    .split('/')
+    .map((s) => encodeURIComponent(s))
+    .join('/');
+  return `https://raw.githubusercontent.com/${repo}/${encodeURIComponent(ref)}/${p}`;
+}
+
+/**
+ * 把 Gitee 拉不下来的那几个文件，**逐个**从 GitHub 补回来。
+ *
+ * 为什么只补这几个而不是整包重拉：Gitee 的 451 是**按文件**来的 —— douluo
+ * 那么大一个插件只有 4 个文件被挡，其余都拉成功了。为 4 个文件重拉整包
+ * （几十上百个文件）纯属浪费，国内网络下很容易再断一次。
+ *
+ * @param {Array<{path:string,error:string}>} failed fetchGiteeTree 返回的失败清单
+ * @param {(url:string, init?:object)=>Promise<Response>} [fetcher] 取数函数，默认
+ *   走镜像。**给测试注入假网络用**，正常调用不需要传。
+ * @returns {Promise<Array<{path:string,error:string}>>} 补拉后仍然失败的（空数组 = 全补齐了）
+ *
+ * @internal 导出只为可测（selftest 里用它跑假网络），不是公共 API。
+ */
+export async function backfillFromGitHub({
+  repo,
+  branch,
+  destDir,
+  failed,
+  timeoutMs = 120000,
+  onProgress,
+  fetcher = fetchViaMirror,
+}) {
+  const still = [];
+  for (const item of failed) {
+    const dest = path.resolve(path.join(destDir, item.path));
+    // 清单来自服务端，仍按不可信处理，防路径穿越
+    const base = path.resolve(destDir);
+    if (dest !== base && !dest.startsWith(base + path.sep)) {
+      still.push({ path: item.path, error: '越界路径' });
+      continue;
+    }
+    try {
+      const res = await fetcher(githubRawUrl(repo, branch, item.path), {
+        headers: { 'User-Agent': 'qq-bot-roost' },
+        signal: AbortSignal.timeout(Math.min(timeoutMs, 30000)),
+      });
+      if (!res.ok) throw new Error(`HTTP ${res.status}`);
+      const buf = Buffer.from(await res.arrayBuffer());
+      if (!buf.length) throw new Error('内容是空的');
+      await fs.mkdir(path.dirname(dest), { recursive: true });
+      await fs.writeFile(dest, buf);
+      log.info(`已从 GitHub 补齐 ${item.path}（Gitee 上拉不到）`);
+      onProgress?.(`补齐 ${item.path}`);
+    } catch (e) {
+      still.push({ path: item.path, error: `Gitee 失败后 GitHub 也失败：${e.message}` });
+    }
+  }
+  return still;
+}
+
 async function downloadRepoContents({
   repo,
   branch,
@@ -259,13 +322,53 @@ async function downloadRepoContents({
   expectSha256 = null,
   timeoutMs = 120000,
   onRetry,
+  onProgress,
 }) {
   const id = currentMirror().id;
   const token = currentMirror().giteeToken;
 
-  if (id === 'gitee') {
-    return fetchGiteeTree({ repo, ref: branch, destDir, only, timeoutMs, token });
-  }
+  /**
+   * Gitee 路径统一走这里：允许部分失败，再用 GitHub 把缺口补上。
+   * `allowPartial` 打开后 fetchGiteeTree 不再抛错，失败清单交给下面处理。
+   */
+  const viaGitee = async () => {
+    const r = await fetchGiteeTree({
+      repo,
+      ref: branch,
+      destDir,
+      only,
+      timeoutMs,
+      token,
+      allowPartial: true,
+    });
+    if (!r.failed?.length) return r;
+    log.warn(
+      `Gitee 上有 ${r.failed.length} 个文件拉不到（常见原因是 451 内容审查），` +
+        `改用 GitHub 逐个补齐：${r.failed.slice(0, 3).map((f) => f.path).join('、')}` +
+        (r.failed.length > 3 ? ' 等' : ''),
+    );
+    const still = await backfillFromGitHub({
+      repo,
+      branch,
+      destDir,
+      failed: r.failed,
+      timeoutMs,
+      onProgress,
+    });
+    if (still.length) {
+      throw new Error(
+        `${still.length} 个文件在 Gitee 和 GitHub 上都拉不到：\n  ` +
+          still
+            .slice(0, 5)
+            .map((f) => `${f.path}（${f.error}）`)
+            .join('\n  ') +
+          '\n可以在面板「下载源」里换一个镜像再试。',
+      );
+    }
+    return { ...r, failed: [], backfilled: r.failed.length };
+  };
+
+  if (id === 'gitee') return viaGitee();
 
   try {
     return await fetchAndExtract(branchTarballUrl(repo, branch), destDir, {
@@ -280,7 +383,7 @@ async function downloadRepoContents({
     log.warn(`GitHub 下载失败（${e.message}），改用 Gitee 镜像`);
     // 清掉可能写了一半的残留，再整树重拉
     await fs.rm(destDir, { recursive: true, force: true }).catch(() => {});
-    return fetchGiteeTree({ repo, ref: branch, destDir, only, timeoutMs, token });
+    return viaGitee();
   }
 }
 

package/src/web/server.js

@@ -111,6 +111,57 @@ const CSP_PAGE = [
   "connect-src http: https:",
 ].join('; ');
 
+/**
+ * 插件页的「自动带令牌」补丁 —— 注入到插件页 HTML 最前面。
+ *
+ * **为什么需要（0.8.12 修的回归）**：iframe 地址上带的凭证以前是面板密钥
+ * `?key=`，插件页面自己把它转发给接口。0.8.9 起换成了一次性页面令牌
+ * `?pt=`，但**已有插件的页面还在转发 `key`** —— 于是它们发出的请求一个
+ * 凭证都没带；iframe 又是 opaque origin（`Origin: null`），`isSameOrigin()`
+ * 判跨站 → 403，页面永远停在「加载中…」，控制台只看到 `Failed to load
+ * resource: 403`。dice 的战绩页就是这么挂的。
+ *
+ * 不能指望每个插件作者都回来改这一行（市场里的插件都在外部仓库），
+ * 所以框架替页面把 `pt` 补上。
+ *
+ * **安全边界没变**：
+ * - 只补发给**面板自己**（目标 origin 必须等于文档基准的 origin），
+ *   第三方站点拿不到令牌；
+ * - 能碰哪些路径仍由 `pageTokenAllows()` 决定，拿着令牌也调不了
+ *   /api/config、/api/logs、/api/bots。
+ *
+ * @param {string} pt 本次请求的页面令牌
+ * @returns {string} 一段 `<script>`，无令牌时返回空串
+ */
+export const pageTokenPatch = (pt) => {
+  const token = String(pt ?? '').replace(/[^A-Za-z0-9]/g, '');
+  if (!token) return '';
+  return (
+    '<script>(function(){var PT=' +
+    JSON.stringify(token) +
+    ',BASE=document.baseURI||location.href,SELF="";' +
+    'try{SELF=new URL(BASE).origin}catch(e){}' +
+    // 只给面板自己的地址补令牌：第三方 origin 原样发出，绝不外泄
+    'function add(u){try{var n=new URL(u,BASE);' +
+    'if(SELF&&n.origin!==SELF)return u;' +
+    'if(n.searchParams.get("pt"))return n.href;' +
+    'n.searchParams.set("pt",PT);return n.href}catch(e){return u}}' +
+    'var f=window.fetch;if(f)window.fetch=function(i,o){try{' +
+    'if(typeof i==="string")i=add(i);' +
+    'else if(i instanceof URL)i=new URL(add(i.href));' +
+    'else if(typeof Request!=="undefined"&&i instanceof Request){var h=add(i.url);' +
+    'if(h!==i.url)i=new Request(h,i)}}catch(e){}return f.call(window,i,o)};' +
+    'var X=window.XMLHttpRequest;' +
+    'if(X&&X.prototype&&X.prototype.open){var O=X.prototype.open;' +
+    'X.prototype.open=function(m,u){if(typeof u==="string"){' +
+    'try{arguments[1]=add(u)}catch(e){}}return O.apply(this,arguments)}};' +
+    'var E=window.EventSource;' +
+    'if(E){var W=function(u,c){return new E(add(String(u)),c)};W.prototype=E.prototype;' +
+    'try{W.CONNECTING=E.CONNECTING;W.OPEN=E.OPEN;W.CLOSED=E.CLOSED}catch(e){}' +
+    'window.EventSource=W}})();<\/script>'
+  );
+};
+
 const MIME = {
   '.html': 'text/html; charset=utf-8',
   '.css': 'text/css; charset=utf-8',
@@ -1637,9 +1688,15 @@ export async function startWebServer({
            * 所以有 doctype 就插在它后面。
            */
           const style = PAGE_THEME[theme];
+          /**
+           * 自动带令牌的补丁必须比页面自己的脚本**先**执行，所以跟主题样式
+           * 一起插在最前面（doctype 之后 / 没有 doctype 就文档开头）。
+           */
+          const patch = pageTokenPatch(url.searchParams.get('pt') || ptPage?.token || '');
+          const prefix = patch + style;
           const html = /^<!doctype/i.test(p.html.trimStart())
-            ? p.html.replace(/^(\s*<!doctype[^>]*>)/i, `$1${style}`)
-            : style + p.html;
+            ? p.html.replace(/^(\s*<!doctype[^>]*>)/i, `$1${prefix}`)
+            : prefix + p.html;
           return res.end(html);
         }