qq-bot-roost 0.9.3 → 0.9.6

package/README.md

@@ -10,7 +10,7 @@
 <img src="https://img.shields.io/badge/dependencies-0-brightgreen" alt="零依赖">
 <img src="https://img.shields.io/badge/tests-700%2B%20passed-brightgreen" alt="测试 700+ 项">
 <img src="https://img.shields.io/badge/plugins-JS%20%7C%20Python%20%7C%20Go%20%7C%20any-blue" alt="多语言插件">
-<img src="https://img.shields.io/badge/version-0.9.3-blueviolet" alt="版本 0.9.3">
+<img src="https://img.shields.io/badge/version-0.9.6-blueviolet" alt="版本 0.9.6">
 <img src="https://img.shields.io/badge/license-Non--Commercial-red" alt="禁止商用">
 <a href="https://github.com/tdcq9594/qq-bot-roost/actions"><img src="https://img.shields.io/github/actions/workflow/status/tdcq9594/qq-bot-roost/ci.yml?branch=master" alt="CI"></a>
 
@@ -474,7 +474,7 @@ openid 完全不同。共享 `roles.json` 等于所有权限记录全部对不
 ## 开发
 
 ```bash
-npm test              # 450 项（selftest 431 + qrlogin 8 + deps 11）
+npm test              # 609 项（selftest 590 + qrlogin 8 + deps 11）
 npm run test:e2e      # 端到端 168 项（起 mock 服务打全部接口，跑在临时目录）
 npm run test:all      # 全量约 618 项：自检 + 扫码 + 依赖 + e2e（真机驱动要真机，没配就跳过）
 npm run check:secrets # 扫硬编码凭据（CI 也跑这个，提交前建议过一遍）

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "qq-bot-roost",
-  "version": "0.9.3",
+  "version": "0.9.6",
   "type": "module",
   "description": "栖 Roost：零依赖的 QQ 官方机器人框架，填 AppID/AppSecret 即连，插件可写任意语言",
   "license": "SEE LICENSE IN LICENSE",

package/src/api.js

@@ -9,6 +9,20 @@ const log = createLogger('api');
 /** 富媒体类型，对应官方 file_type */
 export const FILE_TYPE = { IMAGE: 1, VIDEO: 2, VOICE: 3, FILE: 4 };
 
+/**
+ * 富媒体软限制（字节）。官方口径：图片 20MB / 视频 30MB / 语音 20MB / 文件 200MB；
+ * 超软限会被服务端拒（普通 base64 上传接口直接 413）。
+ *
+ * `message.js` 的 `replyMedia` 用它做「图片超 20MB 自动降级为文件」；
+ * `uploadLocalFile` 拿它当最后一道兜底（防直接调它传超大文件）。
+ */
+export const MEDIA_SOFT_LIMIT = {
+  [FILE_TYPE.IMAGE]: 20 * 1024 * 1024,
+  [FILE_TYPE.VIDEO]: 30 * 1024 * 1024,
+  [FILE_TYPE.VOICE]: 20 * 1024 * 1024,
+  [FILE_TYPE.FILE]: 200 * 1024 * 1024,
+};
+
 /**
  * 被动回复序号的**最后一道**兜底上限。
  *
@@ -262,11 +276,28 @@ export class QQApi {
     let cacheKey = null;
     try {
       const st = await fs.stat(filePath);
+      /**
+       * 软限制前置校验：普通 base64 上传接口对富媒体有大小上限，
+       * 超了服务端直接 413。在这里先挡一道，报一个能看懂的错误，
+       * 别让调用方拿到「HTTP 413 ... <html>」这种垃圾信息。
+       */
+      const limit = MEDIA_SOFT_LIMIT[fileType];
+      if (limit && st.size > limit) {
+        const mb = (st.size / 1024 / 1024).toFixed(1);
+        const cap = Math.round(limit / 1024 / 1024);
+        throw new Error(`${filePath} 有 ${mb}MB，超过 ${cap}MB 上限，发不出去（先压缩或换张小图）`);
+      }
       cacheKey = `${scene}:${enc(target)}:${fileType}:file:${filePath}:${st.size}:${Math.floor(st.mtimeMs)}`;
       const hit = this.mediaCache.get(cacheKey);
       if (hit && Date.now() - hit.at < MEDIA_TTL) return hit.value;
       if (hit) this.mediaCache.delete(cacheKey);
-    } catch {
+    } catch (e) {
+      /**
+       * stat 失败或超限都落到这里。stat 失败（文件不存在 / 没权限）时
+       * 不能当缓存命中，继续往下走让 `readFile` 抛真正的错误；
+       * 超限是**明确拒绝**，必须直接把错误往上抛，不能悄悄读文件再传一遍。
+       */
+      if (/上限/.test(e?.message ?? '')) throw e;
       /* stat 失败就按无缓存走，readFile 会抛真正的错误 */
     }
 

package/src/gitee.js

@@ -57,6 +57,44 @@ export function giteeRawUrl(repo, ref, filePath) {
   return `https://gitee.com/${repo}/raw/${encodeURIComponent(ref)}/${p}`;
 }
 
+/** blob 地址：`https://gitee.com/api/v5/repos/{repo}/git/blobs/{sha}` */
+export function giteeBlobUrl(repo, sha) {
+  return `${API}/repos/${repo}/git/blobs/${encodeURIComponent(sha)}`;
+}
+
+/**
+ * 用 git blob 接口取单个文件内容，绕开被内容审查挡住的 raw CDN。
+ *
+ * 背景：Gitee 的 raw 端点会对个别文件返回 451（内容审查），而**同一个
+ * blob 走 git 对象接口是 200**——raw 走的是被审查的 CDN，blob 是 git 对象
+ * 仓库，不经过那层审查（实测 douluo 的 content-pack.sql 等 4 个文件）。
+ *
+ * 前置条件：调用方必须拿到这个 blob 的 `sha`。`fetchGiteeTree` 列清单时
+ * trees API 每个条目都带 `sha`，正好够用。
+ *
+ * @param {string} repo `owner/name`
+ * @param {string} sha  blob 的 40 位十六进制 sha（来自 trees 清单）
+ * @param {string} [token] Gitee 私人令牌（选填，加在 API 调用上）
+ * @param {number} [timeoutMs]
+ * @returns {Promise<Buffer>} 文件原始字节
+ */
+async function fetchBlob(repo, sha, token = '', timeoutMs = 120000) {
+  const q = new URLSearchParams();
+  if (token) q.set('access_token', token);
+  const url = `${giteeBlobUrl(repo, sha)}?${q}`;
+  const res = await fetch(url, {
+    headers: { 'User-Agent': UA, accept: 'application/json' },
+    signal: AbortSignal.timeout(Math.min(timeoutMs, 30000)),
+  });
+  if (!res.ok) throw new Error(`blob HTTP ${res.status}`);
+  const data = await res.json().catch(() => null);
+  const content = data?.content;
+  if (typeof content !== 'string' || !content) throw new Error('blob 接口没返回内容');
+  const buf = Buffer.from(content, data?.encoding === 'base64' ? 'base64' : 'utf8');
+  if (!buf.length) throw new Error('blob 内容是空的');
+  return buf;
+}
+
 /**
  * 把仓库某个 ref 的内容拉到本地目录。
  *
@@ -177,7 +215,26 @@ export async function fetchGiteeTree({
             await sleep(attempt * 1000); // 1s、2s 退避
           }
         }
-        if (!res) throw lastErr ?? new Error('未知错误');
+        if (!res) {
+          // raw 全部失败（常见是 451 内容审查）。tree 条目里带了 sha，
+          // 改走 git blob 接口兜底——blob 走的是 git 对象仓库，不经过被
+          // 审查的 raw CDN，同一份内容在 GitHub 上能下、在 blob 上也能下。
+          // 只有 451 才兜底：404 是文件真没有，blob 也拿不到，直接报错。
+          if (lastErr?.message?.startsWith('HTTP 451') && f.sha) {
+            try {
+              const buf = await fetchBlob(repo, f.sha, token, timeoutMs);
+              await fs.mkdir(path.dirname(dest), { recursive: true });
+              await fs.writeFile(dest, buf);
+              done += 1;
+              onProgress?.(`${done}/${files.length} ${f.path}`);
+              log.info(`451 文件已走 blob 接口补回 ${f.path}`);
+              continue;
+            } catch (e) {
+              throw new Error(`blob 兜底也失败：${e.message}`);
+            }
+          }
+          throw lastErr ?? new Error('未知错误');
+        }
         const buf = Buffer.from(await res.arrayBuffer());
         if (!buf.length) throw new Error('内容是空的');
         await fs.mkdir(path.dirname(dest), { recursive: true });

package/src/message.js

@@ -1,5 +1,6 @@
+import fs from 'node:fs/promises';
 import { createLogger } from './logger.js';
-import { FILE_TYPE } from './api.js';
+import { FILE_TYPE, MEDIA_SOFT_LIMIT } from './api.js';
 import { messageKindOf, EVENTS } from './events.js';
 import { renderMenuMd, mdToPlain } from './markdown.js';
 
@@ -670,9 +671,30 @@ export function buildMessage(eventName, d, { api, cfg, outbound, session }) {
       const target = kind === 'group' ? groupId : userId;
       if (scene !== 'group' && scene !== 'c2c') return null;
 
+      /**
+       * 图片超软限（20MB）自动降级为文件。
+       *
+       * 普通 base64 上传接口对图片有 20MB 上限，超了服务端直接 413。
+       * 但文件（file_type=4）上限是 200MB，所以本地大图不该直接报错——
+       * 改成按「文件」发出去，用户收到的是文件卡片（可下载查看）。
+       * 官方「超软限降级为文件」的语义，落到这里实现。
+       */
+      let effectiveType = fileType;
+      if (local && fileType === FILE_TYPE.IMAGE) {
+        try {
+          const st = await fs.stat(source);
+          if (st.size > MEDIA_SOFT_LIMIT[FILE_TYPE.IMAGE]) {
+            effectiveType = FILE_TYPE.FILE;
+            log.info(`图片 ${(st.size / 1024 / 1024).toFixed(1)}MB 超过 20MB 软限制，降级按文件发送`);
+          }
+        } catch {
+          /* stat 失败按原类型走，让 uploadLocalFile 抛真正的错误 */
+        }
+      }
+
       const up = local
-        ? await api.uploadLocalFile(scene, target, source, fileType)
-        : await api.uploadMedia(scene, target, { fileType, url: source });
+        ? await api.uploadLocalFile(scene, target, source, effectiveType)
+        : await api.uploadMedia(scene, target, { fileType: effectiveType, url: source });
       if (!up?.file_info) throw new Error('未返回 file_info');
 
       const content = text ? String(text) : ' ';

package/src/outbound.js

@@ -211,6 +211,34 @@ class QuotaLedger {
   }
 }
 
+/**
+ * 从出站报文里挑出「人看得懂的那部分」，喂给 `digestOf`。
+ *
+ * 报文不止一种形状，只认顶层 `content` 会漏掉一大半：
+ *
+ *   · 纯文本   `{ content }`
+ *   · markdown `{ markdown: { content } }` ← ai-chat 默认就走这条
+ *   · 卡片     `{ markdown, keyboard, ark }`
+ *   · 富媒体   `{ msgType: 7, media }`，正文只有一个占位空格
+ *
+ * 漏掉的后果不是发不出去（账本的状态机不看摘要），而是摘要列全变成
+ * `…(0)#da39a3ee`——所有记录长得一模一样，「人工核对」这条路等于堵死，
+ * 真出现 `unknown` 的时候只能靠猜。
+ */
+export function digestTextOf(payload) {
+  const p = payload ?? {};
+  const md = p.markdown;
+  const text = p.content ?? p.text ?? (typeof md === 'string' ? md : md?.content);
+  if (typeof text === 'string' && text.trim()) return text;
+  /**
+   * 没有正文的报文给个占位。一串空摘要里冒出 `[媒体]` / `[卡片]`，
+   * 至少能分辨「这条本来就没有文字」，而不是「摘要功能又坏了」。
+   */
+  if (p.media) return '[媒体]';
+  if (p.ark) return '[卡片]';
+  return '';
+}
+
 export class Outbound {
   /**
    * @param {object} opts
@@ -296,7 +324,7 @@ export class Outbound {
       chatId: opts.target,
       replyTo: opts.payload?.msgId,
       msgSeq: opts.payload?.msgSeq,
-      digest: digestOf(opts.payload?.content ?? opts.payload?.text ?? ''),
+      digest: digestOf(digestTextOf(opts.payload)),
     });
 
     if (c.action === 'reuse') {

package/src/plugin/market.js

@@ -505,9 +505,14 @@ export function detectUpdates(indexPlugins, localVersions = {}) {
  * 每次几十秒。参考 BetterGI 的 ScriptRepoUpdater——先拉中央仓库，
  * 再从里面逐个检出。调用方用完必须调 `cleanupRepo()`。
  *
+ * 只更新单个插件时传 `only`（如 `['plugins/aichat/']`），就只拉那一个
+ * 插件目录。两个好处：①下载量少一半；②**不会被别的插件的坏文件连坐**——
+ * 否则某个插件在下载源上有个文件拉不动，整仓失败，更新其它插件也一起黄。
+ *
+ * @param {string[]} [only] 只拉这些路径前缀（目录以 `/` 结尾），透传给下载层
  * @returns {Promise<{tmp:string, index:object}>}
  */
-export async function syncRepo({ repo, branch = 'main', indexUrl } = {}) {
+export async function syncRepo({ repo, branch = 'main', indexUrl, only = null } = {}) {
   const index = await fetchIndex(indexUrl);
   if (!repo) repo = index.repo;
   if (!repo) throw new Error('索引里缺少 repo 字段，无法同步');
@@ -519,6 +524,7 @@ export async function syncRepo({ repo, branch = 'main', indexUrl } = {}) {
       repo,
       branch,
       destDir: tmp,
+      only,
       // 索引里带了校验值就验；没带会在 tarball 那边 warn 一句
       expectSha256: index?.archive?.sha256 ?? index?.sha256 ?? null,
       timeoutMs: 180000,

package/src/web/server.js

@@ -2625,8 +2625,14 @@ export async function startWebServer({
               return json(res, 400, { error: `${id} 已经是 ${cur}，没有新版` });
             }
 
-            // 拉一次仓库，只更新指定的这一个
-            repo = await syncRepo({ repo: idx.repo, branch: idx.branch || 'main', indexUrl: src });
+            // 拉一次仓库，只更新指定的这一个；only 让它只下这个插件的目录，
+            // 既省流量，又不会被其它插件的坏文件连坐（见 syncRepo 注释）
+            repo = await syncRepo({
+              repo: idx.repo,
+              branch: idx.branch || 'main',
+              indexUrl: src,
+              only: [`plugins/${id}/`],
+            });
             const r = await updatePlugins({
               tmp: repo.tmp,
               index: repo.index,

package/web/app.js

@@ -3095,11 +3095,17 @@ function renderDelivery(d) {
       const st = DELIVERY_LABEL[x.state] ?? { text: x.state, tip: '' };
       const when = x.created_at ? new Date(Number(x.created_at)).toLocaleString('zh-CN', { hour12: false }) : '-';
       const warn = x.state === 'unknown' || x.state === 'failed';
+      /**
+       * 摘要空的老记录（修 `digestTextOf` 之前发的）一律是 `…(0)#da39a3ee`，
+       * 一列看下来完全分不清谁是谁。显示成一句人话，原文挂在 title 上备查。
+       */
+      const digest = String(x.digest ?? '');
+      const digestText = /^…\(0\)#/.test(digest) ? '（无正文）' : digest.slice(0, 60);
       return `<tr>
         <td>${escapeHtml(when)}</td>
         <td class="mono">${escapeHtml(String(x.chat_id ?? '').slice(0, 12))}</td>
         <td${warn ? ' style="color:var(--warn-text)"' : ''} title="${escapeHtml(st.tip)}">${escapeHtml(st.text)}</td>
-        <td>${escapeHtml(String(x.digest ?? '').slice(0, 60))}</td>
+        <td title="${escapeHtml(digest)}">${escapeHtml(digestText)}</td>
         <td class="num">${Number(x.attempts ?? 0)}</td>
         <td class="mono">${escapeHtml(String(x.code ?? ''))}</td>
       </tr>`;