@anyul/koishi-plugin-rss 5.2.4 → 5.2.42

package/README.md

@@ -529,6 +529,47 @@ basic:
   usePoster: true         # 使用视频封面
 ```
 
+### Telegram 大视频兼容（tdl 兜底）
+
+订阅 Telegram 频道时，RSSHub 对超大视频会返回 `Video is too big` 占位（仅一张封面图），插件原本拿不到视频链接。开启 tdl 兜底后，插件会用外部工具 [iyear/tdl](https://github.com/iyear/tdl) 直接从 Telegram 拉取原始视频，超过阈值再用 ffmpeg 压缩后发送。
+
+**前置准备（宿主机一次性操作）：**
+
+1. 安装 tdl（Go 编写的独立 CLI，**不是 npm 包**）：
+   ```bash
+   # 方式一：Go 安装
+   go install github.com/iyear/tdl@latest
+   # 方式二：下载 Release 二进制
+   # https://github.com/iyear/tdl/releases
+   ```
+2. 安装 ffmpeg（用于压缩，缺失则大视频会被跳过）：
+   ```bash
+   # Windows: scoop install ffmpeg  或  choco install ffmpeg
+   # macOS:   brew install ffmpeg
+   # Linux:   apt install ffmpeg
+   ```
+3. 完成 tdl 登录（二维码或手机号）：
+   ```bash
+   tdl login
+   ```
+
+**配置：**
+
+```yaml
+tdl:
+  enabled: true              # 启用兜底下载（默认 false）
+  timeout: 180               # 单次下载超时（秒）
+  compressThreshold: 30      # 触发压缩的体积阈值（MB）
+  crf: 30                    # ffmpeg 质量 18-32，越小越清晰体积越大
+  proxyByEnv: true           # 把订阅级代理透传给 tdl 子进程
+```
+
+**行为说明：**
+- tdl / ffmpeg **缺失时自动跳过**，不报错、不阻塞其它订阅推送。
+- 下载与压缩产物落在插件缓存目录（`basic.cacheDir`），随定时器统一清理。
+- 发送方式复用 `basic.videoMode`，与普通视频一致。
+- 开启后启动日志会打印 tdl/ffmpeg 探测结果（`✓`/`✗`），便于排查。
+
 ## 🔐 权限说明
 
 ### 权限等级
@@ -679,6 +720,16 @@ debug: "details"  # 显示所有调试信息
 
 ## 📜 更新日志
 
+### 5.2.42 (2026-06-18)
+
+#### Telegram 大视频 tdl 兜底
+
+- 🎬 **Telegram 大视频兼容** - 订阅 Telegram 频道时，RSSHub 对超大视频返回的 `Video is too big` 占位，现可通过外部 [iyear/tdl](https://github.com/iyear/tdl) 直接从 Telegram 拉取原始视频
+- 📦 **ffmpeg 自动压缩** - 下载产物超阈值（默认 30MB）自动用 ffmpeg 压缩后再发送，降低带宽占用
+- 🔌 **外部二进制探测** - tdl/ffmpeg 为外部 CLI（非 npm 包），运行时探测 PATH，缺失自动跳过、不阻塞主流程
+- ♻️ **videoMode 复用** - 兜底视频走既有 `videoMode` 链路（base64/File/assets），行为与普通视频一致
+- 🧪 **新增单元测试** - 覆盖 `parseTelegramLink`、`detectVideoTooBig`、`shouldCompress` 等纯函数
+
 ### 5.2.3 (2026-03-10)
 
 #### 结构收敛与文档同步

package/lib/config.js

@@ -195,8 +195,15 @@ exports.Config = koishi_1.Schema.object({
         enabled: koishi_1.Schema.boolean().description('启用错误追踪').default(false),
         dsn: koishi_1.Schema.string().role('secret').description('Sentry DSN').default(''),
         environment: koishi_1.Schema.string().description('错误追踪环境').default('production'),
-        release: koishi_1.Schema.string().description('错误追踪版本号').default('5.2.3'),
+        release: koishi_1.Schema.string().description('错误追踪版本号').default('5.2.42'),
         tracesSampleRate: koishi_1.Schema.number().min(0).max(1).description('性能追踪采样率').default(0.1),
         profilesSampleRate: koishi_1.Schema.number().min(0).max(1).description('性能分析采样率').default(0.1),
     }).description('错误追踪设置'),
+    tdl: koishi_1.Schema.object({
+        enabled: koishi_1.Schema.boolean().description('启用 Telegram 大视频 tdl 兜底下载<br>当 RSSHub 返回 "Video is too big" 占位时，调用外部 tdl 直接从 Telegram 拉取原始视频。<br><b>需宿主机自行安装</b>: `go install github.com/iyear/tdl@latest` 或下载 [Release](https://github.com/iyear/tdl/releases)，并执行 `tdl login` 完成登录。<br>插件运行时探测 PATH，缺失则跳过、不阻塞主流程。').default(false),
+        timeout: koishi_1.Schema.number().min(30).max(1800).description('tdl 单次下载超时（秒）').default(180),
+        compressThreshold: koishi_1.Schema.number().min(1).description('触发 ffmpeg 压缩的体积阈值（MB），默认沿用基础设置中的视频最大体积').default(30),
+        crf: koishi_1.Schema.number().min(18).max(32).description('ffmpeg 压缩质量 CRF（18 接近无损体积大，32 体积小质量差），需宿主机安装 ffmpeg').default(30),
+        proxyByEnv: koishi_1.Schema.boolean().description('是否把订阅级代理通过 HTTPS_PROXY 环境变量透传给 tdl 子进程').default(true),
+    }).description('Telegram 大视频（tdl）设置'),
 });

package/lib/core/item-processor-runtime.js

@@ -96,7 +96,7 @@ async function prepareHtmlForRender(deps, html, arg, useXml = false) {
             element.attribs.src = await (0, media_1.getImageUrl)(deps.ctx, deps.config, deps.$http, src, arg, true);
         }).get());
     }
-    html('img').attr('style', 'object-fit:scale-down;max-width:100%;');
+    html('img').attr('style', 'object-fit:scale-down;max-width:100%;height:auto;');
     return useXml ? html.xml() : html.html();
 }
 /**

package/lib/core/item-processor.js

@@ -40,6 +40,7 @@ const sanitizer_1 = require("../utils/sanitizer");
 const ai_1 = require("./ai");
 const item_processor_template_1 = require("./item-processor-template");
 const item_processor_runtime_1 = require("./item-processor-runtime");
+const telegram_video_restore_1 = require("./telegram-video-restore");
 class RssItemProcessor {
     ctx;
     config;
@@ -83,6 +84,15 @@ class RssItemProcessor {
             item.title = (0, item_processor_runtime_1.normalizeText)(item.title).replace(new RegExp(blockWord, 'gim'), matched => Array(matched.length).fill(this.config.msg?.blockString || '*').join(''));
         });
         const html = cheerio.load(item.description);
+        // Telegram 大视频占位恢复：检测 "Video is too big" 并用 tdl 兜底下载
+        // 任何失败都静默跳过，等价于现状；成功则把占位 blockquote 改写为真 <video>
+        // 产物落到插件缓存目录，由 feeder 定时器统一清理，无需此处管理生命周期
+        try {
+            await (0, telegram_video_restore_1.restoreTelegramVideos)(html, item, arg, this.config);
+        }
+        catch (err) {
+            (0, logger_1.debug)(this.config, `restoreTelegramVideos 异常（已忽略）: ${err?.message || err}`, 'tg-restore', 'error');
+        }
         if (this.config.basic?.videoMode === 'filter' && html('video').length > 0) {
             return '';
         }

package/lib/core/telegram-video-restore.d.ts

@@ -0,0 +1,31 @@
+/**
+ * Telegram 大视频占位恢复
+ *
+ * RSSHub 对 Telegram 超大视频会渲染：
+ *   <blockquote><b>Video is too big</b><br><img src="...poster..."></blockquote>
+ * 此时条目内没有任何 <video> 元素，processVideos() 会静默跳过。
+ *
+ * 本模块在模板渲染前介入：
+ *   1. 检测到 "Video is too big" 占位
+ *   2. 从 item.link 解析 Telegram 频道+消息ID
+ *   3. 用 tdl 下载原始视频
+ *   4. 超阈值则用 ffmpeg 压缩
+ *   5. 把产物移动到插件缓存目录（避免发送队列异步消费时被清理）
+ *   6. 把占位 blockquote 替换为真正的 <video src="file:///缓存路径">
+ *
+ * 任何环节失败都静默返回（不抛错、不阻塞），等价于"无视频"现状。
+ *
+ * 文件生命周期：产物落在 getCacheDir() 下，随 File 模式缓存清理周期
+ * （feeder 定时器内 delCache）一起被回收，无需此处单独删。
+ */
+import { Config, rssArg } from '../types';
+/**
+ * 尝试用 tdl 恢复 Telegram 大视频，原地改写 cheerio 文档。
+ *
+ * @param html cheerio 实例（会被原地修改）
+ * @param item RSS 条目（读取 item.link）
+ * @param arg 订阅级参数（含代理）
+ * @param config 全局配置
+ * @returns 是否成功注入视频（true 表示 html 已被改写）
+ */
+export declare function restoreTelegramVideos(html: any, item: any, arg: rssArg, config: Config): Promise<boolean>;

package/lib/core/telegram-video-restore.js

@@ -0,0 +1,168 @@
+"use strict";
+/**
+ * Telegram 大视频占位恢复
+ *
+ * RSSHub 对 Telegram 超大视频会渲染：
+ *   <blockquote><b>Video is too big</b><br><img src="...poster..."></blockquote>
+ * 此时条目内没有任何 <video> 元素，processVideos() 会静默跳过。
+ *
+ * 本模块在模板渲染前介入：
+ *   1. 检测到 "Video is too big" 占位
+ *   2. 从 item.link 解析 Telegram 频道+消息ID
+ *   3. 用 tdl 下载原始视频
+ *   4. 超阈值则用 ffmpeg 压缩
+ *   5. 把产物移动到插件缓存目录（避免发送队列异步消费时被清理）
+ *   6. 把占位 blockquote 替换为真正的 <video src="file:///缓存路径">
+ *
+ * 任何环节失败都静默返回（不抛错、不阻塞），等价于"无视频"现状。
+ *
+ * 文件生命周期：产物落在 getCacheDir() 下，随 File 模式缓存清理周期
+ * （feeder 定时器内 delCache）一起被回收，无需此处单独删。
+ */
+var __createBinding = (this && this.__createBinding) || (Object.create ? (function(o, m, k, k2) {
+    if (k2 === undefined) k2 = k;
+    var desc = Object.getOwnPropertyDescriptor(m, k);
+    if (!desc || ("get" in desc ? !m.__esModule : desc.writable || desc.configurable)) {
+      desc = { enumerable: true, get: function() { return m[k]; } };
+    }
+    Object.defineProperty(o, k2, desc);
+}) : (function(o, m, k, k2) {
+    if (k2 === undefined) k2 = k;
+    o[k2] = m[k];
+}));
+var __setModuleDefault = (this && this.__setModuleDefault) || (Object.create ? (function(o, v) {
+    Object.defineProperty(o, "default", { enumerable: true, value: v });
+}) : function(o, v) {
+    o["default"] = v;
+});
+var __importStar = (this && this.__importStar) || (function () {
+    var ownKeys = function(o) {
+        ownKeys = Object.getOwnPropertyNames || function (o) {
+            var ar = [];
+            for (var k in o) if (Object.prototype.hasOwnProperty.call(o, k)) ar[ar.length] = k;
+            return ar;
+        };
+        return ownKeys(o);
+    };
+    return function (mod) {
+        if (mod && mod.__esModule) return mod;
+        var result = {};
+        if (mod != null) for (var k = ownKeys(mod), i = 0; i < k.length; i++) if (k[i] !== "default") __createBinding(result, mod, k[i]);
+        __setModuleDefault(result, mod);
+        return result;
+    };
+})();
+Object.defineProperty(exports, "__esModule", { value: true });
+exports.restoreTelegramVideos = restoreTelegramVideos;
+const logger_1 = require("../utils/logger");
+const media_1 = require("../utils/media");
+const tdl_1 = require("../utils/tdl");
+const video_compress_1 = require("../utils/video-compress");
+const fs = __importStar(require("fs"));
+const path = __importStar(require("path"));
+const url_1 = require("url");
+/**
+ * 尝试用 tdl 恢复 Telegram 大视频，原地改写 cheerio 文档。
+ *
+ * @param html cheerio 实例（会被原地修改）
+ * @param item RSS 条目（读取 item.link）
+ * @param arg 订阅级参数（含代理）
+ * @param config 全局配置
+ * @returns 是否成功注入视频（true 表示 html 已被改写）
+ */
+async function restoreTelegramVideos(html, item, arg, config) {
+    if (!config.tdl?.enabled)
+        return false;
+    if (!(0, tdl_1.detectVideoTooBig)(html))
+        return false;
+    const link = normalizeText(item?.link);
+    const linkInfo = (0, tdl_1.parseTelegramLink)(link);
+    if (!linkInfo) {
+        (0, logger_1.debug)(config, `检测到 Video is too big 但 link 非 Telegram 消息链接，跳过: ${link}`, 'tg-restore', 'info');
+        return false;
+    }
+    const poster = (0, tdl_1.extractTooBigPoster)(html);
+    (0, logger_1.debug)(config, `检测到 Telegram 大视频占位，尝试 tdl 下载: ${link}（channel=${linkInfo.channel}, msgId=${linkInfo.messageId}）`, 'tg-restore', 'info');
+    const downloaded = await (0, tdl_1.downloadWithTdl)({
+        config,
+        link,
+        proxyAgent: arg?.proxyAgent,
+    });
+    if (!downloaded) {
+        (0, logger_1.debug)(config, `tdl 未取回视频，保持占位现状: ${link}`, 'tg-restore', 'info');
+        return false;
+    }
+    const compressResult = await (0, video_compress_1.compressVideoIfNeeded)(downloaded, config);
+    if (!compressResult) {
+        (0, logger_1.debug)(config, `视频压缩环节返回 null（ffmpeg 缺失或失败），按策略跳过该视频: ${link}`, 'tg-restore', 'info');
+        // 清理 tdl 下载目录
+        await (0, tdl_1.safeRemoveDir)(path.dirname(downloaded));
+        return false;
+    }
+    // 把最终产物移动到插件缓存目录，避免被异步发送队列提前清理
+    let finalPath = compressResult.path;
+    try {
+        finalPath = await moveToCacheDir(finalPath, config);
+    }
+    catch (err) {
+        (0, logger_1.debug)(config, `视频迁移到缓存目录失败，沿用 tdl 临时路径: ${err?.message || err}`, 'tg-restore', 'error');
+        // 沿用临时路径（风险：发送前被清理），但仍尝试发送
+    }
+    const fileUrl = (0, url_1.pathToFileURL)(finalPath).href;
+    (0, logger_1.debug)(config, `Telegram 大视频已恢复，注入 <video src="${fileUrl}">（最终大小 ${(compressResult.finalSize / 1024 / 1024).toFixed(2)} MB）`, 'tg-restore', 'info');
+    // 把 "Video is too big" blockquote 替换为真 <video>
+    // 保留 poster（若有），便于 usePoster 模式显示封面
+    const posterAttr = poster ? ` poster="${escapeAttr(poster)}"` : '';
+    const replacement = `<video src="${escapeAttr(fileUrl)}"${posterAttr} controls="controls" style="width:100%"></video>`;
+    replaceTooBigBlockquotes(html, replacement);
+    return true;
+}
+/**
+ * 把文件移动到插件缓存目录（与 File 模式共用），返回新路径。
+ *
+ * 缓存目录由 getCacheDir 决定，会被 feeder 定时器统一清理。
+ */
+async function moveToCacheDir(srcPath, config) {
+    const cacheDir = (0, media_1.getCacheDir)(config);
+    const ext = path.extname(srcPath) || '.mp4';
+    const dest = path.join(cacheDir, `tg-tdl-${Date.now()}-${Math.random().toString(36).slice(2, 9)}${ext}`);
+    // 优先尝试 rename（同卷快），失败则复制+删除
+    try {
+        await fs.promises.rename(srcPath, dest);
+        return dest;
+    }
+    catch {
+        await fs.promises.copyFile(srcPath, dest);
+        await fs.promises.unlink(srcPath).catch(() => { });
+        return dest;
+    }
+}
+/**
+ * 把所有 "Video is too big" blockquote 替换为给定 HTML 字符串。
+ */
+function replaceTooBigBlockquotes(html, replacement) {
+    if (!html)
+        return;
+    try {
+        html('blockquote').each((_, el) => {
+            const $el = html(el);
+            const text = $el.text() || '';
+            if (/video\s+is\s+too\s+big/i.test(text)) {
+                $el.replaceWith(replacement);
+            }
+        });
+    }
+    catch {
+        // ignore
+    }
+}
+function escapeAttr(s) {
+    return String(s || '').replace(/"/g, '&quot;');
+}
+function normalizeText(v) {
+    if (Array.isArray(v))
+        return v.join('');
+    if (v === undefined || v === null)
+        return '';
+    return String(v);
+}

package/lib/index.js

@@ -26,6 +26,8 @@ exports.name = '@anyul/koishi-plugin-rss';
 const fetcher_1 = require("./utils/fetcher");
 const media_1 = require("./utils/media");
 const error_tracker_1 = require("./utils/error-tracker");
+const tdl_1 = require("./utils/tdl");
+const logger_1 = require("./utils/logger");
 const commands_1 = require("./commands");
 // Import core modules
 const item_processor_1 = require("./core/item-processor");
@@ -40,6 +42,16 @@ exports.inject = { required: ["database"], optional: ["puppeteer", "censor", "as
 function apply(ctx, config) {
     // Setup database
     (0, database_1.setupDatabase)(ctx);
+    // 启用时探测 tdl / ffmpeg 外部二进制可用性，便于用户排查
+    // 探测异步进行、失败仅打日志，不阻塞插件加载
+    if (config.tdl?.enabled) {
+        Promise.all([
+            (0, tdl_1.detectBinary)('tdl', ['-v']),
+            (0, tdl_1.detectBinary)('ffmpeg', ['-version']),
+        ]).then(([hasTdl, hasFfmpeg]) => {
+            (0, logger_1.debug)(config, `Telegram 大视频工具探测：tdl=${hasTdl ? '✓' : '✗（请安装 iyear/tdl 并 tdl login）'}，ffmpeg=${hasFfmpeg ? '✓' : '✗（缺失时大视频将被跳过）'}`, 'tdl', 'info');
+        }).catch(() => { });
+    }
     if (config.errorTracking?.enabled) {
         (0, error_tracker_1.initErrorTracker)({
             enabled: config.errorTracking.enabled ?? false,